Що означає inference?

Де і як уживається

Протиставляється навчанню. Інженери запускають і пришвидшують інференс, обговорюють його вартість і сервери, а також пакетний інференс чи інференс у реальному часі. Термін постійно трапляється в розмовах про інфраструктуру й бюджет.

Приклади речень

1. Now that the app has a million users, inference costs us more than training.

   Тепер, коли в застосунку мільйон користувачів, інференс коштує нам дорожче за навчання.

   Постійна обробка запитів великої аудиторії перевищила разові витрати на тренування моделі.

2. We run inference on CPUs at night and on GPUs during peak hours.

   Уночі ми запускаємо інференс на CPU, а в години пікового навантаження — на GPU.

   Обчислювальне обладнання вибирають відповідно до очікуваного навантаження.

Поширені словосполучення

• run inference
• inference cost
• inference speed
• real-time inference
• batch inference