Что значит knowledge distillation?

Где и как употребляется

Часто говорят просто distillation, глагол — distill. Метод сокращает стоимость инференса и помогает запускать модели на телефонах. Важно проверить лицензии: некоторые запрещают обучать другие модели на выходах.

Примеры предложений

1. Knowledge distillation gave us a model ten times smaller with only a 2% drop in accuracy.

   Дистилляция знаний дала модель в десять раз меньше при снижении точности всего на 2%.

   Уменьшение модели потребовало лишь небольшого компромисса в качестве.

2. We used knowledge distillation to build an on-device version of the classifier.

   Мы применили дистилляцию, чтобы создать локальную версию классификатора для устройства.

   Компактная модель предназначена для запуска непосредственно на устройстве.

Распространённые словосочетания

• teacher model
• student model
• distill a model
• distillation loss