Що означає knowledge distillation?

Де і як уживається

Часто кажуть просто distillation; дієслово — distill: we distilled the 70B model into a 3B model. Метод знижує вартість інференсу або дає змогу запускати моделі на телефонах. Важливо перевірити ліцензії: деякі забороняють навчати інші моделі на виходах.

Приклади речень

1. Knowledge distillation gave us a model ten times smaller with only a 2% drop in accuracy.

   Дистиляція знань дала нам модель удесятеро меншу з падінням точності лише на 2%.

   Стиснення моделі зберегло майже всю початкову точність.

2. We used knowledge distillation to build an on-device version of the classifier.

   Ми застосували дистиляцію знань, щоб створити локальну версію класифікатора для пристрою.

   Меншу модель адаптували для роботи безпосередньо на пристрої.

Поширені словосполучення

• teacher model
• student model
• distill a model
• distillation loss