Що означає quantization?

Де і як уживається

Застосовується для запуску великих моделей на меншій кількості чи слабших GPU, ноутбуках і телефонах. Зазвичай якість трохи падає, тому команди вимірюють це до випуску. Кажуть quantized to 4 bits і використовують формати, як-от INT8.

Приклади речень

1. After 4-bit quantization the model fits on a single GPU, and accuracy dropped by less than a point.

   Після 4-бітного квантування модель умістилася на одному GPU, а точність упала менш ніж на відсотковий пункт.

   Стиснення параметрів зменшило вимоги до пам’яті з невеликою втратою якості.

2. Quantization made inference almost twice as fast on our servers.

   Квантування майже вдвічі прискорило інференс на наших серверах.

   Менша точність представлення дала змогу швидше обчислювати відповіді.

Поширені словосполучення

• 4-bit quantization
• post-training quantization
• quantized model
• quantization error