Что значит quantization?

Где и как употребляется

Квантование позволяет запускать крупные модели на меньшем числе или менее мощных GPU, ноутбуках и телефонах. Обычно качество немного снижается, поэтому команды измеряют потери перед выпуском. Говорят, что модель квантована до 4 бит; распространенный формат — INT8.

Примеры предложений

1. After 4-bit quantization the model fits on a single GPU, and accuracy dropped by less than a point.

   После квантования до 4 бит модель поместилась на одну GPU, а точность упала менее чем на пункт.

   Сжатие параметров сократило требования к памяти при небольшом снижении качества.

2. Quantization made inference almost twice as fast on our servers.

   Квантование почти вдвое ускорило инференс на наших серверах.

   Обработка запросов стала быстрее благодаря представлению параметров меньшей разрядностью.

Распространённые словосочетания

• 4-bit quantization
• post-training quantization
• quantized model
• quantization error