Введіть щонайменше 2 символи для пошуку в усіх галузях.
Що означає quantization?
Значення й приклади · Штучний інтелект
quantization: квантування, квантизація
Зберігання ваг моделі, а іноді й активацій, із меншою кількістю бітів, наприклад 8 чи 4 замість 16, щоб зменшити модель і прискорити її.
Де і як уживається
Застосовується для запуску великих моделей на меншій кількості чи слабших GPU, ноутбуках і телефонах. Зазвичай якість трохи падає, тому команди вимірюють це до випуску. Кажуть quantized to 4 bits і використовують формати, як-от INT8.
Приклади речень
After 4-bit quantization the model fits on a single GPU, and accuracy dropped by less than a point.
Після 4-бітного квантування модель умістилася на одному GPU, а точність упала менш ніж на відсотковий пункт.
Стиснення параметрів зменшило вимоги до пам’яті з невеликою втратою якості.
Quantization made inference almost twice as fast on our servers.
Квантування майже вдвічі прискорило інференс на наших серверах.
Менша точність представлення дала змогу швидше обчислювати відповіді.
Поширені словосполучення
- 4-bit quantization
- post-training quantization
- quantized model
- quantization error
Пов’язані терміни
Це слово в інших галузях
Те саме англійське слово може мати інше значення в іншій галузі:
Інші терміни: Впровадження та MLOps
Закріплюйте лексику читанням
Тексти відповідного рівня допомагають запам’ятовувати нові слова. Оберіть безкоштовні книжки англійською: