Quantization ne demek?
Yapay zekada anlamı, Türkçe karşılığı ve örnek cümleler
Quantization, yapay zekada niceleme, kuantizasyon anlamına gelir.
Bir modelin ağırlıklarını, bazen de aktivasyonlarını daha az bitle saklamak; örneğin 16 bit yerine 8 ya da 4 bitlik sayılar kullanmak. Amaç modeli küçültmek ve hızlandırmaktır.
English: Storing a model's weights, and sometimes its activations, with fewer bits, for example 8-bit or 4-bit numbers instead of 16-bit, to make it smaller and faster.
Nerede ve nasıl kullanılır?
Büyük modelleri daha az sayıda ya da daha küçük GPU'larda, dizüstü bilgisayarlarda ve telefonlarda çalıştırmak için kullanılır. Genellikle kalitede küçük bir kayıp olur; ekipler bunu yayına almadan önce ölçer. Bir modelin 4 bite nicelendiğinden (quantized to 4 bits) söz edilir ve INT8 gibi formatlar anılır.
Örnek cümleler
After 4-bit quantization the model fits on a single GPU, and accuracy dropped by less than a point.
4 bitlik nicelemeden sonra model tek bir GPU'ya sığıyor; doğruluk da bir puandan az düştü.
Quantization made inference almost twice as fast on our servers.
Niceleme, sunucularımızda inference'ı neredeyse iki kat hızlandırdı.
Sık kullanılan kalıplar
- 4-bit quantization
- post-training quantization
- quantized model
- quantization error
İlgili terimler
Bu kelime başka alanlarda
Aynı İngilizce kelime başka bir alanda farklı bir anlama gelebilir:
Aynı konudan: Canlıya Alma ve MLOps
Seviyene uygun okumayla pekiştir
Yeni kelimelerin kalıcı olmasının en hızlı yolu seviyene uygun metin okumaktır. Seviyene göre ücretsiz İngilizce kitaplar: