Latency ne demek?
Yapay zekada anlamı, Türkçe karşılığı ve örnek cümleler
Latency, yapay zekada gecikme, gecikme süresi, yanıt süresi anlamına gelir.
Bir modele istek gönderilmesiyle cevabın alınması arasında geçen süre; genellikle milisaniye ya da saniye cinsinden ölçülür.
English: The time between sending a request to a model and receiving its response, usually measured in milliseconds or seconds.
Nerede ve nasıl kullanılır?
Ekipler ortalama gecikmeyi ve p95, p99 gibi uç değerlerdeki gecikmeyi (tail latency) izler. LLM'lerde ilk token'a kadar geçen süre (time to first token) de ölçülür. Gecikme çoğu zaman verim (throughput), maliyet ve model kalitesiyle dengelenmek zorundadır.
Örnek cümleler
The bigger model is more accurate, but latency went from 300 milliseconds to two seconds.
Büyük model daha doğru sonuç veriyor ama gecikme 300 milisaniyeden iki saniyeye çıktı.
Our p99 latency spikes every time the cache is cleared.
Önbellek her temizlendiğinde p99 gecikmemiz ani bir sıçrama yapıyor.
Sık kullanılan kalıplar
- low latency
- p99 latency
- reduce latency
- latency budget
- time to first token
İlgili terimler
Bu kelime başka alanlarda
Aynı İngilizce kelime başka bir alanda farklı bir anlama gelebilir:
Aynı konudan: Canlıya Alma ve MLOps
Seviyene uygun okumayla pekiştir
Yeni kelimelerin kalıcı olmasının en hızlı yolu seviyene uygun metin okumaktır. Seviyene göre ücretsiz İngilizce kitaplar: