Token ne demek?
Yapay zekada anlamı, Türkçe karşılığı ve örnek cümleler
Token, yapay zekada token, belirteç anlamına gelir.
Bir dil modelinin okuyup yazdığı küçük metin birimi; çoğu zaman bir kelime, bir kelimenin parçası ya da bir noktalama işaretidir. Model sınırları ve fiyatları token cinsinden hesaplanır.
English: A small unit of text that a language model reads and writes, often a whole word, part of a word or a punctuation mark. Model limits and prices are counted in tokens.
Nerede ve nasıl kullanılır?
LLM çalışmalarında sürekli kullanılır: girdi ve çıktı token'ları, saniye başına token, milyon token başına maliyet, maksimum token sayısı. İngilizce metinde bir token ortalama olarak bir kelimeden biraz kısadır; uzun kelimeleri olan Türkçe ise kelime başına genellikle daha fazla token gerektirir. Türkçede de çoğunlukla 'token' denir.
Örnek cümleler
The prompt is about 3,000 tokens, so it fits easily in the context window.
İstem yaklaşık 3.000 token, yani bağlam penceresine rahatça sığıyor.
With most providers, output tokens cost more than input tokens.
Çoğu sağlayıcıda çıktı token'ları girdi token'larından daha pahalı.
Sık kullanılan kalıplar
- input tokens
- output tokens
- tokens per second
- token limit
- cost per token
İlgili terimler
Bu kelime başka alanlarda
Aynı İngilizce kelime başka bir alanda farklı bir anlama gelebilir:
Aynı konudan: Büyük Dil Modelleri
Seviyene uygun okumayla pekiştir
Yeni kelimelerin kalıcı olmasının en hızlı yolu seviyene uygun metin okumaktır. Seviyene göre ücretsiz İngilizce kitaplar: