Tokenizer ne demek?
Yazılımda anlamı, Türkçe karşılığı ve örnek cümleler
Tokenizer, yazılımda tokenizer, token ayırıcı anlamına gelir.
Metni token'lara bölen ve bunları modelin okuyabileceği sayılara dönüştüren, modelin çıktısındaki sayıları da tekrar metne çeviren bileşen.
English: The component that splits text into tokens and turns them into numbers a model can read, and that turns the model's output numbers back into text.
Nerede ve nasıl kullanılır?
Her model kendi tokenizer'ıyla birlikte gelir ve yanlış tokenizer kullanmak sonuçları bozar. Mühendisler tokenizer'ın sözcük dağarcığı büyüklüğüne (vocabulary size) ve bir dili ne kadar verimli işlediğine bakar; bazı tokenizer'lar Türkçe kelimeleri çok sayıda küçük parçaya böler. Bu işleme tokenization (token'lara ayırma) denir.
Örnek cümleler
This tokenizer splits long Turkish words into many pieces, so our prompts cost more.
Bu tokenizer uzun Türkçe kelimeleri çok sayıda parçaya bölüyor, bu yüzden istemlerimiz daha pahalıya geliyor.
Make sure you load the tokenizer from the same checkpoint as the model.
Tokenizer'ı modelle aynı checkpoint'ten yüklediğinden emin ol.
Sık kullanılan kalıplar
- load the tokenizer
- tokenizer vocabulary
- subword tokenizer
- tokenization
İlgili terimler
Bu kelime başka alanlarda
Aynı İngilizce kelime başka bir alanda farklı bir anlama gelebilir:
Aynı konudan: Makine Öğrenmesi ve Veri İşleme
- artificial intelligence · yapay zeka
- machine learning · makine öğrenmesi
- model · model
- dataset · veri kümesi
- training data · eğitim verisi
- label · etiket
- train · eğitmek
- supervised learning · denetimli öğrenme
- neural network · sinir ağı
- deep learning · derin öğrenme
- loss function · kayıp fonksiyonu
- overfitting · aşırı öğrenme
Seviyene uygun okumayla pekiştir
Yeni kelimelerin kalıcı olmasının en hızlı yolu seviyene uygun metin okumaktır. Seviyene göre ücretsiz İngilizce kitaplar: