Pretraining ne demek?
Yazılımda anlamı, Türkçe karşılığı ve örnek cümleler
Pretraining, yazılımda ön eğitim anlamına gelir.
Modelin belirli görevlere uyarlanmadan önce, büyük kısmı etiketsiz olan devasa miktarda veriden genel örüntüleri öğrendiği ilk ve en büyük eğitim aşaması.
English: The first and largest training stage, in which a model learns general patterns from a huge amount of mostly unlabeled data before it is adapted to specific tasks.
Nerede ve nasıl kullanılır?
LLM'lerde ön eğitim genellikle trilyonlarca token'lık metin üzerinde bir sonraki token'ı tahmin etmek anlamına gelir ve açık ara en pahalı aşamadır. Ardından ince ayar ve RLHF gibi eğitim sonrası (post-training) adımlar gelir. 'Pre-training' diye de yazılır; sıfat biçimi 'pretrained'dir (önceden eğitilmiş).
Örnek cümleler
Pretraining took eight weeks on a few thousand GPUs.
Ön eğitim birkaç bin GPU'da sekiz hafta sürdü.
We don't do pretraining ourselves; we fine-tune open models.
Ön eğitimi kendimiz yapmıyoruz; açık modellere ince ayar yapıyoruz.
Sık kullanılan kalıplar
- pretraining data
- pretraining run
- large-scale pretraining
- pretrained model
İlgili terimler
Bu kelime başka alanlarda
Aynı İngilizce kelime başka bir alanda farklı bir anlama gelebilir:
Aynı konudan: Makine Öğrenmesi ve Veri İşleme
- artificial intelligence · yapay zeka
- machine learning · makine öğrenmesi
- model · model
- dataset · veri kümesi
- training data · eğitim verisi
- label · etiket
- train · eğitmek
- supervised learning · denetimli öğrenme
- neural network · sinir ağı
- deep learning · derin öğrenme
- loss function · kayıp fonksiyonu
- overfitting · aşırı öğrenme
Seviyene uygun okumayla pekiştir
Yeni kelimelerin kalıcı olmasının en hızlı yolu seviyene uygun metin okumaktır. Seviyene göre ücretsiz İngilizce kitaplar: