ما معنى pretraining؟

طريقة الاستخدام

في النماذج اللغوية الكبيرة يعني عادة توقع الرمز التالي عبر تريليونات الرموز النصية، وهو أغلى المراحل بكثير. تليه خطوات ما بعد التدريب كالضبط الدقيق وRLHF. ويكتب أيضًا pre-training، والصفة pretrained.

أمثلة

1. Pretraining took eight weeks on a few thousand GPUs.

   استغرق التدريب المسبق ثمانية أسابيع على بضعة آلاف من وحدات GPU.

   يصف المثال حجم الموارد والزمن اللازمين لتعلم الأنماط العامة.

2. We don't do pretraining ourselves; we fine-tune open models.

   لا نجري التدريب المسبق بأنفسنا؛ بل نضبط نماذج مفتوحة مسبقًا.

   يبدأ الفريق من نموذج جاهز ويكيفه بدل تنفيذ مرحلة التدريب الكبرى.

تراكيب شائعة

• pretraining data
• pretraining run
• large-scale pretraining
• pretrained model

مصطلحات ذات صلة

• fine-tuningالضبط الدقيق
• base modelنموذج أساسي
• LLMنموذج لغوي كبير (LLM)
• transfer learningالتعلم بالنقل

معنى الكلمة في مجالات أخرى

قد يختلف معنى الكلمة الإنجليزية نفسها من مجال إلى آخر:

• pretraining · الذكاء الاصطناعي وتعلّم الآلة

مصطلحات أخرى: تعلّم الآلة ومعالجة البيانات

• artificial intelligence · الذكاء الاصطناعي
• machine learning · التعلم الآلي
• model · نموذج
• dataset · مجموعة بيانات
• training data · بيانات التدريب
• label · وسم
• train · يدرّب نموذجاً
• supervised learning · التعلم الخاضع للإشراف
• neural network · شبكة عصبية
• deep learning · التعلم العميق
• loss function · دالة الخسارة
• overfitting · فرط التكيّف