ما معنى pretraining؟

طريقة الاستخدام

في النماذج اللغوية الكبيرة يعني عادة توقع الرمز التالي عبر تريليونات الرموز النصية، وهو أغلى المراحل بكثير. تليه خطوات ما بعد التدريب كالضبط الدقيق وRLHF. ويكتب أيضًا pre-training، والصفة pretrained.

أمثلة

1. Pretraining took eight weeks on a few thousand GPUs.

   استغرق التدريب المسبق ثمانية أسابيع على بضعة آلاف من وحدات GPU.

   يصف المثال حجم الموارد والزمن اللازمين لتعلم الأنماط العامة.

2. We don't do pretraining ourselves; we fine-tune open models.

   لا نجري التدريب المسبق بأنفسنا؛ بل نضبط نماذج مفتوحة مسبقًا.

   يبدأ الفريق من نموذج جاهز ويكيفه بدل تنفيذ مرحلة التدريب الكبرى.

تراكيب شائعة

• pretraining data
• pretraining run
• large-scale pretraining
• pretrained model

مصطلحات ذات صلة

• fine-tuningالضبط الدقيق
• base modelنموذج أساسي
• LLMنموذج لغوي كبير (LLM)
• transfer learningالتعلم بالنقل

معنى الكلمة في مجالات أخرى

قد يختلف معنى الكلمة الإنجليزية نفسها من مجال إلى آخر:

• pretraining · تطوير البرمجيات

مصطلحات أخرى: النماذج اللغوية الكبيرة

• token · وحدة نصية
• hallucination · هلوسة النموذج
• context window · نافذة السياق
• generative AI · الذكاء الاصطناعي التوليدي
• temperature · معامل الحرارة
• multimodal · متعدد الوسائط
• AI agent · وكيل ذكاء اصطناعي