ما معنى knowledge distillation؟

طريقة الاستخدام

يقال غالبًا «التقطير»، والفعل هو يقطّر؛ مثل: قطّرنا نموذج 70B إلى نموذج 3B. يستخدم لخفض كلفة الاستدلال أو تشغيل النماذج على الهواتف. ويجب الانتباه إلى التراخيص التي قد تمنع استخدام المخرجات لتدريب نماذج أخرى.

أمثلة

1. Knowledge distillation gave us a model ten times smaller with only a 2% drop in accuracy.

   أنتج تقطير المعرفة نموذجًا أصغر بعشر مرات، مع انخفاض الدقة بنسبة 2٪ فقط.

   حقق النموذج المضغوط توفيرًا كبيرًا في الحجم مع خسارة طفيفة في الدقة.

2. We used knowledge distillation to build an on-device version of the classifier.

   استخدمنا تقطير المعرفة لبناء نسخة من المصنف تعمل على الجهاز.

   دُرب نموذج أصغر ليناسب التشغيل محليًا على جهاز المستخدم.

تراكيب شائعة

• teacher model
• student model
• distill a model
• distillation loss

مصطلحات ذات صلة

• quantizationالتكميم
• fine-tuningالضبط الدقيق
• inferenceاستدلال النموذج
• modelنموذج

معنى الكلمة في مجالات أخرى

قد يختلف معنى الكلمة الإنجليزية نفسها من مجال إلى آخر:

• knowledge distillation · تطوير البرمجيات

مصطلحات أخرى: الضبط الدقيق وتكييف النماذج

• transfer learning · التعلم بالنقل
• base model · نموذج أساسي
• LoRA · التكيّف منخفض الرتبة LoRA
• RLHF · التعلم المعزز من الملاحظات البشرية RLHF