ما معنى LoRA؟

طريقة الاستخدام

أشهر أساليب الضبط الدقيق الكفؤ من حيث المعلمات. تدرب الفرق محول LoRA لكل مهمة أو عميل وتبدله فوق نموذج أساس مشترك. ويجمع QLoRA هذه الطريقة مع التكميم لتعمل على وحدات معالجة أصغر.

أمثلة

1. With LoRA we fine-tuned the 8B model on a single GPU in one afternoon.

   بفضل LoRA، ضبطنا النموذج ذي 8 مليارات معلمة على وحدة GPU واحدة في ظهيرة واحدة.

   قللت الطريقة متطلبات التدريب بما أتاح إنجاز الضبط على عتاد محدود.

2. Each customer has its own LoRA adapter, but they all share the same base model.

   لكل عميل محول LoRA خاص به، لكنهم جميعًا يستخدمون نموذج الأساس نفسه.

   تختلف طبقة التكييف بين العملاء بينما يبقى النموذج الأساسي مشتركًا.

تراكيب شائعة

• LoRA adapter
• train a LoRA
• LoRA rank
• QLoRA
• merge the LoRA weights

مصطلحات ذات صلة

• fine-tuningالضبط الدقيق
• base modelنموذج أساسي
• quantizationالتكميم
• parameterمَعْلَمة

معنى الكلمة في مجالات أخرى

قد يختلف معنى الكلمة الإنجليزية نفسها من مجال إلى آخر:

• LoRA · تطوير البرمجيات

مصطلحات أخرى: الضبط الدقيق وتكييف النماذج

• transfer learning · التعلم بالنقل
• RLHF · التعلم المعزز من الملاحظات البشرية RLHF
• knowledge distillation · تقطير المعرفة