ما معنى tokenizer؟

طريقة الاستخدام

لكل نموذج مجزئه، واستخدام مجزئ غير مناسب يفسد النتائج. ينظر المهندسون إلى حجم المفردات وكفاءة معالجة اللغة؛ فقد يقسم المجزئ الكلمات التركية إلى وحدات صغيرة كثيرة. وتسمى العملية tokenization.

أمثلة

1. This tokenizer splits long Turkish words into many pieces, so our prompts cost more.

   يقسم هذا المجزئ الكلمات التركية الطويلة إلى أجزاء كثيرة، فتزداد كلفة موجهاتنا.

   زيادة عدد الرموز ترفع استهلاك الرموز المحسوبة لكل طلب.

2. Make sure you load the tokenizer from the same checkpoint as the model.

   تأكد من تحميل المجزئ من نقطة التحقق نفسها التي جاء منها النموذج.

   يجب توافق قواعد تقسيم النص مع النموذج الذي دُرب على تلك الرموز.

تراكيب شائعة

• load the tokenizer
• tokenizer vocabulary
• subword tokenizer
• tokenization

مصطلحات ذات صلة

• tokenوحدة نصية
• preprocessingالمعالجة المسبقة
• natural language processingمعالجة اللغة الطبيعية
• embeddingتمثيل تضميني

معنى الكلمة في مجالات أخرى

قد يختلف معنى الكلمة الإنجليزية نفسها من مجال إلى آخر:

• tokenizer · تطوير البرمجيات

مصطلحات أخرى: معالجة اللغة الطبيعية

• sentiment analysis · تحليل المشاعر
• named entity recognition · التعرف على الكيانات المسماة
• corpus · متن لغوي