ما معنى tokenizer؟

طريقة الاستخدام

لكل نموذج مجزئه، واستخدام مجزئ غير مناسب يفسد النتائج. ينظر المهندسون إلى حجم المفردات وكفاءة معالجة اللغة؛ فقد يقسم المجزئ الكلمات التركية إلى وحدات صغيرة كثيرة. وتسمى العملية tokenization.

أمثلة

1. This tokenizer splits long Turkish words into many pieces, so our prompts cost more.

   يقسم هذا المجزئ الكلمات التركية الطويلة إلى أجزاء كثيرة، فتزداد كلفة موجهاتنا.

   زيادة عدد الرموز ترفع استهلاك الرموز المحسوبة لكل طلب.

2. Make sure you load the tokenizer from the same checkpoint as the model.

   تأكد من تحميل المجزئ من نقطة التحقق نفسها التي جاء منها النموذج.

   يجب توافق قواعد تقسيم النص مع النموذج الذي دُرب على تلك الرموز.

تراكيب شائعة

• load the tokenizer
• tokenizer vocabulary
• subword tokenizer
• tokenization

مصطلحات ذات صلة

• tokenرمز وصول
• preprocessingالمعالجة المسبقة
• natural language processingمعالجة اللغة الطبيعية
• embeddingتمثيل تضميني

معنى الكلمة في مجالات أخرى

قد يختلف معنى الكلمة الإنجليزية نفسها من مجال إلى آخر:

• tokenizer · الذكاء الاصطناعي وتعلّم الآلة

مصطلحات أخرى: تعلّم الآلة ومعالجة البيانات

• artificial intelligence · الذكاء الاصطناعي
• machine learning · التعلم الآلي
• model · نموذج
• dataset · مجموعة بيانات
• training data · بيانات التدريب
• label · وسم
• train · يدرّب نموذجاً
• supervised learning · التعلم الخاضع للإشراف
• neural network · شبكة عصبية
• deep learning · التعلم العميق
• loss function · دالة الخسارة
• overfitting · فرط التكيّف