ما معنى token؟
المعنى في مجال الذكاء الاصطناعي وتعلّم الآلة مع أمثلة
token: وحدة نصية
وحدة صغيرة من النص يقرأها النموذج اللغوي ويكتبها؛ وقد تكون كلمة كاملة أو جزءاً منها أو علامة ترقيم. وتُحسب حدود النماذج وأسعارها غالباً بهذه الوحدات.
طريقة الاستخدام
يشيع في العمل مع النماذج اللغوية الكبيرة: وحدات الإدخال والإخراج، والوحدات في الثانية، والتكلفة لكل مليون وحدة، والحد الأقصى. وفي الإنجليزية تكون الوحدة أقصر قليلاً من الكلمة عادةً؛ أما الكلمات التركية الطويلة فتحتاج غالباً وحدات أكثر.
أمثلة
The prompt is about 3,000 tokens, so it fits easily in the context window.
يبلغ طول الموجّه نحو 3,000 وحدة نصية، لذا يتسع له نطاق السياق بسهولة.
عدد الوحدات يبين أن الموجّه يقع ضمن الحد المتاح للنموذج.
With most providers, output tokens cost more than input tokens.
تتقاضى معظم الجهات الموفرة سعراً أعلى على وحدات الإخراج مقارنةً بوحدات الإدخال.
يوضح المثال اختلاف التسعير بحسب اتجاه النص المعالَج.
تراكيب شائعة
- input tokens
- output tokens
- tokens per second
- token limit
- cost per token
مصطلحات ذات صلة
معنى الكلمة في مجالات أخرى
قد يختلف معنى الكلمة الإنجليزية نفسها من مجال إلى آخر:
مصطلحات أخرى: النماذج اللغوية الكبيرة
تدرّب على القراءة المتدرجة
تساعدك القراءة بالمستوى المناسب على تثبيت المفردات الجديدة. اختر كتبًا إنجليزية مجانية: