Введіть щонайменше 2 символи для пошуку в усіх галузях.
Що означає token?
Значення й приклади · Штучний інтелект
token: токен, текстова одиниця
Невелика одиниця тексту, яку мовна модель читає й генерує: це може бути ціле слово, його частина або розділовий знак. Ліміти й ціни моделей рахують у токенах.
Де і як уживається
Постійний термін у роботі з LLM: вхідні й вихідні токени, токенів за секунду, ціна за мільйон, максимальна кількість. В англійському тексті токен у середньому трохи коротший за слово; через довгі слова турецькою на одне слово зазвичай потрібно більше токенів.
Приклади речень
The prompt is about 3,000 tokens, so it fits easily in the context window.
Запит містить близько 3000 токенів, тож легко вміщується у вікні контексту.
Обсяг запиту нижчий за доступний контекстний ліміт.
With most providers, output tokens cost more than input tokens.
У більшості провайдерів вихідні токени коштують дорожче за вхідні.
Ціна залежить від того, чи модель генерує, чи читає текст.
Поширені словосполучення
- input tokens
- output tokens
- tokens per second
- token limit
- cost per token
Пов’язані терміни
Це слово в інших галузях
Те саме англійське слово може мати інше значення в іншій галузі:
Інші терміни: Великі мовні моделі
Закріплюйте лексику читанням
Тексти відповідного рівня допомагають запам’ятовувати нові слова. Оберіть безкоштовні книжки англійською: