Введите хотя бы 2 символа для поиска по всем отраслям.
Что значит token?
Значение и примеры · Искусственный интеллект
token: токен, текстовая единица
Небольшая единица текста, которую языковая модель читает или генерирует: целое слово, его часть либо знак препинания. Ограничения и стоимость часто считают в токенах.
Где и как употребляется
В работе с LLM говорят о входных и выходных токенах, скорости генерации и максимальном контексте. В веб-безопасности token имеет другое значение — данные доступа.
Примеры предложений
The prompt is about 3,000 tokens, so it fits easily in the context window.
В запросе около 3000 токенов, поэтому он легко помещается в контекстное окно.
Объём запроса сопоставляется с доступным модели размером контекста.
With most providers, output tokens cost more than input tokens.
У большинства поставщиков выходные токены стоят дороже входных.
Фраза сравнивает цену генерируемого текста с ценой переданного модели текста.
Распространённые словосочетания
- input tokens
- output tokens
- tokens per second
- token limit
- cost per token
Связанные термины
Это слово в других отраслях
Одно и то же английское слово может иметь другое значение в другой отрасли:
Другие термины: Большие языковые модели
Закрепляйте лексику чтением
Тексты подходящего уровня помогают запоминать новые слова. Выберите бесплатные книги на английском: