Введіть щонайменше 2 символи для пошуку в усіх галузях.
Що означає tokenizer?
Значення й приклади · Розробка програмного забезпечення
tokenizer: токенізатор, розбивач тексту на токени
Компонент, що ділить текст на токени й перетворює їх на числа, зрозумілі моделі, а вихідні числа моделі — назад на текст.
Де і як уживається
Кожна модель має власний токенізатор; неправильний порушує результати. Інженери враховують розмір словника й те, наскільки ефективно токенізатор обробляє мову; деякі розбивають турецькі слова на багато дрібних частин. Процес називається токенізацією.
Приклади речень
This tokenizer splits long Turkish words into many pieces, so our prompts cost more.
Цей токенізатор ділить довгі турецькі слова на багато частин, тому наші промпти дорожчають.
Неефективне розбиття збільшує кількість токенів, а отже й вартість запитів.
Make sure you load the tokenizer from the same checkpoint as the model.
Переконайтеся, що завантажуєте токенізатор із того самого чекпойнта, що й модель.
Токенізатор і модель мають відповідати одній версії параметрів.
Поширені словосполучення
- load the tokenizer
- tokenizer vocabulary
- subword tokenizer
- tokenization
Пов’язані терміни
Це слово в інших галузях
Те саме англійське слово може мати інше значення в іншій галузі:
Інші терміни: Машинне навчання й обробка даних
- artificial intelligence · штучний інтелект
- machine learning · машинне навчання
- model · модель
- dataset · набір даних
- training data · тренувальні дані
- label · мітка
- train · навчати модель
- supervised learning · навчання з учителем
- neural network · нейронна мережа
- deep learning · глибинне навчання
- loss function · функція втрат
- overfitting · перенавчання
Закріплюйте лексику читанням
Тексти відповідного рівня допомагають запам’ятовувати нові слова. Оберіть безкоштовні книжки англійською: