Введите хотя бы 2 символа для поиска по всем отраслям.
Что значит pretraining?
Значение и примеры · Искусственный интеллект
pretraining: предварительное обучение, предобучение
Первый и самый масштабный этап обучения, на котором модель усваивает общие закономерности из огромного объема преимущественно неразмеченных данных перед адаптацией к конкретным задачам.
Где и как употребляется
Для LLM предобучение обычно означает предсказание следующего токена на триллионах токенов текста и является самым дорогим этапом. Затем следуют дообучение и RLHF. Также пишут pre-training; прилагательное — pretrained.
Примеры предложений
Pretraining took eight weeks on a few thousand GPUs.
Предварительное обучение заняло восемь недель на нескольких тысячах GPU.
Указаны длительность и вычислительный масштаб начального этапа.
We don't do pretraining ourselves; we fine-tune open models.
Мы сами не проводим предварительное обучение, а дообучаем модели с открытыми весами.
Команда берет уже предобученные модели и адаптирует их к своей задаче.
Распространённые словосочетания
- pretraining data
- pretraining run
- large-scale pretraining
- pretrained model
Связанные термины
Это слово в других отраслях
Одно и то же английское слово может иметь другое значение в другой отрасли:
Другие термины: Большие языковые модели
Закрепляйте лексику чтением
Тексты подходящего уровня помогают запоминать новые слова. Выберите бесплатные книги на английском: