Введите хотя бы 2 символа для поиска по всем отраслям.
Что значит pretraining?
Значение и примеры · Разработка программного обеспечения
pretraining: предварительное обучение, предобучение
Первый и самый масштабный этап обучения, на котором модель усваивает общие закономерности из огромного объема преимущественно неразмеченных данных перед адаптацией к конкретным задачам.
Где и как употребляется
Для LLM предобучение обычно означает предсказание следующего токена на триллионах токенов текста и является самым дорогим этапом. Затем следуют дообучение и RLHF. Также пишут pre-training; прилагательное — pretrained.
Примеры предложений
Pretraining took eight weeks on a few thousand GPUs.
Предварительное обучение заняло восемь недель на нескольких тысячах GPU.
Указаны длительность и вычислительный масштаб начального этапа.
We don't do pretraining ourselves; we fine-tune open models.
Мы сами не проводим предварительное обучение, а дообучаем модели с открытыми весами.
Команда берет уже предобученные модели и адаптирует их к своей задаче.
Распространённые словосочетания
- pretraining data
- pretraining run
- large-scale pretraining
- pretrained model
Связанные термины
Это слово в других отраслях
Одно и то же английское слово может иметь другое значение в другой отрасли:
Другие термины: Машинное обучение и обработка данных
- artificial intelligence · искусственный интеллект
- machine learning · машинное обучение
- model · модель
- dataset · набор данных
- training data · обучающие данные
- label · метка
- train · обучать модель
- supervised learning · обучение с учителем
- neural network · нейронная сеть
- deep learning · глубокое обучение
- loss function · функция потерь
- overfitting · переобучение
Закрепляйте лексику чтением
Тексты подходящего уровня помогают запоминать новые слова. Выберите бесплатные книги на английском: