Введите хотя бы 2 символа для поиска по всем отраслям.
Что значит learning rate?
Значение и примеры · Разработка программного обеспечения
learning rate: скорость обучения, темп обучения
Гиперпараметр, задающий размер шага при каждом обновлении параметров модели. Слишком большое значение делает обучение нестабильным, слишком малое — медленным.
Где и как употребляется
Обычно это первый настраиваемый гиперпараметр. Во время обучения применяют расписание скорости: короткий разогрев в начале, затем постепенное снижение. В заметках и коде пишут LR, например 3e-4.
Примеры предложений
The loss exploded after a few hundred steps, so we lowered the learning rate.
Ошибка резко выросла после нескольких сотен шагов, поэтому мы снизили скорость обучения.
Нестабильность указывает на слишком крупные обновления параметров.
We increase the learning rate slowly during the first 1,000 steps as a warm-up.
В первые тысячу шагов мы постепенно повышаем скорость обучения для разогрева.
Плавное наращивание параметра помогает начать обучение без резкого скачка.
Распространённые словосочетания
- lower the learning rate
- learning rate schedule
- learning rate warm-up
- initial learning rate
Связанные термины
Это слово в других отраслях
Одно и то же английское слово может иметь другое значение в другой отрасли:
Другие термины: Машинное обучение и обработка данных
- artificial intelligence · искусственный интеллект
- machine learning · машинное обучение
- model · модель
- dataset · набор данных
- training data · обучающие данные
- label · метка
- train · обучать модель
- supervised learning · обучение с учителем
- neural network · нейронная сеть
- deep learning · глубокое обучение
- loss function · функция потерь
- overfitting · переобучение
Закрепляйте лексику чтением
Тексты подходящего уровня помогают запоминать новые слова. Выберите бесплатные книги на английском: