Що означає learning rate?

Де і як уживається

Зазвичай це перший гіперпараметр, який налаштовують. Його часто змінюють за розкладом: короткий розігрів на початку й поступове зниження пізніше. У нотатках і коді пишуть LR, наприклад LR of 3e-4.

Приклади речень

1. The loss exploded after a few hundred steps, so we lowered the learning rate.

   Втрати різко зросли після кількох сотень кроків, тож ми знизили швидкість навчання.

   Зменшення кроку оновлення має стабілізувати оптимізацію.

2. We increase the learning rate slowly during the first 1,000 steps as a warm-up.

   Протягом перших 1 000 кроків ми повільно підвищуємо швидкість навчання як розігрів.

   Поступовий старт допомагає уникнути надто різких оновлень на початку.

Поширені словосполучення

• lower the learning rate
• learning rate schedule
• learning rate warm-up
• initial learning rate