Що означає pretraining?

Де і як уживається

Для великих мовних моделей попереднє навчання зазвичай означає прогнозування наступного токена на трильйонах текстових токенів і є найдорожчим етапом. Далі йдуть етапи post-training, як-от fine-tuning і RLHF. Також пишуть pre-training; прикметник — pretrained.

Приклади речень

1. Pretraining took eight weeks on a few thousand GPUs.

   Попереднє навчання тривало вісім тижнів на кількох тисячах GPU.

   Приклад підкреслює значний обсяг обчислень і часу на цьому початковому етапі.

2. We don't do pretraining ourselves; we fine-tune open models.

   Ми самі не проводимо попереднє навчання, а донавчаємо відкриті моделі.

   Команда бере готові базові моделі й адаптує їх, не навчаючи з нуля.

Поширені словосполучення

• pretraining data
• pretraining run
• large-scale pretraining
• pretrained model