Що означає activation function?

Де і як уживається

Поширені приклади — ReLU, sigmoid, tanh і GELU. Без функцій активації навіть глибока мережа поводилася б як один лінійний шар. Інженери обирають або замінюють функцію активації під час проєктування архітектури.

Приклади речень

1. Try ReLU as the activation function in the hidden layers and sigmoid at the output.

   Спробуйте ReLU як функцію активації у прихованих шарах, а sigmoid — на виході.

   Приклад задає різні функції для прихованих шарів і вихідного шару.

2. Which activation function does this transformer use?

   Яку функцію активації використовує цей трансформер?

   Запит стосується конкретного вибору нелінійності в архітектурі моделі.

Поширені словосполучення

• ReLU activation function
• choose an activation function
• non-linear activation function
• output activation