Введіть щонайменше 2 символи для пошуку в усіх галузях.
Що означає attention?
Значення й приклади · Розробка програмного забезпечення
attention: механізм уваги, attention
Механізм, що дає моделі змогу визначати, які частини входу найважливіші для кожної його частини, і надавати їм більшу вагу під час формування виходу.
Де і як уживається
Це ключова ідея трансформера. Інженери говорять про self-attention, attention heads, attention layers та attention maps. Оскільки обчислювальна вартість швидко зростає з довжиною входу, багато досліджень спрямовано на прискорення уваги.
Приклади речень
The attention maps suggest the model focuses on the drug name when it answers.
За картами уваги схоже, що під час відповіді модель зосереджується на назві препарату.
Карта показує, які частини вхідного тексту мали більшу вагу для відповіді.
Each layer has 16 attention heads.
У кожному шарі є 16 голів уваги.
У реченні attention heads позначає окремі механізми уваги в шарі трансформера.
Поширені словосполучення
- self-attention
- attention head
- attention layer
- attention mechanism
- attention map
Пов’язані терміни
Це слово в інших галузях
Те саме англійське слово може мати інше значення в іншій галузі:
Інші терміни: Машинне навчання й обробка даних
- artificial intelligence · штучний інтелект
- machine learning · машинне навчання
- model · модель
- dataset · набір даних
- training data · тренувальні дані
- label · мітка
- train · навчати модель
- supervised learning · навчання з учителем
- deep learning · глибинне навчання
- loss function · функція втрат
- overfitting · перенавчання
- test set · тестова вибірка
Закріплюйте лексику читанням
Тексти відповідного рівня допомагають запам’ятовувати нові слова. Оберіть безкоштовні книжки англійською: