Введите хотя бы 2 символа для поиска по всем отраслям.
Что значит attention?
Значение и примеры · Искусственный интеллект
attention: механизм внимания, attention
Механизм, позволяющий модели определять, какие части входных данных наиболее важны для каждой части результата, и сильнее учитывать их при генерации.
Где и как употребляется
Это ключевая идея трансформера. Говорят о self-attention, головах, слоях и картах внимания. Поскольку вычислительная стоимость быстро растет с длиной входа, исследования направлены на ускорение механизма.
Примеры предложений
The attention maps suggest the model focuses on the drug name when it answers.
Карты внимания показывают, что при ответе модель сосредоточивается на названии лекарства.
Визуализация указывает, какой фрагмент входа связан с ответом о препарате.
Each layer has 16 attention heads.
В каждом слое 16 голов внимания.
Указано число параллельных подмеханизмов внимания в одном слое.
Распространённые словосочетания
- self-attention
- attention head
- attention layer
- attention mechanism
- attention map
Связанные термины
Это слово в других отраслях
Одно и то же английское слово может иметь другое значение в другой отрасли:
Другие термины: Нейронные сети и глубокое обучение
Закрепляйте лексику чтением
Тексты подходящего уровня помогают запоминать новые слова. Выберите бесплатные книги на английском: