Словарь
Механизм внимания
Основная операция нейросетей-трансформеров. Каждый элемент входа, например токен текста или фрагмент кадра, сопоставляется с остальными, и модель решает, какие из них важны для его обработки (attention). В обычном варианте каждый элемент сравнивается с каждым, поэтому объём вычислений растёт квадратично с длиной входа. Поэтому для длинных текстов и видео разрабатывают ускоренные и разреженные варианты внимания.