
Механизм внимания — это вычислительный процесс, который динамически сосредотачивается на значимых частях входных данных; применяется в координации взгляда, сенсорной обработке и управлении движениями.Механизм внимания — вычислительный приём, который позволяет модели динамически взвешивать значимость разных частей входных данных. В отличие от фиксированных свёрток, внимание адаптируется под конкретный пример: слово «кран» (водопроводный или строительный) получит разное окружение в зависимости от контекста. Как режиссёр, переводящий прожектор с одного актёра на другого, внимание перераспределяет свет в зависимости от мизансцены.
Концепция внимания в ИИ восходит к идеям 1960-х о зрительном поиске. В нейросетях первыми реализациями были системы выравнивания для машинного перевода (Bahdanau et al., 2014). Затем механизм стал модульным с «Attention is All You Need» (2017), где был превращён в самодостаточный строительный блок — самовнимание в трансформере.
Вычисляются три матрицы: запросы Q, ключи K, значения V (линейные проекции входов). Для каждого запроса считаются скалярные произведения со всеми ключами, масштабируются на √d_k, преобразуются softmax в вероятностное распределение. Эти вероятности используются как веса для суммирования значений. Многоголовое внимание повторяет процедуру несколько раз с разными проекциями, улавливая различные типы взаимосвязей.
Умные камеры, что следят за движением, и системы перевода, схватывающие смысл длинной фразы, работают именно так.
В зрительной системе человека тоже есть аналог — избирательное внимание: мозг усиливает сигнал от нужного объекта и подавляет остальное.
| Q | переменная | Матрица запросов — query matrix |
| K | переменная | Матрица ключей — key matrix |
| V | переменная | Матрица значений — value matrix |
| d_k | переменная | Размерность ключей — размерность |
| softmax | оператор | Нормализует строки до распределений вероятностей — softmax function |
| ⊤ | оператор | Транспонирование матрицы — transpose operator |
| √ | оператор | Квадратный корень — квадратный корень |
















