понятие

механизм внимания

Механизм внимания — это вычислительный процесс, который динамически сосредотачивается на значимых частях входных данных; применяется в координации взгляда, сенсорной обработке и управлении движениями.
28 статей · 1 формула

Описание

Механизм внимания — вычислительный приём, который позволяет модели динамически взвешивать значимость разных частей входных данных. В отличие от фиксированных свёрток, внимание адаптируется под конкретный пример: слово «кран» (водопроводный или строительный) получит разное окружение в зависимости от контекста. Как режиссёр, переводящий прожектор с одного актёра на другого, внимание перераспределяет свет в зависимости от мизансцены.

История

Концепция внимания в ИИ восходит к идеям 1960-х о зрительном поиске. В нейросетях первыми реализациями были системы выравнивания для машинного перевода (Bahdanau et al., 2014). Затем механизм стал модульным с «Attention is All You Need» (2017), где был превращён в самодостаточный строительный блок — самовнимание в трансформере.

Как это работает

Вычисляются три матрицы: запросы Q, ключи K, значения V (линейные проекции входов). Для каждого запроса считаются скалярные произведения со всеми ключами, масштабируются на √d_k, преобразуются softmax в вероятностное распределение. Эти вероятности используются как веса для суммирования значений. Многоголовое внимание повторяет процедуру несколько раз с разными проекциями, улавливая различные типы взаимосвязей.

Где применяется

Умные камеры, что следят за движением, и системы перевода, схватывающие смысл длинной фразы, работают именно так.

Любопытный факт

В зрительной системе человека тоже есть аналог — избирательное внимание: мозг усиливает сигнал от нужного объекта и подавляет остальное.

Граф понятий →

Формулы

$$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^\top}{\sqrt{d_k}}\right)V$$
Веса внимания вычисляются из запросов и ключей, масштабируются по размерности, затем применяются к значениям.
Что в формуле
QпеременнаяМатрица запросов — query matrix
KпеременнаяМатрица ключей — key matrix
VпеременнаяМатрица значений — value matrix
d_kпеременнаяРазмерность ключей — размерность
softmaxоператорНормализует строки до распределений вероятностей — softmax function
⊤операторТранспонирование матрицы — transpose operator
√операторКвадратный корень — квадратный корень
w_t(u,v)=\max(0,\frac{(q_t^v)^\topk_t^u}{\sqrt{r}}z_t^u) · 2607.01148

Статьи по теме · 38

Поршень, который ждёт пустоты
Поршень в цилиндре с газом обычно движется, когда газ давит на него. Но есть поршень, который движется, когда перед ним пусто. Каждые пять секунд он проверяет пространство у своей стенки, и если там никого нет, делает шаг внутрь, сжимая газ без прямого механического усилия. Так работает информационный двигатель: он превращает знание о положении частиц в полезную работу.
Физика и общество2026-08-142 минarXiv:2608.14398экспресс
Когда вместе — это выбор: модель взаимной уверенности
Двое договариваются встретиться, но у каждого свои дела. Один сомневается: а вдруг второй не придёт? И решает не идти. Второй думает так же. Встреча не случается. Так выглядит простой механизм, который разбирают авторы работы: общее дело требует, чтобы каждый вкладывал время, но выгода зависит от того, участвует ли партнёр. В модели каждый человек ведёт список дел, упорядоченных по важности.
Биофизика2026-08-081 минarXiv:2608.08096экспресс
Ухо как активный нелинейный усилитель: биомеханика улитки
Звуковая волна, попадая в ухо, достигает улитки — спирального органа внутреннего уха, заполненного жидкостью. Внутри улитки находится базилярная мембрана — тонкая эластичная перегородка, которая колеблется под действием звука. Но это не пассивная струна: мембрана сама подкачивает энергию в слабые колебания и перестаёт это делать, когда колебания становятся сильными.
Моторный контекст и когнитивная инерция: как движение меняет решения
Человек подбрасывает монетку, чтобы принять решение. Стоя на месте, он видит орла. Делает несколько шагов — и снова бросает. Интуитивно кажется, что ходьба не должна влиять на исход броска. Но что, если сама прогулка меняет то, как часто он решает просто повторить прошлый результат? Именно это проверили исследователи.
Запутанность спешит медленно: парадокс Мпембы в квантовом мире
Горячая вода иногда замерзает быстрее тёплой — этот парадоксальный феномен известен как эффект Мпембы. Теперь нечто подобное обнаружили в квантовой физике: состояние со слабой запутанностью (особой квантовой корреляцией между частицами, при которой их состояния связаны независимо от расстояния) может достичь цели быстрее, чем состояние с изначально более сильной…
Машинное обучение2026-08-022 минarXiv:2608.01481экспресс
Мысль, прочитанная по магнитному полю
Магнитоэнцефалограф — прибор, похожий на шлем с сотнями датчиков, — улавливает слабые магнитные поля, которые создают работающие нейроны. Если человек слушает речь, в этих сигналах прячутся отпечатки услышанных слов. Но достать их оттуда непросто: сигнал от тысяч источников сливается в запутанный клубок.
Машинное обучение2026-08-011 минarXiv:2608.00776экспресс
Химия обретает зрение: как компьютерное зрение улучшает предсказание химических реакций
Прогноз выхода химической реакции — это попытка предсказать урожай, зная лишь состав почвы. Долгое время химики опирались на длинные колонки чисел, так называемые квантовые дескрипторы, которые описывают энергию электронов, но умалчивают о форме молекулы.
Квантовая физика2026-07-251 минarXiv:2607.23179экспресс
Коса из света охлаждает зеркало
Лазерный луч умеет не только нагревать, но и успокаивать движение. Когда свет попадает в ловушку из зеркал, он давит на них — и если правильно настроить цвет луча, давление превращается в мягкое торможение. Так охлаждают крошечные механические колебания почти до абсолютного нуля. Обычно для этого просто подбирают постоянный оттенок лазера и силу его свечения.
Нейрооркестр внимания: вычислительная модель медитативного состояния
Мозг в медитации можно представить как оркестр, где внимание — дирижёр. Когда вы сосредоточены на дыхании, все «инструменты» играют слаженно. Но вот мысль-виолончель берёт фальшивую ноту — это естественное блуждание ума. Опытный дирижёр не паникует: он мгновенно улавливает диссонанс и мягко возвращает оркестр к главной мелодии — дыханию. Учёные построили компьютерную модель этого процесса.
«Диалоги»: русский датасет для эмоционального синтеза речи
Голосовые помощники нередко напоминают повара, который монотонно зачитывает рецепт по бумажке, не вкладывая ни капли аппетита. Новый архив русских диалогов «Диалоги» меняет правила игры. Три актёра в студии, подобно шеф-поварам, замешали 20 часов живых разговоров, приправив их двенадцатью эмоциональными «специями».
Машинное обучение2026-07-141 минarXiv:2607.12771экспресс
Искусственный интеллект освоил логику химических превращений
Приготовление сложного блюда требует чёткого рецепта: сначала нарезать, потом обжарить, добавить специи в нужный момент. Химические превращения тоже идут по пошаговым рецептам — механизмам, где атомы углерода и водорода перестраиваются строго по очереди. Раньше нейросети часто выдумывали несуществующие шаги, как повар-фантазёр, заменяющий соль сахаром.
Как научить камеру видеть быстрее и экономичнее: нейроморфная обработка видео на чипе
Современные системы машинного зрения обретают автономность: инженерам удалось реализовать алгоритм распознавания образов непосредственно на миниатюрном чипе, избавив камеру от необходимости передавать данные на громоздкий компьютер.
Распознавание движений: ключ в позе, а не в траектории
Исследователи отобрали 16 повседневных действий — от мытья посуды до приседаний — и разложили движения на элементарные составляющие, подобно тому, как спектроскоп разделяет свет на спектр частот. Они сравнили три подхода к анализу и обнаружили неожиданный ключ к распознаванию: для идентификации действия достаточно усреднённого стоп-кадра, то есть статичной позы.
Электронный джаз: как самовнимание нейросетей раскрывает квантовую симфонию
Квантовый мир многих тел — это джазовый ансамбль, где каждый электрон импровизирует, непрерывно прислушиваясь ко всем остальным, и общая волновая функция рождается из этого напряжённого диалога.
Медицинская физика2026-06-071 минarXiv:2606.08618экспресс
Как прижать катушку к голове и не промахнуться
Фонарик светит сквозь кожу и кость, чтобы аккуратно включить нейроны в нужной точке мозга. Так работает транскраниальная магнитная стимуляция — катушка на голове создаёт короткие магнитные импульсы, а те запускают электрические сигналы в клетках. Но если фонарик наклонить или отодвинуть, свет уйдёт в сторону.
Когда разум честно говорит «не знаю»
Человек смотрит на дверной замок и видит щель для ключа. Он знает, что ключ вставляют и поворачивают. Но если вместо скважины — сенсорная панель, привычная рамка ломается. Человек не просто ошибается: он понимает, что привычный способ не годится, и может сказать: «Здесь нет места для ключа, нужен другой подход». Такая честная остановка с объяснением — редкость для машин.
Квантовая физика2026-05-201 минarXiv:2605.21206экспресс
Как движение наделяет детектор способностью различать направления
Обычный детектор фотометрии — прибора, измеряющего интенсивность света, — не отличает фотон, пришедший слева, от фотона, пришедшего справа. Но стоит детектору начать движение, как ситуация меняется. Представьте лодочника, который гребёт между двумя флейтистами, играющими одну и ту же ноту.
Как настроить молекулярный мотор, не ломая голову
Завод, где сотни крошечных сборочных линий работают без остановки. Каждая линия — это молекулярный мотор, который превращает химическое топливо в движение. Чтобы мотор ехал быстрее или в нужную сторону, инженер меняет настройки — форму деталей, силу взаимодействий.
Шаг под метроном: как ритм ломает память ходьбы
В комнате тихо, только шаги и внутренний счёт: «раз-два, раз-два». Через минуту походка деревенеет, ноги движутся как поршни. Стоит забыть про счёт и просто идти — тело расслабляется, шаг обретает плавность. Разница между этими двумя состояниями не просто ощущение. Она записана в числах, и эти числа рассказывают, как мозг управляет движением.
Мозг-дирижёр: как теменная область переключает режимы
Мозг постоянно жонглирует задачами: то реагирует на резкий звук, то решает уравнение, то погружается в грёзы. Учёные давно подозревали, что за этим стоят переключения между разными «сценариями» работы нейронных сетей, но выделить их из хаоса электрических сигналов было трудно.
Компьютерное зрение2026-04-251 минarXiv:2604.23137экспресс
Два глаза лучше одного: как нейросеть учится видеть опухоль
Врач разглядывает снимок мозга: где-то в переплетении тканей прячется опухоль. Один взгляд выхватывает мелкие пятна и границы, другой — общую форму и расположение. Человек совмещает оба, но на сотнях снимков это утомительно. Новая программа делает то же самое автоматически. Одна её часть работает как лупа: скользит по изображению и собирает мелкие детали — текстуру, края, локальные изменения.
Обработка сигналов2026-04-041 минarXiv:2604.24765экспресс
Мозг-переводчик: как разные люди слышат один и тот же сигнал
Человек смотрит на мигающие буквы на экране, а компьютер угадывает, какую он выбрал, по всплеску мозговой активности. Это похоже на переводчика, который ловит не слова, а электрические сигналы мозга. Но у разных людей мозг «говорит» с акцентом: у одного сигнал яркий и чёткий, у другого — тихий и смазанный. Учёные решили разобраться, чем именно отличаются эти акценты.
Порошок, который запоминает движения
Горсть песка на столе — просто куча. Но если песчинки правильно потрясти, куча начинает вести себя как память: запоминает, какое движение за каким следует. В новом опыте частицы двигали циклически, и после тренировки они воспроизводили нужный узор даже без полной команды. Секрет в контактах между частицами.
Детектор, который не устаёт
Детектор частиц на Большом адронном коллайдере работает годами без остановки. Его датчики каждую секунду выдают горы данных, и среди них нужно быстро заметить сбой — например, перегрев или сломанный канал. Раньше за этим следили простые правила, но они часто ошибались.
Машинное обучение2026-03-011 минarXiv:2603.02273экспресс
Гены болезни Альцгеймера: новый взгляд через внимание
Болезнь Альцгеймера похожа на запутанный клубок ниток: тысячи генов переплетаются, и трудно понять, какие из них рвутся первыми. Раньше учёные искали важные гены, просто подсчитывая, сколько связей у каждого узла в сети. Но такой подход похож на оценку человека по числу знакомых — не всегда самый общительный оказывается самым влиятельным.
Как выбрать лучшую модель, не гадая на кофейной гуще
Чтобы понять устройство, нужно его пошевелить. Ребёнок, разбирающий будильник, не просто смотрит на шестерёнки — он крутит колёсико и слушает, как меняется тиканье. Так и учёные: вместо пассивного наблюдения они подают на вход системы специально подобранные сигналы и смотрят на отклик.
Машинное обучение2026-02-281 минarXiv:2603.00786экспресс
Как мозг перестраивается при болезни Альцгеймера
Мозг — это не один большой компьютер, а скорее оркестр, где разные группы музыкантов играют свои партии. Сети нейронов, отвечающие за память, внимание или эмоции, постоянно переговариваются. При болезни Альцгеймера этот оркестр начинает фальшивить: одни группы замолкают, другие играют невпопад. Но как это увидеть на снимке мозга? Учёные придумали хитрый способ.
Машинное обучение2026-02-211 минarXiv:2602.18679экспресс
Как нейросеть предсказывает невиданное
Турбулентный поток воды в трубе и колебания маятника кажутся непохожими. Но внутри у них есть общее: оба подчиняются своим законам движения, которые можно описать числами. Нейросеть, обученная только на одном таком «танце» чисел, вдруг начинает понимать другой — без единого дополнительного примера. Это как музыкант, который выучил одну мелодию, а потом с листа играет незнакомую пьесу, уловив её гармонию.
Прогноз, который помнит о цикле
Солнечная панель на крыше утром даёт мало тока, в полдень — много, а ночью молчит. Ветер тоже дует не как попало: утром и вечером часто сильнее, чем днём. Энергетикам нужно знать заранее, сколько энергии будет через час или три, чтобы вовремя включать резервные станции или запасать электричество в батареях.
Геномика2026-02-191 минarXiv:2602.17532экспресс
О чём молчат умные клетки: внимание без пользы
Внутри клетки кипит работа: тысячи генов включаются и выключаются, как лампочки на огромном табло. Нейросети, обученные читать это табло, научились угадывать, что произойдёт, если «выключить» один ген или добавить лекарство. Но как именно они это делают — загадка.
Слишком яркая вспышка ослепляет камеру
Камера, которая снимает не свет, а поток электронов, отражённых от кристалла, — это гибридный пиксельный детектор. Он умеет считать каждый попавший в него электрон, почти не создавая собственного шума. В обычном режиме, когда пучок электронов льётся непрерывно, детектор работает отлично.
Почерк взгляда: как глаза и рука договариваются о времени
Когда рука ведёт линию, взгляд почти всегда бежит впереди — как разведчик, который заглядывает за поворот до того, как туда свернёт колонна. Но насколько далеко впереди? Оказалось, у каждого человека это расстояние своё, и оно не меняется от попытки к попытке.
Память под нагрузкой: как тревога управляет воспоминаниями
Человек пытается не думать о ссоре, которая случилась утром, но в голову лезут яркие картинки. Одновременно он готовит отчёт и держит в уме цифры. Получается плохо: память мешает работе, а работа не даёт забыть. Учёные решили проверить, как мозг справляется с такой двойной нагрузкой у людей с разным уровнем тревожности. В опыте участвовали 47 здоровых добровольцев.
Как остановка движения становится наградой
Участок мозга размером с горошину заставляет крысу замереть на полушаге. Лазерный луч попадает на светочувствительные клетки, и животное останавливается, будто наткнулось на невидимую стену. Так работает ростральное педункулопонтинное ядро — скопление нейронов в стволе мозга, которое управляет движением. Авторы работы собрали недорогую установку с камерой и мини-компьютером.
Память в оптомеханике: лазерный дирижёр учит свет и звук помнить
В тёмной комнате резонатор ловит свет, как паутина ловит капли росы. Лазерный импульс врывается внутрь — и механическая мембрана начинает дрожать в такт, оставляя след в самой ткани системы. Так рождается память: не в кремниевой ячейке, а в танце фотонов и фононов.
IAFormer: разреженное внимание для анализа столкновений
На Большом адронном коллайдере каждую секунду рождаются миллионы струй — потоков частиц, вылетающих из одного кварка или глюона. Отличить струю от топ-кварка от струи от обычного кварка — задача, от которой зависит охота за новой физикой. Современные нейросети-трансформеры умеют это делать с высокой точностью, но платят за неё гигантским числом параметров и вычислений.
SFANet: переводчик, который слышит и слова, и интонацию
Переводчик на переговорах улавливает не только слова, но и тон, с которым они сказаны. Если он сосредоточится только на лексике, то пропустит сарказм или усталость в голосе. Если только на интонации — переврёт детали договора. В прогнозе погоды происходит похожая история: спутниковые снимки несут и локальные детали вроде грозовых ячеек, и глобальные волны, которые тянутся через весь океан.
Кубики внимания для прогноза погоды
Метеоролог смотрит на карту, где облака сбиваются в стаи, как птицы перед грозой. Каждое пятно на радаре — это будущий ливень или просто шум. Прогноз земной системы похож на попытку собрать пазл из тысяч кусочков, которые постоянно меняют форму. Долгие годы синоптики полагались на численные модели, которые перемалывают уравнения физики атмосферы и океана.