На Большом адронном коллайдере каждую секунду рождаются миллионы струй — потоков частиц, вылетающих из одного кварка или глюона. Отличить струю от топ-кварка от струи от обычного кварка — задача, от которой зависит охота за новой физикой. Современные нейросети-трансформеры умеют это делать с высокой точностью, но платят за неё гигантским числом параметров и вычислений. IAFormer предлагает иной путь: вместо того чтобы слушать всех ораторов в зале, переводчик отфильтровывает фоновый шум и сосредотачивается только на ключевых голосах.

В обычном трансформере каждая частица в струе сравнивается с каждой через скалярное произведение запросов и ключей. IAFormer заменяет это на обучаемую матрицу попарных взаимодействий, которая зависит от лоренц-инвариантных величин — массы пары, углового расстояния, поперечного импульса. Внимание вычисляется как разность двух копий этой матрицы с коэффициентом β, который сеть настраивает сама. β подавляет вклад нерелевантных пар, и разреженное внимание игнорирует мягкое излучение — тот самый фоновый шум. В результате число параметров падает с 2.14 миллиона (у модели ParT) до 211 тысяч, а точность на задаче распознавания топ-кварков достигает 0.942.

Интерпретационный анализ показывает: β растёт в первых слоях и падает к последним. Сеть сначала строит устойчивые коллективные переменные, а затем отбрасывает лишнюю информацию. Карты внимания подтверждают, что IAFormer выделяет физически значимые структуры слой за слоем — как хороший переводчик, который в начале совещания улавливает общий смысл, а к концу отсеивает повторы и шум.

Раньше казалось, что для точного тегирования струй нужны миллионы параметров и сотни миллионов операций. IAFormer показал: физически мотивированная разреженность может заменить избыточную параметризацию. Это меняет представление о необходимой сложности моделей и открывает путь к лёгким, быстрым и интерпретируемым архитектурам для анализа данных LHC. Эксперименты ATLAS и CMS, где важна скорость и точность классификации струй, могут выиграть от такого подхода уже сегодня.