Представлена архитектура IAFormer, основанная на модели Transformer, которая эффективно интегрирует парные взаимодействия частиц через динамический механизм разреженного внимания. В отличие от предыдущих моделей, матрица внимания строится на основе предопределённых лоренц-инвариантных парных величин, что существенно сокращает число параметров. Второе новшество — «дифференциальное внимание», позволяющее динамически приоритизировать релевантные токены частиц и снижать вычислительные затраты на малоинформативные. Благодаря этому сложность модели уменьшается на порядок по сравнению с Particle Transformer без потери точности: IAFormer достигает передовых результатов в задачах классификации на наборах данных топ-кварков и кварк-глюонных струй. Анализ интерпретируемости подтверждает, что модель послойно извлекает физически содержательную информацию через механизм разреженного внимания, формируя устойчивый к статистическим флуктуациям выход. Результаты подчёркивают необходимость использования разреженного внимания в анализе на основе Transformer для уменьшения размера сети при одновременном повышении производительности.
Шеф-повар на многолюдной кухне не следит за каждой кастрюлей: он бросает взгляд лишь на то, что кипит, шипит или вот-вот пригорит. Так и IAFormer — нейросеть для анализа столкновений частиц — не тратит время на все возможные пары частиц. Её «ленивое» внимание динамически выхватывает лишь те сочетания, которые действительно важны, подобно тому как Стандартная модель описывает только ключевые взаимодействия, игнорируя шум.
Но главная хитрость IAFormer в том, что она использует особые числа, которые не зависят от скорости движения частиц — как рецепт, который работает одинаково, будь кухня неподвижна или мчится в поезде. Эти инварианты, связанные со скоростью света, резко сокращают настройки сети, делая модель прозрачной. Физики видят, как она слой за слоем отсеивает случайные всплески и накапливает понимание физики.
Удивительно, но модель настолько легка, что работает на ноутбуке, обрабатывая данные быстрее, чем идут столкновения.
🎯 Топ-кварк — самая тяжёлая из всех известных элементарных частиц, его масса примерно как у целого атома вольфрама, но он распадается за 10^−25 секунды, не успевая ни с чем связаться.