Раскопки реальности: два режима обучения нейросети на примере модели Изинга ✛ ✦

Оригинал: "Interpreting learning dynamics of autoencoders: Transient scaling and emerging concepts of the Ising model"
· Max Weinmann, Miriam Klopotek
arXiv:2607.10285 · 2026-07-11 · CC BY 4.0 · 2 мин
Без подсказок нейросеть извлекает из хаоса спинов намагниченность и энергию — сначала схватывая общие очертания, затем прорабатывая детали.

Машинное обучение давно перестало быть просто инструментом — оно становится исследователем, самостоятельно выуживающим законы природы из данных. Но как кремниевый разум приходит к пониманию? Чтобы подсмотреть этот процесс, физики обратились к игрушечной, но глубокой модели — решётке Изинга, где спины танцуют под диктовку температуры. Классическая задача статистической механики, сформулированная ещё Людвигом Больцманом, оказалась идеальным полигоном. Автокодировщик (нейросеть, сжимающая и восстанавливающая данные) обучался на миллионах спиновых узоров, и за его метаморфозами учёные следили с дотошностью натуралистов.

Модель Изинга, придуманная для магнетизма, сегодня описывает стаи птиц, нейронную активность и даже финансовые пузыри — её универсальность поражает.

Обучение автокодировщика подобно археологическим раскопкам. Сначала из песка проступают массивные стены — это намагниченность, глобальный параметр порядка, который сеть улавливает почти мгновенно. Затем, слой за слоем, вскрываются мозаики полов и надписи на амфорах — это энергия, тонкие корреляции между соседними спинами. Смена фокуса происходит сама собой, без подсказок: нейросеть словно знает, что сперва нужно схватить общую форму, а потом уже детали.

Исследователи, манипулируя глубиной сети и темпом обучения, обнаружили два чётких динамических режима. Мелкие сети и низкие скорости обучения плавно переключаются от намагниченности к энергии. Но глубокие архитектуры при высоком темпе застревают — как лопата, наткнувшаяся на скальную породу. Они выдают лишь усреднённый узор, так и не добираясь до тонких корреляций.

Этот сценарий перекликается с эффектами стеклования, изучаемыми в квантовой термодинамике: система застывает в неоптимальном состоянии, не достигнув глобального минимума. Внутри сети возникает топологическая стабильность: форма пути в латентном пространстве не меняется, даже когда ошибка ещё велика, — будто план города уже набросан, а дома только предстоит построить. Измеряя ошибку на разных масштабах, учёные проследили, как сеть наращивает организованность, снижая энтропию своих предсказаний. Топологическая устойчивость напоминает глобальное магнитное поле магнетара — структура задана раньше, чем достигается точность.

При расширении «бутылочного горлышка» до 64 нейронов конфликт между масштабами исчезает — сеть может одновременно помнить и общую намагниченность, и мельчайшие детали, подобно магнитному пересоединению, перекраивающему топологию поля.

Эта история не только о спиновых решётках. Она проступает как общий принцип: обучение нейросетей можно понять как каскад нарушений симметрии, где сначала возникают глобальные концепты, а затем локальные. Такая иерархия сближает машинное обучение с критическими явлениями, которые изучал Лев Ландау. Возможно, методы ренормгруппы, отточенные на фазовых переходах в сверхпроводниках и бозе-эйнштейновских конденсатах, помогут заглянуть в чёрный ящик глубоких сетей. Если мы научимся направлять самоорганизацию концептов, нейросети смогут самостоятельно открывать законы физики в незнакомых данных — от турбулентности до квантовых материалов. В перспективе это шаг к искусственному учёному, который не просто распознаёт образы, а выводит уравнения. Задумайтесь: возможно, законы, которые мы считаем фундаментальными, — лишь крупнозернистые артефакты ещё более глубокой структуры, и нейросеть однажды покажет нам это наглядно.

Придуманная почти век назад для магнетизма, модель Изинга сегодня объясняет коллективное поведение от стай птиц до биржевых паник — словно природа спрятала единый ключ к сложности.

E = -J \sum_{\langle ij\rangle} s_i s_j
Сумма по парам соседей: соседние спины, указывающие одинаково, снижают энергию.
p(s) = \frac{1}{Z} e^{-E/k_B T}
Чем выше энергия состояния, тем оно менее вероятно; Z — нормировочный коэффициент.
Учёные
Andrey Markov
Понятия
автоэнкодер самонаблюдаемое обучение обучение обучение обучающие данные модель Изинга квантовая модель Изинга переобучение обобщение моделирование эмерджентной сложности физически информированная нейронная сеть параметр нейронное усвоение языка агент динамические системы классификатор самокоррекция ИИ стохастическая динамическая система набор данных межатомный потенциал, обученный машинным обучением