Самоорганизованная критичность в глубоких нейронных сетях ✛
Контекст
Вблизи фазовых переходов системы проявляют коллективные свойства: повышенную восприимчивость, дальние корреляции и широкий репертуар динамических откликов, полезных для вычислений и памяти. Вместе с эмпирическими признаками критичности в нейронной активности это породило гипотезу, что мозг работает вблизи критического состояния. Самоорганизованная критичность даёт механизм возникновения таких состояний без внешней настройки. В адаптивных сетях обратная связь между быстрой динамикой и медленной структурной адаптацией может вести к самоорганизации. Простое локальное правило — неактивные узлы получают связи, активные теряют — выводит глобальную связность к критической точке. Аналогичные принципы работают в биологически реалистичных нейронных сетях, где активность-зависимая синаптическая пластичность самоорганизует динамику к критичности. В области глубокого обучения сети обычно контролируют глобальными оптимизационными целями или внешними архитектурными параметрами. Прямое поддержание критичности через якобиан требует явного знания глобального свойства сети. Адаптивная самоорганизация предлагает качественно иную возможность: сеть регулирует глобальное состояние через локальную пластичность, не измеряя расстояние до критической точки. Работа стоит на отшибе: ближайшие соседи в архиве занимаются динамикой мозга, рекуррентными сетями и синаптической пластичностью, но никто не проверял, может ли локальная гомеостатическая пластичность сама выводить глубокие сети прямого распространения в критическое состояние.
Методы
Рассматривались полносвязные многослойные перцептроны с 9 скрытыми слоями по 1000 или 1600 нейронов. Динамика описывалась дискретным отображением слоя в слой с активацией вида масштабированный гиперболический тангенс. Веса инициализировались равномерно в диапазоне [−0.05, 0.05] и умножались на глобальный множитель m, задающий силу связи. Для количественной оценки использовали два показателя: параметр ветвления σ — отношение средней активности выходного слоя к входному, и наибольший конечновременной показатель Ляпунова λ0, вычисляемый через сингулярные числа якобиана вход-выход с помощью автоматического дифференцирования PyTorch. Локальное правило: активность нейрона определялась как стандартное отклонение его активаций по батчу изображений MNIST. Порог T равен средней активности входного слоя. Если активность ниже порога — нейрон неактивен, случайное входящее соединение усиливается на фиксированный шаг c; если выше — ослабляется. За одну итерацию 50% нейронов оценивали активность и обновляли 1% входящих связей. При совместном обучении сначала выполнялся шаг стохастического градиентного спуска, затем гомеостатическое обновление. Использовался датасет MNIST, 60 000 обучающих и 10 000 тестовых изображений, скорость обучения 10⁻³, без момента.
Результаты
Сети инициализировали в широком диапазоне силы связи — от сильно субкритического (m=0.25, активность затухает за несколько слоёв) до сверхкритического (m=2.0, активность растёт от слоя к слою). После 20 эпох гомеостатической адаптации все сети сошлись к общему стационарному состоянию: активность стала примерно сохраняться по глубине, параметр ветвления σ приблизился к 1, максимальный показатель Ляпунова λ0 — к 0, а средняя сила связи — к общему асимптотическому значению. Это произошло независимо от начальных условий. При обучении с градиентным спуском без гомеостаза сеть уходила в сверхкритический режим: λ0 становился положительным. Добавление гомеостатического обновления противодействовало этому дрейфу пропорционально шагу c. При достаточно большом c сеть оставалась вблизи критической точки на протяжении всего обучения. Однако точность классификации падала с ростом c: чистый SGD давал наивысшую точность, а усиление гомеостаза прогрессивно ухудшало результат. Косинусное сходство между векторами обновлений SGD и SOC было низким и отрицательным, указывая, что два механизма двигают веса в существенно разных направлениях в пространстве параметров.
Значение
Работа показывает, что глубокая сеть прямого распространения может автономно приближаться к критическому режиму через чисто локальную активность-зависимую синаптическую адаптацию. Это расширяет адаптивную самоорганизацию к критичности, ранее демонстрировавшуюся в основном в абстрактных пороговых сетях и моделях биологических нейронных систем, на современные глубокие сети. Ключевой механизм — отрицательная обратная связь между локальной динамикой и эффективным управляющим параметром системы. Локальная нейронная активность выступает датчиком глобальной динамической фазы: избыточная активность ослабляет синаптические взаимодействия, недостаточная — усиливает. Хотя фазовый переход — коллективное свойство всей сети, локальная активность содержит достаточно информации о том, по какую сторону перехода находится система, чтобы вернуть её в критическую область. В отличие от соседних работ, которые либо изучают биологические сети, либо используют глобальные ограничения, здесь впервые показана возможность чисто локальной самоорганизации в глубоких сетях прямого распространения.
Развитие
В нынешнем виде SOC-механизм не улучшает обучение с учителем, а конкурирует с ним. Низкое выравнивание между градиентными и гомеостатическими обновлениями указывает на то, что два механизма оптимизируют разные цели. Решение может лежать в объединении сигнала задачи и критичности в общем правиле пластичности — например, через глобальный модулирующий сигнал в сочетании с локальной активностью. Разработка таких скоординированных правил обучения — важное направление будущей работы.
Влияние
Результаты могут повлиять на разработку методов стабилизации обучения глубоких сетей и предотвращения динамических сбоев, таких как потеря пластичности и коллапс модели.
Следующие шаги
Разработать правила пластичности, которые согласуют гомеостатическую регуляцию критичности с оптимизацией целевой функции, возможно, через модулирующий сигнал.
Ключевые проблемы
Работа связывает самоорганизованную критичность с проблемой устойчивого обучения глубоких сетей: как поддерживать благоприятный динамический режим без ущерба для оптимизации задачи. Это перекликается с нерешённым вопросом о том, как мозг сочетает множество форм синаптической пластичности для одновременной регуляции функции и стабильности.
Взгляд машины знаний
Этот раздел адресован автору работы и его коллегам. Соседние работы нашёл смысловой поиск по нашему архиву — не по совпадению слов, а по смыслу. Мы не рецензируем: мы показываем поле вокруг.
Что сделано в работе
В работе показано, что локальное гомеостатическое правило (активные нейроны ослабляют входящие связи, неактивные усиливают) само выводит полносвязные глубокие сети прямого распространения в критическое состояние, оцениваемое по параметру ветвления и показателю Ляпунова. При совместном обучении с градиентным спуском гомеостаз противодействует сверхкритичности, но конкурирует с оптимизацией задачи.
В чём сила
Сила работы в демонстрации того, что глобальная критичность может возникать из чисто локальной пластичности без явного контроля глобальных свойств, и в количественном анализе взаимодействия гомеостаза с градиентным обучением.
Куда можно двигаться
- Может быть интересно сопоставить наблюдаемую самоорганизацию с механизмами, поддерживающими критические состояния в биологически реалистичных сетях, где активность-зависимая пластичность также ведёт к критичности.опора: Как мозг балансирует на грани arXiv:2604.21832
- Рядом лежит работа о том, как ограничения на связность (например, невозможность нейронов соединяться со всеми подряд) влияют на динамику сети — это может подсказать, как локальное правило работает в разреженных архитектурах.опора: Почему нейроны не могут дружить со всеми подряд arXiv:2603.19320
- В архиве есть разбор того, как слабые агенты захватывают сети за счёт локальных взаимодействий; возможно, аналогичные принципы самоорганизации помогут понять, как гомеостаз взаимодействует с обучением в более сложных архитектурах.опора: Как слабые ИИ-агенты захватывают сети: кристаллизация неравенства arXiv:2607.01148
Что можно попробовать
- Проверить, сохраняется ли самоорганизация к критичности при использовании разреженных связей или свёрточных архитектур.
- Исследовать, можно ли уменьшить конфликт между гомеостазом и градиентным спуском, например, применяя гомеостаз только к части слоёв или с переменным шагом.
- Использовать в качестве метрики критичности не только параметр ветвления и показатель Ляпунова, но и другие индикаторы, такие как распределение размеров лавин активности.
Почему это может быть важно
Если локальная пластичность может автоматически удерживать глубокие сети в критическом режиме, это открывает путь к более устойчивым и адаптивным архитектурам, которые не требуют тщательной настройки инициализации или внешнего контроля динамики.
Работы рядом в нашем архиве
- Как мозг балансирует на граниблизость 0.53
- Газ, который притворяется мозгомблизость 0.52
- Как мозг учится предвидеть без подсказокблизость 0.51
- Почему нейроны не могут дружить со всеми подрядблизость 0.50
- Клеточный оркестр: как гены учатся играть в такт с хаосомблизость 0.50
- Деление, сохраняющее непрерывность памятиблизость 0.50
- Как слабые ИИ-агенты захватывают сети: кристаллизация неравенстваблизость 0.48
Вокруг этой работы в архиве пусто: ближайший разбор всего на 0.53, при обычных 0.64. Похоже, рядом почти не бурили.
Правило гомеостаза настолько простое, что его можно описать одной строкой: если нейрон слишком активен — ослабь входящую связь, если слишком пассивен — усиль. И этого достаточно, чтобы сеть сама нашла критическую точку.
Ключевые числа
- capas ocultas: 9
- neuronas por capa: 1000–1600
- paso de homeostasis c: 0.001
- fracción de neuronas actualizadas por iteración: 50%
- épocas de adaptación: 20