Сеть находит баланс сама, без термометра ✛

Оригинал: "Adaptive self-organized criticality in deep neural networks"

arXiv:2608.28431v1 · 2026-08-28 · CC BY 4.0 · 1 мин

Нейроны подстраивают связи по своей активности, и вся сеть выходит на грань между затуханием и взрывом.

Цепочка людей передаёт шёпотом сообщение. Если каждый говорит слишком тихо, сообщение затухнет на полпути. Если слишком громко — к концу оно превратится в какофонию. Но есть режим, когда шёпот доходит до последнего человека без искажений. Учёные называют его критической точкой, и мозг, похоже, работает именно там.

Критическая точка — как температура замерзания воды. Чуть холоднее — лёд, чуть теплее — жидкость. Сеть в этой точке не взрывается и не гаснет.

Раньше считалось, что вывести сеть в критическое состояние можно только снаружи, подкручивая общие параметры. Но в новой работе каждый нейрон получил простое правило: если он слишком активен — ослабь входящую связь, если слишком пассивен — усиль. Это как если бы каждый человек в цепочке сам решал, говорить громче или тише, ориентируясь только на собственный голос.

Учёные проверили это на сети с девятью слоями по тысяче нейронов. Запустили её из разных начальных состояний — от почти полной тишины до сильного шума. Через двадцать циклов самонастройки все сети пришли к одному и тому же режиму: активность перестала затухать или расти, а сила связей выровнялась. Сеть сама нашла критическую точку, как вода находит свой уровень.

Но когда к самонастройке добавили обучение распознавать цифры, началась конкуренция. Обычное обучение тянет сеть к решению задачи, а самонастройка — к критичности. Эти две силы мешали друг другу: чем сильнее было саморегулирующее правило, тем хуже сеть распознавала цифры. Пока термостат без термометра работает, но не умеет дружить с задачей.

Весь граф →

Правило гомеостаза настолько простое, что его можно описать одной строкой: если нейрон слишком активен — ослабь входящую связь, если слишком пассивен — усиль. И этого достаточно, чтобы сеть сама нашла критическую точку.

\sigma = \frac{a_{out}}{a_{in}}

σ=1 significa conservación de la actividad al propagarse a través de la red

\lambda_0 = \frac{1}{L} \log(\Lambda_0)

λ0=0 corresponde al punto crítico, donde las perturbaciones ni crecen ni se atenúan

w'_{ij} = \begin{cases} (|w_{ij}| - c) \cdot \operatorname{sgn}(w_{ij}) & \text{если } a_i > T \\ (|w_{ij}| + c) \cdot \operatorname{sgn}(w_{ij}) & \text{если } a_i < T \end{cases}

Una neurona activa debilita la conexión entrante, una inactiva la fortalece

Учёные

Emile Clapeyron

Понятия

глубокая нейронная сеть нейронные сети в пространственном картировании стохастическая самоорганизация динамические системы самокоррекция ИИ генеративно-состязательные сети глубокое обучение в медицинской визуализации случайная сеть обучение стохастическая динамика в биологии ускорение молекулярной динамики хранение информации управление в реальном времени самонаблюдаемое обучение посттранскрипционная регуляция обработка естественного языка нейронные сети прогностического обучения стохастическая динамическая система клеточный автомат

Я автор

Сеть находит баланс сама, без термометра ✛