В девятиэтажном здании из тысячи комнат на каждом этаже кто-то шепчет, а кто-то кричит. Соседи передают слова дальше, но если все говорят слишком тихо, сообщение затухает уже на третьем этаже. Если слишком громко — к последнему этажу оно превращается в неразборчивый рёв. Между этими крайностями есть режим, когда шёпот доходит до конца без искажений. Нейробиологи называют его критической точкой, и мозг, похоже, работает именно там.

Долгое время считалось, что вывести сеть в критическое состояние можно только извне — подкручивая глобальные параметры, как настройщик рояля. Но авторы новой работы поставили простой эксперимент: дали каждому нейрону право самому решать, усиливать или ослаблять свои связи, ориентируясь лишь на собственную активность. Правило умещается в одну строку: если нейрон слишком активен — ослабь входящую связь, если слишком пассивен — усиль. Никакого термометра, никаких измерений всей сети.

Исследователи взяли полносвязную сеть с девятью скрытыми слоями по тысяче нейронов и запустили её из разных начальных состояний — от почти полной тишины до оглушительного шума. Через двадцать эпох такой самонастройки все сети сошлись к одному и тому же режиму: активность перестала затухать или расти, а средняя сила связей вышла на общее плато. Сеть сама нашла критическую точку, как вода находит уровень.

Но когда к самонастройке добавили обычное обучение с учителем, началась конкуренция. Градиентный спуск тянет сеть в сторону решения задачи, а гомеостаз — в сторону критичности. Эти две силы двигали веса в разных направлениях, и чем сильнее было саморегулирующее правило, тем хуже сеть распознавала цифры. Чистый градиентный спуск давал наивысшую точность, а усиление гомеостаза прогрессивно её снижало.

Термостат без термометра работает, но пока не умеет дружить с задачей. В этом и есть главный вызов: объединить стремление к критичности с обучением полезному навыку. Возможно, решение лежит в общем правиле пластичности, которое учитывает и локальную активность, и глобальный сигнал задачи. Тогда сеть сможет одновременно оставаться на грани хаоса и решать практические задачи — как мозг, который умудряется и думать, и не перегреваться.