Представьте большой оркестр без дирижёра. Каждый музыкант слышит всех остальных и подстраивается под общий гул. Если каждый инструмент усиливает соседей, звук нарастает до визга, а если иногда приглушает — оркестр может замереть в тишине или сорваться в какофонию. Примерно так ведут себя сети нейронов, где связи между клетками работают как ручки громкости: одни усиливают сигнал, другие ослабляют.
Долгое время считалось, что такой баланс нужен лишь для того, чтобы сеть не «взрывалась» от случайных выбросов. Но выяснилось, что он меняет саму музыку. Если нейроны работают как простые усилители, баланс действует как глушитель: сеть остаётся спокойной даже при сильных связях. Если же нейроны насыщаются, как перегруженный микрофон, баланс, наоборот, подкручивает громкость до хаоса.
Эксперименты на виртуальных сетях из тысячи нейронов показали: для линейных усилителей критическая сила связи, после которой активность взрывается, выросла с 1.4 до 1.8 при полном балансе. А для насыщающихся нейронов баланс превратил тихую сеть в хаотическую, причём размерность хаоса (число независимых «голосов» в оркестре) сначала росла, а потом падала. Такой немонотонный отклик означает, что баланс — не просто выключатель, а тонкая ручка настройки.
Раньше исследователи часто предполагали, что нейроны имеют нечётную функцию активации, то есть реагируют симметрично на плюс и минус. Это упрощение маскировало эффект баланса. Теперь ясно, что в реальном мозге, где нейроны насыщаются, баланс возбуждения и торможения может напрямую решать, будет ли сеть молчать или генерировать сложную активность. Оркестр без дирижёра оказался чувствителен к тому, как именно музыканты крутят свои ручки громкости.
При полном балансе (когда сумма входящих весов равна нулю) средняя по времени активность каждого нейрона в сети оказывается строго нулевой, даже если сеть находится в хаотическом режиме. Это аналитически доказано в приложении к статье.