Удержать в голове точное положение ручки, пока её медленно двигают, — для мозга рядовая задача. Для искусственных нейросетей она почти невыполнима. Обычные рекуррентные сети, вроде GRU и LSTM, склонны разбивать непрерывное движение на жёсткие ступеньки: ручка не ползёт плавно, а перескакивает из точки в точку. Сеть словно запоминает не линию, а несколько отдельных кадров.

Группа исследователей предложила сеть с делением — Recurrent Divisive Normalization Network (RDNN). Её секрет не в вычитании тормозных сигналов, а в их делении. Когда один нейрон активен, он не просто глушит соседа, а уменьшает его выход пропорционально. Это напоминает регулировку громкости: если в комнате шумно, мы не вычитаем шум из речи, а делим — говорим громче относительно фона. Такой механизм широко распространён в коре мозга, но в искусственных сетях его почти не используют.

Математический анализ показал, что деление создаёт в сети медленное многообразие — плавную дорожку, по которой состояние памяти может меняться без скачков. Когда сеть обучают методом обратного распространения ошибки, деление автоматически масштабирует шаги обучения: в сильно активных участках обновление параметров затухает. Это сжимает эффективный ранг сети — динамика сама ужимается в узкое низкоразмерное русло, избегая переобучения и хаоса.

В экспериментах на задачах рабочей памяти RDNN удерживала непрерывные сигналы в десятки раз точнее обычных сетей. А когда деление заменили на вычитание, сеть тут же начинала дробить плавный сигнал на ступеньки. Похоже, биология не зря выбрала именно этот механизм — деление оказалось математически необходимым для хранения непрерывных величин в меняющемся мире.