Нейронные вычисления cs.NE

Океан похож на гигантскую паутину, где каждая нить соединяет далёкие точки воды. Когда в одном месте теплеет, через тысячи километров меняются ветры и течения. Нейросеть из этой работы впервые сама сплела такую паутину, чтобы предсказывать Эль-Ниньо.

Нейрон в мозге похож на человека, который раздаёт свои визитки на многолюдной конференции. Сначала он легко знакомится, но по мере заполнения записной книжки каждый новый контакт требует всё больше усилий — свободного места остаётся мало. Это правило «скученности» авторы положили в основу модели: чем больше входящих связей уже есть у нейрона, тем труднее сформировать ещё одну.

Инженеры, улучшающие нейросети, действуют как селекционеры: пробуют вариант, смотрят на результат, оставляют лучшее. Собрали 935 таких проб из 161 статьи и измерили, как часто правка кода оказывается полезной, вредной или никакой. Картина вышла знакомая каждому биологу: 68% изменений ухудшают работу, 19% не меняют ничего, и лишь 13% дают выигрыш.

Оркестр, где каждый музыкант играет свою партию, но слышит только соседа. Стоит одному сбиться — волна ошибок катится по всему залу. Так работают машины Изинга — специальные устройства для решения задач, где нужно найти лучший вариант из множества. Их элементы-«спины» связаны между собой, и если обновлять их одновременно, они начинают мешать друг другу, как музыканты, вступившие не вовремя.

Оркестр на первой репетиции без дирижёра. Скрипки вступают невпопад, духовые опаздывают, и вместо симфонии выходит какофония. Примерно так же ведёт себя компьютерная модель мозга, из которой убрали особые клетки — нейроны фон Экономо.

Робот в лабиринте шагает в тупик. Через минуту он находит выход раньше всех. Этот алогичный манёвр — разведка, а не ошибка. Так картограф обходит гору, чтобы увидеть её склоны. Эволюционные алгоритмы в пробирке давно копируют отбор и мутации для поиска лучших решений. Но в обманчивых ландшафтах жадная погоня заводит в тупик. Путник лезет на ближайший холм — а за ним пропасть.

Общение с живыми нейронами напоминает настройку старого радиоприёмника: важно поймать не только нужную волну, но и верно сориентировать антенну.

Удержать в голове точное положение ручки, пока её медленно двигают, — для мозга рядовая задача. Для искусственных нейросетей она почти невыполнима. Обычные рекуррентные сети, такие как GRU (Gated Recurrent Unit) и LSTM (Long Short-Term Memory), склонны разбивать непрерывное движение на жёсткие ступеньки: ручка не ползёт плавно, а перескакивает из точки в точку.

Луч света влетает в стеклянную кювету с парами цезия и меняет внутреннее состояние атомов — так записывается информация. Через мгновение другой луч считывает её по тому, как атомы поглощают свет. Это не жёсткий диск, а скорее блокнот, который сам переворачивает страницы. Восемь таких «страниц» создаются акустооптическим дефлектором — устройством, которое отклоняет луч звуком.

Заблудиться в зеркальном зале проще простого: каждая стена отражает другую, и кажется, что ты уже был здесь. Примерно так же путается мозг, когда вокруг много похожих мест. Нейроны — клетки, отвечающие за карту пространства, — могут выдать одинаковый сигнал для двух разных углов комнаты.