Турбулентный поток воды в трубе и колебания маятника кажутся непохожими. Но внутри у них есть общее: оба подчиняются своим законам движения, которые можно описать числами. Нейросеть, обученная только на одном таком «танце» чисел, вдруг начинает понимать другой — без единого дополнительного примера. Это как музыкант, который выучил одну мелодию, а потом с листа играет незнакомую пьесу, уловив её гармонию.
В новом исследовании взяли маленькую модель-трансформер — тот же тип, что лежит в основе больших языковых моделей. Её обучили прогнозировать одну динамическую систему, а затем проверили на другой, совершенно иной. Модель не просто угадывала — она применяла хитрый приём. Сначала она «разворачивала» короткий ряд наблюдений в многомерное пространство, как если бы плоскую ленту превращали в объёмную спираль. Так проступала скрытая геометрия системы. Затем она находила в этом пространстве «острова стабильности» — области, куда система стремится вернуться, как шарик скатывается в ямку. Эти острова и помогали делать точные краткосрочные прогнозы.
Это открытие объясняет, почему большие предобученные модели так хорошо справляются с задачами, которых не видели при обучении. Оказывается, механизм внимания сам по себе умеет вытаскивать глобальную структуру из локальных данных. Для физиков и инженеров это значит, что однажды обученная сеть может стать универсальным предсказателем для целого класса систем — от турбулентности в двигателе до колебаний климата. А отправной точкой послужил тот самый «танец чисел», с которого всё началось.
Трансформер, обученный всего на одной динамической системе, смог без дообучения прогнозировать другую, даже если она была турбулентной и хаотичной. Для этого он сам строил «карту» системы в многомерном пространстве, как картограф, рисующий рельеф по редким точкам.
Такая способность к переносу знаний напоминает «интуицию» у искусственного интеллекта в романе Теда Чана «Жизненный цикл программных объектов»: обученный на одних примерах, он начинает понимать закономерности, о которых его никто не спрашивал.