Cómo una red neuronal predice lo nunca visto ✎ exprés

El flujo turbulento del agua en una tubería y las oscilaciones de un péndulo parecen no tener nada en común. Pero en su interior comparten algo: ambos obedecen a sus propias leyes de movimiento que pueden describirse con números. Una red neuronal entrenada solo con una de estas «danzas» de números, de repente empieza a comprender la otra, sin un solo ejemplo adicional. Es como un músico que ha aprendido una melodía y luego toca a primera vista una pieza desconocida, captando su armonía.

En el nuevo estudio tomaron un pequeño modelo transformador, el mismo tipo que subyace a los grandes modelos de lenguaje. Lo entrenaron para pronosticar un sistema dinámico y luego lo probaron en otro, completamente distinto. El modelo no solo adivinaba: aplicaba un truco ingenioso. Primero «desplegaba» la corta serie de observaciones en un espacio multidimensional, como si convirtieran una cinta plana en una espiral tridimensional. Así emergía la geometría oculta del sistema. Luego encontraba en ese espacio «islas de estabilidad», regiones a las que el sistema tiende a volver, como una canica que rueda hacia un hoyo. Estas islas ayudaban a hacer predicciones precisas a corto plazo.

Este hallazgo explica por qué los grandes modelos preentrenados se desempeñan tan bien en tareas que no vieron durante el entrenamiento. Resulta que el mecanismo de atención, por sí solo, sabe extraer la estructura global de los datos locales. Para físicos e ingenieros, esto significa que una red entrenada una vez podría convertirse en un predictor universal para toda una clase de sistemas, desde la turbulencia en un motor hasta las oscilaciones del clima. Y el punto de partida fue esa misma «danza de números» con la que todo comenzó.