Una red neuronal aprende el clima con tres cuadernos ✛
Un estudiante que durante años ha resuelto problemas de libros ajenos recibe de repente tres cuadernos con observaciones reales del océano. Hay pocos problemas, pero ya ha visto cientos de similares, y ahora le bastan un par de ejemplos para captar el estilo del nuevo maestro. Así, un modelo de difusión (una red neuronal que aprende a eliminar el ruido de los datos) se familiariza con el clima del Pacífico, donde la fase cálida de El Niño se alterna con la fría de La Niña y gobierna el clima del planeta.
El problema es que las mediciones satelitales y de boyas de la temperatura superficial del océano solo se realizan desde mediados del siglo XX. En ese tiempo se han acumulado unas 720 mapas mensuales promedio, y las redes neuronales con millones de parámetros suelen necesitar miles de ejemplos. Para comprobar honestamente qué ha aprendido el modelo, los autores crearon un banco de pruebas: generaron 120 mil campos sintéticos con estructura conocida. Con estos datos, el modelo reprodujo con precisión tanto la variabilidad simétrica como la asimétrica de la variabilidad, pero en cuanto se redujo la muestra al tamaño real, comenzó a memorizar los ejemplos de entrenamiento en lugar de generalizar.
La solución la sugirió la propia naturaleza del aprendizaje. Primero se preentrenó el modelo con campos sintéticos de 30 modelos climáticos del proyecto CMIP6, añadiendo a la arquitectura un vector de ocho dimensiones que codifica la identidad de cada modelo. Luego, con las 720 observaciones reales, se ajustó solo ese vector. Este enfoque logró una correlación de patrones superior a 0.85 y una correlación de asimetría superior a 0.9, superando a los modelos lineales clásicos. El estudiante, entrenado en multitud de mundos virtuales, domina el único mundo real con unos pocos ejemplos.
Los modelos de difusión, que hoy generan rostros y paisajes realistas, se inspiraron originalmente en la termodinámica del no equilibrio: la ciencia que estudia cómo los sistemas pasan del orden al caos. En este trabajo, ese mismo principio se invierte para recuperar estructuras climáticas ordenadas a partir del ruido.
La idea de entrenar una máquina en multitud de mundos virtuales y luego ajustarla a un único mundo real resuena con el relato de Ted Chiang «La historia de tu vida», donde una lingüista aprende el idioma de los alienígenas apoyándose en múltiples gramáticas hipotéticas para comprender una única gramática real.