Un meteorólogo emite un pronóstico para la semana en segundos, pero no puede explicar ninguna de sus decisiones. Así funcionan aproximadamente los modelos de IA meteorológica actuales: ya no desmerecen frente a los métodos numéricos clásicos, pero su lógica interna está oculta tras millones de parámetros.
Un grupo de investigadores ha creado una herramienta que se adentra en esa 'caja negra'. Tomaron la red neuronal de grafos GraphCast, uno de los sistemas más avanzados, y aprendieron a espiar sus capas ocultas. La herramienta extrae las representaciones internas de los datos (una especie de 'pensamientos' del modelo) y las descompone en componentes simples mediante un análisis de componentes principales. Este método resalta los patrones más fuertes, algo así como ordenar fotografías por brillo y contraste.
En las primeras pruebas se encontraron direcciones que recuerdan a cosas familiares para los meteorólogos: ondas en la atmósfera de latitudes medias y la distribución del vapor de agua. No son patrones aleatorios. El modelo realmente capta procesos físicos, solo que los registra en su lenguaje interno. La herramienta ayuda a traducir ese lenguaje al humano.
Por ahora son solo primeros pasos, pero son importantes. Si aprendemos a leer los 'pensamientos' de las redes neuronales meteorológicas, podremos no solo verificar sus errores, sino también comprender mejor la propia atmósfera. Después de todo, el modelo quizás ve conexiones que escapan a las ecuaciones clásicas.
tal como lo escribieron los autores, en inglés arXiv:2604.20467
Artificial Intelligence (AI) weather models are improving rapidly, and their forecasts are already competitive with long-established traditional Numerical Weather Prediction (NWP). To build confidence in this new methodology, it is critical that we understand how these predictions are generated. This is a huge challenge as these AI weather models remain largely black boxes. In other areas of Machine Learning (ML), mechanistic interpretability has emerged as a framework for understanding ML predictions by analysing the building blocks responsible for them. Here we present an open-source, highly adaptable tool which incorporates concepts from mechanistic interpretability. The tool organises internal latent representations from the model processor and allows for initial analyses, including cosine similarity and Principal Component Analysis (PCA), enabling the user to identify directions in latent space potentially associated with meteorological features. Applying our tool to the graph neural network GraphCast, we present preliminary case studies for mid-latitude synoptic-scale waves and specific humidity. These demonstrate the tool's ability to identify linear combinations of latent channels that appear to correspond to interpretable features.
GraphCast es una red neuronal que representa la atmósfera no como una cuadrícula, sino como un grafo, donde los nodos son puntos del globo y las aristas son las conexiones entre ellos. Este enfoque permite captar de manera más eficiente interacciones a gran distancia, como la influencia de una tormenta en el Atlántico sobre el clima en Europa.