Синоптик за секунды выдаёт прогноз на неделю, но не может объяснить ни одного своего решения. Примерно так работают современные ИИ-модели погоды: они уже не уступают классическим численным методам, однако их внутренняя логика спрятана за миллионами параметров.
Группа исследователей создала инструмент, который заглядывает внутрь такого «чёрного ящика». Они взяли графовую нейросеть GraphCast — одну из передовых систем — и научились подсматривать за её скрытыми слоями. Инструмент извлекает внутренние представления данных (своего рода «мысли» модели) и раскладывает их на простые составляющие с помощью анализа главных компонент. Этот метод выделяет самые сильные закономерности — примерно как сортировка фотографий по яркости и контрасту.
В первых тестах удалось найти направления, которые напоминают знакомые метеорологам вещи: волны в атмосфере средних широт и распределение водяного пара. Это не случайные узоры. Модель действительно улавливает физические процессы, просто записывает их на своём внутреннем языке. Инструмент помогает перевести этот язык на человеческий.
Пока это лишь первые шаги, но они важны. Если мы научимся читать «мысли» погодных нейросетей, то сможем не только проверять их на ошибки, но и лучше понимать саму атмосферу. Ведь модель, возможно, видит связи, которые ускользают от классических уравнений.
как её написали авторы, на английском arXiv:2604.20467
Artificial Intelligence (AI) weather models are improving rapidly, and their forecasts are already competitive with long-established traditional Numerical Weather Prediction (NWP). To build confidence in this new methodology, it is critical that we understand how these predictions are generated. This is a huge challenge as these AI weather models remain largely black boxes. In other areas of Machine Learning (ML), mechanistic interpretability has emerged as a framework for understanding ML predictions by analysing the building blocks responsible for them. Here we present an open-source, highly adaptable tool which incorporates concepts from mechanistic interpretability. The tool organises internal latent representations from the model processor and allows for initial analyses, including cosine similarity and Principal Component Analysis (PCA), enabling the user to identify directions in latent space potentially associated with meteorological features. Applying our tool to the graph neural network GraphCast, we present preliminary case studies for mid-latitude synoptic-scale waves and specific humidity. These demonstrate the tool's ability to identify linear combinations of latent channels that appear to correspond to interpretable features.
GraphCast — это нейросеть, которая представляет атмосферу не как сетку, а как граф, где узлы — это точки на земном шаре, а рёбра — связи между ними. Такой подход позволяет эффективнее улавливать дальние взаимодействия, например, как шторм в Атлантике влияет на погоду в Европе.