main concepts scientists sections
ПростоПопулярноПодробно

SEA-ViT: как нейросеть учится читать течения ✛

Оригинал: "SEA-ViT: Sea Surface Currents Forecasting Using Vision Transformer and GRU-Based Spatio-Temporal Covariance Modeling"
· Teerapong Panboonyuen
arXiv:2409.16313 · 2024-09-14 · CC BY 4.0 · 1 мин
Физика атмосферы и океана Машинное обучение
Нейросеть предсказывает морские течения, как переводчик, который слушает весь зал и помнит весь разговор.

Переводчик в большом зале не просто слушает слова. Он следит за всеми разговорами сразу, помнит, кто что сказал раньше, и угадывает, что будет дальше. SEA-ViT работает так же, только вместо голосов она слушает океан.

Океанские течения похожи на разговор: вода движется не сама по себе, а под влиянием ветра, приливов и далёких климатических событий. Раньше компьютеры считали каждую точку отдельно, как будто переводчик слышал только одного человека. SEA-ViT использует два приёма. Один слой видит всё поле течений сразу, как переводчик, который окидывает взглядом зал. Другой слой помнит, что было вчера и неделю назад, потому что читает данные и вперёд, и назад по времени.

ЭНСО — это климатические качели: тёплый Эль-Ниньо и холодная Ла-Нинья сменяют друг друга. От них зависит, как ведут себя течения.

Когда наступает Эль-Ниньо, вода у берегов Таиланда движется иначе. SEA-ViT получает подсказку об этом, как переводчик, которому сказали, что сегодня в зале все будут говорить быстрее. За ошибки в такие дни модель наказывают строже, поэтому она учится быть внимательной именно тогда, когда это важнее всего.

Теперь SEA-ViT может предсказывать течения в Сиамском заливе и Андаманском море. Моряки и рыбаки получат прогноз, который слышит весь океан, а не только одну точку у берега. И тогда переводчик в зале совещаний станет не просто сравнением, а настоящей работой: SEA-ViT переводит язык моря на язык безопасных маршрутов.

Весь граф →

Модель названа SEA-ViT, что одновременно отсылает к морю (sea) и к архитектуре Vision Transformer (ViT). Автор благодарит самого себя в разделе acknowledgments, что является редкостью в научных статьях.

u' = \frac{u - \mu_u}{\sigma_u}
Стандартизация z-скором для приведения к нулевому среднему и единичной дисперсии
\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V
Взвешенная сумма значений V, где веса определяются сходством запросов Q и ключей K
L = \frac{1}{N}\sum_{i=1}^{N}\left((U_i - \hat{U}_i)^2 + (V_i - \hat{V}_i)^2\right) + \lambda \cdot \text{ENSO\_weight} \cdot \left((U_i - \hat{U}_i)^2 + (V_i - \hat{V}_i)^2\right)
Среднеквадратичная ошибка плюс штраф за ошибки в периоды Эль-Ниньо и Ла-Нинья
Понятия
температура поверхности моря OISST v2.1 oisst nrt прогноз IRI океаническое течение навигация без GPS навигация многомерный индекс ЭНСО гидродинамическое моделирование