Каждый месяц спутники и корабли снимают температуру поверхности океана, и из этих карт складывается история климата. В тропической части Тихого океана эта история иногда прерывается тёплым пятном — Эль-Ниньо, которое меняет погоду по всей планете. Увидеть пятно на карте легко, но научить этому компьютер оказалось непросто: обычные нейросети требуют много данных и долго обучаются. А эхо-сети, похожие на резервуар с памятью, делают это быстро и почти без настройки. Одна беда: до сих пор никто не мог объяснить, что именно резервуар запоминает.

Эхо-сеть устроена как пруд, в который бросают камешки. Каждый камешек — это столбец карты температур, а круги на воде — отклик сети. Обучение затрагивает только выходной слой, поэтому параметров мало: 301 вместо почти 88 тысяч у обычной сети. Но как пруд узнаёт Эль-Ниньо? Авторы работы применили метод, который раньше использовали для глубоких сетей: прошли от ответа назад через все 180 шагов и посмотрели, какие камешки вызвали самые сильные круги.

Затем исследователи провели простой опыт: переставили столбцы карты случайным образом. Сеть всё равно нашла нужный регион, хотя пространственная структура исчезла. Это значит, что эхо-сеть не опирается на расположение пикселей, а извлекает признаки из любого порядка данных. Но у резервуара есть параметр, который определяет, как долго он помнит прошлое — скорость утечки памяти. Когда её увеличили с 0.01 до 0.4, точность упала до 58%, и карты релевантности показали: сеть забыла ранние столбцы и смотрела только на конец карты.

Теперь эхо-сети перестали быть чёрным ящиком. Климатологи и океанографы могут видеть, на что именно смотрит модель, и доверять её выводам. А поскольку такие сети обучаются за секунды и требуют мало данных, их можно применять к редким событиям, где глубокие сети переобучаются. Резервуар с памятью больше не скрывает своих секретов: он сам подсвечивает важное.