Каждый месяц учёные снимают температуру поверхности океана и получают карту. В тропической части Тихого океана иногда появляется тёплое пятно — Эль-Ниньо, которое меняет погоду по всему миру. Научить компьютер находить это пятно на карте оказалось непросто. Обычные нейросети требуют много данных и долго обучаются. Но есть особый тип нейросети — эхо-сеть, которая работает быстро и почти не требует настройки. Проблема была в том, что никто не мог объяснить, как она принимает решения.
Эхо-сеть можно представить как пруд, в который бросают камешки. Каждый камешек — это столбец карты температур, а круги на воде — отклик сети. Обучение затрагивает только выходной слой, поэтому параметров мало: 301 вместо почти 88 тысяч у обычной сети. Авторы работы применили метод, который раньше использовали для глубоких сетей: прошли от ответа назад и посмотрели, какие камешки вызвали самые сильные круги.
Учёные провели простой опыт: переставили столбцы карты случайным образом. Сеть всё равно нашла нужный регион, хотя пространственная структура исчезла. Это значит, что эхо-сеть не опирается на расположение пикселей, а извлекает признаки из любого порядка данных. Но у резервуара есть параметр, который определяет, как долго он помнит прошлое — скорость утечки памяти. Когда её увеличили с 0.01 до 0.4, точность упала до 58%, и карты релевантности показали: сеть забыла ранние столбцы и смотрела только на конец карты. Теперь эхо-сети перестали быть чёрным ящиком, и климатологи могут доверять их выводам.
Эхо-сеть с 300 нейронами в резервуаре потребовала всего 301 обучаемый параметр, тогда как обычная нейросеть для той же задачи — почти 88 тысяч. При этом точность распознавания Эль-Ниньо оказалась одинаковой.