Оркестр из ста музыкантов играет без дирижёра. Пока партитура знакома, каждый уверенно ведёт свою линию, и вместе они звучат слаженно. Но стоит композитору изменить ритм, как в зале появляется нестройность: одни инструменты продолжают играть по-старому, другие пытаются подстроиться, а третьи замолкают. Именно такое разногласие между участниками ансамбля нейросетей оказалось самым честным сигналом того, что модель вышла за пределы привычного мира.
Нейросеть, предсказывающая Эль-Ниньо, сталкивается с двумя видами неопределённости. Первая — алеаторная — это случайность самой системы: океан и атмосфера хаотичны, и даже идеальная модель не скажет точную температуру воды через два года. Вторая — эписстемическая — это незнание модели: сеть не видела таких ситуаций в обучающих данных и потому колеблется в своих оценках. До сих пор считалось, что для климатических прогнозов достаточно следить за первой, ведь она отражает природу явления. Но когда климат начал меняться, выяснилось, что эта логика ломается.
Исследователи обучили три ансамбля по сто нейросетей каждый. Первый ансамбль видел только доиндустриальный климат с 1850 по 1949 год, второй — историю вплоть до 2024 года, третий — почти до конца XXI века. Затем все три ансамбля попросили предсказать Эль-Ниньо на 24 месяца вперёд в условиях климатического сдвига. Результат удивил: когда прогноз становился хуже, эписстемическая неопределённость, то есть разногласие между сетями, уверенно росла. Алеаторная же неопределённость для долгих горизонтов, наоборот, падала. Сеть, попавшая в незнакомую ситуацию, не признавала своё незнание, а становилась излишне самоуверенной — как музыкант, который не слышит, что оркестр расстроился, и продолжает играть громче прежнего.
Практический вывод: для прогнозов Эль-Ниньо в меняющемся климате нужно отслеживать оба вида неопределённости. Одна сеть может врать с уверенным лицом, а ансамбль из ста сетей честно покажет, где он гадает. Это похоже на то, как опытный слушатель отличает сложную музыку от плохой игры: если музыканты расходятся, значит, партитура им незнакома. В оперативных центрах прогноза такой сигнал позволит заранее предупреждать пользователей о ненадёжности прогноза, а не выдавать ложную уверенность.
Оркестр без дирижёра возвращается к началу. Когда музыка меняется, разногласие между музыкантами становится не признаком слабости, а картой незнакомой территории. Слушая этот шум, можно понять, где заканчивается знание и начинается случайность. Для нейросетей, предсказывающих климат, это различие теперь имеет практическую цену.
Ансамбль из 100 нейросетей в этой работе в десять раз больше типичных ансамблей для прогноза ЭНСО, и именно такой размер позволил надёжно разделить два вида неопределённости. Интересно, что для коротких прогнозов (до 6 месяцев) алеаторная неопределённость всё же немного растёт при сдвиге, но этот сигнал слабее, чем у эписстемической.