Переводчик, который отвлекается на каждый шорох в зале, к концу совещания начинает путаться в словах. Его уверенность в собственной правоте растёт, а точность падает. Примерно так ведут себя плохо откалиброванные вероятностные прогнозы: модель заявляет высокую вероятность события, но реальность с ней не согласна. Новая работа предлагает способ переучить такого переводчика, чтобы он сам платил за свои ошибки.

Авторы строят гибкую модель, которая оценивает плотность вероятности преобразованных прогнозов. Если модель идеально откалибрована, преобразование даёт равномерное распределение, как у честного кубика. Отклонения от равномерности показывают, где прогнозы систематически завышают или занижают уверенность. Ключевая особенность: метод не требует независимости данных, поэтому применим к временным рядам с зависимостями.

Перекалиброванная система демонстрирует равномерное ожидаемое распределение преобразованных прогнозов, что является признаком идеальной калибровки. В пари против исходной системы новая система стабильно выигрывает, причём выигрыш предсказуем через энтропийные меры. В лабораторном эксперименте с нелинейным контуром удалось добиться значительного улучшения калибровки по сравнению с базовой моделью. Для сезонных прогнозов Эль-Ниньо метод также показал превосходство, несмотря на сильную автокорреляцию в данных.

Раньше было неясно, как перекалибровать вероятностные прогнозы, когда данные не являются независимыми и одинаково распределёнными. Теперь появился метод, который оценивает распределение преобразованных прогнозов через гибкую модель и позволяет предсказывать выигрыш в пари против исходной системы. Это связывает калибровку с информационной энтропией и теорией игр, открывая путь к новым методам оценки прогностических систем.

Переводчик, который научился не отвлекаться на шорохи, снова переводит точно. Его уверенность теперь совпадает с реальностью, и он может спокойно спорить с самим собой прежним, зная, что выиграет. Так и перекалиброванный прогноз становится честным: он не обещает больше, чем может выполнить, и готов отвечать за свои слова.