Принцип максимума энтропии утверждает, что распределение вероятностей, наилучшим образом отражающее текущее состояние знаний, — это распределение с наибольшей энтропией.В 1957 году американский физик Эдвин Джейнс опубликовал статью, перевернувшую взгляд на термодинамику. Он показал, что равновесную статистическую физику можно вывести из одного-единственного рецепта: максимизируй энтропию Шеннона при ограничениях, наложенных известными макроскопическими величинами. Энтропия — мера неопределённости, предложенная Клодом Шенноном в 1948 году для теории связи. Джейнс заметил: если мы знаем только среднюю энергию и больше ничего, то самым скромным, наименее навязчивым распределением будет больцмановское. Принцип вобрал в себя и квантовую, и классическую статистику. Сегодня он вышел далеко за физику: от машинного обучения и нейробиологии до распределения ресурсов в сетях и синтеза реалистичного меха в анимации.
Клод Шеннон в 1948 году предложил энтропию как меру информации. В 1957 году Эдвин Джейнс в статье «Information Theory and Statistical Mechanics» продемонстрировал, что максимизация энтропии Шеннона при ограничениях, наложенных известными макроскопическими величинами, автоматически даёт распределения статистической физики. Принцип подхватили в теории вероятностей, статистике и информатике, а также при обработке сигналов и в моделировании климата. Независимо сходные идеи развивал Леон Бриллюэн.
Принцип позволяет получать вероятностные модели в условиях неполной информации. На практике решается задача условной оптимизации: максимизировать энтропию при ограничениях, заданных средними значениями некоторых функций. Применяется в распознавании речи, компьютерном зрении, восстановлении томографических снимков, а также при построении прогнозов погоды. Границы: если ограничения неполны или плохо сформулированы, принцип может порождать ошибочные распределения; кроме того, он предполагает, что энтропия адекватно отражает неопределённость.
Принцип максимальной энтропии восстанавливает томографические снимки мозга по неполным данным, строит прогнозы погоды и климатические модели, синтезирует текстуры в компьютерной графике, а также лежит в основе алгоритмов сжатия изображений и видео.
Благодаря принципу максимальной энтропии программы переноса стиля превращают фотографию в полотно под Ван Гога. Алгоритм ищет текстуру с наибольшей энтропией, которая напоминает мазки художника, и накладывает этот «беспорядок» на снимок.









