Попробуйте упаковать в чемодан одежду для путешествия, не зная заранее, что понадобится. Если вещей много и они разные, вы потратите время на перекладывание, но так и не поймёте, насколько аккуратно всё уложено. Примерно так физики долго смотрели на энтропию — меру беспорядка — в системах, которые никогда не успокаиваются: стаи бактерий, сыпучие материалы, рои активных частиц. Для спокойных, равновесных систем рецепты давно известны: нагрей, измерь тепло, посчитай. Но жизнь не ждёт равновесия, и здесь старые инструменты пасуют.
Главная беда — проклятие размерности. Чтобы оценить энтропию системы из сотен частиц, нужно заполнить числами все возможные их положения и скорости. Число таких комбинаций растёт как снежный ком: для системы в сто измерений понадобится выборок больше, чем атомов во Вселенной. Поэтому учёные пошли в обход. Вместо того чтобы перебирать все состояния, они спрашивают: а что мы уже знаем о системе? Парные корреляции — насколько частицы любят быть рядом или далеко друг от друга. Скорость, с которой они разбредаются. Или даже то, насколько хорошо файл с данными сжимается на компьютере. Хороший архиватор, вроде zip, находит повторяющиеся узоры, и чем короче сжатый файл, тем меньше беспорядка в исходных данных. Это не трюк, а прямое следствие теории информации: энтропия и есть предел сжатия.
Эти методы не просто дают число. Они позволяют заглянуть в механизм. В застрявшей упаковке из капель двух сортов корреляционные границы показали, какой тип связей управляет затором. В модели Вичека, где частицы подстраивают направление под соседей, энтропийный анализ выявил, что ориентационные степени свободы замерзают раньше позиционных. Раньше такое различие было невидимо: параметр порядка показывал только общий переход, а энтропия разложила его по полочкам.
Конечно, у каждого подхода есть пределы. Верхние границы из корреляций могут быть далеки от истинной энтропии, если в системе есть дальние связи, которые не улавливаются парными взаимодействиями. Машинное обучение требует тщательной настройки нейросети. Но даже грубая оценка лучше, чем ничего: она позволяет сравнивать состояния, находить переходы и строить фазовые диаграммы там, где раньше была слепота.
Сегодня эти методы уже работают в лабораториях: анализ роящихся бактерий, гранулярных сред, активных коллоидов. Завтра они шагнут в квантовый мир, где энтропия фон Неймана ждёт своих измерителей. Вместо чемодана с неизвестным содержимым мы получаем багажную бирку с точным весом и списком вещей — и можем наконец понять, насколько аккуратно упакован мир.
Энтропия непрерывного распределения может быть отрицательной, в отличие от дискретного случая. Это видно на примере узкого пика: чем уже пик, тем меньше энтропия, и в пределе она уходит в минус бесконечность.