Разложим на столе горсть монет. Каждая монета — это возможный исход: выпадение орла, решки или ещё чего-то. Если мы знаем, насколько хаотичен этот набор (его энтропию), то какие комбинации вероятностей встретятся чаще? Оказывается, ответ зависит от того, много ли хаоса мы разрешили.
Исследователи взяли все возможные распределения вероятностей для K исходов и зафиксировали энтропию — как если бы мы перебрали все способы раскидать единичную сумму вероятностей по K корзинам, но только те, где степень перемешанности одинакова. Они применили метод, похожий на нарезку пространства на равновесные кусочки, и обнаружили резкий переход. Когда энтропия опускается ниже критической отметки (примерно log K − 1 + 0,577), почти все распределения становятся «сконденсированными»: одна корзина забирает себе львиную долю, а остальные делят поровну жалкие крохи.
Это проливает свет на ситуации, где сложность ограничена. Например, в машинном обучении модель может выдать излишне уверенный прогноз, потому что пространство её внутренних вероятностей самопроизвольно схлопнулось к одному варианту. В экологии похожий механизм объясняет, почему в зрелом сообществе часто выделяется один доминирующий вид, а остальные образуют ровный фон. Разреженность — не чей-то каприз, а естественное следствие энтропийных ограничений в многомерных мирах.
Критическая энтропия, ниже которой всё схлопывается, примерно равна логарифму числа исходов минус 0,423 — это число встречается в самых разных задачах, от упаковки шаров до распределения энергии в газах.
В романе «Солярис» Станислава Лема океан, возможно, переживает нечто подобное: его сложность настолько велика, что сознание конденсируется в единственную форму, недоступную человеческому пониманию.