Étalons une poignée de pièces sur une table. Chaque pièce représente un résultat possible : pile, face, ou autre chose. Si l'on connaît le degré de chaos de cet ensemble (son entropie), quelles combinaisons de probabilités rencontrera-t-on le plus souvent ? Il s'avère que la réponse dépend de la quantité de chaos que l'on autorise.
Les chercheurs ont pris toutes les distributions de probabilités possibles pour K résultats et ont fixé l'entropie — comme si l'on passait en revue toutes les façons de répartir une somme unitaire de probabilités dans K cases, mais uniquement celles où le degré de mélange est identique. Ils ont appliqué une méthode semblable à une découpe de l'espace en morceaux d'équilibre et ont découvert une transition brutale. Lorsque l'entropie descend sous le seuil critique (environ log K − 1 + 0,577), presque toutes les distributions deviennent « condensées » : une case s'adjuge la part du lion, tandis que les autres se partagent équitablement de misérables miettes.
Cela éclaire des situations où la complexité est limitée. Par exemple, en apprentissage profond en imagerie médicale, un modèle peut produire une prédiction trop confiante parce que son espace de probabilités internes s'est spontanément effondré vers une seule option. En écologie, un mécanisme similaire explique pourquoi, dans une communauté mature, une espèce dominante se détache souvent, les autres formant un fond uniforme. La parcimonie n'est pas un caprice, mais une conséquence naturelle des contraintes entropiques dans les mondes multidimensionnels.
L'entropie critique, en dessous de laquelle tout s'effondre, est approximativement égale au logarithme du nombre de résultats moins 0,423 — ce nombre apparaît dans des problèmes très variés, de l'empilement de boules à la distribution de l'énergie dans les gaz.
Dans le roman « Solaris » de Stanislas Lem, l'océan vit peut-être quelque chose de semblable : sa complexité est si grande que la conscience se condense en une forme unique, inaccessible à la compréhension humaine.