The maximum entropy principle asserts that the probability distribution which best represents the current state of knowledge is the one with the largest entropy.En 1957, le physicien américain Edwin Jaynes publia un article qui bouleversa la vision de la thermodynamique. Il montra que la physique statistique d'équilibre peut être déduite d'une seule recette : maximiser l'entropie de Shannon sous les contraintes imposées par les grandeurs macroscopiques connues. L'entropie – une mesure de l'incertitude, proposée par Claude Shannon en 1948 pour la théorie de la communication. Jaynes remarqua : si nous ne connaissons que l'énergie moyenne et rien d'autre, la distribution la plus modeste, la moins arbitraire, est celle de Boltzmann. Le principe englobe à la fois la statistique quantique et classique. Aujourd'hui, il a largement dépassé la physique : de l'apprentissage automatique et la neurobiologie à la répartition des ressources dans les réseaux et la synthèse de fourrure réaliste en animation.
Claude Shannon proposa l'entropie comme mesure de l'information en 1948. En 1957, Edwin Jaynes, dans son article « Information Theory and Statistical Mechanics », démontra que la maximisation de l'entropie de Shannon sous des contraintes imposées par des grandeurs macroscopiques connues donne automatiquement les distributions de la physique statistique. Le principe fut adopté en théorie des probabilités, en statistique et en informatique, ainsi que pour le traitement du signal et la modélisation du climat. Des idées similaires furent développées indépendamment par Léon Brillouin.
Le principe permet d'obtenir des modèles probabilistes en situation d'information incomplète. En pratique, on résout un problème d'optimisation sous contraintes : maximiser l'entropie sous des contraintes données par les valeurs moyennes de certaines fonctions. Il est utilisé en reconnaissance vocale, vision par ordinateur, reconstruction d'images tomographiques, ainsi que pour l'élaboration de prévisions météorologiques. Limites : si les contraintes sont incomplètes ou mal formulées, le principe peut produire des distributions erronées ; de plus, il suppose que l'entropie reflète adéquatement l'incertitude.
Le principe d'entropie maximale permet de reconstituer des images tomographiques du cerveau à partir de données incomplètes, d'élaborer des prévisions météorologiques et des modèles climatiques, de synthétiser des textures en infographie, et constitue la base des algorithmes de compression d'images et de vidéos.
Grâce au principe d'entropie maximale, les programmes de transfert de style transforment une photo en une toile à la Van Gogh. L'algorithme recherche la texture ayant la plus grande entropie, qui ressemble aux coups de pinceau de l'artiste, et superpose ce « désordre » sur l'image.









