principe

principe d'entropie maximale

The maximum entropy principle asserts that the probability distribution which best represents the current state of knowledge is the one with the largest entropy.
19 articles liés · 2 qui a travaillé ici

Description

En 1957, le physicien américain Edwin Jaynes publia un article qui bouleversa la vision de la thermodynamique. Il montra que la physique statistique d'équilibre peut être déduite d'une seule recette : maximiser l'entropie de Shannon sous les contraintes imposées par les grandeurs macroscopiques connues. L'entropie – une mesure de l'incertitude, proposée par Claude Shannon en 1948 pour la théorie de la communication. Jaynes remarqua : si nous ne connaissons que l'énergie moyenne et rien d'autre, la distribution la plus modeste, la moins arbitraire, est celle de Boltzmann. Le principe englobe à la fois la statistique quantique et classique. Aujourd'hui, il a largement dépassé la physique : de l'apprentissage automatique et la neurobiologie à la répartition des ressources dans les réseaux et la synthèse de fourrure réaliste en animation.

Histoire

Claude Shannon proposa l'entropie comme mesure de l'information en 1948. En 1957, Edwin Jaynes, dans son article « Information Theory and Statistical Mechanics », démontra que la maximisation de l'entropie de Shannon sous des contraintes imposées par des grandeurs macroscopiques connues donne automatiquement les distributions de la physique statistique. Le principe fut adopté en théorie des probabilités, en statistique et en informatique, ainsi que pour le traitement du signal et la modélisation du climat. Des idées similaires furent développées indépendamment par Léon Brillouin.

Comment ça marche

Le principe permet d'obtenir des modèles probabilistes en situation d'information incomplète. En pratique, on résout un problème d'optimisation sous contraintes : maximiser l'entropie sous des contraintes données par les valeurs moyennes de certaines fonctions. Il est utilisé en reconnaissance vocale, vision par ordinateur, reconstruction d'images tomographiques, ainsi que pour l'élaboration de prévisions météorologiques. Limites : si les contraintes sont incomplètes ou mal formulées, le principe peut produire des distributions erronées ; de plus, il suppose que l'entropie reflète adéquatement l'incertitude.

En pratique

Le principe d'entropie maximale permet de reconstituer des images tomographiques du cerveau à partir de données incomplètes, d'élaborer des prévisions météorologiques et des modèles climatiques, de synthétiser des textures en infographie, et constitue la base des algorithmes de compression d'images et de vidéos.

Anecdote

Grâce au principe d'entropie maximale, les programmes de transfert de style transforment une photo en une toile à la Van Gogh. L'algorithme recherche la texture ayant la plus grande entropie, qui ressemble aux coups de pinceau de l'artiste, et superpose ce « désordre » sur l'image.

Articles liés · 25

Le chaos en chimie : comment la perte d'information révèle l'entropie de Kolmogorov-Sinaï
Notez une recette, puis comparez-la une heure plus tard : si les proportions ont dévié ne serait-ce que d'un gramme, le goût a disparu. C'est à peu près ainsi que se comportent les réactions chimiques dans les systèmes ouverts : la moindre différence dans les concentrations initiales s'amplifie avec le temps pour…
Mesurer le chaos sans brûler de copies inutiles
Un état quantique, c'est comme la météo en montagne : il change à chaque regard. Pour évaluer son incertitude, les physiciens font des copies et effectuent des mesures. Chaque copie est un thermomètre qui se brise après usage.
Le secret d'un retour rapide : une nouvelle méthode pour évaluer la stabilité
Un système stable fonctionne comme une balle dans un bol : une poussée, et elle roule vers le fond. L'éventail des trajectoires possibles — l'incertitude — se resserre avec le temps. Mais la vitesse dépend de l'inclinaison des parois. Pour les systèmes complexes, ce « bol » présente des zones de pentes différentes.
Traitement du signal2026-07-152 minarXiv:2607.13710express
Cuisine sans délai : comment les réseaux gagnent en ultra-fiabilité
Imaginez un chef expérimenté en heure de pointe : soudain, une cuisinière tombe en panne ou un ingrédient clé vient à manquer. Au lieu de paniquer, il réorganise instantanément la recette — accélère la préparation de certains plats, ralentit d'autres, en redéployant les ressources à la volée. Ce principe d'adaptation dynamique est à la base de la nouvelle génération de réseaux ultra-fiables.
Comment l'entropie aide les robots à trouver leur chemin plus vite
Un groupe de recherche ratisse un champ brumeux. Au début, les gens s'écartent largement : une « température » de recherche élevée signifie une grande diversité de tentatives. Ayant repéré une piste, ils se rapprochent. Mais la vitesse de rapprochement est cruciale — si l'on resserre le cercle trop tôt, la meilleure trouvaille restera de côté.
Physique quantique2026-06-272 minarXiv:2606.28660express
Comment le biais de confirmation aide à penser plus vite
Nous avons l'habitude de penser que ne remarquer que les confirmations de nos intuitions est une erreur. Mais des calculs récents, inspirés par le comportement des vagues, renversent ce point de vue. Il s'avère que l'habitude de chercher ce qui est familier est le meilleur moyen de réduire le bruit informationnel (les scientifiques l'appellent entropie).
Six règles pour un système vivant
La vie est une danse perpétuelle entre l'ordre et le chaos. Déjà au milieu du siècle dernier, Erwin Schrödinger remarquait que le vivant se nourrit moins de matière que d'« entropie négative » — sa capacité à maintenir son propre ordre en augmentant le désordre autour de lui.
Le mystère du désordre : pourquoi l'entropie obéit à des règles strictes
L'entropie est une mesure du désordre. Deux jeux de cartes mélangés, réunis en un seul tas, ne deviendront pas plus chaotiques que la somme de leurs désordres respectifs. C'est la règle de sous-additivité : le tout n'est pas plus chaotique que ses parties.
Comment mesurer le chaos d'un système sans en connaître les règles
Un carrefour animé sans feux de signalisation. Les voitures avancent, freinent, changent de voie — et de l'extérieur, on dirait un chaos total. Mais si on observe un peu plus longtemps, on remarque un rythme : le flux tantôt s'épaissit, tantôt s'amincit.
Comment extraire les lois de la nature du bruit
Un enregistrement sur dictaphone d'une place de ville. On entend le bourdonnement de la foule, des pas, des bribes de conversations, le bruit des voitures. Quelque part dans ce mélange de sons, un musicien de rue joue une mélodie simple à la flûte. L'entendre n'est pas facile — il y a trop de choses mélangées.
Un thermostat qui aime coller les probabilités
Une casserole d'eau sur la cuisinière finit tôt ou tard par se calmer : la température s'uniformise, le liquide cesse de bouillonner. Les physiciens appellent cela l'équilibre thermique — l'état dans lequel l'énergie est répartie de la manière la plus probable.
Quand le désordre engendre l'ordre
Étalons une poignée de pièces sur une table. Chaque pièce représente un résultat possible : pile, face, ou autre chose. Si l'on connaît le degré de chaos de cet ensemble (son entropie), quelles combinaisons de probabilités rencontrera-t-on le plus souvent ? Il s'avère que la réponse dépend de la quantité de chaos que l'on autorise.
Physique quantique2026-05-053 minarXiv:2605.03807express
Des mondes presque orthogonaux
Jetez une dizaine de pièces sur une table. Le nombre de combinaisons de piles et de faces dépasse à peine le millier. Pour deux dizaines de pièces, c'est déjà un million. Le nombre croît comme 2 puissance le nombre de pièces, et c'est rapide. Mais les systèmes quantiques sont bien plus riches.
La conscience comme défaillance du thermostat
Un thermostat maintient une pièce à 20 degrés. Ouvrez la fenêtre en hiver – il enclenche le chauffage pour rétablir l'équilibre. Le cerveau fait quelque chose de similaire : il prédit constamment ce qui va se passer l'instant d'après et se corrige s'il se trompe. C'est ainsi qu'il apprend.
Optique2026-04-172 minarXiv:2604.16692express
Des molécules en rang : voir leur véritable ordre
Un film mince pour panneau solaire ou écran, c'est comme une foule dense sur une place : chaque personne est tournée dans sa direction, et de la direction de tous dépend si la lumière traversera la foule ou restera bloquée. Dans l'électronique organique, les molécules jouent le rôle des passants.
Comment un proton quantique devient un fluide chaud
Au Grand collisionneur de hadrons, ce ne sont pas seulement les noyaux qui entrent en collision, mais aussi des protons individuels. Même dans de si petits systèmes, on observe un comportement collectif semblable à l'écoulement d'un fluide.
Physique chimique2026-03-291 minarXiv:2603.27767express
Pourquoi l'eau devient plus lourde à 4 degrés
L'eau est le seul liquide courant qui ne se contracte pas immédiatement en refroidissant. La glace fond, et l'eau devient plus dense, mais seulement jusqu'à 4 degrés Celsius. Ensuite, en continuant à refroidir, elle se dilate à nouveau.
Physique quantique2026-03-251 minarXiv:2603.24522express
Un bond quantique vers le calme
Dans le monde quantique, le chemin vers le calme ressemble parfois à une course paradoxale : en partant plus loin de la ligne d'arrivée, le système atteint l'équilibre plus vite. Cet effet, l'analogue quantique du phénomène de Mpemba, est dû à la croissance rapide de l'entropie — la mesure du désordre.
Pourquoi les neurones ne peuvent pas être amis avec tout le monde
Un neurone dans le cerveau ressemble à une personne qui distribue ses cartes de visite lors d'une conférence très fréquentée. Au début, il fait facilement des connaissances, mais à mesure que son carnet d'adresses se remplit, chaque nouveau contact exige de plus en plus d'efforts — il reste peu de place libre.
Physique quantique2026-03-151 minarXiv:2603.14292express
La recette quantique du mélange parfait
Des physiciens ont trouvé les lois exactes selon lesquelles la liaison quantique se mélange dans les systèmes chaotiques. Dans un modèle soumis à des impulsions rythmiques — comme un cuisinier qui pétrit sa pâte — ils ont étudié la croissance de l'entropie d'intrication, mesure du désordre quantique.
Dynamique chaotique2026-03-142 minarXiv:2603.13789express
Pourquoi certains tourbillons sont prévisibles et d'autres non
Dans un écoulement turbulent – comme dans une rivière en crue – l'énergie se transfère constamment des grands tourbillons aux petits. Parfois, des sursauts particulièrement puissants apparaissent, semblables à des vagues qui frappent soudainement la rive. Les scientifiques se sont demandé : peut-on savoir à l'avance quand une telle « vague » va frapper ?
Systèmes dynamiques2026-02-282 minarXiv:2603.00709express
Choisir le meilleur modèle sans tirer à la courte paille
Pour comprendre un mécanisme, il faut le faire bouger. Un enfant qui démonte un réveil ne se contente pas de regarder les engrenages : il tourne la molette et écoute comment le tic-tac change. De même, les scientifiques, plutôt que d'observer passivement, envoient au système des signaux soigneusement choisis et observent la réponse.
L'entropie comme source de particules : des bits à la matière
En 1989, John Wheeler a formulé une idée audacieuse : « it from bit », tout ce qui existe provient de l'information. Longtemps, cela est resté une belle métaphore, mais aujourd'hui des physiciens ont trouvé un mécanisme concret qui transforme les bits en particules.
La gomme qui efface le passé : comment l'information quantique engendre l'irréversibilité
Une vague déferle sur le sable, laissant un motif d'écume et de coquillages. Un instant plus tard, elle se retire, mais les traces ne sont plus les mêmes : le sable est lissé, les coquillages retournés. Quelque chose de semblable se produit dans le monde quantique lorsqu'un système passe d'un état hors d'équilibre à l'équilibre.