La règle de base des chaînes de Markov : proposer un pas, l'accepter avec une probabilité fixée par le rapport des distributions a posteriori.L'algorithme de Metropolis-Hastings est une méthode de Monte Carlo par chaînes de Markov (MCMC) permettant d'échantillonner une distribution de probabilité lorsque l'échantillonnage direct est impossible. C'est un outil essentiel du calcul bayésien, qui permet de générer une séquence d'échantillons suivant asymptotiquement la distribution a posteriori cible, même lorsque la constante de normalisation est inconnue. Cela le rend indispensable pour l'estimation de paramètres et la comparaison de modèles dans des problèmes complexes et de grande dimension.
L'algorithme a été introduit par Nicholas Metropolis en 1953 pour un cas particulier, puis généralisé par W. Keith Hastings en 1970. Il s'est largement répandu en physique et en statistique dans les années 1980 et 1990 avec l'essor de la puissance de calcul.
Partant d'un point initial, l'algorithme propose un nouveau point selon une distribution de proposition. Il calcule ensuite le rapport des densités a posteriori entre le point proposé et le point courant. Si ce rapport est supérieur à 1, la proposition est acceptée ; sinon, elle est acceptée avec une probabilité égale à ce rapport. Cette règle d'acceptation garantit que la chaîne passe davantage de temps dans les régions de forte probabilité, et après de nombreuses étapes, la distribution des points visités converge vers la distribution cible. La distribution de proposition peut être ajustée pour équilibrer exploration et efficacité.
Il est utilisé en physique des particules pour ajuster des modèles complexes aux données, en cosmologie pour explorer l'espace des paramètres de l'univers, et en finance pour l'évaluation des risques et la tarification des options.
L'algorithme a été initialement développé pour calculer l'équation d'état d'un gaz de sphères dures, et ses inventeurs ont utilisé l'un des premiers ordinateurs électroniques, le MANIAC, à Los Alamos.










