
Échantillonner une distribution a posteriori multidimensionnelle une coordonnée à la fois à partir de ses distributions conditionnelles.L'échantillonnage de Gibbs est un algorithme de Monte Carlo par chaînes de Markov (MCMC) qui permet de générer des échantillons à partir d'une distribution de probabilité multivariée lorsque l'échantillonnage direct est difficile. Il fonctionne en mettant à jour une variable à la fois, en tirant chaque nouvelle valeur à partir de sa distribution conditionnelle, étant donné les valeurs actuelles de toutes les autres variables. Cette approche est particulièrement utile lorsque la distribution conjointe complète est complexe, mais que les distributions conditionnelles sont simples et faciles à échantillonner. L'échantillonnage de Gibbs est un cas particulier de l'algorithme de Metropolis-Hastings, mais il accepte toujours la proposition, ce qui le rend efficace sur le plan computationnel dans de nombreux contextes.
La méthode porte le nom du physicien Josiah Willard Gibbs, mais elle a été formalisée par Stuart Geman et Donald Geman en 1984 dans le cadre de la restauration d'images, puis généralisée par d'autres.
L'algorithme commence avec un ensemble initial de valeurs pour toutes les variables. À chaque itération, il parcourt les variables dans un ordre fixe (ou aléatoire). Pour chaque variable, il échantillonne une nouvelle valeur à partir de sa distribution conditionnelle, en maintenant toutes les autres variables à leurs valeurs actuelles. Ces nouvelles valeurs sont immédiatement utilisées dans les distributions conditionnelles suivantes. Au fil de nombreuses itérations, la séquence d'échantillons converge vers la distribution conjointe, à condition que la chaîne soit irréductible et apériodique. L'essentiel est que les distributions conditionnelles soient connues et faciles à échantillonner, ce qui est souvent le cas dans les modèles bayésiens hiérarchiques.
Il est largement utilisé en statistique bayésienne pour échantillonner des distributions a posteriori, comme dans l'allocation de Dirichlet latente (LDA) pour la modélisation thématique en traitement du langage naturel, et dans l'analyse de données génétiques.
Bien qu'il porte le nom de Gibbs, l'algorithme n'a pas été développé par lui ; le nom a été inventé par Geman et Geman en raison d'une analogie avec les distributions de Gibbs en mécanique statistique.










