Bayesian inference is a statistical method that updates the probability of a hypothesis as more evidence becomes available.L'inférence bayésienne est une méthode mathématique pour estimer la probabilité d'une hypothèse sur la base de nouvelles observations. Elle nécessite trois composants : une probabilité a priori (degré de confiance initial dans l'hypothèse), une fonction de vraisemblance (probabilité des données si l'hypothèse est vraie) et une constante de normalisation (probabilité totale des données sous toutes les hypothèses possibles). Le résultat est la probabilité a posteriori — ce en quoi vous croyez après avoir pris en compte les indices. Contrairement aux statistiques classiques, l'approche bayésienne répond directement à la question « quelle est la probabilité que l'hypothèse soit vraie compte tenu de ces données ? », plutôt qu'à « quelle est la probabilité d'obtenir de telles données si l'hypothèse est vraie ? ».
Le théorème de Bayes a été formulé pour la première fois dans un ouvrage posthume de Thomas Bayes (1763), puis indépendamment redécouvert et diffusé par Pierre-Simon Laplace en 1774. Laplace l'a appliqué à l'estimation de la masse de Saturne et à des études démographiques. Au XXe siècle, l'intérêt a été ravivé grâce aux travaux de Harold Jeffreys, qui a introduit des distributions a priori non informatives, et de Leonard Savage, qui a développé l'axiomatique de la probabilité subjective. Avec l'avènement de méthodes computationnelles puissantes, telles que l'algorithme de Metropolis-Hastings (1970) et l'échantillonnage de Gibbs, l'inférence bayésienne est devenue applicable à des modèles complexes dans les sciences des données.
L'inférence s'appuie sur le théorème de Bayes : P(H|D) = P(D|H) * P(H) / P(D), où H est l'hypothèse, D les données. P(H) (a priori) reflète le degré de confiance initial, P(D|H) (vraisemblance) — la probabilité d'obtenir les données D si H est vraie, P(D) — la probabilité marginale des données, jouant le rôle de normalisation. En pratique, le calcul direct du dénominateur, une intégrale sur toutes les hypothèses, est souvent impossible, et on recourt aux méthodes de Monte-Carlo par chaînes de Markov (MCMC) pour approximer la distribution a posteriori. Des logiciels modernes comme Stan et PyMC automatisent ces calculs.
Les filtres anti-spam apprennent de vos marquages, les tests médicaux affinent le diagnostic en fonction de nouveaux symptômes.
Le briseur de code britannique Alan Turing a utilisé des méthodes bayésiennes pendant la Seconde Guerre mondiale pour déchiffrer « Enigma », en attribuant des probabilités aux différents réglages de la machine sur la base des messages interceptés.
| B | variable | Bayes factor — facteur de Bayes |
| D_k | variable | k-th data point — données |
| H_1 | variable | alternative hypothesis — hypothèse |
| H_0 | variable | null hypothesis — hypothèse |
| N | variable | number of data points — taille de l'échantillon |
| ∏ | opérateur | multiplication of terms for k=1 to N — opérateur produit |
| Z | variable | Bayesian evidence (marginal likelihood) — évidence bayésienne |
| Θ | variable | Parameter vector — parameter vector |
| L(Θ) | variable | Likelihood function — likelihood function |
| π(Θ) | variable | Prior probability density — prior probability density |
| ∫ | opérateur | Integration over parameter space — opérateur intégral |
| dΘ | opérateur | Infinitesimal volume element — volume element |
| p(x) | variable | Probability density of distribution p — probability density |
| q(x) | variable | Probability density of distribution q — probability density |
| x | variable | Integration variable (sample space) |
| ∫ | opérateur | Integration over the sample space — opérateur intégral |
| P(A|B) | variable | Conditional probability of A given B — conditional probability |
| P(B|A) | variable | Conditional probability of B given A — conditional probability |
| P(A) | variable | Marginal probability of A — probabilité |
| P(B) | variable | Marginal probability of B — probabilité |













