La probabilité des données sous un modèle avec paramètres intégrés ; pénalise automatiquement la complexité.L'évidence bayésienne, également connue sous le nom de vraisemblance marginale, est la probabilité des données observées sous un modèle donné, tous paramètres intégrés. Elle se calcule comme l'intégrale du produit de la vraisemblance par l'a priori sur tout l'espace des paramètres. Cette quantité est centrale dans la comparaison de modèles bayésiens : le rapport des évidences de deux modèles (le facteur de Bayes) indique à quel point un modèle est plus probable que l'autre, compte tenu des données. Une propriété clé est qu'elle pénalise automatiquement la complexité du modèle — un modèle avec plus de paramètres n'obtient pas automatiquement une évidence plus élevée, car l'espace des paramètres supplémentaire dilue la masse de probabilité a priori.
Le concept remonte aux travaux de Harold Jeffreys dans les années 1930, qui a introduit le facteur de Bayes pour les tests d'hypothèses. Le terme « évidence » a été popularisé par John Skilling dans le contexte de l'échantillonnage par nidification dans les années 2000.
Pour calculer l'évidence, on intègre le produit de la vraisemblance et de l'a priori sur toutes les valeurs des paramètres. Pour des modèles simples, cette intégrale peut être résolue analytiquement ; pour des modèles complexes, elle nécessite des méthodes numériques comme l'échantillonnage par nidification ou l'intégration thermodynamique. L'évidence équilibre l'adéquation et la complexité : un modèle qui s'ajuste bien aux données mais possède de nombreux paramètres aura une évidence plus faible qu'un modèle plus simple qui s'ajuste presque aussi bien, car la masse a priori est répartie sur un volume plus grand.
L'évidence bayésienne est utilisée en cosmologie pour comparer des modèles de l'univers (par exemple, avec ou sans énergie sombre), dans la détection d'exoplanètes pour décider si un signal est une planète ou du bruit, et en apprentissage automatique pour la sélection automatique de modèles.
L'évidence bayésienne met automatiquement en œuvre le rasoir d'Occam : si deux modèles s'ajustent aussi bien aux données, le plus simple aura une évidence plus élevée, purement par les mathématiques de la probabilité.
| Z | variable | Bayesian evidence (marginal likelihood) — évidence bayésienne |
| Θ | variable | Parameter vector — parameter vector |
| L(Θ) | variable | Likelihood function — likelihood function |
| π(Θ) | variable | Prior probability density — prior probability density |
| ∫ | opérateur | Integration over parameter space — opérateur intégral |
| dΘ | opérateur | Infinitesimal volume element — volume element |
