Choisir entre des descriptions concurrentes des mêmes données, par preuve, critère ou validation croisée.La sélection de modèles est le processus qui consiste à choisir le meilleur parmi plusieurs modèles candidats pouvant expliquer un ensemble de données donné. En physique, cela signifie souvent trancher entre différentes hypothèses théoriques—par exemple, déterminer si une nouvelle particule existe ou si un modèle ne comportant que du bruit de fond suffit. Le défi est qu'un modèle plus complexe s'ajustera presque toujours mieux aux données, simplement parce qu'il est plus flexible ; la sélection doit donc tenir compte du risque de surajustement. Les méthodes de sélection de modèles offrent des moyens rigoureux d'équilibrer la qualité de l'ajustement et la complexité du modèle, garantissant que le modèle choisi n'est pas seulement bien ajusté, mais aussi un bon prédicteur pour les données futures.
La sélection de modèles trouve ses racines dans les statistiques du début du XXe siècle, avec le test du rapport de vraisemblance introduit par Jerzy Neyman et Egon Pearson dans les années 1920. L'approche moderne fondée sur la théorie de l'information a émergé dans les années 1970 avec l'AIC et le BIC, et la validation croisée a été développée dans les années 1930 et popularisée dans les années 1970.
Il existe plusieurs approches. Les méthodes fréquentistes utilisent des tests d'hypothèses, comme le test du rapport de vraisemblance, pour voir si l'amélioration de l'ajustement apportée par un modèle plus complexe est statistiquement significative. Les critères d'information, comme l'AIC et le BIC, attribuent un score qui pénalise la complexité, et le modèle avec le score le plus bas est retenu. La validation croisée divise les données en ensembles d'entraînement et de validation, ajustant le modèle sur l'ensemble d'entraînement et évaluant sa performance prédictive sur l'ensemble de validation. La sélection bayésienne de modèles calcule la probabilité a posteriori de chaque modèle, ce qui intègre naturellement une pénalité pour la complexité à travers les probabilités a priori.
En physique des particules, la sélection de modèles est utilisée pour trancher entre un modèle avec signal plus bruit de fond et un modèle avec bruit de fond seul lors de la recherche de nouvelles particules. En cosmologie, elle sert à comparer différents modèles d'énergie noire au modèle standard ΛCDM.
Le célèbre « effet de look-elsewhere » en physique des particules est un problème de sélection de modèles : lorsqu'on recherche une nouvelle particule sur de nombreuses masses possibles, la probabilité qu'une fluctuation aléatoire apparaisse comme significative augmente, et les méthodes de sélection de modèles doivent corriger cette multiplicité.
