Comparaison de modèles qui échange la qualité de l'ajustement contre le nombre de paramètres, comme dans l'AIC et le BIC.Un critère d'information est un score numérique utilisé pour comparer des modèles statistiques concurrents sur un même ensemble de données. L'idée centrale est de trouver un équilibre entre deux objectifs opposés : un modèle doit bien s'ajuster aux données, mais il ne doit pas être si complexe qu'il se contente de mémoriser le bruit. Les critères d'information formalisent ce compromis en combinant une mesure de la qualité de l'ajustement—typiquement la vraisemblance maximale—avec un terme de pénalité qui croît avec le nombre de paramètres du modèle. Les exemples les plus célèbres sont le critère d'information d'Akaike (AIC) et le critère d'information bayésien (BIC), chacun dérivé de fondements théoriques différents mais servant le même objectif pratique.
L'AIC a été introduit par Hirotugu Akaike en 1974, et le BIC a été développé par Gideon Schwarz en 1978. Tous deux ont été motivés par la théorie de l'information et sont depuis devenus des outils standard en statistique et dans de nombreux domaines scientifiques.
Pour un modèle donné, on calcule la valeur maximale de la fonction de vraisemblance, qui quantifie la probabilité des données observées sous ce modèle. Le critère d'information soustrait ensuite une pénalité qui dépend du nombre de paramètres : l'AIC utilise une pénalité de 2 fois le nombre de paramètres, tandis que le BIC utilise le logarithme népérien de la taille de l'échantillon multiplié par le nombre de paramètres. Des valeurs plus faibles du critère indiquent un meilleur modèle. La différence entre les critères de deux modèles peut être interprétée comme une mesure approximative de la preuve relative, une différence d'environ 10 étant une preuve forte en faveur du meilleur modèle.
En physique, les critères d'information sont utilisés pour choisir entre des modèles théoriques concurrents—par exemple, pour décider si une raie spectrale est mieux décrite par un pic unique ou par deux pics se chevauchant, ou si les données cosmologiques favorisent un univers plat avec une constante cosmologique plutôt que des alternatives plus exotiques.
L'AIC est dérivé d'une mesure issue de la théorie de l'information appelée divergence de Kullback-Leibler, qui quantifie la perte d'information lorsqu'une distribution de probabilité est approximée par une autre.











