Comparación de modelos que equilibra la bondad de ajuste con el número de parámetros, como en AIC y BIC.Un criterio de información es una puntuación numérica utilizada para comparar modelos estadísticos en competencia para el mismo conjunto de datos. La idea central es equilibrar dos objetivos opuestos: un modelo debe ajustarse bien a los datos, pero no debe ser tan complejo que simplemente memorice el ruido. Los criterios de información formalizan este equilibrio combinando una medida de bondad de ajuste—típicamente la máxima verosimilitud—con un término de penalización que crece con el número de parámetros del modelo. Los ejemplos más famosos son el Criterio de Información de Akaike (AIC) y el Criterio de Información Bayesiano (BIC), cada uno derivado de fundamentos teóricos diferentes pero con el mismo propósito práctico.
El AIC fue introducido por Hirotugu Akaike en 1974, y el BIC fue desarrollado por Gideon Schwarz en 1978. Ambos fueron motivados por la teoría de la información y desde entonces se han convertido en herramientas estándar en la estadística y en muchos campos científicos.
Para un modelo dado, se calcula el valor máximo de la función de verosimilitud, que cuantifica cuán probable son los datos observados bajo ese modelo. El criterio de información luego resta una penalización que depende del número de parámetros: el AIC usa una penalización de 2 veces el número de parámetros, mientras que el BIC usa el logaritmo natural del tamaño de la muestra multiplicado por el número de parámetros. Valores más bajos del criterio indican un mejor modelo. La diferencia entre los criterios de dos modelos puede interpretarse como una medida aproximada de la evidencia relativa, siendo una diferencia de aproximadamente 10 una evidencia fuerte a favor del mejor modelo.
En física, los criterios de información se utilizan para elegir entre modelos teóricos en competencia—por ejemplo, decidir si una línea espectral se describe mejor con un solo pico o con dos picos superpuestos, o si los datos cosmológicos favorecen un universo plano con una constante cosmológica frente a alternativas más exóticas.
El AIC se deriva de una medida de la teoría de la información llamada divergencia de Kullback-Leibler, que cuantifica cuánta información se pierde cuando una distribución de probabilidad aproxima a otra.











