Сравнение моделей, которое уравновешивает качество подгонки и число параметров, как в AIC и BIC.Информационный критерий — это числовая оценка, используемая для сравнения конкурирующих статистических моделей на основе одного и того же набора данных. Основная идея заключается в балансировании двух противоположных целей: модель должна хорошо соответствовать данным, но не должна быть настолько сложной, чтобы просто запоминать шум. Информационные критерии формализуют этот компромисс, объединяя меру качества подгонки — обычно максимальное правдоподобие — с штрафным членом, который растет с числом параметров модели. Наиболее известными примерами являются информационный критерий Акаике (AIC) и байесовский информационный критерий (BIC), каждый из которых выведен из разных теоретических оснований, но служит одной и той же практической цели.
AIC был предложен Хиротугу Акаике в 1974 году, а BIC разработан Гидеоном Шварцем в 1978 году. Оба критерия были мотивированы теорией информации и с тех пор стали стандартными инструментами в статистике и многих научных областях.
Для данной модели вычисляется максимальное значение функции правдоподобия, которое количественно определяет, насколько вероятны наблюдаемые данные в рамках этой модели. Затем информационный критерий вычитает штраф, зависящий от числа параметров: AIC использует штраф, равный удвоенному числу параметров, а BIC — произведение натурального логарифма объема выборки на число параметров. Меньшие значения критерия указывают на лучшую модель. Разность между значениями критериев для двух моделей может интерпретироваться как приблизительная мера относительной поддержки, при этом разность около 10 является сильным свидетельством в пользу лучшей модели.
В физике информационные критерии используются для выбора между конкурирующими теоретическими моделями — например, для определения, лучше ли спектральная линия описывается одним пиком или двумя перекрывающимися пиками, или предпочитают ли космологические данные плоскую вселенную с космологической постоянной более экзотическим альтернативам.
AIC выведен из информационно-теоретической меры, называемой расходимостью Кульбака-Лейблера, которая количественно определяет, сколько информации теряется, когда одно распределение вероятностей аппроксимирует другое.











