Вероятность данных в рамках модели с интегрированными параметрами; автоматически штрафует за сложность.Байесовское свидетельство, также известное как маргинальное правдоподобие, — это вероятность наблюдаемых данных в рамках данной модели, с интегрированными по всем параметрам. Оно вычисляется как интеграл от правдоподобия, умноженного на априорное распределение, по всему пространству параметров. Эта величина является центральной для сравнения байесовских моделей: отношение свидетельств для двух моделей (фактор Байеса) показывает, насколько одна модель более вероятна, чем другая, при данных данных. Ключевое свойство состоит в том, что оно автоматически штрафует за сложность модели — модель с большим числом параметров не получает автоматически более высокое свидетельство, потому что дополнительное пространство параметров разбавляет массу априорного распределения.
Концепция восходит к работам Гарольда Джеффриса в 1930-х годах, который ввёл фактор Байеса для проверки гипотез. Термин «свидетельство» был популяризирован Джоном Скиллингом в контексте вложенной выборки в 2000-х годах.
Чтобы вычислить свидетельство, вы интегрируете произведение правдоподобия и априорного распределения по всем значениям параметров. Для простых моделей этот интеграл может быть вычислен аналитически; для сложных моделей требуются численные методы, такие как вложенная выборка или термодинамическое интегрирование. Свидетельство уравновешивает качество подгонки и сложность: модель, которая хорошо подгоняет данные, но имеет много параметров, будет иметь более низкое свидетельство, чем более простая модель, которая подгоняет почти так же хорошо, потому что масса априорного распределения распределена по большему объёму.
Байесовское свидетельство используется в космологии для сравнения моделей Вселенной (например, с тёмной энергией или без неё), в обнаружении экзопланет для определения, является ли сигнал планетой или шумом, и в машинном обучении для автоматического выбора модели.
Байесовское свидетельство автоматически реализует бритву Оккама: если две модели подгоняют данные одинаково хорошо, более простая модель будет иметь более высокое свидетельство, просто из математики вероятности.
| Z | переменная | Байесовское свидетельство (маргинальное правдоподобие) — байесовское свидетельство |
| Θ | переменная | Вектор параметров — parameter vector |
| L(Θ) | переменная | Функция правдоподобия — likelihood function |
| π(Θ) | переменная | Априорная плотность вероятности — prior probability density |
| ∫ | оператор | Интегрирование по пространству параметров — интегральный оператор |
| dΘ | оператор | Бесконечно малый элемент объёма — volume element |
