статистика

оценка плотности ядра

Оценка гладкой плотности вероятности по выборкам без предположения о ее функциональной форме.
3 статьи

Описание

Оценка плотности ядерным сглаживанием (KDE) — это непараметрический способ оценить функцию плотности вероятности случайной величины по конечной выборке точек данных. В отличие от гистограмм, которые зависят от ширины и расположения бинов, KDE дает гладкую кривую, помещая гладкое «ядро» (симметричную неотрицательную функцию, часто гауссову) с центром в каждой точке данных и суммируя их. Результат — непрерывная оценка, которая сходится к истинной плотности при росте объема выборки, без предположения о какой-либо конкретной функциональной форме, такой как нормальная или экспоненциальная.

История

Введена Мюрреем Розенблаттом (1956) и Эмануэлем Парценом (1962), на основе более ранних работ Фикса и Ходжеса в 1950-х годах.

Как это работает

Для каждой точки данных x_i помещается ядерная функция K (например, гауссова) с шириной окна h (параметром сглаживания) с центром в x_i. Оценка плотности в любой точке x — это среднее этих ядер: f_hat(x) = (1/(n h)) Σ K((x - x_i)/h). Ширина окна h контролирует компромисс между смещением и дисперсией: малое h дает извилистую оценку, следующую за шумом, а большое h чрезмерно сглаживает и теряет особенности. Выбор оптимального h (например, с помощью кросс-валидации) является ключевым.

Где применяется

Используется в науке о данных для разведочного анализа данных, в финансах для оценки рисков, а в астрономии — для оценки распределения галактик по разреженным наблюдениям.

Любопытный факт

KDE лежит в основе популярного «скрипичного графика» (violin plot), который сочетает ящик с усами с повернутой KDE, чтобы показать форму распределения.

Граф понятий →

Статьи по теме · 3

Переводчик, который не пропускает ни одного шороха
Переводчик в зале суда ловит каждое слово, каждый вздох, каждый шорох в углу. Он не имеет права пропустить деталь, потому что от неё зависит смысл всего разговора. Примерно так же работает квантовая томография состояния: она восстанавливает полное квантовое состояние системы по набору измерений, не упуская ни одной детали.
Гауссова маска пала: как 4 610 вселенных изменили статистику космоса
4 610 вселенных — ровно столько космологических моделей потребовалось астрофизикам, чтобы показать: привычная маска Гаусса больше не работает для данных нового поколения. Будущие обзоры неба, такие как миссия Euclid и обсерватория им.
Термодинамика чёрных браней без решения уравнений
Чёрные дыры умеют испускать тепло. У них есть температура, энтропия (мера беспорядка) и другие термодинамические характеристики. Обычно, чтобы их вычислить, приходится сначала построить саму чёрную дыру — решить сложные уравнения искривлённого пространства-времени. Это как узнавать вес блюда, каждый раз готовя его с нуля.