Вероятность получить данные, по крайней мере столь же экстремальные, как наблюдаемые, если нулевая гипотеза верна; не вероятность того, что гипотеза верна.p-значение — это число, вычисляемое при проверке нулевой гипотезы, которое количественно определяет, насколько наблюдаемые данные совместимы с нулевой гипотезой. Конкретно, это вероятность получить тестовую статистику, по крайней мере столь же экстремальную, как наблюдаемая, при условии, что нулевая гипотеза верна. Распространённое заблуждение состоит в том, что p-значение — это вероятность того, что нулевая гипотеза верна, или что оно измеряет величину эффекта — оно не делает ни того, ни другого. Оно лишь говорит вам, насколько удивительными были бы данные при конкретном предположении об «отсутствии эффекта».
Концепция была введена Карлом Пирсоном в 1900 году в контексте критерия хи-квадрат, а позже уточнена и популяризирована Рональдом Фишером в 1920-х годах как инструмент для проверки значимости.
Чтобы вычислить p-значение, сначала выбирают тестовую статистику (например, t-статистику или хи-квадрат), которая обобщает данные. При нулевой гипотезе эта статистика следует известному распределению вероятностей. Затем находят наблюдаемую статистику на этом распределении и вычисляют площадь под кривой за пределами этой точки — эта площадь и есть p-значение. Маленькое p-значение (например, 0.01) означает, что если бы нулевая гипотеза была верна, данные такой степени экстремальности встречались бы только в 1% случаев, что предполагает, что нулевая гипотеза может быть ложной.
P-значения используются во всех эмпирических науках для фильтрации результатов при публикации и для принятия решений в таких областях, как медицина, экономика и генетика.
В 2016 году Американская статистическая ассоциация выпустила официальное заявление, предупреждающее, что p-значения широко используются неправильно и интерпретируются ошибочно, что вызвало движение в сторону более надёжных статистических методов.
