Вопрос о том, насколько маловероятны данные, если бы эффекта не было, — рамка, в которой объявляются открытия.Проверка нулевой гипотезы — это статистический подход, используемый для определения того, является ли наблюдаемый эффект в данных реальным или может быть объяснён случайностью. «Нулевая гипотеза» обычно утверждает, что эффекта, различия или связи нет — например, что новый препарат действует не лучше плацебо. Проверка задаёт вопрос: если бы нулевая гипотеза была верна, насколько маловероятно было бы увидеть данные, по крайней мере столь же экстремальные, как те, что наблюдались на самом деле? Если эта маловероятность оказывается ниже заранее установленного порога (обычно 5%), исследователи объявляют результат «статистически значимым» и отвергают нулевую гипотезу в пользу альтернативной.
Этот подход был формализован в начале XX века Рональдом Фишером, который ввёл концепцию проверки значимости в 1920-х годах, а затем расширен Ежи Нейманом и Эгоном Пирсоном, добавившими альтернативную гипотезу и типы ошибок.
Процедура начинается с предположения, что нулевая гипотеза верна. Из этого предположения выводится распределение вероятностей для тестовой статистики — числа, обобщающего данные, например разности средних. Наблюдаемые данные дают фактическое значение этой статистики. Затем проверка вычисляет вероятность получения значения, по крайней мере столь же экстремального, как наблюдаемое, при предполагаемом распределении. Эта вероятность называется p-значением. Если p-значение достаточно мало, результат считается несовместимым с нулевой гипотезой, и нулевая гипотеза отвергается.
Это стандартный инструмент в научных исследованиях — от клинических испытаний до психологических экспериментов — для решения, заслуживает ли вмешательство или эффект внимания.
Порог значимости в 5% популяризировал Фишер, выбрав его как удобное круглое число в своей книге «Статистические методы для исследователей» 1925 года.












