Мера того, насколько результат не обусловлен случайностью, здесь количественно выражается через низкую вероятность ошибки.Статистическая значимость — это понятие из статистики, показывающее, насколько вероятно, что наблюдаемый эффект или различие реально, а не является результатом случайности. В физике её часто количественно выражают через p-значение или уровень «сигма» — например, результат с уровнем 5 сигма означает, что вероятность того, что наблюдение является статистической случайностью, меньше одной на 3,5 миллиона. Эта мера важна для отличия подлинных открытий от шума в экспериментальных данных.
Концепция была формализована Рональдом Фишером в 1920-х годах, который ввёл p-значение и порог 0,05. Позже, в 1930-х годах, Ежи Нейман и Эгон Пирсон разработали основу проверки гипотез, лежащую в основе современного анализа значимости.
Когда физики собирают данные, они сравнивают свои наблюдения с нулевой гипотезой — обычно о том, что никакого эффекта не существует. Статистическая значимость количественно определяет вероятность получить данные, по крайней мере столь же экстремальные, как наблюдаемые, при условии, что нулевая гипотеза верна. Если эта вероятность очень мала, результат считается значимым, и нулевая гипотеза отвергается. Порог для заявления об открытии в физике элементарных частиц обычно составляет 5 сигма, тогда как в более мягких областях 2 сигма могут считаться указывающими на возможный эффект.
Статистическая значимость используется в физике элементарных частиц для подтверждения существования новых частиц (например, бозона Хиггса), в медицинских испытаниях для проверки эффективности лекарств и в астрономии для подтверждения обнаружения экзопланет.
Стандарт 5 сигма для открытий в физике элементарных частиц был выбран так, чтобы вероятность ложноположительного результата была примерно такой же, как вероятность подбросить симметричную монету 22 раза и каждый раз получить орла.