Число независимых шансов, которые поиск имел на возникновение флуктуации, на которое необходимо скорректировать локальную значимость.Фактор испытаний (также известный как эффект поиска в другом месте) количественно определяет, насколько завышается статистическая значимость заявленного сигнала, когда вы ищете его сразу во многих местах. Если бросить кость 100 раз, можно ожидать выпадение шестерки около 17 раз; увидеть одну шестерку не примечательно. Аналогично, если вы сканируете широкий диапазон масс частиц или энергетических диапазонов в поисках всплеска, случайная флуктуация где-то вполне вероятна. Фактор испытаний — это число независимых шансов, которые ваш поиск имел на возникновение такой флуктуации, и он показывает, насколько нужно скорректировать вашу первоначальную «локальную» значимость, чтобы получить истинную «глобальную» значимость.
Концепция возникла в 1970-х годах в контексте поисков в физике высоких энергий, хотя её точное происхождение размыто. Луи Лайонс и его коллеги популяризировали термин «эффект поиска в другом месте» в 1980-х годах, а фактор испытаний является количественным выражением этого эффекта.
Когда вы ищете сигнал, вы вычисляете локальное p-значение — вероятность того, что флуктуация в одном конкретном месте выглядела бы столь же экстремальной, как то, что вы наблюдали. Но поскольку вы перепробовали много мест, вероятность того, что хотя бы одно из них флуктуирует, гораздо выше. Фактор испытаний — это отношение глобального p-значения (вероятности увидеть такую флуктуацию где угодно) к локальному p-значению. Грубо говоря, если у вас есть N независимых мест поиска, глобальная значимость примерно равна локальной значимости, умноженной на N (для малых p-значений). Эта поправка становится решающей при заявлении об открытиях в физике высоких энергий, где сканирование по многим возможным массам новых частиц является обычным делом.
Используется в физике частиц для установления корректных уровней значимости при поиске новых частиц (например, при открытии бозона Хиггса) и в космологии при сканировании множества возможных сигналов в данных космического микроволнового фона.
Фактор испытаний может достигать миллионов в типичном поиске новой частицы в широком диапазоне масс, превращая локальную флуктуацию на уровне 5 сигма в глобальную значимость всего лишь на уровне 2 сигма.
