статистика

отбраковка выбросов

Они искали объекты, мерцающие у края тени, отфильтровывая известные каталогизированные объекты.
1 статья

Описание

Отбраковка выбросов — это процесс выявления и удаления точек данных, которые значительно отклоняются от ожидаемой закономерности или распределения набора данных. В научных контекстах выбросы могут возникать из-за ошибок измерений, переходных событий или загрязнения несвязанными источниками. Цель — очистить данные, чтобы последующий анализ отражал лежащее в основе явление, а не случайные флуктуации. Это особенно важно в таких областях, как астрономия, где единичное аномальное показание можно принять за реальное открытие.

Как это работает

Метод обычно включает определение статистического критерия того, что считать «нормальным» — например, определённое число стандартных отклонений от среднего или робастную подгонку модели. Точки, выходящие за этот порог, помечаются и либо отбрасываются, либо подвергаются повторной проверке. На практике процесс может быть итеративным: после удаления очевидных выбросов модель пересчитывается, и порог применяется снова, чтобы уловить более тонкие отклонения. Выбор критерия зависит от характеристик шума в данных и риска отбросить подлинные сигналы.

Где применяется

Используется в физике частиц для фильтрации шума детекторов, в астрономии для исключения космических лучей из изображений и в финансах для удаления ошибочных торговых данных перед анализом рисков.

Любопытный факт

При открытии бозона Хиггса физики использовали отбраковку выбросов для устранения фоновых событий, но намеренно сохранили несколько «выбросов», которые впоследствии оказались первыми намёками на новую частицу.

Граф понятий →

Статьи по теме · 1

Тёмная материя: когда удар не оставляет следа
Бильярдный шар врезается в другой. Удар — и шары разлетаются. Но если толчок будет не резким, а очень плавным, шары просто покатятся вместе, не отскакивая. Примерно так же ведёт себя атом, когда в него попадает частица тёмной материи.