статистика

сигма-клиппинг

Отбрасывание точек, отклоняющихся более чем на выбранное число стандартных отклонений, итеративно — обычная защита от выбросов.
14 статей

Описание

Сигма-клиппинг — это устойчивый статистический метод очистки данных от выбросов. Идея проста: вычислить среднее и стандартное отклонение набора данных, отбросить все точки, которые отклоняются от среднего более чем на выбранное число стандартных отклонений («сигма»), затем пересчитать среднее и стандартное отклонение по оставшимся точкам и повторить. Этот итеративный процесс сходится к устойчивому набору «хороших» точек данных, что делает его стандартным первым средством защиты от ложных измерений в физике и астрономии.

История

Метод неформально использовался в статистике с начала XX века, но стал стандартным инструментом обработки астрономических данных в 1980-х годах с появлением ПЗС-камер и автоматизированных обзоров неба.

Как это работает

Начните с набора данных и порога, обычно 2–3 сигмы. Вычислите среднее и стандартное отклонение. Отметьте каждую точку, абсолютное отклонение которой от среднего превышает порог, умноженный на стандартное отклонение, и удалите эти точки. Пересчитайте среднее и стандартное отклонение по оставшимся точкам и повторяйте, пока не останется точек, подлежащих удалению. Процедура чувствительна к начальной оценке, поэтому её часто запускают несколько раз с разными порогами для обеспечения устойчивости.

Где применяется

Метод используется для удаления следов космических лучей, битых пикселей и других артефактов из астрономических изображений и спектров, а также для очистки временных рядов перед поиском периодов или подгонкой моделей.

Любопытный факт

Сигма-клиппинг настолько распространён в астрономии, что встроен практически во все крупные пакеты обработки изображений — от IRAF до современных библиотек Python, таких как astropy.

Граф понятий →

Статьи по теме · 14

Два окна в один дом: как апертура волокна меняет портрет галактики
Два астрономических обзора смотрят на одну и ту же галактику через разные окна. Окно DESI узкое, всего полторы угловые секунды, и оно выхватывает только яркое ядро. Окно SDSS вдвое шире, три угловые секунды, и в него попадают ещё и внешние рукава.
Квантовая физика2026-08-141 минarXiv:2608.14327экспресс
Квантовые снимки рождают точный угол
Горсть монет падает на стол — орёл и решка ложатся как попало. Так же выглядит мгновенный снимок квантовой цепочки: в одних местах частица есть, в других нет. Но за беспорядком прячется строгий угол. В работе взяли цепочку из частиц, замкнутую в кольцо. Её поделили на четыре дуги: две измерили, две оставили нетронутыми. По занятым и пустым местам в измеренных дугах вычислили угол δL.
Космология2026-07-291 минarXiv:2607.26741экспресс
Калибровка космического радиоприёмника
Космический рассвет скрыт от нас плотной завесой времени. Заглянуть за неё можно, если поймать радиосигнал от облаков нейтрального водорода — тот самый глобальный сигнал на длине волны 21 см, реликт эпохи, когда первые звёзды ещё только зажигались. Но он настолько слаб, что его заглушает собственный шум приёмника.
Геометрия воды в медицинской визуализации: как плавность контуров улучшает диагностику
Медицинские снимки, по сути, представляют собой карты плотности тканей: яркость каждого пикселя кодирует локальные свойства среды, подобно тому как фотометрия — раздел оптики, измеряющий интенсивность света — регистрирует силу излучения.
Системы и управление2026-07-131 минarXiv:2607.10986экспресс
Адаптивный рой: от преследования к обороне без перепрограммирования
Представьте стаю волков: в один миг она переключается с азартной погони за добычей на слаженную защиту логова. Инженеры наделили рой роботов той же универсальностью, вложив её в алгоритм.
Баланс на квантовом канате: как численные методы усмиряют дрожь уравнения Дирака
Канатоходец ступает по тросу. Каждое движение — расчёт: перенести вес точно, иначе сорвёшься. В мире квантовых частиц, описываемых уравнением Дирака, своя пропасть — стремительные осцилляции волновой функции.
Методология2026-06-241 минarXiv:2606.26061экспресс
Новый способ видеть скрытое в хаосе данных
Лабораторный робот отсчитывает молекулы — и сбивается. В одной пробирке 0, в другой 12, в третьей 3, хотя на самом деле везде примерно поровну. Такие «сырые» цифры — обычное дело в биологии: секвенирование ДНК, подсчёт видов в пробе воды, активность генов. Данных много, но они разрежены и разбросаны сильнее, чем допускает простая случайность.
Молекулярный балет без режиссёра
Танец сотен частиц: одни пары кружатся медленно и плавно, другие дёргаются в бешеном ритме. Чтобы понять суть танца, нужно следить именно за медленными движениями — они и есть главная хореография системы. В науке о молекулах такие медленные движения называют «медленными модами», и именно они определяют, как белок сворачивается в клубок или как лекарство связывается с мишенью.
Гидродинамика2026-06-121 минarXiv:2606.14696экспресс
Почему сахар в чае размешивается не так, как мы думали
Кусочек сахара падает в горячий чай, ложка делает несколько кругов — и сахар исчезает. Но как именно он распределяется в бурлящей жидкости? Физики заглянули в этот процесс с невиданной детализацией: они смоделировали турбулентность на сетке из 8192³ точек. Если бы каждый миллиметр чашки разбили на сотню ячеек, получилось бы похожее разрешение.
Компилируем один раз, дифференцируем везде
Переводчик сидит в зале совещаний и переводит каждое слово. Но вот он замечает, что его перевод можно улучшить, если он будет учиться на своих ошибках. Он начинает записывать, какие фразы вызвали непонимание, и корректирует их. Через час его перевод становится точнее, а совещание проходит быстрее.
Движение глаз выдаёт аутизм у каждого третьего
Глаза следят за точкой, которая плавно рисует на экране сложную кривую. У большинства людей взгляд держится рядом с ней, но у некоторых — будто соскальзывает или запаздывает. Раньше такие особенности тонули в средних цифрах: если сложить всех и поделить, разница почти исчезает. Учёные решили смотреть не на среднее, а на каждого человека отдельно.
Оптика2026-02-141 минarXiv:2602.13714экспресс
Свет решает задачи точнее
Свет, проходя через линзу, слегка искривляется. Для оптического компьютера это как кривое зеркало для художника: изображение есть, но детали плывут. Машина Изинга на световых лучах решает задачи вроде укладки багажа или маршрута курьера. Но до сих пор ей приходилось смотреть только в маленький, самый ровный участок своего «зеркала».
Материаловедение2026-01-241 минarXiv:2601.17262экспресс
Карта кристаллов: как рассортировать миллионы снимков
Электронный микроскоп сканирует образец и в каждой точке записывает, как электроны рассеиваются на атомах. Получается гигантская стопка снимков — по одному на каждую точку. В них зашифрована информация о том, как уложены атомы: ровными рядами или с перекосом, куда повёрнута кристаллическая решётка, есть ли внутренние напряжения.
Часовой механизм климата: как новая математика ловит сезонные ритмы
Каждую зиму Тихий океан слегка теплеет у берегов Перу, а каждое лето остывает. Этот ритм задают шестерёнки климатической машины, но одни крутятся быстро, другие медленно, а третьи то ускоряются, то замирают. Линейные обратные модели десятилетиями помогали разглядеть эти шестерёнки в данных, но были слепы к сезонной смене хода.