
Процесс удаления шума или артефактов из данных для выявления истинных сигналов.Очистка данных — это процесс обнаружения и исправления (или удаления) повреждённых, неточных или нерелевантных частей набора данных. В физике сырые измерения никогда не бывают идеальными: детекторы имеют шум, проникают помехи окружающей среды, а систематические ошибки искажают сигналы. Очистка отделяет истинный физический сигнал от этих артефактов, делая последующий анализ надёжным. Это неприглядный, но необходимый первый шаг почти в каждом экспериментальном и наблюдательном исследовании — от квантовой визуализации до космологии.
Термин стал заметным с ростом цифровой обработки данных в середине XX века, но сама практика стара, как экспериментальная наука. Ранние астрономы вручную удаляли плохие наблюдения; современные автоматизированные конвейеры появились с компьютерами в 1960–70-х годах.
Типичные методы включают фильтрацию (например, удаление частотных полос, где доминирует шум), отбраковку выбросов (отбрасывание точек, которые сильно отклоняются от ожидаемого поведения) и калибровку (использование известных эталонов для коррекции отклика прибора). Более продвинутые подходы используют статистические модели или машинное обучение для выявления и вычитания артефактов, например, нейронные сети, которые отличают реальные события от сбоев детектора. Ключевой момент — удалить шум, не удаляя реальный сигнал, что требует понимания характеристик шума и физики измерения.
Используется в каждой экспериментальной физической лаборатории: от детекторов гравитационных волн LIGO (очистка сейсмического шума) до квантовой оптики (удаление тёмных отсчётов) и астрофизики (отделение фоновых излучений от реликтового микроволнового фона).
В детекторах гравитационных волн LIGO очистка данных включает отклонение моментов, когда над головой пролетают самолёты, потому что их радарные сигналы могут имитировать события гравитационных волн.






