Последовательность этапов обработки данных, используемая для преобразования сырых наблюдений в научные продукты.Конвейер — это последовательность этапов обработки данных, преобразующая сырые наблюдения в конечные научные продукты. В современной физике и астрономии сырые данные с телескопов, детекторов или симуляций редко пригодны для непосредственного использования; их необходимо калибровать, очищать, фильтровать и анализировать шаг за шагом. Эта концепция является центральной в таких областях, как радиоастрономия, где сигналы от тысяч антенн объединяются и обрабатываются, или в вычислительной биологии, где предсказания сворачивания белков требуют нескольких стадий уточнения.
Термин «конвейер» в вычислительной технике восходит к 1960-м годам, но его применение к научной обработке данных стало широким с ростом крупномасштабных экспериментов в 1980-х и 1990-х годах, например, в физике частиц и астрономии.
Конвейер обычно начинается со сбора данных, затем следует предварительная обработка (например, удаление шумов или артефактов), затем основной анализ (например, подгонка моделей или извлечение признаков) и, наконец, постобработка (например, визуализация или статистическая проверка). Каждый этап принимает выход предыдущего, и вся цепочка часто автоматизирована. На практике конвейеры модульны: отдельные этапы можно заменять или настраивать без перепроектирования всей системы, поэтому они используются повсюду — от сжатия речи до обучения нейронных сетей.
Конвейеры используются в массивах радиотелескопов, таких как LOFAR или ALMA, для преобразования сырых данных о напряжении в изображения неба, а в геномике — для превращения прочтений секвенирования в аннотированные геномы.
В радиотелескопе LOFAR конвейер обрабатывает данные с 32 антенн в реальном времени, фактически создавая виртуальный телескоп с разрешением, сравнимым с разрешением одной тарелки диаметром в несколько километров.
