
Una secuencia de pasos de procesamiento de datos utilizada para convertir observaciones brutas en productos científicos.Un pipeline es una secuencia de pasos de procesamiento de datos que transforma observaciones brutas en productos científicos finales. En la física y la astronomía modernas, los datos brutos de telescopios, detectores o simulaciones rara vez son utilizables directamente; deben calibrarse, limpiarse, filtrarse y analizarse paso a paso. El concepto es central en campos como la radioastronomía, donde las señales de miles de antenas se combinan y procesan, o en la biología computacional, donde las predicciones de plegamiento de proteínas requieren múltiples etapas de refinamiento.
El término 'pipeline' en informática se remonta a la década de 1960, pero su aplicación al procesamiento de datos científicos se generalizó con el auge de los experimentos a gran escala en las décadas de 1980 y 1990, como los de física de partículas y astronomía.
Un pipeline típicamente comienza con la adquisición de datos, seguida de un preprocesamiento (por ejemplo, eliminación de ruido o artefactos), luego un análisis central (por ejemplo, ajuste de modelos o extracción de características) y finalmente un postprocesamiento (por ejemplo, visualización o validación estadística). Cada paso toma la salida del anterior, y toda la cadena suele estar automatizada. En la práctica, los pipelines son modulares: los pasos individuales pueden intercambiarse o ajustarse sin rediseñar todo el sistema, razón por la cual se utilizan en todo, desde la compresión de voz hasta el entrenamiento de redes neuronales.
Los pipelines se utilizan en conjuntos de radiotelescopios como LOFAR o ALMA para convertir datos brutos de voltaje en imágenes del cielo, y en genómica para transformar lecturas de secuenciación en genomas anotados.
En el radiotelescopio LOFAR, un pipeline procesa datos de 32 antenas en tiempo real, creando efectivamente un telescopio virtual con una resolución comparable a la de un plato único de kilómetros de diámetro.






