
Une séquence d'étapes de traitement des données utilisée pour convertir des observations brutes en produits scientifiques.Un pipeline est une séquence d'étapes de traitement des données qui transforme des observations brutes en produits scientifiques finaux. En physique et en astronomie modernes, les données brutes provenant de télescopes, de détecteurs ou de simulations sont rarement utilisables directement ; elles doivent être calibrées, nettoyées, filtrées et analysées étape par étape. Ce concept est central dans des domaines comme la radioastronomie, où les signaux de milliers d'antennes sont combinés et traités, ou en biologie computationnelle, où les prédictions de repliement des protéines nécessitent plusieurs étapes de raffinement.
Le terme « pipeline » en informatique remonte aux années 1960, mais son application au traitement des données scientifiques s'est généralisée avec l'essor des expériences à grande échelle dans les années 1980 et 1990, comme celles en physique des particules et en astronomie.
Un pipeline commence généralement par l'acquisition des données, suivie d'un prétraitement (par exemple, suppression du bruit ou des artefacts), puis d'une analyse principale (par exemple, ajustement de modèles ou extraction de caractéristiques), et enfin d'un post-traitement (par exemple, visualisation ou validation statistique). Chaque étape prend la sortie de la précédente, et toute la chaîne est souvent automatisée. En pratique, les pipelines sont modulaires : les étapes individuelles peuvent être remplacées ou ajustées sans redessiner l'ensemble du système, ce qui explique leur utilisation dans tout, de la compression de la parole à l'entraînement des réseaux de neurones.
Les pipelines sont utilisés dans les réseaux de radiotélescopes comme LOFAR ou ALMA pour convertir les données de tension brutes en images du ciel, et en génomique pour transformer les lectures de séquençage en génomes annotés.
Dans le radiotélescope LOFAR, un pipeline traite les données de 32 antennes en temps réel, créant ainsi un télescope virtuel avec une résolution comparable à celle d'une antenne unique de plusieurs kilomètres de large.






