Si l'on photographie la même montagne avec un appareil argentique et un smartphone moderne, on obtient des images différentes : ici les couleurs sont plus vives, là les détails sont flous. Il en va de même pour les télescopes : chaque instrument voit le ciel à sa manière, ajoutant à la lumière réelle des galaxies ses propres distorsions — comme un filtre à travers lequel nous regardons.
Ce nouveau travail propose un moyen de supprimer ce « filtre ». Les scientifiques ont rassemblé des paires d'images des mêmes galaxies, prises par deux grands relevés du ciel : DESI Legacy Imaging Survey et Hyper Suprime-Cam. Le réseau de neurones a été entraîné ainsi : il reçoit deux images et doit reconstruire l'une à partir de l'autre, mais en tenant compte du fait que les caméras sont différentes. Au cours de l'apprentissage, le réseau trouve lui-même ce que les deux images ont en commun (c'est la galaxie réelle) et ce qui diffère (ce sont les distorsions propres à chaque télescope).
Au final, le réseau de neurones produit une représentation « propre » de la galaxie — sans bruit ni distorsions propres à l'instrument. Cela permet, par exemple, de rechercher des galaxies similaires dans les archives de différents télescopes sans craindre que leur ressemblance soit altérée par des caméras différentes. Cette approche n'est pas utile qu'en astronomie : elle fournit une recette générale pour apprendre à des réseaux de neurones sur des données provenant de différents instruments, des scanners médicaux aux capteurs automobiles.
tel que rédigé par les auteurs, en anglais arXiv:2604.09787
Data collected from the physical world is always a combination of multiple sources: an underlying signal from the physical process of interest and a signal from measurement-dependent artifacts from the sensor or instrument. This secondary signal acts as a confounding factor, limiting our ability to extract information about the physics underlying the phenomena we observe. Furthermore, it complicates the combination of observations in heterogeneous or multi-instrument settings. We propose a deep learning framework that leverages overlapping observations, a dual-encoder architecture, and a counterfactual generation objective to disentangle these factors of variation. The resulting representations explicitly separate intrinsic signals from sensor-specific distortions and noise, and can be used for counterfactual view generation, parameter inference unconfounded by measurement distortions, and instrument-independent similarity search. We demonstrate the effectiveness of our approach on astrophysical galaxy images from the DESI Legacy Imaging Survey (Legacy) and the Hyper Suprime-Cam (HSC) Survey as a representative multi-instrument setting. This framework provides a general recipe for scientific and multi-modal self-supervised pretraining: construct training pairs from overlapping observations of the same physical system, treat sensor- or modality-specific effects as augmentations, and learn invariant representations through counterfactual generation.
Les deux télescopes dont les données ont été utilisées se trouvent sur Terre, mais l'un d'eux (Hyper Suprime-Cam) est installé à Hawaï, tandis que l'autre (DESI Legacy) scanne le ciel depuis un observatoire en Arizona. La distance entre eux est d'environ 4 800 km, mais ils voient les mêmes galaxies.