Comment l'IA apprend à ne pas copier sur son voisin express
L'IA diagnosticienne apprend comme un étudiant en médecine avant l'examen. On lui donne une radiographie et les plaintes du patient. Mais parfois, parmi les supports d'apprentissage, se glisse le rapport final du médecin — la réponse complète. Alors le réseau de neurones le mémorise, et la précision au test bondit à 98 %. Cependant, c'est de la triche : la compétence réelle ne se développe pas.
Sans indices, la précision à partir des seuls symptômes atteint 75 %. L'ajout de l'image donne 78 %. Mais une fuite de même quelques mots du rapport peut doubler les performances, créant un « effet de clairvoyance » — l'IA semble géniale, mais seulement dans l'ensemble d'entraînement. Les modèles honnêtes apprennent une fusion flexible des données, en éliminant les antisèches.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2607.13800
Chest radiograph datasets often combine multiple images with Clinical Indication, Findings, and Impression, although these inputs are produced at different stages of care. We evaluated 15,000 ReXGradient-160K studies with two readable images and five CheXbert-derived report observations. Frozen DenseNet-121 and Bio+ClinicalBERT encoders were used to compare image-only, Indication-only, fixed-order multimodal, random-swap, DeepSets, and SectionGuard-MI models. Findings and Impression were evaluated only as post-hoc leakage controls. Models were trained with five seeds, and public-test uncertainty was estimated with 2,000 patient-cluster bootstrap replicates. Under U-Ones, macro AUROC was 0.643 for the primary image, 0.694 for two images, 0.749 for Indication, and 0.780 for ordinary two-image-plus-Indication fusion. SectionGuard-MI achieved AUROC 0.783 and AUPRC 0.260. Relative to ordinary fusion, its paired AUROC difference was 0.0031 (95% CI, -0.0042 to 0.0104; adjusted p=0.374), while its AUPRC difference was 0.0289 (95% CI, 0.0095 to 0.0413; adjusted p=0.004). DeepSets had the highest prospective AUROC point estimate (0.787), and random-swap fusion had the highest prospective AUPRC point estimate (0.265) with better calibration than SectionGuard-MI. Full report text alone reached AUROC 0.979 and AUPRC 0.836; AUROC remained above 0.973 after exact or expanded masking. These results show that prospective Indication is strongly associated with report-derived targets, permutation-aware fusion is competitive, and post-hoc report text creates substantial report-label circularity.
Même une petite fuite d'information du rapport futur dans les données d'entraînement peut gonfler la précision de l'IA de moitié — on appelle cela « l'effet de clairvoyance ».