يتعلم مشخِّص الذكاء الاصطناعي كطالب طب قبل الامتحان. تُعطى له صورة أشعة سينية وشكوى المريض. لكن أحياناً يظهر بين مواد التدريب تقرير الطبيب الجاهز — الإجابة كاملة. حينها تحفظ الشبكة العصبية هذا التقرير، وتقفز دقتها في الاختبار إلى 98%. لكن هذا غش: فالمهارة الحقيقية لا تتطور.
بدون أي تلميحات، تصل الدقة بناءً على الأعراض فقط إلى 75%. وعند إضافة الصورة تصبح 78%. لكن تسرب حتى كلمتين من التقرير يمكن أن يضاعف النتائج، مما يخلق 'تأثير الأفق' — حيث يبدو الذكاء الاصطناعي عبقرياً، لكن فقط داخل عينة التدريب. النماذج النزيهة تتقن دمج البيانات بمرونة، وتغربل أوراق الغش.
كما كتبه المؤلفون، بالإنجليزية arXiv:2607.13800
Chest radiograph datasets often combine multiple images with Clinical Indication, Findings, and Impression, although these inputs are produced at different stages of care. We evaluated 15,000 ReXGradient-160K studies with two readable images and five CheXbert-derived report observations. Frozen DenseNet-121 and Bio+ClinicalBERT encoders were used to compare image-only, Indication-only, fixed-order multimodal, random-swap, DeepSets, and SectionGuard-MI models. Findings and Impression were evaluated only as post-hoc leakage controls. Models were trained with five seeds, and public-test uncertainty was estimated with 2,000 patient-cluster bootstrap replicates. Under U-Ones, macro AUROC was 0.643 for the primary image, 0.694 for two images, 0.749 for Indication, and 0.780 for ordinary two-image-plus-Indication fusion. SectionGuard-MI achieved AUROC 0.783 and AUPRC 0.260. Relative to ordinary fusion, its paired AUROC difference was 0.0031 (95% CI, -0.0042 to 0.0104; adjusted p=0.374), while its AUPRC difference was 0.0289 (95% CI, 0.0095 to 0.0413; adjusted p=0.004). DeepSets had the highest prospective AUROC point estimate (0.787), and random-swap fusion had the highest prospective AUPRC point estimate (0.265) with better calibration than SectionGuard-MI. Full report text alone reached AUROC 0.979 and AUPRC 0.836; AUROC remained above 0.973 after exact or expanded masking. These results show that prospective Indication is strongly associated with report-derived targets, permutation-aware fusion is competitive, and post-hoc report text creates substantial report-label circularity.
حتى تسرب بسيط لمعلومات من التقرير المستقبلي إلى بيانات التدريب يمكن أن يضاعف من دقة الذكاء الاصطناعي — وهذا ما يُعرف بـ 'تأثير الأفق'.