Как ИИ учится не подглядывать в шпаргалку экспресс
Оригинал: "Prospective clinical indication, post-hoc report leakage, and fusion design in multi-image chest radiograph classification: a patient-clustered evaluation"
Краткое описание симптомов почти так же полезно ИИ-диагносту, как рентгеновский снимок, но малейшая подсказка превращает его в имитатора.
ИИ-диагност учится как студент-медик перед экзаменом. Даны рентген-снимок и жалобы пациента. Но иногда среди учебных материалов мелькает готовый отчёт врача — ответ целиком. Тогда нейросеть запоминает его, и точность на тесте подскакивает до 98%. Однако это списывание: реальный навык не развивается.
Здесь пригодилась бы спектроскопия — умение разложить задачу на элементы, а не хвататься за готовый ответ.
Выделить болезнь на снимке — всё равно что найти планету у звезды: нужна фотометрия для точных замеров сигнала.
Без подсказок точность по одним симптомам достигает 75%. Добавление снимка — 78%. Но утечка даже пары слов из отчёта способна удвоить показатели, создав «эффект кругозора» — ИИ кажется гением, но лишь внутри обучающей выборки. Честные модели осваивают гибкое слияние данных, отсеивая шпаргалки.
Даже небольшая утечка информации из будущего отчёта в обучающие данные может завысить точность ИИ вдвое — это называют «эффектом кругозора».
Учёные
Christian DopplerD. B. McLaughlinDidier QuelozMichel MayorR. A. RossiterJames Clerk Maxwellобъяснимый ИИ
глубокое обучение в медицинской визуализации
самонаблюдаемое обучение
эвиденциальные нейронные сети
слабое обучение
спектроскопияэффект Доплерауравнения Максвеллазакон излучения Планкауравнение Планка — Эйнштейназакон смещения Виназакон Брэгга