Глаз воспалён, роговица мутнеет. Врачу нужно срочно понять, кто виноват — бактерия или грибок. От этого зависит лекарство. Ошибка стоит зрения. Но классический ответ из лаборатории приходит через несколько дней, а в удалённых районах его можно не дождаться вовсе.
Исследователи из США и Индии предложили другой путь: три снимка на щелевой лампе — приборе, который есть почти в любой глазной клинике. Один кадр в синем свете, другой в рассеянном, третий в обычном белом. Эти три «взгляда» на одно и то же помутнение несут разную информацию — как три переводчика, которые слышат одну речь, но улавливают разные оттенки смысла. Модель, названная TPMKA, учится сопоставлять эти оттенки. Сначала она тренируется на парах снимков одного пациента, чтобы понять, что в них общего, а что — особенность конкретного освещения. Затем доводит настройку под свою задачу и наконец объединяет все три потока данных в одно решение.
Результат — 86% точности. Кажется скромно, но для реальной клиники это серьёзная поддержка. Особенно важно, что авторы проверили модель честно: когда её оценивали на снимках из другой страны и другой больницы, точность падала. Это нормально: камеры, настройки, даже оттенок кожи пациента влияют на картинку. Но даже после жёсткой перепроверки с балансировкой данных TPMKA осталась лучшей среди всех протестированных подходов. Три снимка, три секунды — и врач получает подсказку, с чего начинать лечение, пока лаборатория ещё только готовит посев.
как её написали авторы, на английском arXiv:2607.03740
Microbial keratitis requires rapid pathogen identification to guide treatment, but culture- and PCR-based diagnostics are slow and resource-intensive. We developed a triple-phase multimodal framework for bacterial-versus-fungal keratitis classification using slit-lamp photographs acquired under blue-light, sclerotic-scatter, and white-light illumination, together with clinical metadata. The model combines cross-modality contrastive learning, modality-specific fine-tuning, and feature-level multimodal ensemble learning for patient-level prediction. We evaluated the framework on a multicenter dataset of 1,645 patients and 17,158 images from India and the United States. The model achieved 85.84% accuracy, 84.46% average F1-score, and 0.885 AUC. Site-specific evaluation showed that pooled results were overly optimistic, whereas resampling- and balance-based re-evaluation provided a more realistic assessment of cross-site generalization. Under all settings, our framework remained the top-performing approach. The code is available at https://github.com/yqwang01/TPMKA and dataset access will be provided subject to University of Michigan data-sharing clearance.
Синий свет при съёмке глаза — не прихоть. Он заставляет повреждённые ткани роговицы светиться (флуоресцировать), и это свечение отличается у бактерий и грибков.