Кто лечит лучше: универсальный ИИ или узкий специалист экспресс
Каждую неделю врачи задают ИИ-помощникам миллионы вопросов у постели больного. Но проверяют эти инструменты обычно на экзаменационных задачках, а не на том, что спрашивают в реальной клинике. Группа исследователей решила это исправить.
Они собрали 620 настоящих вопросов от докторов из 30 специальностей — от кардиологии до онкологии. Эти вопросы задавали платформе OpenEvidence. Затем 149 практикующих врачей из 36 штатов сравнили ответы трёх флагманских общих моделей (Claude Opus 4.8, Gemini 3.1 Pro, GPT-5.5) и специализированного медицинского инструмента (OE). Каждый судья был из той же специальности, что и задавший вопрос врач.
Оценивали по пяти осям: точность, клиническая польза, качество источников, проверяемость и полнота. Специализированный инструмент победил по всем пунктам. Разница между победами и поражениями составила от 25 до 39 процентных пунктов — с огромной статистической значимостью (p<0.001). Результат не зависел от того, показывали ли цитаты, какова была длина ответа и пользовался ли судья этим инструментом раньше.
Выводов два. Первый: тестировать медицинский ИИ нужно на реальных вопросах и с участием врачей той же специальности — иначе картина будет неполной. Второй: преимущество специализированного инструмента не значит, что общие модели бесполезны. Оно показывает, что целенаправленная инженерная настройка даёт ощутимый выигрыш для пользователя. Как хорошо настроенный стетоскоп слышит то, что упускает универсальный микрофон.
Оригинальная аннотация
как её написали авторы, на английском arXiv:2606.28960
Physicians now pose millions of clinical questions to AI tools each week, yet these tools are evaluated largely on hypothetical or exam-style questions, not those actually asked in practice. We report a blinded evaluation built on 620 Real-world Point-Of-Care Queries (Real-POCQi) submitted to the OpenEvidence (OE) platform by physicians spanning 30 specialties, as well as 187 questions from HealthBench. 149 practicing physicians across 36 states made head-to-head comparisons between answers from three frontier general-purpose models (Claude Opus 4.8, Gemini 3.1 Pro, and GPT-5.5) and a specialized clinical tool (OE), with graders matched to each question's specialty. When comparing answers along five dimensions relevant to clinical decision support -- accuracy, clinical utility, source quality, verifiability, & completeness -- physicians scored the specialized tool highest on all axes; in the primary analysis on Real-POCQi, win differences (margins between win and loss rates) ranged from 25 to 39 percentage points (p<0.001). Results remained consistent in sensitivity analyses stratifying by citation display, answer length, OE-user status, and Real-POCQi versus HealthBench. In parallel, LLM judges were found to systematically differ from expert judges, though both generally agreed on the best model. These findings underscore two conclusions: (i) AI tool evaluations should reflect real-world query distributions and use expert judges that mirror the specialization defining modern medicine and (ii) the consistent advantage of the specialized tool over general-purpose models does not necessarily mean that the latter cannot serve similar purposes, but that targeted engineering and customization can yield meaningful gains in performance for its users. We release Real-POCQi as a public benchmark, as well as the prespecified statistical analysis for reproducing results of this study.
Разница в победах доходила до 39 процентных пунктов — это как если бы одна команда выигрывала 7 матчей из 10, а вторая только 3.