Врач листает историю болезни и видит строчку: «Препарат снижает риск». Но насколько этому можно верить? Основано ли утверждение на паре случаев из практики или на десятках тысяч пациентов в слепом исследовании? От ответа зависит лечение. Сегодня такие тексты всё чаще пишут не люди, а большие языковые модели — те самые, что помогают искать информацию и составлять сводки. Исследователи из нескольких научных групп решили проверить, понимает ли машина разницу между шатким намёком и железобетонным выводом.
Они собрали 45 134 клинических утверждения из открытых источников и привели 20 611 из них к четырёхуровневой шкале доказательности: от «почти нет данных» до «подтверждено множеством работ». Затем 22 языковые модели — от небольших, размером с настольную книгу (0,6 миллиарда параметров), до весьма объёмных (70 миллиардов) — просили оценить каждое утверждение. Модели были разные: общие, медицинские, с упором на логику. Результат удивил. Когда внутрь модели «заглядывали» специальным математическим щупом, сигнал об истинной силе доказательств читался прекрасно — в среднем с точностью 71,8% (это как если бы из десяти утверждений правильно взвешивались семь). Но когда ту же модель спрашивали напрямую: «Насколько это надёжно?» — ответы скатывались к случайному угадыванию. Разрыв составил 25–27 процентных пунктов.
Любопытно, что сигнал этот оказался во многом лексическим — он привязан к словам и оборотам, а не к глубинному пониманию. Стоило перенести модель на другую медицинскую тему или другую систему оценки, как способность читать сигнал пропадала. И всё же он не совпадал с простым различением правды и лжи: модель могла верно определить, что утверждение плохо обосновано, даже если оно фактически истинно. Получается, внутри искусственного мозга живёт непроизнесённое чутьё на зыбкость аргументов — но наружу оно не выходит.
Этот молчаливый компас — одновременно надежда и предостережение. Надежда, потому что сигнал можно вытащить и использовать, даже если сама модель молчит. Предостережение, потому что сегодня, читая сгенерированный текст, мы не слышим внутреннего голоса машины — и рискуем принять зыбкое за прочное. Врач у монитора видит ровные строчки, но не знает, дрожит ли под ними почва.
как её написали авторы, на английском arXiv:2606.29034
Large language models (LLMs) increasingly summarize clinical evidence, where a claim's weight depends on how strongly it is supported. Yet these models convey confidence poorly, and properties they never state, such as truth, are often readable from their activations. Whether a clinical model registers evidence strength, distinct from truth, and states it when asked is untested, and any such signal could be lexical. We compiled 45,134 clinical claims from six public sources, harmonized 20,611 into a four-level evidence grade under three independent frameworks, and tested 22 local, open-weight LLMs from several developers (0.6-70 billion parameters; general, medical, and reasoning), with lexical, truth, and cross-framework controls. A linear estimator recovered the grade in every model (median AUROC 71.8), yet decodability did not rise with scale and was weakest in reasoning models. The grade the models stated fell to chance, 25-27 percentage points below the estimator. The recoverable signal was largely lexical and did not transfer across topics or frameworks, yet it was distinct from factual truth and still flagged weakly supported claims (AUROC 69.2). Clinical LLMs thus carry an ordered evidence-strength signal they do not express, so their stated grades fail to convey a claim's support even when it is recoverable from their representations and text.
Внутренний сигнал о силе доказательств оказался сильнее всего у обычных моделей, а у специализированных «медицинских» и «рассуждающих» — слабее. Словно узкая специализация притупляет универсальное чутьё.