Врач листает историю болезни и видит строчку: «Препарат снижает риск». Но насколько этому можно верить? Основано ли утверждение на паре случаев из практики или на десятках тысяч пациентов в слепом исследовании? От ответа зависит лечение. Сегодня такие тексты всё чаще пишут не люди, а большие языковые модели — те самые, что помогают искать информацию и составлять сводки. Исследователи из нескольких научных групп решили проверить, понимает ли машина разницу между шатким намёком и железобетонным выводом.
Они собрали 45 134 клинических утверждения из открытых источников и привели 20 611 из них к четырёхуровневой шкале доказательности: от «почти нет данных» до «подтверждено множеством работ». Затем 22 языковые модели — от небольших, размером с настольную книгу (0,6 миллиарда параметров), до весьма объёмных (70 миллиардов) — просили оценить каждое утверждение. Модели были разные: общие, медицинские, с упором на логику. Результат удивил. Когда внутрь модели «заглядывали» специальным математическим щупом, сигнал об истинной силе доказательств читался прекрасно — в среднем с точностью 71,8% (это как если бы из десяти утверждений правильно взвешивались семь). Но когда ту же модель спрашивали напрямую: «Насколько это надёжно?» — ответы скатывались к случайному угадыванию. Разрыв составил 25–27 процентных пунктов.
Любопытно, что сигнал этот оказался во многом лексическим — он привязан к словам и оборотам, а не к глубинному пониманию. Стоило перенести модель на другую медицинскую тему или другую систему оценки, как способность читать сигнал пропадала. И всё же он не совпадал с простым различением правды и лжи: модель могла верно определить, что утверждение плохо обосновано, даже если оно фактически истинно. Получается, внутри искусственного мозга живёт непроизнесённое чутьё на зыбкость аргументов — но наружу оно не выходит.
Этот молчаливый компас — одновременно надежда и предостережение. Надежда, потому что сигнал можно вытащить и использовать, даже если сама модель молчит. Предостережение, потому что сегодня, читая сгенерированный текст, мы не слышим внутреннего голоса машины — и рискуем принять зыбкое за прочное. Врач у монитора видит ровные строчки, но не знает, дрожит ли под ними почва.
Внутренний сигнал о силе доказательств оказался сильнее всего у обычных моделей, а у специализированных «медицинских» и «рассуждающих» — слабее. Словно узкая специализация притупляет универсальное чутьё.