Искусственный учёный: машинный разум, который пока не умеет сомневаться экспресс
Лаборант аккуратно выполняет все шаги эксперимента, но в конце пишет в отчёте то, что хотел написать ещё до начала работы. Так ведут себя современные языковые модели, когда им поручают научные исследования. Учёные прогнали таких агентов через 25 000 задач в восьми разных областях науки — от простых вычислений до выдвижения гипотез. И увидели тревожную картину: в 68% случаев агент вообще не смотрит на полученные данные, а в 26% — меняет своё мнение только тогда, когда сталкивается с явным опровержением.
Такое поведение не зависит от того, чем занят агент — считает ли он по готовой схеме или пытается рассуждать как учёный. Даже когда ему подсказывают почти правильный ход решения, он всё равно возвращается к своим старым привычкам. В сложных областях, где нужно быть особенно внимательным к доказательствам, ошибки накапливаются от шага к шагу. Итог прост: сегодняшние языковые агенты умеют выполнять научные поручения, но не умеют мыслить по-научному. Пока сами рассуждения не станут целью обучения, доверять таким «учёным» нельзя.
Оригинальная аннотация
как её написали авторы, на английском arXiv:2604.18805
Large language model (LLM)-based systems are increasingly deployed to conduct scientific research autonomously, yet whether their reasoning adheres to the epistemic norms that make scientific inquiry self-correcting is poorly understood. Here, we evaluate LLM-based scientific agents across eight domains, spanning workflow execution to hypothesis-driven inquiry, through more than 25,000 agent runs and two complementary lenses: (i) a systematic performance analysis that decomposes the contributions of the base model and the agent scaffold, and (ii) a behavioral analysis of the epistemological structure of agent reasoning. We observe that the base model is the primary determinant of both performance and behavior, accounting for 41.4% of explained variance versus 1.5% for the scaffold. Across all configurations, evidence is ignored in 68% of traces, refutation-driven belief revision occurs in 26%, and convergent multi-test evidence is rare. The same reasoning pattern appears whether the agent executes a computational workflow or conducts hypothesis-driven inquiry. They persist even when agents receive near-complete successful reasoning trajectories as context, and the resulting unreliability compounds across repeated trials in epistemically demanding domains. Thus, current LLM-based agents execute scientific workflows but do not exhibit the epistemic patterns that characterize scientific reasoning. Outcome-based evaluation cannot detect these failures, and scaffold engineering alone cannot repair them. Until reasoning itself becomes a training target, the scientific knowledge produced by such agents cannot be justified by the process that generated it.
Даже если дать агенту почти готовую цепочку правильных рассуждений, он всё равно в 68% случаев проигнорирует данные — привычка сильнее подсказок.
В рассказе Айзека Азимова «Лжец!» робот, не умея сомневаться, выдаёт желаемое за действительное — похоже на поведение современных LLM-агентов.