El científico artificial: una mente mecánica que aún no sabe dudar exprés
El ayudante de laboratorio sigue con esmero todos los pasos del experimento, pero al final escribe en el informe lo que ya quería escribir antes de empezar. Así se comportan los modelos de lenguaje modernos cuando se les encarga una investigación científica. Los científicos sometieron a estos agentes a 25 000 tareas en ocho campos distintos de la ciencia, desde simples cálculos hasta la formulación de hipótesis. Y vieron un panorama inquietante: en el 68% de los casos, el agente ni siquiera mira los datos obtenidos, y en el 26%, solo cambia de opinión cuando se topa con una refutación explícita.
Este comportamiento no depende de lo que haga el agente, ya sea calcular siguiendo un esquema predefinido o intentar razonar como un científico. Incluso cuando se le sugiere una línea de razonamiento casi correcta, vuelve a sus viejos hábitos. En áreas complejas, donde hay que prestar especial atención a las pruebas, los errores se acumulan paso a paso. La conclusión es simple: los agentes lingüísticos actuales saben ejecutar encargos científicos, pero no saben pensar científicamente. Mientras el razonamiento en sí no sea el objetivo del aprendizaje, no se puede confiar en estos "científicos".
Resumen original
tal como lo escribieron los autores, en inglés arXiv:2604.18805
Large language model (LLM)-based systems are increasingly deployed to conduct scientific research autonomously, yet whether their reasoning adheres to the epistemic norms that make scientific inquiry self-correcting is poorly understood. Here, we evaluate LLM-based scientific agents across eight domains, spanning workflow execution to hypothesis-driven inquiry, through more than 25,000 agent runs and two complementary lenses: (i) a systematic performance analysis that decomposes the contributions of the base model and the agent scaffold, and (ii) a behavioral analysis of the epistemological structure of agent reasoning. We observe that the base model is the primary determinant of both performance and behavior, accounting for 41.4% of explained variance versus 1.5% for the scaffold. Across all configurations, evidence is ignored in 68% of traces, refutation-driven belief revision occurs in 26%, and convergent multi-test evidence is rare. The same reasoning pattern appears whether the agent executes a computational workflow or conducts hypothesis-driven inquiry. They persist even when agents receive near-complete successful reasoning trajectories as context, and the resulting unreliability compounds across repeated trials in epistemically demanding domains. Thus, current LLM-based agents execute scientific workflows but do not exhibit the epistemic patterns that characterize scientific reasoning. Outcome-based evaluation cannot detect these failures, and scaffold engineering alone cannot repair them. Until reasoning itself becomes a training target, the scientific knowledge produced by such agents cannot be justified by the process that generated it.
Incluso si se le da al agente una cadena casi completa de razonamiento correcto, en el 68% de los casos ignorará los datos: el hábito pesa más que las pistas.
En el cuento de Isaac Asimov «¡Embustero!», un robot que no sabe dudar confunde lo que desea con la realidad, algo muy parecido al comportamiento de los agentes LLM actuales.