Un médico hojea el historial clínico y ve una línea: «El fármaco reduce el riesgo». Pero, ¿hasta qué punto se puede creer? ¿Se basa la afirmación en un par de casos de la práctica o en decenas de miles de pacientes en un estudio ciego? De la respuesta depende el tratamiento. Hoy en día, estos textos los escriben cada vez más no personas, sino grandes modelos de lenguaje — esos mismos que ayudan a buscar información y a redactar resúmenes. Investigadores de varios grupos científicos decidieron comprobar si la máquina entiende la diferencia entre una insinuación endeble y una conclusión sólida como una roca.
Reunieron 45 134 afirmaciones clínicas de fuentes abiertas y clasificaron 20 611 de ellas en una escala de solidez de cuatro niveles: desde «casi sin datos» hasta «confirmado por múltiples estudios». Luego, 22 modelos de lenguaje — desde pequeños, del tamaño de un libro de bolsillo (0,6 mil millones de parámetros), hasta bastante voluminosos (70 mil millones) — fueron invitados a evaluar cada afirmación. Los modelos eran variados: generales, médicos, con énfasis en lógica. El resultado sorprendió. Cuando se «miraba» dentro del modelo con una sonda matemática especial, la señal sobre la verdadera solidez de las pruebas se leía perfectamente — en promedio con una precisión del 71,8% (como si de cada diez afirmaciones se ponderaran correctamente siete). Pero cuando se preguntaba directamente al mismo modelo: «¿Hasta qué punto es fiable?» — las respuestas caían en la adivinación aleatoria. La brecha fue de 25 a 27 puntos porcentuales.
Curiosamente, esta señal resultó ser en gran medida léxica — está ligada a las palabras y las expresiones, no a una comprensión profunda. Bastaba con trasladar el modelo a otro tema médico o a otro sistema de evaluación para que la capacidad de leer la señal desapareciera. Y aun así, no coincidía con la simple distinción entre verdad y mentira: el modelo podía determinar correctamente que una afirmación estaba mal fundamentada, incluso si era fácticamente verdadera. Resulta que dentro del cerebro artificial vive un instinto no expresado hacia la fragilidad de los argumentos — pero no sale a la luz.
Esta brújula silenciosa es a la vez una esperanza y una advertencia. Esperanza, porque la señal se puede extraer y utilizar, incluso si el propio modelo calla. Advertencia, porque hoy, al leer un texto generado, no oímos la voz interna de la máquina — y corremos el riesgo de tomar lo endeble por sólido. El médico frente a la pantalla ve líneas uniformes, pero no sabe si el suelo tiembla bajo ellas.
La señal interna sobre la solidez de las pruebas resultó ser más fuerte en los modelos generales, mientras que en los especializados «médicos» y «razonadores» fue más débil. Como si la especialización estrecha embotara el instinto universal.