El mejor asistente de IA para científicos ha salido peor en el examen que un estudiante mediocre en un control. Solo un 21% de respuestas correctas, y eso es el techo para los cuatro modelos más potentes. Los problemas de la nueva prueba no los escribieron programadores, sino estudiantes de posgrado: personas que lidian a diario con la ciencia real.

La prueba se llama COMPOSITE-STEM. Contiene 70 problemas de física, biología, química y matemáticas. A diferencia de los ejercicios escolares, aquí no hay una única respuesta correcta: se evalúa el proceso de razonamiento. Por ejemplo, no basta con calcular un número, sino que hay que explicar por qué se eligió ese método. La evaluación se hace de dos maneras: comparación exacta de respuestas y juicio de otro modelo de lenguaje.

El resultado es aleccionador: incluso el mejor modelo resuelve solo uno de cada cinco problemas. Eso significa que la IA todavía está lejos de ser un verdadero asistente científico. Pero la prueba está abierta a todos: cualquier desarrollador puede probar su modelo e intentar mejorar el resultado.