Calibración de una ciudad virtual: el experimento SIVE ✛

Los 120 habitantes de Montelago no son personas, sino personajes digitales. Cada uno, además de un nombre y una biografía, tiene tres coordenadas ocultas: la confianza en las autoridades municipales, la evaluación de la fiabilidad de la fuente y la percepción de lo adecuada que es la información. Estos números los conocen los creadores, pero no el propio sistema. El sistema es un gran modelo de lenguaje, basado en los Transformadores y los mecanismos de atención. Genera las reacciones de los personajes a partir de mensajes externos apoyándose únicamente en sus historias textuales.

Esta población sintética se puede comparar con un instrumento científico. Antes de medir lo desconocido, el instrumento se calibra: se le envían señales de intensidad conocida y se observa la respuesta. El experimento SIVE hace exactamente eso. Los investigadores crearon siete versiones de noticias sobre la red de agua de Montelago: desde muy buenas (sustitución de tuberías, monitoreo transparente) hasta muy malas (averías, falta de dinero, agua turbia). Añadieron un placebo —un inocuo mensaje sobre un festival urbano— y un grupo de control que no recibió ninguna noticia. Luego, tras cada estímulo, el experimento registraba el cambio en las respuestas de los personajes a preguntas sobre confianza.

Los siete criterios anunciados de antemano resistieron la prueba a tres temperaturas de generación (0,2; 0,5; 0,7), un parámetro que controla la aleatoriedad probabilística de las respuestas. La confianza oculta y su manifestación medida correlacionaron con una fuerza de 0,89–0,91. Antes de presentar los estímulos, las evaluaciones se mantenían estables. El ruido instrumental, medido al presentar dos veces el mismo estímulo positivo, fue de aproximadamente 1,4 puntos en una escala de 10 para diferentes personajes, y se redujo a 0,77 al fijar la identidad del personaje: es como si la aguja de un voltímetro temblara dentro de una división.

Pero el momento más interesante fue el fallo. Un estímulo concebido inicialmente como ligeramente positivo, sobre una mejora parcial, provocó una caída de la confianza. No fue un error del modelo, sino un defecto del propio mensaje: al analizar el texto, se vio que la redacción enfatizaba los problemas, no los éxitos. Tras reescribir el estímulo, el orden se restableció. Así, la calibración reveló y ayudó a corregir un error no evidente.

El enfoque SIVE introduce en el trabajo con simulaciones con LLM un procedimiento obligatorio: la verificación de la controlabilidad. Del mismo modo que los físicos calibran los detectores con fuentes de intensidad conocida, los desarrolladores de gemelos digitales ahora pueden calibrar su herramienta antes de confiar en sus predicciones sobre personas reales. Para las administraciones urbanas que planifican la comunicación de riesgos —ya sea la contaminación del suelo en Brescia o planes de renovación— esta es la primera oportunidad de probar mensajes en un modelo realista pero controlado. El instrumento calibrado de Montelago está listo para mediciones reales.