Calibrer une ville virtuelle : l'expérience SIVE ✛

Les cent vingt habitants de Montelago ne sont pas des personnes, mais des personnages numériques. Chacun, en plus de son nom et de sa biographie, possède trois coordonnées cachées : la confiance envers les autorités municipales, l'évaluation de la fiabilité de la source, la pertinence perçue de l'information. Ces nombres sont connus des créateurs, mais pas du système lui-même. Le système est un grand modèle de langage, basé sur des transformeurs et des mécanismes d'attention. Il génère les réactions des personnages aux messages externes, en s'appuyant uniquement sur leurs histoires textuelles.

Une telle population synthétique peut être comparée à un instrument scientifique. Avant de mesurer l'inconnu, on calibre l'instrument : on envoie des signaux d'intensité connue et on observe la réponse. L'expérience SIVE fait exactement cela. Les chercheurs ont créé sept variantes de nouvelles sur le réseau d'eau de Montelago : de très bonnes (remplacement des tuyaux, surveillance transparente) à très mauvaises (pannes, manque d'argent, eau trouble). Ils ont ajouté un placebo — un message inoffensif sur un festival urbain — et un groupe témoin qui ne recevait aucune nouvelle. Ensuite, après chaque stimulus, l'expérience a enregistré le décalage dans les réponses des personnages aux questions sur la confiance.

Sept critères annoncés à l'avance ont passé le test à trois températures de génération (0.2, 0.5, 0.7) — un paramètre qui contrôle l'aléa probabiliste des réponses. La confiance cachée et sa manifestation mesurée corrélaient avec une force de 0,89–0,91. Avant l'administration des stimuli, les évaluations restaient stables. Le bruit instrumental, mesuré en présentant deux fois le même message positif, s'élevait à environ 1,4 point sur une échelle de dix pour différents personnages, et tombait à 0,77 en fixant l'identité — c'est comme si l'aiguille d'un voltmètre tremblait dans les limites d'une division.

Mais le moment le plus intéressant est le défaut. Conçu à l'origine comme faiblement positif, le stimulus sur une amélioration partielle a provoqué une baisse de confiance. Ce n'était pas une erreur du modèle, mais un défaut du message lui-même : l'analyse du texte a révélé que la formulation accentuait les problèmes, pas les réussites. Après avoir réécrit le stimulus, l'ordre a été rétabli. Ainsi, la calibration a révélé et aidé à corriger une erreur non évidente.

L'approche SIVE introduit dans la pratique du travail avec les simulations par LLM une procédure obligatoire : la vérification de la contrôlabilité. Tout comme les physiciens vérifient les détecteurs sur des sources d'intensité connue, les développeurs de jumeaux numériques peuvent désormais calibrer leur outil avant de se fier à ses prédictions sur des personnes réelles. Pour les administrations municipales qui planifient la communication des risques — que ce soit la pollution des sols à Brescia ou les plans de rénovation — c'est une occasion de tester les messages sur un modèle réaliste mais contrôlable. L'instrument calibré de Montelago est prêt pour de vraies mesures.