Tout instrument de précision se règle d'abord : on envoie un signal d'intensité connue et on observe la réponse. C'est exactement ce qu'on a fait avec la ville numérique de Montelago. Les chercheurs ont créé 120 personnages virtuels. À chacun, on a attribué un caractère : confiance cachée envers les autorités municipales, évaluation de la fiabilité des actualités et perception de l'adéquation de l'information. Ces chiffres n'étaient connus que des créateurs.
Ensuite, un grand modèle de langage (un programme qui génère du texte, comme un complément automatique très intelligent), construit sur des réseaux de neurones avec une architecture particulière et un mécanisme d'attention capable de repérer l'essentiel, entraîné par apprentissage automatique sur une multitude de textes, a commencé à générer les réactions des personnages aux actualités. On ne lui a pas communiqué les chiffres cachés – il ne voyait que les biographies. Les actualités étaient variées : de la réparation d'une conduite d'eau aux accidents en passant par une eau trouble. On a ajouté un message de contrôle sur un festival urbain – inoffensif, comme un placebo. Toute cette expérience numérique a été répétée plusieurs fois, en variant la température de génération – un paramètre qui ajoute de l'aléatoire dans les réponses (plus elle est élevée, plus les réponses à une même question peuvent différer).
Sept vérifications ont montré que la confiance cachée et les réponses coïncident presque parfaitement (coefficient de 0,9). Sans actualités, les évaluations ne changeaient pas. Le bruit de l'instrument (la dispersion lors de questions répétées) était faible – comme le tremblement de l'aiguille d'une balance dans les limites d'une division. Mais une actualité, censée améliorer légèrement l'humeur, l'a au contraire dégradée. Ce n'était pas un défaut du modèle, mais un défaut du message lui-même : le texte soulignait involontairement les problèmes. Après correction, tout est rentré dans l'ordre. Ainsi, le calibrage a permis d'améliorer non pas le modèle, mais ce que nous lui disons.
Cette approche transforme les habitants numériques d'un jouet en un véritable instrument de mesure. Désormais, avant de préparer des annonces importantes – par exemple sur un sol pollué ou des plans de réfection de routes – l'administration pourra d'abord tester la réaction sur la ville virtuelle, comme les scientifiques testent leurs instruments. Montelago est calibrée et prête pour de vraies mesures.
Le personnage Roberto Verdi, un informaticien méfiant, en réponse à une mauvaise nouvelle sur l'eau, a en une journée consulté les archives, trouvé des erreurs dans le budget et rassemblé les habitants – dans la vie réelle, cela aurait pris une semaine.