Любой точный прибор сначала калибруют: подают сигнал известной силы и смотрят на отклик. Так же поступили и с цифровым городом Монтелаго. Исследователи создали 120 виртуальных персонажей. Каждому прописали характер: скрытое доверие к муниципальным властям, оценку достоверности новостей и воспринимаемую адекватность информации. Эти числа знали только создатели.

Затем языковая модель (программа, генерирующая текст, как очень умный автодополнитель), построенная на обучающихся схемах с особой архитектурой и умением выделять главное, и обученная на множестве текстов, начала генерировать реакции персонажей на новости. Ей не сообщали скрытые цифры — она видела только биографии. Новости были разными: от починки водопровода до аварий и мутной воды. Добавили проверочное сообщение о городском фестивале — безвредное, как плацебо. Весь этот численный эксперимент повторяли несколько раз, меняя температуру генерации — настройку, которая добавляет случайности в ответы (чем выше, тем более разными могли быть ответы на одно и то же).

Семь проверок показали: скрытое доверие и ответы совпадают почти идеально (коэффициент 0,9). Без новостей оценки не менялись. Шум прибора (разброс при многократных вопросах) был мал — как дрожание стрелки весов в пределах деления. Но одна новость, которая должна была слегка улучшить настроение, неожиданно ухудшила его. Это был не сбой модели, а недостаток самого сообщения: текст невольно подчёркивал проблемы. После исправления всё встало на места. Так калибровка помогла улучшить не модель, а то, что мы ей говорим.

Этот подход превращает цифровых жителей из игрушки в настоящий измерительный инструмент. Теперь, готовя важные объявления — скажем, о загрязнённой почве или планах ремонта дорог, — администрация сможет сначала проверить реакцию на виртуальном городе, как учёные проверяют свои приборы. Монтелаго откалиброван и готов к настоящим измерениям.