Калибровка виртуального города: эксперимент SIVE ✛

Оригинал: "Calibrating the Instrument: Controllability of an LLM-Driven Synthetic Population"
· Mirko Degli Esposti
arXiv:2607.00910 · 2026-07-01 · CC BY 4.0 · 2 мин
Прежде чем доверять цифровым двойникам городских сообществ, их калибруют на известных стимулах, как научный прибор.

Сто двадцать жителей Монтелаго — не люди, а цифровые персонажи. У каждого, помимо имени и биографии, три скрытые координаты: доверие к муниципальным властям, оценка достоверности источника, воспринимаемая адекватность информации. Эти числа известны создателям, но не самой системе. Система — это большая языковая модель, основанная на трансформерах и механизмах внимания. Она генерирует реакции персонажей на внешние сообщения, опираясь лишь на их текстовые истории.

Такую синтетическую популяцию можно сравнить с научным прибором. Прежде чем измерять неизвестное, прибор калибруют — подают сигналы известной силы и смотрят на отклик. Эксперимент SIVE делает именно это. Исследователи создали семь вариантов новостей о водопроводной сети Монтелаго: от очень хороших (замена труб, прозрачный мониторинг) до очень плохих (аварии, нехватка денег, мутная вода). Добавили плацебо — безобидное сообщение о городском фестивале — и контрольную группу, не получавшую никаких новостей. Затем, после каждого стимула, эксперимент фиксировал сдвиг в ответах персонажей на вопросы о доверии.

Семь заранее объявленных критериев выдержали проверку при трёх температурах генерации (0.2, 0.5, 0.7) — параметра, управляющего вероятностной случайностью ответов. Скрытое доверие и его измеренное проявление коррелировали с силой 0,89–0,91. До подачи стимулов оценки оставались стабильными. Приборный шум, измеренный двукратным предъявлением одного и того же позитива, составил около 1,4 балла по десятибалльной шкале для разных персонажей и упал до 0,77 при фиксации личности — это как если бы стрелка вольтметра дрожала в пределах деления.

Персонаж Роберто Верди, недоверчивый айтишник, в ответ на негативную новость о перебоях с водой за сутки поднял муниципальные архивы, нашёл нестыковки в бюджете и созвал срочное собрание жителей — на что в реальной жизни ушла бы неделя.

Но самый интересный момент — сбой. Изначально задуманный как слабоположительный, стимул о частичном улучшении вызвал падение доверия. Это была не ошибка модели, а дефект самого сообщения: при анализе текста выяснилось, что формулировка акцентировала проблемы, а не успехи. После переписывания стимула порядок восстановился. Так калибровка вскрыла и помогла исправить неочевидную ошибку.

Подход SIVE вводит в практику работы с LLM-симуляциями обязательную процедуру — проверку контролируемости. Подобно тому как физики поверяют детекторы на источниках известной интенсивности, разработчики цифровых двойников теперь могут откалибровать свой инструмент, прежде чем доверять его предсказаниям о живых людях. Для городских администраций, планирующих риск-коммуникацию — будь то загрязнение почвы в Брешии или планы реновации — это шанс впервые протестировать сообщения на реалистичной, но контролируемой модели. Откалиброванный прибор из Монтелаго готов к настоящим измерениям.

Персонаж Роберто Верди, недоверчивый айтишник, в ответ на негативное сообщение о перебоях с водой за сутки поднял муниципальные архивы, нашёл нестыковки в бюджете и созвал срочное собрание жителей — на что в реальной жизни ушла бы неделя.

Понятия
синтетические данные эмерджентное коллективное обучение доверительный интервал смоделированные данные генеративная модель объём выборки калибровка обработка сигналов генеративно-состязательные сети обзор проверка гипотез частота ложных тревог распознавание речи синтетические изображения обработка естественного языка коллективное поведение порог чувствительности единицы СИ