В духовке при повышении температуры молекулы движутся быстрее, и беспорядок растёт. С языковыми моделями вроде ChatGPT всё наоборот. Когда разработчики увеличивают параметр «температура», модель получает доступ к более широкому выбору слов, но её длинные тексты внезапно зацикливаются.
Группа исследователей проверила 11 разных ИИ, сгенерировав 12 000 продолжений текста. При высокой температуре ответы проходили через пик разнообразия, а затем скатывались в «популяционную инверсию» — состояние, где одни варианты слов повторяются снова и снова. Возникали застывшие фразы, циклы и всплески беспорядочности, сменяющиеся строгим порядком.
Авторы обнаружили скрытую координату, которая управляет этим процессом, словно ручка настройки. Зная её положение, можно точно предсказать, начнёт ли модель повторяться. Такой подход превращает языковые модели из «стохастических попугаев» в контролируемые нелинейные системы, чью внутреннюю динамику можно измерять и направлять.
Эффект упорядочивания шумом известен в физике как «стохастический резонанс»: иногда добавление хаоса помогает системе найти стабильное состояние, а не разрушает его.
В романе Станислава Лема «Глас Господа» учёные сталкиваются с сигналом, который при повышении энергии не усложняется, а вырождается в повторяющийся код — словно чужая мысль застывает от перегрева.