Переводчик, который никогда не был на совещании, переводит дословно — и теряет половину смысла. Он не знает, что кивок начальника означает «сделайте как в прошлый раз», а фраза «ну, посмотрим» — вежливый отказ. Так и языковая модель, которая пишет код по научной статье: уравнения она прочитает, а вот негласные договорённости — нет.

Авторы работы решили проверить, можно ли научить ИИ вытаскивать эти скрытые правила из текста. Они взяли две задачи из квантовой физики многих тел — области, где частиц так много, что считать их по одной бессмысленно. Для первой задачи, попроще, человек и машина вместе составили подробную спецификацию: какие индексы куда ставить, какой знак перед слагаемым, в каком порядке перемножать. После этого программа заработала во всех шестнадцати вариантах. Без такой подготовки — только в шести из тринадцати.

Вторая задача оказалась крепким орешком. Там нужно было перестроить сложную математическую конструкцию, и скрытых правил было больше: знаки, калибровки, порядок, ограничения на размер. Даже после совместного составления спецификации программы работали лишь в одиннадцати случаях из двадцати шести. А без подготовки — вообще ни разу.

Любопытная деталь: спецификации, составленные одной моделью, отлично реализовывались другой, но наоборот — не получалось. Это значит, что проблема не только в понимании статьи, но и в способности самой модели писать корректный код. Два узких места.

Такой подход — не просто способ получить программу. Это ещё и диагностический инструмент: он показывает, где именно ИИ спотыкается. И, возможно, подскажет, как делать модели умнее.