Изучая нейтронные звезды — сверхплотные остатки взорвавшихся гигантов — астрономы ищут подсказки в гравитационных волнах: дрожи пространства, рождающейся при коллапсе. Детекторы вроде LIGO улавливают эту рябь, используя сверхточное лазерное измерение. Обучающиеся программы должны по форме волны определить свойства материи внутри. Но стандартная проверка создает обманчивое ощущение успеха — как повар, вызубривший меню, но не способный приготовить что-то новое.
Создав каталог компьютерных симуляций взрывов с разной материей, исследователи провели обычный тест: перемешали данные и часть спрятали — точность достигла 70%. Но стоило исключить целый класс материи, как программа провалилась: предсказания стали хуже случайного угадывания. Алгоритм запоминал не физику, а конкретные очертания волны.
Когда задачу упростили до определения массы звезды-прародителя, программа научилась обобщать. Это предостережение для будущих детекторов: нужны тесты на невиданных ранее моделях. Иначе умный алгоритм останется натасканным поваром, не способным к импровизации.
Даже почти идентичные параметры сбивали программу из-за второстепенных факторов — например, вращения звезды.