В антарктическом льду частица-призрак оставляет после себя лишь слабую вспышку синего света. Детектор IceCube ловит эти вспышки, и по ним нужно понять, откуда прилетела частица. Модель PolarBERT научилась это делать, но что именно она видит внутри — оставалось загадкой.

Чтобы заглянуть внутрь, исследователи применили разреженный автокодировщик — нейросеть, которая выделяет малое число значимых признаков из активаций модели. Получился словарь из 1024 латентных направлений. Каждое направление — как полка в библиотеке, на которой лежит своя физическая идея.

Но вот парадокс: голова направления, которая должна была бы использовать эту библиотеку, почти не обращается к ней. Удаление или перезапись этих признаков меняет предсказанное направление менее чем на 0.1° — как если бы навигатор игнорировал подробную карту и шёл по одной лишь грубой линии.

Зато другая голова — неопределённости — причинно зависит от ярко-чистых признаков. Удаление одного латента меняет предсказанную ошибку в 1.36 раза. Обучив эту голову, исследователи смогли отбирать события так, что медианное угловое разрешение улучшилось с 20.2° до 3.2° при 20% эффективности отбора.

Библиотека физики оказалась написана, но не для той задачи, для которой её строили. Это открывает путь к новым применениям: если модель хранит знание, которое не использует, можно спроектировать задачу, которая его использует. И тогда вспышка в антарктическом льду расскажет о своём источнике гораздо точнее.