Объяснения нейросети: где модель ищет пульс и можно ли этому верить ✛
Карта сокровищ, нарисованная нейросетью, обещает показать, где зарыто золото. Но если карту перенести на другой остров, отметки могут указывать в пустоту. Именно это произошло с объяснениями модели, которая оценивает пульс по видеозаписи лица.
Нейросеть RhythmFormer улавливает едва заметные изменения цвета кожи, вызванные сердцебиением. Чтобы понять, на что она смотрит, учёные применили четыре метода объяснения и измерили две величины: покрытие кожи (доля внимания модели, попавшая на лицо) и коэффициент верности SaCo (насколько порядок важности областей соответствует реальному влиянию на предсказание).
Однако внутри одного участника ни покрытие кожи, ни SaCo не коррелировали с ошибкой пульса: 186 из 252 коэффициентов оказались ниже |ρ|=0,10. Карта сокровищ не показывала, где именно зарыто золото для конкретного человека.
Но на уровне восьми сценариев покрытие кожи методом Beyond Intuition двигалось вместе с качеством оценки: ρ=−0,43 для ошибки, +0,57 для корреляции волны и +0,43 для отношения сигнал/шум. Объяснения несут дополнительную информацию, но не заменяют метрики точности.
Работа впервые систематически проверяет перенос объяснений между наборами данных и их связь с надёжностью модели. Результаты помогут избежать ложной уверенности в поведении нейросетей, которые следят за здоровьем по лицу.
При самом тусклом освещении (40 люкс) модель Beyond Intuition переставала концентрироваться на коже, и её объяснения становились хуже случайных. При этом движение, которое сильнее ухудшало точность пульса, не вызывало такого сбоя объяснений.
Идея чтения пульса по лицу без контакта перекликается с медицинскими сканерами из научной фантастики, например с трикодером из «Звёздного пути», который дистанционно оценивает жизненные показатели. Вопрос о том, можно ли доверять объяснениям ИИ, также поднимается в сериале «Мир Дикого Запада», где поведение искусственного интеллекта остаётся непрозрачным для создателей.