Почему нейросеть, читающая пульс по лицу, не всегда объясняет свои решения ✛
Карта сокровищ, нарисованная нейросетью, обещает показать, где зарыто золото. Но если карту перенести на другой остров, отметки могут указывать в пустоту. Так и объяснения модели, которая оценивает пульс по видео лица, не всегда совпадают с реальной надёжностью.
Нейросеть RhythmFormer улавливает едва заметные изменения цвета кожи, вызванные сердцебиением. Учёные применили четыре метода объяснения и измерили покрытие кожи (доля внимания модели на лице) и коэффициент верности (насколько порядок важности областей соответствует реальному влиянию). Оказалось, что внутри одного участника эти показатели не предсказывают ошибку пульса. Но на уровне условий съёмки покрытие кожи методом Beyond Intuition двигалось вместе с качеством оценки.
Карта сокровищ не показывает, где именно зарыто золото для конкретного человека. Объяснения несут дополнительную информацию, но не заменяют метрики точности. Разработчикам систем удалённого мониторинга пульса стоит осторожно интерпретировать объяснения как индикатор надёжности.
При самом тусклом освещении (40 люкс) модель Beyond Intuition переставала концентрироваться на коже, и её объяснения становились хуже случайных. При этом движение, которое сильнее ухудшало точность пульса, не вызывало такого сбоя объяснений.
Идея чтения пульса по лицу без контакта перекликается с медицинскими сканерами из научной фантастики, например с трикодером из «Звёздного пути», который дистанционно оценивает жизненные показатели. Вопрос о том, можно ли доверять объяснениям ИИ, также поднимается в сериале «Мир Дикого Запада», где поведение искусственного интеллекта остаётся непрозрачным для создателей.