Une carte au trésor dessinée par un réseau de neurones promet de montrer où l'or est enterré. Mais si l'on transporte la carte sur une autre île, les marques peuvent pointer vers le vide. C'est exactement ce qui arrive avec les explications d'un modèle qui estime le pouls à partir d'une vidéo du visage.

Le réseau de neurones RhythmFormer capte les infimes variations de couleur de la peau causées par les battements du cœur. Pour comprendre sur quoi il se focalise, les scientifiques ont appliqué quatre méthodes d'explication et mesuré deux grandeurs : la couverture de la peau (la part de l'attention du modèle qui se porte sur le visage) et le coefficient de fidélité SaCo (à quel point l'ordre d'importance des régions correspond à leur influence réelle sur la prédiction).

Cependant, chez un même participant, ni la couverture de la peau ni le SaCo n'étaient corrélés avec l'erreur du pouls : 186 des 252 coefficients étaient inférieurs à |ρ|=0,10. La carte au trésor ne montrait pas où l'or était enterré pour une personne donnée.

Mais au niveau des huit scénarios, la couverture de la peau par la méthode Beyond Intuition évoluait avec la qualité de l'estimation : ρ=−0,43 pour l'erreur, +0,57 pour la corrélation de l'onde et +0,43 pour le rapport signal/bruit. Les explications apportent une information supplémentaire, mais ne remplacent pas les métriques de précision.

Ces travaux vérifient pour la première fois de manière systématique le transfert des explications entre ensembles de données et leur lien avec la fiabilité du modèle. Les résultats aideront à éviter une confiance illusoire dans le comportement des réseaux de neurones qui surveillent la santé à partir du visage.