Por qué una red neuronal que lee el pulso en la cara no siempre explica sus decisiones ✛
Un mapa del tesoro dibujado por una red neuronal promete mostrar dónde está enterrado el oro. Pero si trasladas el mapa a otra isla, las marcas pueden apuntar al vacío. Algo similar ocurre con las explicaciones del modelo que estima el pulso a partir de videos del rostro: no siempre coinciden con la fiabilidad real.
La red neuronal RhythmFormer capta cambios sutiles en el color de la piel causados por los latidos del corazón. Los científicos aplicaron cuatro métodos de explicación y midieron la cobertura de la piel (la proporción de atención del modelo en el rostro) y el coeficiente de fidelidad (en qué medida el orden de importancia de las regiones corresponde a su influencia real). Descubrieron que, dentro de un mismo participante, estos indicadores no predicen el error del pulso. Sin embargo, a nivel de condiciones de grabación, la cobertura de la piel mediante el método Beyond Intuition se movía en paralelo con la calidad de la estimación.
El mapa del tesoro no muestra dónde está enterrado el oro para una persona concreta. Las explicaciones aportan información adicional, pero no sustituyen a las métricas de precisión. Quienes desarrollan sistemas de monitorización remota del pulso deberían interpretar con cautela las explicaciones como indicador de fiabilidad.
Con la iluminación más tenue (40 lux), el modelo Beyond Intuition dejaba de concentrarse en la piel y sus explicaciones se volvían peores que las aleatorias. En cambio, el movimiento, que deterioraba más la precisión del pulso, no provocaba tal fallo en las explicaciones.
La idea de leer el pulso a través del rostro sin contacto recuerda a los escáneres médicos de la ciencia ficción, como el tricorder de 'Star Trek', que evalúa los signos vitales de forma remota. La cuestión de si se puede confiar en las explicaciones de la IA también se plantea en la serie 'Westworld', donde el comportamiento de la inteligencia artificial permanece opaco para sus creadores.