Un glucómetro que no pincha el dedo, sino que simplemente mira la muñeca: el sueño de millones de personas con diabetes. Eso es lo que prometen los algoritmos que extraen el nivel de glucosa de la señal habitual del pulso, la fotopletismografía (esa misma que mide el pulso en los relojes inteligentes). El problema es que hasta ahora nadie podía comparar adecuadamente estos algoritmos entre sí: cada investigador usaba sus propios datos y sus propios métodos de validación.
Un grupo de científicos construyó el primer flujo de trabajo transparente para evaluar de manera justa estos modelos. Tomaron cinco enfoques típicos y los sometieron a tres niveles de rigor. El primer nivel es la mezcla aleatoria de ventanas de señal, donde fragmentos de la grabación de una persona pueden aparecer tanto en el entrenamiento como en la validación. Aquí los modelos mostraban resultados prometedores. El segundo nivel: las ventanas de una misma persona siempre permanecen juntas, ya sea en entrenamiento o en validación. El tercero, el más severo: algunas personas se excluyen por completo del entrenamiento, y el modelo debe adivinar su azúcar sin haberlas "visto" nunca antes.
El resultado fue aleccionador. En cuanto la división de datos se volvía honesta, la precisión de los modelos se derrumbaba. El coeficiente de determinación (R²), que indica cuánto mejora la predicción respecto al simple promedio, caía a cero o incluso se volvía negativo. En otras palabras, el algoritmo no funcionaba mejor que si siempre dijera el nivel promedio de azúcar de toda la muestra. Pero el hallazgo más traicionero estaba por venir.
Incluso en un modelo completamente fallido, más del 90% de las predicciones caían en las zonas seguras A y B de la cuadrícula de error de Clarke, la herramienta clínica estándar que los médicos usan para evaluar la precisión de los glucómetros. Esta cuadrícula divide los errores en peligrosos y aceptables. Resulta que si uno simplemente predice siempre el valor promedio, la cuadrícula de Clarke casi siempre mostrará un panorama halagüeño. La métrica diseñada para descartar dispositivos malos, aquí oculta sistemáticamente el fracaso.
Así, el sueño de los relojes inteligentes que miden el azúcar recibe una advertencia importante. Antes de lanzar estos algoritmos a la práctica clínica real, primero hay que poner orden en su evaluación automática, con una división de datos honesta y métricas que no sepan mentir.
La cuadrícula de error de Clarke, utilizada para verificar glucómetros, fue propuesta en 1987 y desde entonces se ha convertido en el estándar mundial. Divide todos los errores en cinco zonas: A (clínicamente precisos), B (aceptables), C, D y E (potencialmente peligrosos). La paradoja es que para modelos muy malos que simplemente adivinan el promedio, casi todos los puntos caen en A y B.