Un lecteur de glycémie qui ne pique pas le doigt, mais se contente de regarder le poignet — c'est le rêve de millions de personnes diabétiques. C'est précisément ce que promettent les algorithmes qui extraient le niveau de glucose du signal de pouls ordinaire — le photopléthysmogramme (celui-là même qui mesure le pouls dans les montres connectées). Le problème, c'est que jusqu'à présent, personne n'avait pu comparer correctement ces algorithmes entre eux : chaque chercheur utilisait ses propres données et ses propres méthodes de validation.
Un groupe de scientifiques a construit le premier pipeline transparent pour une évaluation honnête de ces modèles. Ils ont pris cinq approches typiques et les ont soumises à trois niveaux de rigueur. Le premier niveau — le mélange aléatoire des fenêtres de signal, où des segments d'enregistrement d'une même personne peuvent se retrouver à la fois dans l'entraînement et dans la validation. Ici, les modèles montraient des résultats encourageants. Le deuxième niveau — les fenêtres d'une même personne restent toujours ensemble : soit dans l'entraînement, soit dans la validation. Le troisième, le plus sévère — une partie des personnes est complètement exclue de l'entraînement, et le modèle doit deviner leur sucre sans jamais les avoir « vues » auparavant.
Le résultat est édifiante. Dès que la division des données devenait honnête, la précision des modèles s'effondrait. Le coefficient de détermination (R²), qui indique à quel point la prédiction est meilleure qu'une simple moyenne, tombait à zéro, voire devenait négatif. En d'autres termes, l'algorithme ne faisait pas mieux que s'il avait toujours donné le niveau moyen de sucre de l'ensemble de l'échantillon. Mais la découverte la plus perfide attendait plus loin.
Même pour un modèle complètement raté, plus de 90 % des prédictions tombaient dans les zones sûres A et B de la grille d'erreurs de Clarke — l'outil clinique standard que les médecins utilisent pour évaluer la précision des lecteurs de glycémie. Cette grille divise les erreurs en dangereuses et acceptables. Il s'est avéré que si l'on prédit toujours la moyenne, la grille de Clarke dessine presque toujours un tableau idyllique. La métrique censée éliminer les mauvais appareils masque systématiquement l'échec.
Ainsi, le rêve de la montre connectée qui mesure le sucre reçoit un avertissement important. Avant de lancer les algorithmes dans la pratique clinique réelle, il faut d'abord mettre de l'ordre dans leur évaluation informatique — avec une division honnête des données et des métriques qui ne savent pas mentir.
La grille d'erreurs de Clarke, utilisée pour vérifier les lecteurs de glycémie, a été proposée en 1987 et est depuis devenue la norme mondiale. Elle divise toutes les erreurs en cinq zones : A (cliniquement exactes), B (acceptables), C, D et E (potentiellement dangereuses). Le paradoxe est que pour des modèles très mauvais, qui ne font que deviner la moyenne, presque tous les points tombent dans A et B.