Un laboratoire envoie à un robot une liste de mille molécules candidates pour un nouveau médicament. Le robot-prédicteur, entraîné sur d'anciennes données, donne pour chacune une évaluation « convient – ne convient pas ». Mais lorsque la liste provient d'un domaine inconnu – un autre virus ou une tumeur rare – le robot commence à se tromper. Sa confiance reste élevée, mais les vraies réussites tombent à zéro.
L'outil CaliPPer résout ce problème sans une seule réponse de vérification. Il mesure à quel point un nouvel échantillon s'éloigne des exemples d'entraînement familiers – un peu comme un navigateur estime à quel point vous vous êtes écarté des routes connues. Pour chaque molécule, on calcule la « distance aux exemples connus » (S2DD), et sur cette base, le modèle dit honnêtement : « Dans cette zone, je m'oriente mal, il vaut mieux ne pas croire mes évaluations ».
Sur dix modèles différents prédisant la liaison des cellules immunitaires à des cibles, CaliPPer a montré une corrélation entre la distance et la précision réelle de 0.80 à 0.92 (où 1 est une correspondance parfaite). L'erreur dans l'estimation de la qualité est tombée à 0.008–0.070. Dans cinq études réelles où les modèles ordinaires n'ont trouvé aucune molécule fonctionnelle (0 sur 5), le recalcul de la confiance a permis d'en confirmer 3 sur 5 – simplement en déclassant les faux favoris et en remontant les candidats modestes mais fiables dans le classement.
Ce n'est pas un remplacement de l'expérience, mais un filtre intelligent entre l'ordinateur et l'éprouvette. Au lieu de passer des semaines à vérifier des centaines de leurres, le biologiste reçoit une courte liste avec une estimation honnête des chances.
La distance aux données d'entraînement (S2DD) fonctionne comme une « étrangeté » : si une nouvelle molécule diffère fortement de tout ce que le modèle a vu auparavant, sa prédiction est presque certainement erronée, même si le modèle en est sûr.