Un médecin feuillette un dossier médical et voit une ligne : « Ce médicament réduit le risque ». Mais à quel point peut-on s'y fier ? L'affirmation repose-t-elle sur quelques cas cliniques ou sur des dizaines de milliers de patients dans une étude en aveugle ? De la réponse dépend le traitement. Aujourd'hui, ces textes sont de plus en plus souvent rédigés non pas par des humains, mais par de grands modèles de langage — ceux-là mêmes qui aident à rechercher des informations et à rédiger des synthèses. Des chercheurs de plusieurs groupes scientifiques ont décidé de vérifier si la machine comprend la différence entre un indice fragile et une conclusion en béton.
Ils ont rassemblé 45 134 affirmations cliniques provenant de sources ouvertes et en ont classé 20 611 sur une échelle de preuve à quatre niveaux : de « presque aucune donnée » à « confirmé par de nombreuses études ». Ensuite, 22 modèles de langage — des plus petits, de la taille d'un livre de poche (0,6 milliard de paramètres), aux plus volumineux (70 milliards) — ont été invités à évaluer chaque affirmation. Les modèles étaient variés : généraux, médicaux, axés sur la logique. Le résultat a surpris. Lorsqu'on « sondait » l'intérieur du modèle avec une sonde mathématique spéciale, le signal sur la véritable force des preuves se lisait parfaitement — avec une précision moyenne de 71,8 % (c'est comme si, sur dix affirmations, sept étaient correctement évaluées). Mais lorsqu'on demandait directement au même modèle : « Dans quelle mesure est-ce fiable ? » — les réponses retombaient dans la devinette aléatoire. L'écart était de 25 à 27 points de pourcentage.
Curieusement, ce signal s'est avéré en grande partie lexical — il est lié aux mots et aux tournures, et non à une compréhension profonde. Dès qu'on transférait le modèle vers un autre sujet médical ou un autre système d'évaluation, la capacité à lire le signal disparaissait. Et pourtant, il ne coïncidait pas avec une simple distinction entre vrai et faux : le modèle pouvait correctement déterminer qu'une affirmation était mal étayée, même si elle était factuellement vraie. Il semble donc qu'à l'intérieur du cerveau artificiel vit une intuition non dite sur la fragilité des arguments — mais elle ne se manifeste pas à l'extérieur.
Cette boussole silencieuse est à la fois un espoir et un avertissement. Un espoir, car le signal peut être extrait et utilisé, même si le modèle lui-même se tait. Un avertissement, car aujourd'hui, en lisant un texte généré, nous n'entendons pas la voix intérieure de la machine — et nous risquons de prendre le fragile pour du solide. Le médecin devant son écran voit des lignes régulières, mais ne sait pas si le sol tremble en dessous.
tel que rédigé par les auteurs, en anglais arXiv:2606.29034
Large language models (LLMs) increasingly summarize clinical evidence, where a claim's weight depends on how strongly it is supported. Yet these models convey confidence poorly, and properties they never state, such as truth, are often readable from their activations. Whether a clinical model registers evidence strength, distinct from truth, and states it when asked is untested, and any such signal could be lexical. We compiled 45,134 clinical claims from six public sources, harmonized 20,611 into a four-level evidence grade under three independent frameworks, and tested 22 local, open-weight LLMs from several developers (0.6-70 billion parameters; general, medical, and reasoning), with lexical, truth, and cross-framework controls. A linear estimator recovered the grade in every model (median AUROC 71.8), yet decodability did not rise with scale and was weakest in reasoning models. The grade the models stated fell to chance, 25-27 percentage points below the estimator. The recoverable signal was largely lexical and did not transfer across topics or frameworks, yet it was distinct from factual truth and still flagged weakly supported claims (AUROC 69.2). Clinical LLMs thus carry an ordered evidence-strength signal they do not express, so their stated grades fail to convey a claim's support even when it is recoverable from their representations and text.
Le signal interne sur la force des preuves s'est avéré le plus fort chez les modèles généraux, et plus faible chez les modèles spécialisés « médicaux » et « raisonnants ». Comme si la spécialisation étroite émoussait l'intuition universelle.