Ce que taisent les cellules intelligentes : l'attention sans utilité express
À l'intérieur de la cellule, le travail bouillonne : des milliers de gènes s'activent et se désactivent, comme des ampoules sur un immense tableau d'affichage. Les réseaux de neurones entraînés à lire ce tableau ont appris à deviner ce qui se passera si l'on « éteint » un gène ou si l'on ajoute un médicament. Mais comment ils font exactement — c'est une énigme. Des scientifiques ont décidé de regarder à l'intérieur et de vérifier : est-ce que l'« attention » du modèle (c'est-à-dire les gènes qu'il regarde de plus près) reflète réellement les connexions dans la cellule ?
Ils ont pris deux modèles connus — scGPT et Geneformer — et y ont fait passer des données sur des cellules sanguines et des cellules de la rétine. Il s'est avéré que l'attention construit effectivement une structure : dans les premières couches du modèle, on voit des connexions entre des protéines qui se touchent physiquement, et dans les dernières, des connexions entre des gènes qui se régulent mutuellement. C'est joli, comme un plan de métro. Mais lorsque ces « cartes » ont été utilisées pour prédire la réponse de la cellule à une perturbation, elles n'ont pas aidé. Une méthode simple, qui regarde simplement quels gènes changent le plus souvent ensemble, a donné un résultat de 0.81–0.88 sur l'échelle de précision, tandis que les « intelligentes » connexions d'attention n'ont atteint que 0.70. Si l'on supprime complètement ces connexions, les prédictions ne se détériorent pas.
C'est comme si un interprète lors d'une réunion prenait des notes détaillées en marge, mais traduisait moins bien qu'un dictionnaire. Les scientifiques ont proposé une méthode de « réentraînement » de l'attention — CSSI, qui aide le modèle à mieux reconstruire les réseaux réels de gènes (jusqu'à 1.85 fois plus précisément). Mais même après cela, les méthodes simples restent plus fortes. Pour la science, c'est une leçon importante : ne te fie pas aux belles images, vérifie l'utilité par le nombre.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2602.17532
We present a systematic evaluation framework - thirty-seven analyses, 153 statistical tests, four cell types, two perturbation modalities - for assessing mechanistic interpretability in single-cell foundation models. Applying this framework to scGPT and Geneformer, we find that attention patterns encode structured biological information with layer-specific organisation - protein-protein interactions in early layers, transcriptional regulation in late layers - but this structure provides no incremental value for perturbation prediction: trivial gene-level baselines outperform both attention and correlation edges (AUROC 0.81-0.88 versus 0.70), pairwise edge scores add zero predictive contribution, and causal ablation of regulatory heads produces no degradation. These findings generalise from K562 to RPE1 cells; the attention-correlation relationship is context-dependent, but gene-level dominance is universal. Cell-State Stratified Interpretability (CSSI) addresses an attention-specific scaling failure, improving GRN recovery up to 1.85x. The framework establishes reusable quality-control standards for the field.
Le modèle scGPT a été entraîné sur des données de 33 millions de cellules — c'est plus que le nombre d'habitants de Tokyo.
Dans la série « Westworld », les robots avaient de beaux « souvenirs » mais n'en comprenaient pas le sens — une situation similaire à l'attention des réseaux de neurones.