Monroe : un modèle moléculaire à inférence probabiliste ✛
Contexte
Prédire l'activité biologique de petites molécules est une étape clé de la découverte de médicaments, mais les données de bioessais sont coûteuses et limitées. Autour de cette tâche s'est développé tout un courant de modèles de fondation moléculaires : MiniMol, CheMeleon, MolFormer et d'autres, qui sont pré-entraînés sur de grands ensembles de données puis adaptés à des tâches spécifiques. Monroe s'inscrit dans cette lignée, mais mise sur l'inférence probabiliste en contexte plutôt que sur le réglage fin, ce qui promet une utilisation plus efficace des données limitées.
Méthodes
Monroe utilise un transformateur à graphes avec une représentation améliorée de la stéréochimie : pour les doubles liaisons E/Z et les centres chiraux R/S, des arêtes auxiliaires sont ajoutées afin de distinguer les isomères. Le modèle est pré-entraîné sur 81 millions de molécules de l'ensemble PM6 (propriétés chimiques quantiques) et 1,56 million de molécules de PCBA (bioessais), soit 1152 tâches au total. Les pertes incluent la reconstruction des conformations (débruitage) et la décorrélation des plongements. Pour s'adapter à de nouvelles tâches, TabPFN est utilisé : un modèle entraîné sur des données tabulaires synthétiques qui, à partir des plongements de molécules et de leurs étiquettes, produit une prédiction probabiliste pour une molécule de test en un seul passage.
Résultats
Sur les 28 tâches de Polaris, Monroe gagne ou est statistiquement indiscernable de la meilleure méthode dans 100 % des cas, avec un rang moyen de 3,71. Sur les 30 tâches de MoleculeACE, spécifiquement conçues pour les « falaises d'activité » (changements brusques d'activité pour de petites différences structurelles), le modèle affiche le meilleur RMSE global de 0,629 et le meilleur RMSE de falaise de 0,737. Les ablations montrent que les composants clés — reconstruction des conformations, arêtes stéréochimiques, décorrélation et données PCBA — contribuent de manière significative. De plus, l'application de TabPFN aux modèles existants MiniMol et CheMeleon donne de nouvelles variantes performantes, MiniMolPFN et CheMeleonPFN, confirmant l'universalité de l'approche.
Implications
Monroe démontre que l'inférence probabiliste en contexte peut remplacer le réglage fin pour les modèles de fondation moléculaires, réduisant les coûts de calcul et améliorant le travail avec de petites données. Contrairement aux travaux voisins qui se concentrent sur la mise à l'échelle ou de nouvelles architectures, Monroe met l'accent sur la méthode d'adaptation, montrant que même les modèles existants bénéficient de TabPFN. Cela ouvre la voie à des méthodes plus flexibles et plus rapides en chémoinformatique.
Développements futurs
Il est probable que des approches hybrides apparaissent, combinant réglage fin et inférence en contexte, ainsi qu'une extension à d'autres types de données moléculaires, comme les spectres ou les images. TabPFN pourrait être adapté pour travailler avec des structures de dépendances non standard dans les tâches moléculaires. Il serait également intéressant d'explorer comment améliorer la prédiction des falaises d'activité — cette tâche reste ouverte.
Impact
La méthode pourrait accélérer le criblage virtuel dans la recherche de médicaments, permettant de sélectionner plus rapidement des composés prometteurs sans expériences coûteuses. Elle est également utile pour toute tâche de prédiction de propriétés moléculaires en science des matériaux et en agrochimie.
Prochaines étapes
Les auteurs pourraient étendre le pré-entraînement à des ensembles de données encore plus grands et tester le modèle sur des benchmarks plus diversifiés, y compris des tâches avec des séries temporelles. Il serait aussi utile d'étudier comment améliorer la qualité de la reconstruction des conformations, peut-être avec des têtes séparées ou d'autres schémas de pondération des pertes.
Problèmes ouverts clés
Pour la chémoinformatique, le problème de la prédiction des falaises d'activité — changements brusques d'activité pour des différences structurelles minimes — reste non résolu. Monroe améliore les résultats, mais le RMSE de falaise est toujours supérieur au RMSE global, ce qui indique une difficulté fondamentale. La fiabilité des benchmarks est également une question ouverte : des erreurs dans les ensembles de données sont connues et peuvent fausser les évaluations.
Le regard de la machine du savoir
Cette section s'adresse à l'auteur du travail et à ses collègues. Les travaux voisins ont été trouvés par une recherche sémantique dans notre archive, et non par correspondance de mots. Nous n'évaluons pas : nous montrons le champ autour.
Ce que fait ce travail
Monroe est un modèle fondamental moléculaire, pré-entraîné sur 81 millions de molécules avec des propriétés chimiques quantiques et 1,56 million de molécules issues de bioessais. Il utilise un transformateur de graphes tenant compte de la stéréochimie et s'adapte à de nouvelles tâches via TabPFN sans réglage fin. Sur les benchmarks Polaris et MoleculeACE, il surpasse les modèles comparables, en particulier pour prédire les changements brusques d'activité.
Où est sa force
La force clé réside dans l'inférence probabiliste en contexte via TabPFN, qui remplace le réglage fin et permet d'utiliser efficacement des données limitées, tout en améliorant les modèles existants.
Vers où avancer
- Il pourrait être intéressant d'explorer comment l'approche de Monroe peut être appliquée aux calculs chimiques quantiques pour de grands systèmes, où l'efficacité computationnelle est primordiale.appui : La chimie quantique pour des centaines de milliers d'atomes arXiv:2608.18623v1
- Des travaux voisins portent sur l'interprétabilité des prédictions de l'IA en chimie ; il pourrait être pertinent d'étudier comment expliquer les décisions de TabPFN à partir des plongements de Monroe.appui : Chimie transparente : quand l'IA explique ses prédictions arXiv:2603.01274
- Des idées sur l'apprentissage efficace avec moins de données sont disponibles dans les archives ; elles pourraient être utiles pour améliorer davantage l'adaptation de Monroe à de petits échantillons.appui : Apprendre à un réseau de neurones avec moins de données, mais intelligemment arXiv:2602.23269
À essayer
- Tester Monroe avec TabPFN sur des tâches de prédiction de propriétés chimiques quantiques pour de grandes molécules, où la vitesse est cruciale.
- Utiliser des méthodes d'interprétation issues de travaux connexes pour analyser quelles parties de la molécule influencent les prédictions de TabPFN.
- Expérimenter des stratégies d'apprentissage sur des données plus réduites pour améliorer l'efficacité de Monroe dans des contextes de bioessais limités.
Pourquoi cela peut compter
Monroe démontre que l'inférence probabiliste en contexte peut être une méthode universelle pour adapter les modèles moléculaires, ce qui est important pour accélérer la découverte de médicaments et réduire les coûts.
Travaux voisins dans notre archive
- La chimie quantique pour des centaines de milliers d'atomesproximité 0.61
- Régler un moteur moléculaire sans se casser la têteproximité 0.60
- Les neurones livrent leurs secrets en quelques minutes, pas en heuresproximité 0.59
- Un réseau de neurones lit l'avenir du plasmaproximité 0.58
- Chimie transparente : quand l'IA explique ses prédictionsproximité 0.57
- Un accélérateur quantique pour créer des médicamentsproximité 0.57
- Apprendre à un réseau de neurones avec moins de données, mais intelligemmentproximité 0.57
L'archive est vide autour de ce travail : l'analyse la plus proche n'est qu'à 0.61, contre 0,64 d'ordinaire. Il semble qu'on ait peu foré à côté.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2608.18982v1
Bioassay activity prediction is often data-limited because drug-discovery datasets rely on time-consuming and expensive wet-lab experiments for data generation and evaluation. This challenge has inspired recent research into molecular foundation models (MFMs), which aim to encode general-purpose chemical knowledge into molecular representations that generalize well in data-constrained scenarios. This paper presents Monroe, a new MFM with several innovations over the existing state of the art: increased scale allowing pre-training on over 81 million molecules from the PM6 quantum chemistry dataset; improved graph representation of stereochemistry; improved training losses including conformer denoising and embedding decorrelation; improved multi-task learning; and the use of a prior-data-fitted model (TabPFN) for downstream in-context prediction. Our evaluations use a principled pairwise comparison framework that measures statistically significant performance differences. Across established Polaris benchmarks, Monroe matches or exceeds existing MFMs, while on activity cliff benchmarks, designed to assess utility for molecular discovery, it achieves significant improvements over prior methods. Finally, ablation and transfer experiments show that PFN-based downstream predictors also substantially improve two leading existing models, MiniMol and CheMeleon, yielding new state-of-the-art variants we call MiniMol_PFN and CheMeleon_PFN, suggesting that our downstream adaptation strategy generalizes beyond Monroe. Source code is at github.com/blazejba/monroe.
Le nom Monroe rend hommage à Elizabeth Monroe Boggs, pionnière de la chimie quantique computationnelle. Le pré-entraînement n'a pris que 26 heures sur quatre GPU H100.
Chiffres clés
- molécules en pré-entraînement: 81 millions
- tâches de pré-entraînement: 1152
- GPU pour le pré-entraînement: 4 × H100
- temps de pré-entraînement: 26 heures
- taux de victoire sur Polaris: 100 %