Monroe: молекулярная модель с вероятностным выводом ✛

Оригинал: "Monroe: A Molecular Foundation Model for In-Context Probabilistic Inference"
arXiv:2608.18982v1 · 2026-08-19 · CC BY 4.0 · 3 мин
Новая модель Monroe обучается на 81 миллионе молекул и предсказывает биологическую активность без дообучения, используя вероятностный вывод в контексте.

Контекст

Предсказание биологической активности малых молекул — ключевой этап поиска лекарств, но данные о биоанализах дороги и ограничены. Вокруг этой задачи сложилось целое направление молекулярных фундаментальных моделей: MiniMol, CheMeleon, MolFormer и другие, которые предобучаются на больших наборах данных, а затем адаптируются к конкретным задачам. Monroe встаёт в этот ряд, но делает ставку на вероятностный вывод в контексте вместо тонкой настройки, что обещает более эффективное использование ограниченных данных.

Методы

Monroe использует графовый трансформер с улучшенным представлением стереохимии: для двойных связей E/Z и хиральных центров R/S добавляются вспомогательные рёбра, чтобы различать изомеры. Модель предобучается на 81 миллионе молекул из набора PM6 (квантово-химические свойства) и 1,56 миллиона молекул из PCBA (биоанализы), всего 1152 задачи. Потери включают восстановление конформаций (denoising) и декорреляцию эмбеддингов. Для адаптации к новым задачам используется TabPFN — модель, обученная на синтетических табличных данных, которая по эмбеддингам молекул и их меткам выдаёт вероятностное предсказание для тестовой молекулы за один проход.

Результаты

На 28 задачах Polaris Monroe выигрывает или статистически неотличим от лучшего метода в 100% случаев, со средним рангом 3,71. На 30 задачах MoleculeACE, специально нацеленных на «activity cliffs» (резкие изменения активности при малых структурных отличиях), модель показывает лучший общий RMSE 0,629 и лучший cliff RMSE 0,737. Абляции показывают, что ключевые компоненты — восстановление конформаций, стереохимические рёбра, декорреляция и данные PCBA — вносят значимый вклад. Кроме того, применение TabPFN к существующим моделям MiniMol и CheMeleon даёт новые сильные варианты MiniMolPFN и CheMeleonPFN, что подтверждает универсальность подхода.

Значение

Monroe демонстрирует, что вероятностный вывод в контексте может заменить тонкую настройку для молекулярных фундаментальных моделей, снижая вычислительные затраты и улучшая работу с малыми данными. В отличие от соседних работ, которые фокусируются на масштабировании или новых архитектурах, Monroe делает акцент на способе адаптации, показывая, что даже существующие модели выигрывают от TabPFN. Это открывает путь к более гибким и быстрым методам в хемоинформатике.

Развитие

Вероятно, появятся гибридные подходы, сочетающие тонкую настройку и вывод в контексте, а также расширение на другие типы молекулярных данных, например, спектры или изображения. Возможно, TabPFN будет адаптирован для работы с нестандартными структурами зависимостей в молекулярных задачах. Также интересно исследовать, как улучшить предсказание activity cliffs — эта задача остаётся открытой.

Влияние

Метод может ускорить виртуальный скрининг в поиске лекарств, позволяя быстрее отбирать перспективные соединения без дорогостоящих экспериментов. Также он полезен для любых задач предсказания свойств молекул в материаловедении и агрохимии.

Следующие шаги

Авторы могут расширить предобучение на ещё большие наборы данных и проверить модель на более разнообразных бенчмарках, включая задачи с временными рядами. Также стоит изучить, как улучшить качество восстановления конформаций, возможно, с помощью отдельных голов или других схем взвешивания потерь.

Ключевые проблемы

Для хемоинформатики остаётся нерешённой проблема предсказания activity cliffs — резких изменений активности при минимальных структурных отличиях. Monroe улучшает результаты, но cliff RMSE всё ещё выше общего RMSE, что указывает на фундаментальную сложность. Также открыт вопрос о надёжности бенчмарков: известны ошибки в наборах данных, которые могут искажать оценки.

Взгляд машины знаний

Этот раздел адресован автору работы и его коллегам. Соседние работы нашёл смысловой поиск по нашему архиву — не по совпадению слов, а по смыслу. Мы не рецензируем: мы показываем поле вокруг.

Что сделано в работе

Monroe — молекулярная фундаментальная модель, предобученная на 81 млн молекул с квантово-химическими свойствами и 1,56 млн молекул из биоанализов. Использует графовый трансформер с учётом стереохимии и адаптируется к новым задачам через TabPFN без дообучения. На бенчмарках Polaris и MoleculeACE превосходит аналоги, особенно в предсказании резких изменений активности.

В чём сила

Ключевая сила — вероятностный вывод в контексте через TabPFN, который заменяет тонкую настройку и позволяет эффективно использовать ограниченные данные, а также улучшает существующие модели.

Куда можно двигаться

Что можно попробовать

  • Проверить Monroe с TabPFN на задачах предсказания квантово-химических свойств для крупных молекул, где важна скорость.
  • Использовать методы интерпретации из соседней работы для анализа того, какие части молекулы влияют на предсказания TabPFN.
  • Апробировать стратегии обучения на меньших данных для повышения эффективности Monroe в условиях ограниченных биоанализов.

Почему это может быть важно

Monroe показывает, что вероятностный вывод в контексте может быть универсальным способом адаптации молекулярных моделей, что важно для ускорения поиска лекарств и снижения затрат.

Оригинальная аннотация

как её написали авторы, на английском arXiv:2608.18982v1

Bioassay activity prediction is often data-limited because drug-discovery datasets rely on time-consuming and expensive wet-lab experiments for data generation and evaluation. This challenge has inspired recent research into molecular foundation models (MFMs), which aim to encode general-purpose chemical knowledge into molecular representations that generalize well in data-constrained scenarios. This paper presents Monroe, a new MFM with several innovations over the existing state of the art: increased scale allowing pre-training on over 81 million molecules from the PM6 quantum chemistry dataset; improved graph representation of stereochemistry; improved training losses including conformer denoising and embedding decorrelation; improved multi-task learning; and the use of a prior-data-fitted model (TabPFN) for downstream in-context prediction. Our evaluations use a principled pairwise comparison framework that measures statistically significant performance differences. Across established Polaris benchmarks, Monroe matches or exceeds existing MFMs, while on activity cliff benchmarks, designed to assess utility for molecular discovery, it achieves significant improvements over prior methods. Finally, ablation and transfer experiments show that PFN-based downstream predictors also substantially improve two leading existing models, MiniMol and CheMeleon, yielding new state-of-the-art variants we call MiniMol_PFN and CheMeleon_PFN, suggesting that our downstream adaptation strategy generalizes beyond Monroe. Source code is at github.com/blazejba/monroe.

Название Monroe дано в честь Элизабет Монро Боггс, пионера вычислительной квантовой химии. Предобучение заняло всего 26 часов на четырёх GPU H100.

Ключевые числа

  • молекул в предобучении: 81 миллион
  • задач предобучения: 1152
  • GPU для предобучения: 4 × H100
  • время предобучения: 26 часов
  • win rate на Polaris: 100%
Учёные
Niels BohrPascual JordanWerner HeisenbergJoseph Fourier
Понятия
предсказание молекулярных свойств параметр биомолекула языковая модель белков открытие лекарств обучение открытие лекарств с помощью ИИ подгонка параметров математическая модель машинное обучение материалы на основе машинного обучения предсказание классификатор апостериорное распределение молекулярный мотор оценка максимального правдоподобия обобщение символьная регрессия байесовское свидетельство байесовский вывод