Monroe: نموذج جزيئي مع استدلال احتمالي في السياق ✛

الأصل: "Monroe: A Molecular Foundation Model for In-Context Probabilistic Inference"
arXiv:2608.18982v1 · 2026-08-19 · CC BY 4.0 · 3 دقيقة
النموذج الجديد Monroe يُدرَّب على 81 مليون جزيء ويتنبأ بالنشاط البيولوجي دون ضبط دقيق، باستخدام استدلال احتمالي في السياق.

السياق

التنبؤ بالنشاط البيولوجي للجزيئات الصغيرة خطوة أساسية في اكتشاف الأدوية، لكن بيانات الفحوصات الحيوية مكلفة ومحدودة. حول هذه المهمة تشكّل اتجاه كامل من النماذج الأساسية الجزيئية: MiniMol وCheMeleon وMolFormer وغيرها، التي تُدرَّب مسبقًا على مجموعات بيانات كبيرة ثم تتكيف مع مهام محددة. ينضم Monroe إلى هذا الركب، لكنه يراهن على الاستدلال الاحتمالي في السياق بدلاً من الضبط الدقيق، مما يعد باستخدام أكثر كفاءة للبيانات المحدودة.

المنهجية

يستخدم Monroe محولًا بيانيًا (graph transformer) مع تمثيل محسّن للفراغية الكيميائية: بالنسبة للروابط المزدوجة E/Z والمراكز اللاتناظرية R/S، تُضاف حواف مساعدة للتمييز بين الأيزومرات. يُدرَّب النموذج مسبقًا على 81 مليون جزيء من مجموعة PM6 (خصائص كيميائية كمومية) و1.56 مليون جزيء من PCBA (فحوصات حيوية)، بإجمالي 1152 مهمة. تشمل الخسائر استعادة التشكيلات (denoising) وفك الارتباط بين التضمينات (embedding decorrelation). للتكيف مع المهام الجديدة، يُستخدم TabPFN — نموذج مُدرَّب على بيانات جدولية اصطناعية، والذي يعطي تنبؤًا احتماليًا للجزيء الاختباري في تمريرة واحدة بناءً على تضمينات الجزيئات وتسمياتها.

النتائج

في 28 مهمة من Polaris، يفوز Monroe أو لا يختلف إحصائيًا عن أفضل طريقة في 100% من الحالات، بمتوسط ترتيب 3.71. في 30 مهمة من MoleculeACE، المصممة خصيصًا لـ "منحدرات النشاط" (activity cliffs) — تغيرات حادة في النشاط مع اختلافات بنيوية صغيرة — يُظهر النموذج أفضل RMSE إجمالي يبلغ 0.629 وأفضل cliff RMSE يبلغ 0.737. تُظهر عمليات الإزالة (ablations) أن المكونات الرئيسية — استعادة التشكيلات، الحواف الفراغية، فك الارتباط، وبيانات PCBA — تساهم بشكل كبير. بالإضافة إلى ذلك، فإن تطبيق TabPFN على النماذج الحالية MiniMol وCheMeleon يعطي نسختين قويتين جديدتين هما MiniMolPFN وCheMeleonPFN، مما يؤكد عمومية النهج.

الأهمية

يُظهر Monroe أن الاستدلال الاحتمالي في السياق يمكن أن يحل محل الضبط الدقيق للنماذج الأساسية الجزيئية، مما يقلل التكاليف الحسابية ويحسن الأداء مع البيانات الصغيرة. على عكس الأعمال المجاورة التي تركز على التوسع أو البنى الجديدة، يركز Monroe على طريقة التكيف، مُظهرًا أنه حتى النماذج الحالية تستفيد من TabPFN. هذا يفتح الطريق لأساليب أكثر مرونة وسرعة في المعلوماتية الكيميائية (cheminformatics).

التطور المستقبلي

من المحتمل ظهور أساليب هجينة تجمع بين الضبط الدقيق والاستدلال في السياق، بالإضافة إلى توسيع النطاق ليشمل أنواعًا أخرى من البيانات الجزيئية، مثل الأطياف أو الصور. ربما يتم تكييف TabPFN للعمل مع هياكل اعتماد غير قياسية في المهام الجزيئية. ومن المثير أيضًا استكشاف كيفية تحسين التنبؤ بمنحدرات النشاط — فهذه المهمة تظل مفتوحة.

التأثير

يمكن للطريقة تسريع الفحص الافتراضي في اكتشاف الأدوية، مما يتيح اختيار المركبات الواعدة بسرعة دون تجارب مكلفة. كما أنها مفيدة لأي مهام تنبؤ بخصائص الجزيئات في علم المواد والكيمياء الزراعية.

الخطوات التالية

يمكن للمؤلفين توسيع التدريب المسبق ليشمل مجموعات بيانات أكبر واختبار النموذج على معايير أكثر تنوعًا، بما في ذلك مهام السلاسل الزمنية. كما ينبغي دراسة كيفية تحسين جودة استعادة التشكيلات، ربما باستخدام رؤوس منفصلة أو مخططات أخرى لتوزين الخسائر.

المسائل المفتوحة الرئيسية

بالنسبة للمعلوماتية الكيميائية، تظل مشكلة التنبؤ بمنحدرات النشاط غير محلولة — تغيرات حادة في النشاط مع اختلافات بنيوية طفيفة. يحسّن Monroe النتائج، لكن cliff RMSE لا يزال أعلى من RMSE الإجمالي، مما يشير إلى صعوبة جوهرية. كما أن مسألة موثوقية المعايير مفتوحة: هناك أخطاء معروفة في مجموعات البيانات قد تشوه التقييمات.

نظرة آلة المعرفة

هذا القسم موجَّه إلى مؤلف العمل وزملائه. الأعمال المجاورة عثر عليها بحثٌ دلالي في أرشيفنا، لا بتطابق الكلمات. نحن لا نقيّم العمل: نعرض الحقل من حوله.

ماذا يفعل هذا العمل

Monroe هي نموذج أساسي جزيئي، تم تدريبه مسبقًا على 81 مليون جزيء مع خصائص كيميائية كمومية و1.56 مليون جزيء من التحليلات الحيوية. يستخدم محولًا بيانيًا يراعي الكيمياء الفراغية ويتكيف مع المهام الجديدة عبر TabPFN دون ضبط دقيق. في معايير Polaris وMoleculeACE يتفوق على النظائر، خاصة في التنبؤ بالتغيرات الحادة في النشاط.

أين تكمن قوته

القوة الرئيسية هي الاستدلال الاحتمالي في السياق عبر TabPFN، الذي يحل محل الضبط الدقيق ويتيح استخدام البيانات المحدودة بكفاءة، كما يحسن النماذج الموجودة.

إلى أين يمكن المضي

يستحق التجربة

  • اختبار Monroe مع TabPFN على مهام التنبؤ بالخصائص الكيميائية الكمومية للجزيئات الكبيرة، حيث تكون السرعة مهمة.
  • استخدام طرق التفسير من العمل المجاور لتحليل أجزاء الجزيء التي تؤثر على تنبؤات TabPFN.
  • تجربة استراتيجيات التدريب على بيانات أقل لتحسين كفاءة Monroe في ظل التحليلات الحيوية المحدودة.

لماذا قد يكون هذا مهمًا

يُظهر Monroe أن الاستدلال الاحتمالي في السياق يمكن أن يكون طريقة عامة لتكييف النماذج الجزيئية، وهو أمر مهم لتسريع اكتشاف الأدوية وخفض التكاليف.

الملخص الأصلي

كما كتبه المؤلفون، بالإنجليزية arXiv:2608.18982v1

Bioassay activity prediction is often data-limited because drug-discovery datasets rely on time-consuming and expensive wet-lab experiments for data generation and evaluation. This challenge has inspired recent research into molecular foundation models (MFMs), which aim to encode general-purpose chemical knowledge into molecular representations that generalize well in data-constrained scenarios. This paper presents Monroe, a new MFM with several innovations over the existing state of the art: increased scale allowing pre-training on over 81 million molecules from the PM6 quantum chemistry dataset; improved graph representation of stereochemistry; improved training losses including conformer denoising and embedding decorrelation; improved multi-task learning; and the use of a prior-data-fitted model (TabPFN) for downstream in-context prediction. Our evaluations use a principled pairwise comparison framework that measures statistically significant performance differences. Across established Polaris benchmarks, Monroe matches or exceeds existing MFMs, while on activity cliff benchmarks, designed to assess utility for molecular discovery, it achieves significant improvements over prior methods. Finally, ablation and transfer experiments show that PFN-based downstream predictors also substantially improve two leading existing models, MiniMol and CheMeleon, yielding new state-of-the-art variants we call MiniMol_PFN and CheMeleon_PFN, suggesting that our downstream adaptation strategy generalizes beyond Monroe. Source code is at github.com/blazejba/monroe.

الاسم Monroe أُطلق تكريمًا لإليزابيث مونرو بوغز، رائدة الكيمياء الكمومية الحاسوبية. استغرق التدريب المسبق 26 ساعة فقط على أربع وحدات معالجة رسومية H100.

أرقام رئيسية

  • جزيئات في التدريب المسبق: 81 مليون
  • مهام التدريب المسبق: 1152
  • وحدات معالجة رسومية للتدريب المسبق: 4 × H100
  • وقت التدريب المسبق: 26 ساعة
  • معدل الفوز على Polaris: 100%
العلماء
Niels BohrPascual JordanWerner HeisenbergJoseph Fourier
المفاهيم
التنبؤ بالخصائص الجزيئية وسيط جزيء حيوي نموذج لغة البروتين اكتشاف الأدوية تدريب اكتشاف الأدوية بالذكاء الاصطناعي ملاءمة المعاملات نموذج رياضي التعلم الآلي مواد التعلم الآلي تنبؤ مصنف توزيع خلفي محرك جزيئي تقدير الاحتمال الأعظم تعميم الانحدار الرمزي الدليل البايزي