مترجم مع قاموس جيب: كيف ندرّب شبكة عصبية على بضع أقنعة فقط ✛
المترجم الذي يراجع كلاً من الخبرة الطويلة والقاموس الجيبي يترجم بدقة أكبر من الذي يعتمد على أحدهما فقط. في تجزئة الصور المجهرية، تلعب الميزات المجمّدة لشبكة عصبية كبيرة دور الخبرة، بينما تلعب مجموعة المرشّحات التقليدية المحسوبة مباشرة من الصورة دور القاموس. عندما تكون العلامات قليلة، فإن دمجها في رأس خفيف واحد يعطي نتيجة لا يمكن تحقيقها بشكل منفصل.
عادةً ما يُعرض على عالم الأحياء الذي يريد تحديد الهياكل في مجموعة جديدة من الصور طريقان. الأدوات المتخصصة مثل Cellpose أو StarDist تتعرف على الخلايا جيدًا، لكنها لا تصلح للأوعية أو الأغشية، وإعادة ضبطها تتطلب تعليقات توضيحية جديدة. النماذج القابلة للتوجيه من عائلة Segment Anything أكثر عمومية، لكن يجب التحكم بها في وقت الاستدلال، وليس ضبطها على المهمة بعدد قليل من الأمثلة. تختار طريقة Exemplar طريقًا ثالثًا: فهي تأخذ شبكة DINOv3 المدربة مسبقًا، وتجمّد أوزانها، وتضيف فوقها رأسًا صغيرًا قابلًا للتدريب. ينظر الرأس إلى مقياسين: شبكة خشنة من الإطار بأكمله وشبكة دقيقة ناتجة عن تقسيم النوافذ. يُسقط كلا المقياسين على 32 قناة ويُرفعان إلى الدقة الأصلية باستخدام مرشح موجه يتعلم الانحراف عن الاستيفاء ثنائي الخط فقط على طول الحواف.
تُظهر التجارب على أحد عشر مجموعة بيانات طبية حيوية أنه مع ثمانية أقنعة مرجعية، يحقق Exemplar متوسط قيمة 0.782 وفق المقاييس المحددة. مقابل خمس طرق مباشرة، يتصدر في 54 من أصل 55 مقارنة، منها 52 ذات دلالة إحصائية بعد تصحيح هولم. مع قناع مرجعي واحد، يحصل Exemplar على 0.703 على جميع المجموعات الإحدى عشرة، بينما أفضل طريقة مباشرة بستة عشر قناعًا تصل فقط إلى 0.519. بالمقارنة مع nnU-Net المدرب من الصفر على نفس الأقنعة، مع ثمانية أقنعة يكون nnU-Net متقدمًا (0.803 مقابل 0.782)، ولكن مع قناع واحد يفوز Exemplar (0.703 مقابل 0.682)، وزمن التدريب أقل بمقدار 16–77 مرة.
يكشف تحليل الإزالة عن سبب الحاجة إلى كلا المصدرين. بنك الأوليات التقليدي وحده يعطي 0.693، والميزات المجمّدة تعطي 0.672، ومعهما معًا 0.782. البنك أقوى على البنى الدقيقة، مثل أوعية الشبكية، حيث يضيف 0.225 إلى مقياس centreline Dice. الميزات المجمّدة تتعامل بشكل أفضل مع الكريات. قبل هذا العمل، لم يكن واضحًا أي مصدر أقوى عند وجود عدد قليل من الأقنعة الكثيفة، وما إذا كان يمكن دمجهما بشكل مفيد. الآن أصبح واضحًا: إنهما يكملان بعضهما البعض، ولا يتنافسان.
المترجم مع قاموس الجيب مفيد بالفعل في المختبر اليوم. يمكن تطبيق الطريقة للتسمية السريعة لمجموعات البيانات المجهرية الجديدة عندما تتوفر سوى几张 صور معنونة، خاصة إذا كانت البنى دقيقة أو غير متجانسة. الخطوة التالية هي استبدال التحسين التدرجي للرأس بتحديث مغلق أو تدريجي، بحيث يعاد تدريب النموذج في ثوانٍ عند إضافة كل قناع جديد. عندها سيتمكن المترجم ليس فقط من الترجمة، بل أيضًا من اقتراح الصورة التي يجب تسميتها بعد ذلك.
بنك المرشحات التقليدي، المجمد وغير القابل للتدريب في هذا العمل، كان في الأصل أداة تجزئة مستقلة في مقال سابق لنفس المؤلفين. الآن يعمل بمثابة "أولوية" توفر معلومات بنيوية، ومساهمته ملحوظة بشكل خاص على أوعية الشبكية: حيث يضيف 0.225 إلى مقياس centreline Dice.
فكرة دمج المعرفة "المجمدة" لنموذج كبير مع قواعد بسيطة وقابلة للتفسير تذكرنا بنهج في قصة تيد تشانغ "دورة حياة الأجسام البرمجية"، حيث تتعلم الكائنات الرقمية من عدد قليل من الأمثلة من خلال الجمع بين الغرائز الفطرية والخبرة المكتسبة.