
Self-supervised learning is a method where models learn representations from unlabeled data by predicting parts of the input.التعلم ذاتي الإشراف هو نموذج تقوم فيه النموذج بتوليد إشارات تعلمية مستخرجة من بنية البيانات غير الموسومة نفسها. بخلاف التعلم غير الخاضع للإشراف (unsupervised learning)، الذي يركز غالبًا على التجميع أو تقليل الأبعاد (dimensionality reduction)، تُبنى هنا مهام بديلة (مهام ذريعة pretext tasks) لا تتطلب تعليقات بشرية. على سبيل المثال، في معالجة اللغة الطبيعية، يُخفى جزء من الكلمات في الجملة المدخلة، وتتعلم الشبكة استعادتها من السياق. وفي الرؤية الحاسوبية، تنتشر الطرق التباينية (contrastive methods): حيث يُقرب نموذجان مشوّهان عشوائيًا لنفس الصورة في فضاء التمثيلات (representation space)، ويُبعدان عن الصور الأخرى. وهذا يشكل مفهومًا بصريًا يشبه الطريقة التي يميز بها الرضع الأشياء عن الخلفية.
يمكن تتبع أفكار التحكم الذاتي في أبحاث الترميز الذاتي (هينتون، 2006) وتعلم التمثيلات عبر الاستعادة. كانت اللحظة الفارقة عام 2018 مع ظهور BERT (ديفلين وآخرون) التي استخدمت إخفاء الكلمات. أما بالنسبة للصور، ففي عام 2020، أظهرت طريقة SimCLR (تشن وآخرون) أن مخططًا تباينيًا بسيطًا بأحجام دفعات كبيرة يضاهي التعلم الخاضع للإشراف. لاحقًا، كررت محولات الرؤية (Vision Transformers) مع الترميز التلقائي المقنع (MAE) نجاح معالجة اللغة الطبيعية، مظهرةً قابلية التوسع.
المخطط العام لـ SSL يتضمن: 1) مهمة ذريعة — توليد تلقائي للإشارة الهدف؛ 2) مرمز (encoder) يستخلص التمثيلات؛ 3) اختياريًا، مساقط (projector) لمطابقة المقاييس؛ 4) دالة خسارة لحل مهمة الذريعة المحددة. في NLP: اللغة المقنعة (Masked Language Modeling - MLM) — مهمة استعادة الرموز المخفية. يتلقى النموذج تسلسلًا يحتوي على أقنعة [MASK] ويتعلم توقع الكلمات الأصلية عبر الانتروبيا المتقاطعة. في CV: تتعلم الطرق التباينية تمثيلات ثابتة تجاه التحسينات (augmentations)، باستخدام دفعات كبيرة وآلية مرمز الزخم (momentum encoder) للاستقرار. وفي الترميز التلقائي المقنع الحديث (MAE)، تُخفى بقع عشوائية من الصورة، ويستعيد المفكك البكسلات، مما يجبر النموذج على فهم البنية الشاملة للكائنات.
أنظمة التعرف على الكلام، المترجمات الآلية، جميع النماذج اللغوية الكبيرة الحديثة (مثل GPT)، التشخيص الطبي من الصور بدون تعليقات الأطباء.
بعد التدريب ذاتي الإشراف على النصوص، أصبح نموذج GPT-3 قادرًا على كتابة الشعر والبرمجيات والمقالات العلمية، مع أنه لم يُدرّب على ذلك تحديدًا.














