تقنيات لمنع الإفراط في التجهيز عن طريق تقييد تعقيد النموذج أثناء التدريب.طرق التنظيم هي تقنيات تُستخدم في التعلم الآلي لمنع الإفراط في التجهيز عن طريق تقييد تعقيد النموذج أثناء التدريب. يحدث الإفراط في التجهيز عندما يتعلم النموذج الضوضاء في بيانات التدريب بدلاً من النمط الأساسي، مما يؤدي إلى أداء ضعيف على البيانات الجديدة. تضيف التنظيم حدًا جزائيًا إلى دالة الخسارة، مما يثبط النموذج عن أن يصبح معقدًا للغاية. تشمل الطرق الشائعة تنظيم L1 (لاسو) و L2 (ريدج)، والتي تقلص الأوزان نحو الصفر، والتسرب، الذي يعطل الخلايا العصبية عشوائيًا أثناء التدريب.
تعود جذور طرق التنظيم إلى الإحصاء الكلاسيكي، حيث قدم آرثر هويل وروبرت كينارد انحدار التلال في عام 1970، ولاسو بواسطة روبرت تيبشيراني في عام 1996. تم تقديم التسرب بواسطة جيفري هينتون وزملائه في عام 2012.
الفكرة الأساسية هي إضافة حد مثل λ·R(θ) إلى دالة الخسارة، حيث يقيس R(θ) تعقيد النموذج (على سبيل المثال، مجموع الأوزان المربعة لـ L2، مجموع القيم المطلقة للأوزان لـ L1). تتحكم المعلمة الفائقة λ في قوة التنظيم. أثناء نزول التدرج، تجبر الجزاءات النموذج على إيجاد حلول أبسط تعمم بشكل أفضل. يعمل التسرب عن طريق تعيين جزء من التنشيطات إلى الصفر عشوائيًا في كل خطوة تدريب، مما يدرب فعليًا مجموعة من الشبكات الأصغر ويقلل من التكيف المشترك للخلايا العصبية.
تُستخدم التنظيم في جميع تدريبات الشبكات العصبية الحديثة تقريبًا، بما في ذلك التعرف على الصور، ومعالجة اللغة الطبيعية، والتطبيقات العلمية مثل التنبؤ بخصائص المواد أو تحليل الصور الطبية.
استُوحيت فكرة التسرب من التكاثر الجنسي: فكرة أن الجينات لا ينبغي أن تعتمد على بعضها البعض كثيرًا، على غرار ما ينبغي أن تكون عليه الخلايا العصبية من عدم التكيف المشترك.




















