Optimization is a method for systematically improving system performance or resource allocation to achieve desired outcomes.يرى متسلق الجبال ثلاثة تلال أمامه، لكنه لا يحتاج إلى أعلاها، بل إلى أدنى ممر. يبحث التحسين رياضيًا عن الحد الأدنى (أو الأقصى) لدالة الهدف (objective function) — وهو مؤشر رقمي لجودة الحل. تحدد القيود المنطقة المسموح بها: لا يمكن السير في الهواء أو على منحدر أشد من 45 درجة. تعمل البرمجة الخطية (Linear Programming) مع المنحدرات المستقيمة حيث يكمن الحل عند القمة. بالنسبة للتلال الملساء، يُستخدم الانحدار التدريجي (Gradient Descent). إذا كانت التضاريس متعرجة بالوديان والصخور، تدخل الخوارزميات التطورية (Evolutionary Algorithms) في المشهد — فهي تطلق حشدًا من المتسلقين الافتراضيين، وتتقاطع أنجح المسارات وتتحور. هكذا يتم إيجاد الطريق في فضاءات متعددة الأبعاد (multidimensional spaces) حيث لا يمكن رسم خريطة. عندما تصبح الخطوة أصغر من ملليمتر، يتوقف البحث — تم اجتياز الممر.
تمتد الجذور إلى حساب التغيرات (Calculus of Variations) في القرنين السابع عشر والثامن عشر، لكن المرحلة الحديثة بدأت في أربعينيات القرن العشرين مع ابتكار البرمجة الخطية (Linear Programming) وطريقة السمبلكس (Simplex Method). أدى تطور التحسين غير الخطي (Nonlinear Optimization) في ستينيات القرن العشرين إلى ظهور طرق العقوبات (Penalty Methods) والتدرجات المترافقة (Conjugate Gradients). في ثمانينيات القرن العشرين، ظهرت خوارزميات النقطة الداخلية (Interior Point Methods) التي أحدثت ثورة في حل المسائل الكبيرة. اليوم، التحسين هو أساس كل تقنيات تعلم الآلة.
تبني معظم الخوارزميات سلسلة من النقاط المتقاربة نحو الحد الأدنى. يتحرك الانحدار التدريجي عكس اتجاه الانحدار. في تعلم الآلة، يُحسب انحدار دالة الخسارة (Loss Function) على مجموعة جزئية عشوائية من البيانات (batch)، مما يسمح بتحسين مليارات المعاملات. تضيف التنظيمية (Regularization) عقوبات على التعقيد لتجنب فرط التكيف (Overfitting). بالنسبة للمسائل ذات القيود، تُستخدم طريقة الانحدار المختزل (Reduced Gradient Method) أو البرمجة التربيعية المتسلسلة (Sequential Quadratic Programming). يستخدم التحسين الشامل الأساليب البايزية (Bayesian Methods) والبحث بأشجار القرار (Decision Trees).
تقوم أجهزة الملاحة GPS بتخطيط المسار، وشركات الطيران بجدولة الرحلات، والمهندسون بحساب الأشكال الانسيابية — كل هذا من عمل خوارزميات التحسين.
مشكلة البائع المتجول (Traveling Salesman Problem) — زيارة 100 مدينة بأقصر طريق — لها عدد من الاحتمالات يفوق عدد الذرات في الكون. لكن المحسنات الذكية تجد الحل في ثوانٍ.
| x | متغير | Input sequence — sequence |
| n | متغير | Index of output element — index |
| i | متغير | Left endpoint of interval — index |
| j | متغير | Right endpoint of interval — index |
| k | متغير | Summation index — index |
| \sup | مؤثر | Takes the least upper bound of a set — supremum |
| \sum_{k=i}^j | مؤثر | Adds terms from index i to j — finite summation |
| f | متغير | objective function value — objective function value |
| g | متغير | primary objective function — primary objective function |
| h | متغير | penalty function — penalty function |
| λ | متغير | penalty weight — penalty weight |
| \theta_k | متغير | Parameter vector at iteration k — parameter vector |
| \theta_{k+1} | متغير | Updated parameter vector at iteration k+1 — parameter vector |
| \alpha_k | متغير | Learning rate (step size) at iteration k — معدل التعلم |
| f(\theta_k) | متغير | Objective function evaluated at \theta_k — objective function |
| \nabla_\theta | مؤثر | Computes the vector of partial derivatives with respect to each parameter — gradient operator |
| Ψ | متغير | Wave function — الدالة الموجية |
| t | متغير | Time — زمن second |
| τ | متغير | Time step — time step second |
| e^{τW} | مؤثر | Applies the evolution operator for the W part — exponential operator |
| e^{τT} | مؤثر | Applies the evolution operator for the T part — exponential operator |
| g | متغير | function whose growth is being bounded |
| n | متغير | input size parameter |
| O | مؤثر | asymptotic upper bound up to constant factor — big o notation |
















