The maximum entropy principle asserts that the probability distribution which best represents the current state of knowledge is the one with the largest entropy.في عام 1957، نشر الفيزيائي الأمريكي إدوين جاينز مقالةً قلبت النظرة إلى الترموديناميك. أظهر أن الفيزياء الإحصائية المتوازنة يمكن استنتاجها من وصفة واحدة: تعظيم إنتروبيا شانون تحت قيود مفروضة بالكميات العيانية (macroscopic quantities) المعروفة. الإنتروبيا (entropy) هي مقياس لعدم اليقين، طرحها كلود شانون عام 1948 لنظرية الاتصال. لاحظ جاينز: إن كنا لا نعرف سوى متوسط الطاقة ولا شيء غيره، فإن أكثر التوزيعات تواضعاً وأقلها تحكماً هو توزيع بولتزمان (Boltzmann distribution). احتضن المبدأ كلاً من الإحصاء الكمومي والكلاسيكي. واليوم تجاوز الفيزياء بكثير: من التعلم الآلي وعلم الأعصاب إلى توزيع الموارد في الشبكات وتوليف الفراء الواقعي في التحريك (animation).
في عام 1948، طرح كلود شانون الإنتروبيا كمقياس للمعلومات. وفي عام 1957، أظهر إدوين جاينز في مقالته 'نظرية المعلومات والميكانيكا الإحصائية' (Information Theory and Statistical Mechanics) أن تعظيم إنتروبيا شانون تحت قيود الكميات العيانية المعروفة يُنتج تلقائياً توزيعات الفيزياء الإحصائية. انتشر المبدأ في نظرية الاحتمالات، والإحصاء، وعلوم الحاسوب، وكذلك في معالجة الإشارات ونمذجة المناخ. وبشكل مستقل، طور ليون بريليون (Leon Brillouin) أفكاراً مشابهة.
يسمح المبدأ بالحصول على نماذج احتمالية من معلومات غير كاملة. عملياً، تُحل مشكلة تحسين مشروط: تعظيم الإنتروبيا تحت قيود ممثلة بمتوسطات دوال معينة. يُطبق في التعرف على الكلام، والرؤية الحاسوبية، واستعادة الصور المقطعية، كما في بناء التنبؤات الجوية. حدوده: إن كانت القيود ناقصة أو سيئة الصياغة، فقد يُنتج المبدأ توزيعات خاطئة؛ بالإضافة إلى أنه يفترض أن الإنتروبيا تعكس عدم اليقين بشكل كافٍ.
يُستخدم مبدأ الإنتروبيا القصوى لاستعادة صور الدماغ المقطعية (tomographic scans) من بيانات غير مكتملة، ولبناء تنبؤات الطقس ونماذج المناخ، ولتوليف الأنسجة (textures) في الرسوميات الحاسوبية، كما يُشكل أساس خوارزميات ضغط الصور والفيديو.
بفضل مبدأ الإنتروبيا القصوى، تحول برامج نقل الأسلوب (style transfer) الصورة الفوتوغرافية إلى لوحة بأسلوب فان غوخ. تبحث الخوارزمية عن نسيج ذي إنتروبيا قصوى يشبه ضربات ريشة الفنان، وتُطبق هذا 'الاضطراب' على الصورة.









