Information theory is a conceptual framework quantifying information, entropy, and data compression in physical and biological systems.المفهوم المركزي هو إنتروبيا شانون المعلوماتية (Shannon information entropy): H = −∑ pᵢ log₂ pᵢ. تقيس متوسط عدد البتات اللازمة لتشفير رمز واحد من المصدر. إذا كانت جميع الرموز متساوية الاحتمال، تكون H في أقصى قيمة. يسمح فائض اللغة بضغط البيانات دون فقدان (أثبت شانون حد الضغط في نظرية المنبع). حجر الزاوية الآخر هو سعة القناة (channel capacity): C = B log₂(1+S/N). إذا تم تشفير الرسالة بمعدل أقل من C، يمكن إرسالها تقريبًا بدون أخطاء رغم الضوضاء. تعمل هذه الأفكار في جميع أنظمة الاتصالات: من الأقمار الصناعية إلى ذواكر USB.
كلود شانون (1916–2001) صاغ النظرية الرياضية في تقاريره العسكرية السرية في أوائل الأربعينيات ولخصها في ورقته الشهيرة عام 1948 في Bell System Technical Journal. قدم مصطلح 'بت' (bit) (اقترحه ج. توكي) وربط الإنتروبيا المعلوماتية بالإنتروبيا الفيزيائية لبولتزمان. كان من الأسلاف هـ. نيكفيست (درس سرعة الإرسال التلغرافي، 1924) و ر. هارتلي (اقترح المقياس اللوغاريتمي، 1928). لاحقًا، طور أ. ن. كولموغوروف النهج الخوارزمي للمعلومات (تعقيد كولموغوروف (Kolmogorov complexity)). في نظرية المعلومات الكمومية (quantum information theory)، تعمم إنتروبيا فون نيومان (von Neumann entropy) إنتروبيا شانون للحالات الكمومية المختلطة.
تقاس المعلومات بالبتات كلوغاريتم لعدد الحالات الممكنة: I = log₂ N أو −log₂ p. تصل الإنتروبيا H = −∑ pᵢ log pᵢ إلى أقصاها عند التوزيع المنتظم. عند الإرسال عبر قناة بسعة C (صيغة شانون-هارتلي (Shannon-Hartley formula): C = B log₂(1+S/N) للضوضاء الغاوسية)، تضمن نظرية شانون: إذا كان معدل الترميز R < C، يمكن تحقيق احتمال خطأ صغير اختياريًا باستخدام رموز كتلية طويلة بما يكفي. في الممارسة العملية، يتم الاقتراب من الحد باستخدام الرموز التوربينية ورموز LDPC، التي تستخدم فك الترميز التكراري والاحتمالات الأولية (prior probabilities). للضغط دون فقدان، يحقق الرمز الأمثل متوسط طول يساوي الإنتروبيا، ويُبنى بخوارزمية هافمان أو الترميز الحسابي. تُطبق نظرية المعلومات أيضًا في التعلم الآلي (machine learning) (مبدأ الحد الأدنى لطول الوصف، الطرق البايزية) والمعلوماتية الحيوية.
بفضلها يعمل الإنترنت، وضغط الصور بصيغة JPEG، واستعادة الموسيقى المتقطعة من الأقراص المضغوطة. حتى تسلسل الحمض النووي (DNA sequencing) يستخدم مقياس المعلومات لتجميع الجينوم.
جملة 'Hello, World!' في نص إنجليزي عشوائي كانت ستحتوي على حوالي 80 بت، ولكن بسبب فائض اللغة يمكن ضغطها إلى 40–50 بت. حسب شانون أن النص الإنجليزي يحمل في المتوسط 1.3 بت فقط لكل حرف.
| I | متغير | information flow between subsystems — information flow bit per second |
| σ | متغير | entropy production rate — entropy production rate joule per kelvin second |
| A | متغير | activity (a measure of dynamical activity in the system) — activity per second |
| β | متغير | inverse temperature (1/k_B T) — inverse temperature per joule |
| |·|² | مؤثر | squared magnitude — absolute value squared |
| d/dt | مؤثر | derivative with respect to time — مشتقة زمنية |

















