Information theory is a conceptual framework quantifying information, entropy, and data compression in physical and biological systems.El concepto central es la entropía de la información de Shannon: H = −∑ pᵢ log₂ pᵢ. Mide la cantidad promedio de bits necesarios para codificar un símbolo de la fuente. Si todos los símbolos son igualmente probables, H es máxima. La redundancia del lenguaje permite comprimir datos sin pérdida (Shannon demostró el límite de compresión en el teorema de la fuente). Otra piedra angular es la capacidad del canal: C = B log₂(1+S/N). Si se codifica el mensaje a una velocidad menor que C, se puede transmitir prácticamente sin errores, a pesar del ruido. Estas ideas funcionan en todos los sistemas de comunicación: desde satélites hasta memorias USB.
Claude Shannon (1916–2001) formuló la teoría matemática en sus informes militares secretos de principios de los años 40 y la generalizó en su famoso artículo de 1948 en el Bell System Technical Journal. Introdujo el término 'bit' (sugerido por J. Tukey) y relacionó la entropía de la información con la entropía física de Boltzmann. Los predecesores fueron H. Nyquist (investigó la velocidad de transmisión telegráfica, 1924) y R. Hartley (propuso una medida logarítmica, 1928). Posteriormente, A.N. Kolmogorov desarrolló un enfoque algorítmico de la información (complejidad de Kolmogorov). En la teoría cuántica de la información, la entropía de von Neumann generaliza la entropía de Shannon para estados cuánticos mixtos.
La información se mide en bits como el logaritmo del número de estados posibles: I = log₂ N o −log₂ p. La entropía H = −∑ pᵢ log pᵢ alcanza su máximo con una distribución uniforme. Al transmitir por un canal con capacidad C (fórmula de Shannon-Hartley: C = B log₂(1+S/N) para ruido gaussiano), el teorema de Shannon garantiza: si la velocidad de codificación R < C, se puede lograr una probabilidad de error arbitrariamente pequeña utilizando códigos de bloque suficientemente largos. En la práctica, se aproxima al límite mediante turbo códigos y códigos LDPC, que utilizan decodificación iterativa y probabilidades a priori. Para compresión sin pérdida, el código óptimo alcanza una longitud promedio igual a la entropía y se construye mediante el algoritmo de Huffman o codificación aritmética. La teoría de la información también se aplica en el aprendizaje automático (principio de longitud de descripción mínima, métodos bayesianos) y bioinformática.
Gracias a ella funcionan Internet, la compresión de fotos en JPEG y la restauración de música deteriorada en CD. Incluso la secuenciación de ADN utiliza la medida de información para ensamblar el genoma.
La frase ‘Hello, World!’ en un texto inglés aleatorio contendría alrededor de 80 bits, pero debido a la redundancia del lenguaje se puede comprimir a 40–50 bits. Shannon calculó que el texto en inglés lleva en promedio solo 1.3 bits por letra.
| I | variable | information flow between subsystems — information flow bit per second |
| σ | variable | entropy production rate — entropy production rate joule per kelvin second |
| A | variable | activity (a measure of dynamical activity in the system) — activity per second |
| β | variable | inverse temperature (1/k_B T) — inverse temperature per joule |
| |·|² | operador | squared magnitude — absolute value squared |
| d/dt | operador | derivative with respect to time — derivada temporal |

















