concepto

teoría de la información

Information theory is a conceptual framework quantifying information, entropy, and data compression in physical and biological systems.
22 artículos relacionados · 1 fórmulas · 5 quién trabajó aquí

Descripción

El concepto central es la entropía de la información de Shannon: H = −∑ pᵢ log₂ pᵢ. Mide la cantidad promedio de bits necesarios para codificar un símbolo de la fuente. Si todos los símbolos son igualmente probables, H es máxima. La redundancia del lenguaje permite comprimir datos sin pérdida (Shannon demostró el límite de compresión en el teorema de la fuente). Otra piedra angular es la capacidad del canal: C = B log₂(1+S/N). Si se codifica el mensaje a una velocidad menor que C, se puede transmitir prácticamente sin errores, a pesar del ruido. Estas ideas funcionan en todos los sistemas de comunicación: desde satélites hasta memorias USB.

Historia

Claude Shannon (1916–2001) formuló la teoría matemática en sus informes militares secretos de principios de los años 40 y la generalizó en su famoso artículo de 1948 en el Bell System Technical Journal. Introdujo el término 'bit' (sugerido por J. Tukey) y relacionó la entropía de la información con la entropía física de Boltzmann. Los predecesores fueron H. Nyquist (investigó la velocidad de transmisión telegráfica, 1924) y R. Hartley (propuso una medida logarítmica, 1928). Posteriormente, A.N. Kolmogorov desarrolló un enfoque algorítmico de la información (complejidad de Kolmogorov). En la teoría cuántica de la información, la entropía de von Neumann generaliza la entropía de Shannon para estados cuánticos mixtos.

Cómo funciona

La información se mide en bits como el logaritmo del número de estados posibles: I = log₂ N o −log₂ p. La entropía H = −∑ pᵢ log pᵢ alcanza su máximo con una distribución uniforme. Al transmitir por un canal con capacidad C (fórmula de Shannon-Hartley: C = B log₂(1+S/N) para ruido gaussiano), el teorema de Shannon garantiza: si la velocidad de codificación R < C, se puede lograr una probabilidad de error arbitrariamente pequeña utilizando códigos de bloque suficientemente largos. En la práctica, se aproxima al límite mediante turbo códigos y códigos LDPC, que utilizan decodificación iterativa y probabilidades a priori. Para compresión sin pérdida, el código óptimo alcanza una longitud promedio igual a la entropía y se construye mediante el algoritmo de Huffman o codificación aritmética. La teoría de la información también se aplica en el aprendizaje automático (principio de longitud de descripción mínima, métodos bayesianos) y bioinformática.

En la práctica

Gracias a ella funcionan Internet, la compresión de fotos en JPEG y la restauración de música deteriorada en CD. Incluso la secuenciación de ADN utiliza la medida de información para ensamblar el genoma.

Dato curioso

La frase ‘Hello, World!’ en un texto inglés aleatorio contendría alrededor de 80 bits, pero debido a la redundancia del lenguaje se puede comprimir a 40–50 bits. Shannon calculó que el texto en inglés lleva en promedio solo 1.3 bits por letra.

Concept graph →

Fórmulas

$$|\dot{I}|^2 \le \frac{1}{2\beta^2} \dot{\sigma} A$$
Information flow squared is bounded by entropy production times activity.
Qué hay en la fórmula
Ivariableinformation flow between subsystems — information flow bit per second
σvariableentropy production rate — entropy production rate joule per kelvin second
Avariableactivity (a measure of dynamical activity in the system) — activity per second
βvariableinverse temperature (1/k_B T) — inverse temperature per joule
|·|²operadorsquared magnitude — absolute value squared
d/dtoperadorderivative with respect to time — derivada temporal
|\dot{i}_x|^2\le\frac{1}{2β_x^2}\dot{σ}_xa_x · 2606.27868

Artículos relacionados · 33

Caos en química: cómo la pérdida de información revela la entropía de Kolmogórov-Sinai
Anote la receta y, una hora después, compárela con lo que tiene en la olla: si las proporciones se desviaron aunque sea un gramo, el sabor se perdió. Algo parecido ocurre con las reacciones químicas en sistemas abiertos: la mínima diferencia en las concentraciones iniciales crece con el tiempo hasta dar estados completamente distintos.
Precisión que no estorba al cambio
El arquitecto refuerza los cimientos, pero deja una puerta para la reforma: así equilibran los sistemas vivos la fiabilidad y la renovación. La célula copia la información hereditaria con una precisión que ya la quisiera cualquier copista, y aun así es capaz de permitir cambios que ayudan a sobrevivir en condiciones nuevas.
Un pistón que espera el vacío
Un pistón en un cilindro con gas normalmente se mueve cuando el gas empuja contra él. Pero hay un pistón que se mueve cuando hay vacío frente a él. Cada cinco segundos, revisa el espacio junto a su pared y, si no hay nadie allí, da un paso hacia adentro, comprimiendo el gas sin esfuerzo mecánico directo.
Un agujero negro como termómetro caprichoso
Un termómetro caprichoso muestra diferentes temperaturas según quién lo mire. Algo parecido ocurre con un agujero negro: sus propiedades térmicas —entropía y temperatura— dependen de cómo describamos la información que oculta.
Física Biológica2026-07-282 minarXiv:2607.26295exprés
Cómo el movimiento y los sentidos se entrelazan en un bucle
Una bacteria nada hacia la comida. Una señal química la guía hacia adelante, pero con cada movimiento la señal cambia. Se forma un bucle: sensación, acción, nueva sensación. Los autores del trabajo convirtieron este bucle en una cantidad medible.
Comprimiendo redes: cuando las carreteras se convierten en puntos
Un mapa de carreteras con tráfico es un montón de números. Enviarlos todos completos lleva demasiado tiempo. Pero se puede reducir el volumen sin perder lo esencial. Los investigadores encontraron una solución ingeniosa: primero redibujar el mapa de modo que las calles se conviertan en puntos y las intersecciones, en puentes entre esos puntos.
Sinfonía de la sombra: cómo los datos se convirtieron en el retrato de un agujero negro
En 2019, el mundo vio la primera imagen de la sombra de un agujero negro: un donut naranja sobre fondo negro que se convirtió en símbolo del progreso científico. Pero esa imagen no fue captada por una cámara: nació de la alquimia matemática, donde los datos de ocho radiotelescopios, que apenas recogieron migajas de señal, se fusionaron en una imagen única.
Sistemas y Control2026-07-151 minarXiv:2607.14245exprés
Cómo la entropía ayuda a los robots a encontrar el camino más rápido
Un grupo de búsqueda rastrea un campo brumoso. Al principio, las personas se dispersan ampliamente: una alta 'temperatura' de búsqueda significa una gran variedad de intentos. Al encontrar un rastro, se acercan. Pero la velocidad de acercamiento es crítica: si se estrecha el círculo demasiado pronto, el mejor hallazgo quedará fuera.
Cocina sin demoras: cómo las redes alcanzan una fiabilidad extrema
Imagina a un chef experimentado en hora punta: de repente falla una placa o se acaba un ingrediente clave. En lugar de entrar en pánico, reconfigura la receta al instante: acelera la preparación de unos platos, ralentiza otros, reasignando recursos sobre la marcha. Este principio de adaptación dinámica es la base de la nueva generación de redes ultra fiables.
Cómo la IA dejó de leer lo innecesario
Los asistentes de programación suelen actuar como un cocinero que, para hervir un solo huevo, relee el libro de cocina entero. Al recibir la tarea de hacer una pequeña corrección, vuelven a abrir decenas de archivos y verifican vínculos ya conocidos. Esto es trabajo innecesario: energía que se desperdicia.
Concentrado de sonido: cómo transmitir la voz sin bits innecesarios
El método estándar de digitalización de voz: se toman lecturas de volumen miles de veces por segundo. Es como probar un caldo con una cucharadita: cada sorbo es aguado y casi no hay detalles. El flujo de datos se hincha, aunque el significado es ínfimo. Los científicos propusieron primero ‘reducir’ la señal de audio.
Sistemas dinámicos2026-07-042 minarXiv:2607.03979exprés
Quién contagia y quién enferma: la vida oculta de una epidemia
La orquesta toca sin director. Conocemos el volumen general: ese es el indicador básico de contagiosidad R0, el radio espectral de la epidemia. Pero la partitura en sí, la matriz de contactos entre personas de distintas edades, guarda la melodía: quién propaga la infección y quién recibe el golpe principal.
El trazo investigador: cómo los países firman en la ciencia
Un artículo científico no es solo un conjunto de resultados, sino la impronta de un trazo investigador. Algunos científicos trazan líneas bibliométricas estrictas, otros hacen trazos experimentales, y otros dibujan una caligrafía de análisis de contenido. A lo largo de 30 años, en tres revistas punteras de bibliotecología y ciencias de la información se han acumulado 5281 de estas «firmas» de 81 países.
Lógica2026-06-303 minarXiv:2607.01271
El puente que solo soporta lo finito
En el mundo de la lógica existe un puente. Se tiende sobre el abismo que separa la admisibilidad de una regla de su derivabilidad a partir de los axiomas. Mientras las reglas manejan un número finito de premisas, el puente es firme: en la lógica clásica, todo lo que no viola la verdad ya está contenido en la sintaxis. Pero al añadir premisas infinitas, los pilares empiezan a temblar. El puente, ay, no lo puede todo.
Cómo el sesgo de confirmación ayuda a pensar más rápido
Estamos acostumbrados a pensar que notar solo las confirmaciones de nuestras suposiciones es un error. Pero cálculos recientes, inspirados en el comportamiento de las ondas, le dan la vuelta a esta visión. Resulta que el hábito de buscar lo familiar es la mejor manera de reducir el ruido informativo (los científicos lo llaman entropía).
Redes Moleculares2026-06-142 minarXiv:2606.15905exprés
Seis reglas para un sistema vivo
La vida es un baile constante entre el orden y el caos. Ya a mediados del siglo pasado, Erwin Schrödinger observó que lo vivo se alimenta no tanto de materia como de «entropía negativa»: la capacidad de mantener su propio orden a costa de aumentar el desorden a su alrededor.
Información: la sombra de lo no sucedido
Borrar un solo bit significa liberar calor. Este descubrimiento de Rolf Landauer insinuó que la información no es material, pero tampoco ilusoria. Imagina que cada suceso proyecta una sombra: eso es la información, el conjunto de todas las posibilidades no realizadas.
Materiales2026-06-071 minarXiv:2606.08686exprés
Cómo la entropía predice la estructura de las aleaciones
Crear una aleación de varios metales es como cocinar una sopa con ingredientes desconocidos: adivinar la textura final sin pruebas es casi imposible. Los modelos habituales suelen fallar cuando hay más de tres tipos de átomos.
El misterio del desorden: por qué la entropía sigue reglas estrictas
La entropía es una medida del desorden. Dos mazos de cartas barajados, mezclados en un solo montón, no se vuelven más caóticos que la suma de sus desórdenes individuales. Esta es la regla de subaditividad: el todo no es más caótico que sus partes.
Física Cuántica2026-05-173 minarXiv:2605.17418exprés
La paradoja del ornitorrinco: cuando dos canales dan más que uno
Dos intérpretes de simultánea están sentados en la misma cabina. El primero traduce del inglés al ruso, pero se traga la mitad de las palabras. El segundo, del ruso al francés, y también pierde la mitad. Si los juntamos, parece que será un desastre: las pérdidas se sumarán y al oyente solo llegará una cuarta parte del sentido. Pero, ¿y si empiezan a corregirse mutuamente?
Cómo extraer las leyes de la naturaleza del ruido
Una grabación de dictáfono de una plaza urbana. Se oye el murmullo de la multitud, pasos, fragmentos de conversaciones, el ruido de los coches. En algún lugar de esa mezcla de sonidos, un músico callejero toca una melodía simple con una flauta. No es fácil oírla: hay demasiado mezclado.
Física Cuántica2026-05-152 minarXiv:2605.15784exprés
Compresión cuántica: medir la señal sin muestras de más
En 1948, el ingeniero Claude Shannon sentó las bases de la teoría de la información. El teorema de Nyquist-Shannon dio la primera respuesta: para no perder la señal, debe haber el doble de mediciones que el detalle más rápido de la misma. En 2006, el método de muestreo comprimido (compressed sensing) relajó este requisito.
Cuando el desorden engendra orden
Esparce un puñado de monedas sobre la mesa. Cada moneda es un resultado posible: cara, cruz o algo más. Si sabemos cuán caótico es este conjunto (su entropía), ¿qué combinaciones de probabilidades encontraremos con más frecuencia? Resulta que la respuesta depende de cuánto caos permitamos.
La conciencia como fallo del termostato
El termostato mantiene la habitación a 20 grados. Abre la ventana en invierno y encenderá la calefacción para recuperar el equilibrio. El cerebro hace algo parecido: predice constantemente lo que ocurrirá en el instante siguiente y se corrige si se equivoca. Así aprende.
Por qué el ADN no se copia de la forma más económica
Si escribes la receta de una proteína en una hoja y la envías a la imprenta, una errata en una sola letra puede arruinar toda la tirada. La célula se enfrenta al mismo problema cuando copia su ADN, una larga instrucción compuesta por cuatro "letras" químicas.
El tiempo se enreda como hilos
Una cuerda rota de guitarra no solo se queda en silencio. Todavía vibra durante un tiempo, y por el carácter de esa vibración el luthier sabe qué cuerda tiene delante: gruesa o fina, tensa o floja. Más o menos así escuchan los físicos la «vibración» de los sistemas cuánticos cuando quieren conocer su estructura.
Complejidad en el filo entre orden y caos
Una película magnética dividida en diminutas celdas con flechas se comporta como una multitud en una plaza. Mientras hace frío, todas las flechas apuntan en la misma dirección: orden perfecto. Calienta la película y las flechas empiezan a agitarse como transeúntes que han perdido su rumbo.
Fricción contra el límite de Landauer
Borrar un bit de información no es gratis. En 1961, Rolf Landauer demostró que a temperatura ambiente se necesitan al menos unos 3 zeptojulios de energía: una cantidad diminuta, pero distinta de cero. Este límite se consideraba tan sólido como la ley de conservación de la energía. Pero, ¿y si podemos "engañar" un poco al sistema?
Cómo el cerebro transmite los pensamientos
Una oficina donde los empleados intercambian notas. Mientras hay pocas tareas, cada uno trabaja por su cuenta. Pero llega un pedido urgente, y algunos departamentos empiezan a enviarse mensajes activamente, y el trabajo en conjunto se vuelve más coordinado. Más o menos así se comporta el cerebro cuando intentamos mantener varias cosas en mente a la vez.
Física y Sociedad2026-01-212 minarXiv:2601.14632exprés
La huella del contacto: por qué perder un eslabón rompe toda la cadena
El intérprete se distrae con cada susurro en la sala, y una reunión de una hora se convierte en dos. Algo parecido ocurre en la lucha contra una epidemia: el servicio de rastreo de contactos intenta reconstruir la cadena de contagios, pero siempre se le escapa algo.
Física Cuántica2026-01-211 minarXiv:2601.15263exprés
Por qué las señales superlumínicas enredan el tiempo
Según las leyes de la física, nada puede superar a la luz, de lo contrario, para algunos observadores, el efecto ocurriría antes que la causa. Artur Ekert y Andrzej Dragan demostraron que esta situación genera una incertidumbre similar a la cuántica.
La entropía como fuente de partículas: de los bits a la materia
En 1989, John Wheeler formuló una idea audaz: «it from bit», todo lo existente proviene de la información. Durante mucho tiempo esto quedó como una metáfora elegante, pero ahora los físicos han encontrado un mecanismo concreto que convierte bits en partículas.
El crepúsculo del tiempo: por qué la flecha desaparece y el tiempo permanece
Cuando la entropía alcanza su máximo, la obra termina. Cae el telón, los actores se van, la escenografía se congela. Pero el escenario permanece. Así ocurre con el tiempo: la muerte térmica del universo borra la dirección «pasado-futuro», pero no el tiempo mismo.