The maximum entropy principle asserts that the probability distribution which best represents the current state of knowledge is the one with the largest entropy.En 1957, el físico estadounidense Edwin Jaynes publicó un artículo que revolucionó la visión de la termodinámica. Demostró que la física estadística del equilibrio se puede derivar de una única receta: maximizar la entropía de Shannon bajo las restricciones impuestas por las cantidades macroscópicas conocidas. La entropía es una medida de la incertidumbre, propuesta por Claude Shannon en 1948 para la teoría de la comunicación. Jaynes observó que si solo conocemos la energía promedio y nada más, la distribución más modesta y menos intrusiva es la de Boltzmann. El principio abarca tanto la estadística cuántica como la clásica. Hoy en día ha trascendido con creces la física: desde el aprendizaje automático y la neurobiología hasta la distribución de recursos en redes y la síntesis de pelaje realista en animación.
Claude Shannon propuso en 1948 la entropía como medida de información. En 1957, Edwin Jaynes demostró en su artículo 'Information Theory and Statistical Mechanics' que maximizar la entropía de Shannon bajo restricciones impuestas por cantidades macroscópicas conocidas produce automáticamente las distribuciones de la física estadística. El principio fue adoptado en teoría de la probabilidad, estadística e informática, así como en el procesamiento de señales y la modelización del clima. De forma independiente, Leon Brillouin desarrolló ideas similares.
El principio permite obtener modelos probabilísticos en condiciones de información incompleta. En la práctica se resuelve un problema de optimización condicionada: maximizar la entropía bajo las restricciones dadas por los valores promedio de ciertas funciones. Se aplica en reconocimiento de voz, visión por computadora, reconstrucción de imágenes tomográficas, así como en la elaboración de pronósticos meteorológicos. Limitaciones: si las restricciones son incompletas o están mal formuladas, el principio puede generar distribuciones erróneas; además, supone que la entropía refleja adecuadamente la incertidumbre.
El principio de máxima entropía reconstruye imágenes tomográficas del cerebro a partir de datos incompletos, elabora pronósticos meteorológicos y modelos climáticos, sintetiza texturas en gráficos por computadora, y también subyace en los algoritmos de compresión de imágenes y video.
Gracias al principio de máxima entropía, los programas de transferencia de estilo convierten una fotografía en un lienzo al estilo de Van Gogh. El algoritmo busca la textura con mayor entropía que recuerda a las pinceladas del artista y superpone ese 'desorden' sobre la imagen.









