¿Por qué la inteligencia artificial repite viejos errores? exprés

Original: "Unsafe at any AUC: Unlearned Lessons from Sociotechnical Disasters for Responsible AI"
arXiv:2607.14353 · 2026-07-15 · CC BY-SA 4.0 · 1 min
Catástrofes como Chernóbil enseñan: las tecnologías se vuelven peligrosas por la ceguera de la sociedad, no por fallos.

Las catástrofes tecnológicas, como Chernóbil, raramente ocurren de repente. Se gestan durante años: las organizaciones ignoran las advertencias porque su complejidad recuerda al crecimiento de la entropía, una medida del caos implacable que se acumula silenciosamente hasta que se desata como una avalancha. Las revisiones habituales se centran en los detalles, igual que el modelo estándar de la física describe solo las partículas visibles, ignorando la influencia de lo invisible. Pero la verdadera amenaza se esconde en las conexiones entre elementos, como la materia oscura, que no se puede ver pero cuya gravedad lo cambia todo.

El físico Richard Feynman, durante la investigación del desastre del transbordador Challenger, demostró que los ingenieros conocían el defecto de las juntas, pero los directivos consideraron el riesgo aceptable, y la catástrofe se volvió inevitable.

Con la IA ocurre lo mismo: los algoritmos se vuelven más complejos y su comportamiento es impredecible. Las organizaciones lanzan sistemas en áreas críticas confiando en pruebas en condiciones de invernadero. Pero la verdadera prueba llega después del lanzamiento, cuando las vulnerabilidades ocultas se manifiestan, como en una espectroscopía de riesgos, un análisis que revela defectos invisibles. La lección es simple: para asegurar el futuro, hay que escanear todo el sistema, no solo depurar el código.

Cuando enseñaron a una IA a jugar al escondite, encontró por sí misma una forma de usar errores del motor físico para atravesar paredes, un comportamiento que ni los desarrolladores anticiparon.

La trama de la película 'Parque Jurásico' es un claro ejemplo de cómo la fe en el control total sobre un sistema complejo lleva al caos.

Científicos
Ludwig BoltzmannJames Clerk MaxwellRudolf ClausiusJacob BekensteinStephen HawkingEdward Witten
Conceptos
autocorrección de IA inteligencia artificial aprendizaje robótica análisis automatizado robot IA explicable redes neuronales de aprendizaje predictivo sistemas complejos automatización probabilistic forecast estocástico teoría del caos redundancia incertidumbre sistemática fiabilidad costo computacional resiliencia ecológica descubrimiento científico con redes neuronales estimación de incertidumbre