Las catástrofes tecnológicas, como Chernóbil, raramente ocurren de repente. Se gestan durante años: las organizaciones ignoran las advertencias porque su complejidad recuerda al crecimiento de la entropía, una medida del caos implacable que se acumula silenciosamente hasta que se desata como una avalancha. Las revisiones habituales se centran en los detalles, igual que el modelo estándar de la física describe solo las partículas visibles, ignorando la influencia de lo invisible. Pero la verdadera amenaza se esconde en las conexiones entre elementos, como la materia oscura, que no se puede ver pero cuya gravedad lo cambia todo.
Con la IA ocurre lo mismo: los algoritmos se vuelven más complejos y su comportamiento es impredecible. Las organizaciones lanzan sistemas en áreas críticas confiando en pruebas en condiciones de invernadero. Pero la verdadera prueba llega después del lanzamiento, cuando las vulnerabilidades ocultas se manifiestan, como en una espectroscopía de riesgos, un análisis que revela defectos invisibles. La lección es simple: para asegurar el futuro, hay que escanear todo el sistema, no solo depurar el código.
tal como lo escribieron los autores, en inglés arXiv:2607.14353
As automated decision-making and data-driven technologies pervade society and are used to manage consequential outcomes, understanding the technology's capabilities, limitations, and attendant risks in context requires analysis of full sociotechnical systems. Sociotechnical analysis of risks in highly complex systems provides clear lessons for the design and evaluation of AI systems, transcending a technical focus on reliable or "responsibly designed" components to understand risks at a systems level. Human-made catastrophes have been studied for decades because of the severity of these events: consider Chernobyl, Three Mile Island, Fukushima-Daiichi, Bhopal, the Challenger disaster. A common misconception is that these kinds of events are freak accidents, resulting from the inherently unforeseeable interactions in complex systems. Closer examination reveals that the risks and hazards were well-known beforehand but not acted upon due to social structural, political and economic factors. We outline several areas where the development and use of AI can benefit from learning these unlearned lessons: improved risk perception, communication, and analysis at the organizational level; traceability of requirements and responsibilities; and holistic approaches to responsibility and safety that include social and organizational dynamics as first-order engineering concerns. For each area, we offer concrete unlearned lessons and exemplify how they led to failure in prior accidents as well as examples of how these lessons remain unlearned for modern computing systems, particularly AI.
Cuando enseñaron a una IA a jugar al escondite, encontró por sí misma una forma de usar errores del motor físico para atravesar paredes, un comportamiento que ni los desarrolladores anticiparon.
La trama de la película 'Parque Jurásico' es un claro ejemplo de cómo la fe en el control total sobre un sistema complejo lleva al caos.