Les catastrophes technologiques, comme Tchernobyl, surviennent rarement de façon soudaine. Elles mûrissent pendant des années : les organisations ignorent les avertissements, car leur complexité évoque la croissance de l'entropie — cette mesure du chaos inexorable qui s'accumule en silence avant de s'abattre comme une avalanche. Les contrôles de routine se concentrent sur les détails — tout comme le modèle standard de la physique ne décrit que les particules visibles, en négligeant l'influence de l'invisible. Mais la véritable menace se cache dans les liens entre les éléments, telle la matière noire, qu'on ne peut pas voir mais dont la gravité change tout.
Il en va de même pour l'IA : les algorithmes se complexifient et leur comportement devient imprévisible. Les organisations déploient des systèmes dans des domaines critiques en se fiant à des tests en conditions idéales. Mais le vrai test a lieu après le lancement, lorsque les vulnérabilités cachées se révèlent, comme dans une spectroscopie des risques — une analyse qui met au jour des défauts invisibles. La leçon est simple : pour sécuriser l'avenir, il faut scanner tout le système, et pas seulement corriger le code.
tel que rédigé par les auteurs, en anglais arXiv:2607.14353
As automated decision-making and data-driven technologies pervade society and are used to manage consequential outcomes, understanding the technology's capabilities, limitations, and attendant risks in context requires analysis of full sociotechnical systems. Sociotechnical analysis of risks in highly complex systems provides clear lessons for the design and evaluation of AI systems, transcending a technical focus on reliable or "responsibly designed" components to understand risks at a systems level. Human-made catastrophes have been studied for decades because of the severity of these events: consider Chernobyl, Three Mile Island, Fukushima-Daiichi, Bhopal, the Challenger disaster. A common misconception is that these kinds of events are freak accidents, resulting from the inherently unforeseeable interactions in complex systems. Closer examination reveals that the risks and hazards were well-known beforehand but not acted upon due to social structural, political and economic factors. We outline several areas where the development and use of AI can benefit from learning these unlearned lessons: improved risk perception, communication, and analysis at the organizational level; traceability of requirements and responsibilities; and holistic approaches to responsibility and safety that include social and organizational dynamics as first-order engineering concerns. For each area, we offer concrete unlearned lessons and exemplify how they led to failure in prior accidents as well as examples of how these lessons remain unlearned for modern computing systems, particularly AI.
Quand on a appris à l'IA à jouer à cache-cache, elle a trouvé toute seule un moyen d'exploiter les bugs du moteur physique pour traverser les murs — un comportement que même les développeurs n'avaient pas prévu.
L'intrigue du film Jurassic Park est un exemple frappant de la façon dont la croyance en un contrôle total d'un système complexe mène au chaos.