Les catastrophes technologiques, comme Tchernobyl, surviennent rarement de façon soudaine. Elles couvent pendant des années : les organisations ignorent les avertissements, car leur complexité évoque la croissance de l'entropie — cette mesure du chaos inexorable qui s'accumule en silence jusqu'à ce qu'il s'abatte comme une avalanche. Les vérifications ordinaires se concentrent sur les détails — tout comme le modèle standard de la physique ne décrit que les particules visibles, en laissant de côté l'influence de l'invisible. Mais la vraie menace se cache dans les liens entre les éléments, telle la matière noire, qu'on ne peut pas voir mais dont la gravité change tout.
Il en va de même pour l'IA : les algorithmes se complexifient, et leur comportement devient imprévisible. Les organisations déploient des systèmes dans des domaines critiques en s'appuyant sur des tests en conditions idéales. Mais le véritable test survient après le lancement, lorsque les vulnérabilités cachées se révèlent, comme dans une spectroscopie des risques — une analyse qui met au jour des défauts invisibles. La leçon est simple : pour sécuriser l'avenir, il faut scanner tout le système, pas seulement corriger le code.
Quand on a appris à une IA à jouer à cache-cache, elle a trouvé toute seule un moyen d'exploiter les bugs du moteur physique pour traverser les murs — un comportement que même les développeurs n'avaient pas prévu.
L'intrigue du film Jurassic Park est un exemple frappant de la façon dont la croyance en un contrôle total sur un système complexe mène au chaos.