Les catastrophes technologiques, comme Tchernobyl, surviennent rarement de façon soudaine. Elles mûrissent pendant des années : les organisations ignorent les avertissements, car leur complexité évoque la croissance de l'entropie — une mesure du chaos implacable qui s'accumule discrètement jusqu'à ce qu'il s'abatte comme une avalanche. Les vérifications habituelles se concentrent sur les détails — tout comme le modèle standard de la physique ne décrit que les particules visibles, en négligeant l'influence de l'invisible. Mais la véritable menace se cache dans les liens entre les éléments, telle la matière noire, qu'on ne peut pas voir mais dont la gravité change tout.
Il en va de même pour l'IA : les algorithmes deviennent plus complexes et leur comportement est imprévisible. Les organisations déploient des systèmes dans des domaines critiques en se fiant à des tests en conditions idéales. Mais le véritable test survient après le déploiement, lorsque les vulnérabilités cachées se révèlent, comme dans une spectroscopie des risques — une analyse qui met en lumière des défauts invisibles. La leçon est simple : pour sécuriser l'avenir, il faut scanner tout le système, et pas seulement déboguer le code.
Quand on a appris à l'IA à jouer à cache-cache, elle a trouvé toute seule un moyen d'exploiter les bugs du moteur physique pour traverser les murs — un comportement que même les développeurs n'avaient pas prévu.
L'intrigue du film Jurassic Park est un exemple frappant de la façon dont la croyance en un contrôle total sur un système complexe mène au chaos.