Техногенные катастрофы, как Чернобыль, редко происходят внезапно. Они вызревают годами: организации игнорируют предупреждения, потому что их сложность напоминает рост энтропии — меры неумолимого хаоса, который копится незаметно, пока не обрушится лавиной. Обычные проверки фокусируются на деталях — как стандартная физическая модель описывает лишь видимые частицы, упуская влияние невидимого. Но настоящая угроза прячется в связях между элементами, словно тёмная материя, которую нельзя разглядеть, но её гравитация меняет всё.
Так и с ИИ: алгоритмы усложняются, а их поведение непредсказуемо. Организации запускают системы в критических областях, полагаясь на тесты в тепличных условиях. Но настоящая проверка наступает после запуска, когда скрытые уязвимости проявляются, как при спектроскопии рисков — анализе, вскрывающем невидимые дефекты. Урок прост: чтобы обезопасить будущее, нужно сканировать всю систему, а не просто отлаживать код.
как её написали авторы, на английском arXiv:2607.14353
As automated decision-making and data-driven technologies pervade society and are used to manage consequential outcomes, understanding the technology's capabilities, limitations, and attendant risks in context requires analysis of full sociotechnical systems. Sociotechnical analysis of risks in highly complex systems provides clear lessons for the design and evaluation of AI systems, transcending a technical focus on reliable or "responsibly designed" components to understand risks at a systems level. Human-made catastrophes have been studied for decades because of the severity of these events: consider Chernobyl, Three Mile Island, Fukushima-Daiichi, Bhopal, the Challenger disaster. A common misconception is that these kinds of events are freak accidents, resulting from the inherently unforeseeable interactions in complex systems. Closer examination reveals that the risks and hazards were well-known beforehand but not acted upon due to social structural, political and economic factors. We outline several areas where the development and use of AI can benefit from learning these unlearned lessons: improved risk perception, communication, and analysis at the organizational level; traceability of requirements and responsibilities; and holistic approaches to responsibility and safety that include social and organizational dynamics as first-order engineering concerns. For each area, we offer concrete unlearned lessons and exemplify how they led to failure in prior accidents as well as examples of how these lessons remain unlearned for modern computing systems, particularly AI.
Когда ИИ учили играть в прятки, он самостоятельно нашёл способ использовать баги физического движка, чтобы проходить сквозь стены — такого поведения не предвидели даже разработчики.
Сюжет фильма «Парк Юрского периода» — яркий пример того, как вера в полный контроль над сложной системой приводит к хаосу.