Системы ИИ, которые обнаруживают и исправляют собственные ошибки или учатся на ограниченных данных с улучшенными рассуждениями.Самокоррекция ИИ — это способность систем искусственного интеллекта обнаруживать и исправлять собственные ошибки, как в процессе обучения, так и во время вывода. Эта способность критически важна для создания надежного ИИ в таких ответственных областях, как научные открытия, автономное вождение и медицинская диагностика, где ошибки могут быть дорогостоящими. Самокоррекция может происходить на нескольких уровнях: модель может уточнять свой вывод на основе обратной связи, корректировать свои внутренние параметры при поступлении новых данных или активно исследовать окружающую среду для проверки гипотез и исправления неверных представлений.
Концепция самокорректирующихся систем восходит к кибернетике 1940-х годов, но современная самокоррекция ИИ возникла с развитием глубокого обучения с подкреплением в 2010-х годах, особенно с появлением AlphaGo, которая научилась на основе собственных игр. Термин получил широкое распространение с появлением больших языковых моделей, которые можно попросить пересмотреть и улучшить свои собственные ответы.
Один из распространенных механизмов — итеративное уточнение: модель генерирует первоначальный ответ, затем оценивает его по набору критериев или с помощью обученной функции вознаграждения и создает исправленную версию. Это может быть реализовано через обучение с подкреплением, где модель учится максимизировать сигнал вознаграждения, который штрафует за ошибки. Другой подход — метаобучение, когда модель обучается на распределении задач и учится быстро адаптироваться к новым задачам, распознавая и исправляя собственные ошибки. В научном ИИ самокоррекция часто включает циклы активного обучения, где система предлагает эксперименты, наблюдает результаты и обновляет свою внутреннюю модель мира.
Самокорректирующийся ИИ используется в автономных лабораториях для открытия материалов, где агенты ИИ проектируют эксперименты, интерпретируют результаты и уточняют свои гипотезы без вмешательства человека, а также в исправлении ошибок в квантовых вычислениях и в робототехнике.
Некоторые самокорректирующиеся системы ИИ могут превзойти свои собственные обучающие данные, открывая новые стратегии методом проб и ошибок, как это продемонстрировал знаменитый «ход 37» AlphaGo, который удивил даже опытных игроков-людей.
| J_{k\alpha} | переменная | обновляемый параметр на итерации — параметр |
| \tau_\mu | переменная | индекс шага итерации — iteration index |
| \eta | переменная | скорость обучения, размер шага — скорость обучения |
| \epsilon | переменная | функция ошибки или потерь — loss function |
| \frac{\partial}{\par | оператор | вычисляет градиент ошибки по параметру — частная производная |
