Замкнутый круг: машина выдвигает идею, проверяет её на людях, видит провалы и рождает новую, более точную догадку. Так работает AutoCog — автоматический когнитивный учёный. Раньше в науке о мышлении (когнитивной науке) самое сложное — придумать теорию — делали только люди. Данные собирали автоматы, модели считали компьютеры, а творческий шаг оставался за человеком. AutoCog впервые замыкает этот цикл целиком.
Система устроена как спор нескольких агентов на базе больших языковых моделей. Каждый агент предлагает свою модель принятия решений — не просто текст, а работающую программу. Затем AutoCog придумывает эксперимент, который лучше всего рассудит спорщиков, набирает добровольцев через интернет и собирает их ответы. Теории оцениваются по тому, насколько хорошо они предсказывают поведение людей. Проигравшие модели анализируют ошибки и перерождаются в улучшенные версии. Цикл повторяется.
Это открытие не было заложено заранее. Когда систему запустили на симулированных данных, она восстановила даже необычные стратегии, которые противоречили «здравому смыслу» языковой модели. Значит, AutoCog действительно слушает данные, а не повторяет заученные шаблоны. В экспериментах с живыми людьми её теории оказались точнее общепринятых и сработали в двух разных задачах. Финальную проверку прошла новая теория: её предсказания подтвердились в заранее зарегистрированном опыте с новыми участниками.
Круг замкнулся. AutoCog превращает построение теорий о мышлении из туманного искусства в прозрачную, воспроизводимую и накопительную науку.
Система AutoCog устроена как спор: несколько языковых моделей соревнуются, чья теория лучше объяснит поведение людей, а затем проигравшие «мутируют» в новые версии.
Похожий подход описан в рассказе «Последний вопрос» Айзека Азимова, где машина итеративно улучшает свои ответы, пока не достигает прорыва.