Экзамен для ИИ-учёного экспресс
Лучший ИИ-помощник учёного справился с экзаменом хуже, чем троечник с контрольной. Всего 21% правильных ответов — и это потолок для четырёх сильнейших моделей. Задачи для нового теста писали не программисты, а аспиранты: люди, которые каждый день сталкиваются с настоящей наукой.
Тест назвали COMPOSITE-STEM. В нём 70 задач по физике, биологии, химии и математике. В отличие от школьных задачек, здесь нет единственного верного ответа — оценивается сам ход мысли. Например, нужно не просто вычислить число, а объяснить, почему выбран такой метод. Проверяют двумя способами: точным сравнением ответов и судом другой языковой модели.
Результат отрезвляет: даже лучшая модель решает лишь каждую пятую задачу. Значит, до настоящего помощника учёного ИИ ещё далеко. Но тест открыт для всех — любой разработчик может проверить свою модель и попытаться улучшить результат.
Задачи для теста собирали у аспирантов — тех, кто ещё помнит, каково это: сидеть над уравнением до ночи и сомневаться в каждом шаге.