Лучший ИИ-помощник учёного справился с экзаменом хуже, чем троечник с контрольной. Всего 21% правильных ответов — и это потолок для четырёх сильнейших моделей. Задачи для нового теста писали не программисты, а аспиранты: люди, которые каждый день сталкиваются с настоящей наукой.

Тест назвали COMPOSITE-STEM. В нём 70 задач по физике, биологии, химии и математике. В отличие от школьных задачек, здесь нет единственного верного ответа — оценивается сам ход мысли. Например, нужно не просто вычислить число, а объяснить, почему выбран такой метод. Проверяют двумя способами: точным сравнением ответов и судом другой языковой модели.

Результат отрезвляет: даже лучшая модель решает лишь каждую пятую задачу. Значит, до настоящего помощника учёного ИИ ещё далеко. Но тест открыт для всех — любой разработчик может проверить свою модель и попытаться улучшить результат.