Если показать одну и ту же фотографию кота двум разным нейросетям, они часто приходят к похожему выводу: «кот». Но если спросить их подробнее, ответы могут разойтись. Одна модель обратит внимание на усы, другая — на окрас, третья — на позу. Получается, что даже внутри «зрительного» мира нейросетей нет полного единства.
Учёные придумали способ измерить это единство для каждой картинки отдельно. Они взяли несколько зрительных нейросетей с разными задачами обучения и сравнили их внутренние представления. Для одних изображений модели почти единодушны, для других — сильно расходятся. Затем эти картинки показали языковым моделям, которые описывают изображения словами. Выяснилось: когда зрительные модели согласны между собой, их общее мнение лучше совпадает с языковым описанием. Разница может быть двукратной.
Этот результат подсказывает, что согласие между нейросетями — не случайность. Оно отражает то, насколько «понятной» оказалась картинка. Чем яснее её структура, тем легче и зрению, и языку найти общий язык. Такой подход помогает увидеть, где нейросети сходятся с человеческим восприятием, а где расходятся.
Согласие между зрительными нейросетями для одной и той же картинки может отличаться в два раза — как будто одна фотография «понятнее» другой для искусственного интеллекта.