Если показать одну и ту же фотографию кота двум разным нейросетям, они часто приходят к похожему выводу: «кот». Но если спросить их подробнее, ответы могут разойтись. Одна модель обратит внимание на усы, другая — на окрас, третья — на позу. Получается, что даже внутри «зрительного» мира нейросетей нет полного единства.
Учёные придумали способ измерить это единство для каждой картинки отдельно. Они взяли несколько зрительных нейросетей с разными задачами обучения и сравнили их внутренние представления. Для одних изображений модели почти единодушны, для других — сильно расходятся. Затем эти картинки показали языковым моделям, которые описывают изображения словами. Выяснилось: когда зрительные модели согласны между собой, их общее мнение лучше совпадает с языковым описанием. Разница может быть двукратной.
Этот результат подсказывает, что согласие между нейросетями — не случайность. Оно отражает то, насколько «понятной» оказалась картинка. Чем яснее её структура, тем легче и зрению, и языку найти общий язык. Такой подход помогает увидеть, где нейросети сходятся с человеческим восприятием, а где расходятся.
как её написали авторы, на английском arXiv:2604.21836
Neural networks exhibit a remarkable degree of representational convergence across diverse architectures, training objectives, and even data modalities. This convergence is predictive of alignment with brain representation. A recent hypothesis suggests this arises from learning the underlying structure in the environment in similar ways. However, it is unclear how individual stimuli elicit convergent representations across networks. An image can be perceived in multiple ways and expressed differently using words. Here, we introduce a methodology based on the Generalized Procrustes Algorithm to measure intra-modal representational convergence at the single-stimulus level. We applied this to vision models with distinct training objectives, selecting stimuli based on their degree of alignment (intra-modal dispersion). Crucially, we found that this intra-modal dispersion strongly modulates alignment between vision and language models (cross-modal convergence). Specifically, stimuli with low intra-modal dispersion (high agreement among vision models) elicited significantly higher cross-modal alignment than those with high dispersion, by up to a factor of two (e.g., in pairings of DINOv2 with language models). This effect was robust to stimulus selection criteria and generalized across different pairings of vision and language models. Measuring convergence at the single-stimulus level provides a path toward understanding the sources of convergence and divergence across modalities, and between neural networks and human neural representations.
Согласие между зрительными нейросетями для одной и той же картинки может отличаться в два раза — как будто одна фотография «понятнее» другой для искусственного интеллекта.