Si l'on montre la même photo de chat à deux réseaux de neurones différents, ils arrivent souvent à une conclusion similaire : « chat ». Mais si on leur demande plus de détails, les réponses peuvent diverger. Un modèle remarquera les moustaches, un autre la robe, un troisième la posture. Il s'avère que même dans le monde « visuel » des réseaux de neurones, il n'y a pas d'unité parfaite.
Les scientifiques ont imaginé un moyen de mesurer cette unité pour chaque image individuellement. Ils ont pris plusieurs réseaux de neurones visuels avec des tâches d'apprentissage différentes et ont comparé leurs représentations internes. Pour certaines images, les modèles sont presque unanimes, pour d'autres, ils divergent fortement. Ensuite, ces images ont été montrées à des modèles de langage qui décrivent les images avec des mots. Il s'est avéré que lorsque les modèles visuels sont d'accord entre eux, leur opinion commune correspond mieux à la description linguistique. La différence peut être du double.
Ce résultat suggère que l'accord entre les réseaux de neurones n'est pas un hasard. Il reflète à quel point l'image est « compréhensible ». Plus sa structure est claire, plus il est facile pour la vision et le langage de trouver un terrain d'entente. Cette approche aide à voir où les réseaux de neurones convergent avec la perception humaine, et où ils divergent.
tel que rédigé par les auteurs, en anglais arXiv:2604.21836
Neural networks exhibit a remarkable degree of representational convergence across diverse architectures, training objectives, and even data modalities. This convergence is predictive of alignment with brain representation. A recent hypothesis suggests this arises from learning the underlying structure in the environment in similar ways. However, it is unclear how individual stimuli elicit convergent representations across networks. An image can be perceived in multiple ways and expressed differently using words. Here, we introduce a methodology based on the Generalized Procrustes Algorithm to measure intra-modal representational convergence at the single-stimulus level. We applied this to vision models with distinct training objectives, selecting stimuli based on their degree of alignment (intra-modal dispersion). Crucially, we found that this intra-modal dispersion strongly modulates alignment between vision and language models (cross-modal convergence). Specifically, stimuli with low intra-modal dispersion (high agreement among vision models) elicited significantly higher cross-modal alignment than those with high dispersion, by up to a factor of two (e.g., in pairings of DINOv2 with language models). This effect was robust to stimulus selection criteria and generalized across different pairings of vision and language models. Measuring convergence at the single-stimulus level provides a path toward understanding the sources of convergence and divergence across modalities, and between neural networks and human neural representations.
L'accord entre les réseaux de neurones visuels pour une même image peut varier du simple au double — comme si une photo était plus « compréhensible » qu'une autre pour l'intelligence artificielle.