Si le muestras la misma foto de un gato a dos redes neuronales diferentes, a menudo llegan a una conclusión similar: «gato». Pero si les preguntas con más detalle, las respuestas pueden divergir. Un modelo se fijará en los bigotes, otro en el pelaje, un tercero en la postura. Resulta que incluso dentro del mundo «visual» de las redes neuronales no hay una unidad total.
Los científicos idearon una forma de medir esa unidad para cada imagen por separado. Tomaron varias redes neuronales visuales con diferentes tareas de entrenamiento y compararon sus representaciones internas. Para algunas imágenes, los modelos están casi unánimes; para otras, difieren mucho. Luego, esas imágenes se mostraron a modelos de lenguaje que describen imágenes con palabras. Descubrieron que cuando los modelos visuales están de acuerdo entre sí, su opinión común coincide mejor con la descripción lingüística. La diferencia puede ser del doble.
Este resultado sugiere que el acuerdo entre redes neuronales no es casualidad. Refleja lo «comprensible» que resulta la imagen. Cuanto más clara es su estructura, más fácil es que la visión y el lenguaje encuentren un terreno común. Este enfoque ayuda a ver dónde las redes neuronales coinciden con la percepción humana y dónde se separan.
tal como lo escribieron los autores, en inglés arXiv:2604.21836
Neural networks exhibit a remarkable degree of representational convergence across diverse architectures, training objectives, and even data modalities. This convergence is predictive of alignment with brain representation. A recent hypothesis suggests this arises from learning the underlying structure in the environment in similar ways. However, it is unclear how individual stimuli elicit convergent representations across networks. An image can be perceived in multiple ways and expressed differently using words. Here, we introduce a methodology based on the Generalized Procrustes Algorithm to measure intra-modal representational convergence at the single-stimulus level. We applied this to vision models with distinct training objectives, selecting stimuli based on their degree of alignment (intra-modal dispersion). Crucially, we found that this intra-modal dispersion strongly modulates alignment between vision and language models (cross-modal convergence). Specifically, stimuli with low intra-modal dispersion (high agreement among vision models) elicited significantly higher cross-modal alignment than those with high dispersion, by up to a factor of two (e.g., in pairings of DINOv2 with language models). This effect was robust to stimulus selection criteria and generalized across different pairings of vision and language models. Measuring convergence at the single-stimulus level provides a path toward understanding the sources of convergence and divergence across modalities, and between neural networks and human neural representations.
El acuerdo entre redes neuronales visuales para una misma imagen puede variar hasta el doble, como si una foto fuera «más clara» que otra para la inteligencia artificial.