El modelo invisible distingue partes del rostro exprés
Entrenado con imágenes cotidianas, el modelo DINOv3 comenzó inesperadamente a ver rostros como un espectro: por sí mismo, sin pistas, resalta las zonas de los ojos, la nariz, la boca.
En 200 videos, la precisión de la segmentación de rasgos alcanzó el 83% (la adivinación aleatoria es del 23%). Al seguir los labios y las cejas, el 95,5%. Pero la separación «espectral» más nítida no está en la capa final, sino en la 18 de 24: allí las diferencias son cinco veces mayores y se atenúan hacia la salida.
Comparado con el modelo CLIP, que capta la silueta general, DINOv3 distingue rasgos finos con 16,8 puntos porcentuales más de precisión. La arquitectura, similar a los sistemas visuales estándar, generó en su interior un mapa del rostro, un auténtico espectroscopio para los rasgos. Las características congeladas de la mitad de la red son una herramienta lista para descifrar las expresiones sin entrenamiento alguno.
Resumen original
tal como lo escribieron los autores, en inglés arXiv:2607.14423
Frozen self-supervised vision models can align parts of generic objects, but it remains unclear whether this correspondence extends to human faces, where global layout is shared while identity-specific appearance varies sharply. We test whether frozen DINOv3 features define a region-level facial coordinate system: a feature space in which eyes, brows, nose, mouth, skin, and hair remain distinguishable across people and across time without face-specific training. Using DINOv3 ViT-L/16 patch embeddings and FaRL only as a face-part labeling interface, we evaluate cross-identity nearest-neighbor matching and temporal label propagation on 200 CelebDF-v2 real videos. DINOv3 achieves 83.0% region-level semantic accuracy under unconstrained cross-identity matching, compared with a 23.0% area-weighted random baseline, and 95.5% temporal tracking accuracy without a learned temporal module. A no-FaRL control collapses to 0.9%, showing that FaRL supplies semantic initialization while DINOv3 supplies dense spatial correspondence. The strongest correspondence appears at an intermediate layer: block 18 gives a 4.93x same-region versus cross-region discrimination ratio, compared with 1.48x at the final block. Against CLIP ViT-L/14, DINOv3 shows only a small aggregate advantage but a +16.8 pp gain on anatomical regions, indicating that image-level contrastive supervision captures coarse facial layout but not fine-grained anatomical identity. These results establish frozen DINOv3 as a strong zero-shot representation for region-level facial correspondence and identify intermediate self-supervised features as the most useful layer for dense face analysis.
La descomposición más precisa del rostro en rasgos ocurre en la capa 18 de 24, como si un prisma mostrara el arcoíris más brillante no en el primer rayo, sino en el interior del cristal.
La identificación fantástica de «Minority Report» se hace realidad sin bases de datos titánicas: la red neuronal, como un espectroscopio invisible, descompone un rostro en partes en un instante.