Un modèle invisible distingue les traits du visage express
Entraîné sur des photos ordinaires, le modèle DINOv3 s'est mis à voir les visages comme un spectre : tout seul, sans indications, il distingue les zones des yeux, du nez, de la bouche.
Sur 200 vidéos, la précision du repérage des traits a atteint 83 % (le hasard donne 23 %). Pour le suivi des lèvres et des sourcils, elle atteint 95,5 %. Mais la séparation « spectrale » la plus nette ne se trouve pas dans la couche finale, mais dans la 18e sur 24 : là, les écarts sont quintuplés, puis s'estompent vers la sortie.
Comparé au modèle CLIP, qui saisit la silhouette générale, DINOv3 est plus précis de 16,8 points de pourcentage pour distinguer les traits fins. Une architecture semblable au modèle standard des systèmes visuels a engendré en son sein une carte du visage — un véritable spectroscope pour les traits. Les caractéristiques figées du milieu du réseau constituent un outil prêt à l'emploi pour décoder les expressions sans aucun apprentissage.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2607.14423
Frozen self-supervised vision models can align parts of generic objects, but it remains unclear whether this correspondence extends to human faces, where global layout is shared while identity-specific appearance varies sharply. We test whether frozen DINOv3 features define a region-level facial coordinate system: a feature space in which eyes, brows, nose, mouth, skin, and hair remain distinguishable across people and across time without face-specific training. Using DINOv3 ViT-L/16 patch embeddings and FaRL only as a face-part labeling interface, we evaluate cross-identity nearest-neighbor matching and temporal label propagation on 200 CelebDF-v2 real videos. DINOv3 achieves 83.0% region-level semantic accuracy under unconstrained cross-identity matching, compared with a 23.0% area-weighted random baseline, and 95.5% temporal tracking accuracy without a learned temporal module. A no-FaRL control collapses to 0.9%, showing that FaRL supplies semantic initialization while DINOv3 supplies dense spatial correspondence. The strongest correspondence appears at an intermediate layer: block 18 gives a 4.93x same-region versus cross-region discrimination ratio, compared with 1.48x at the final block. Against CLIP ViT-L/14, DINOv3 shows only a small aggregate advantage but a +16.8 pp gain on anatomical regions, indicating that image-level contrastive supervision captures coarse facial layout but not fine-grained anatomical identity. These results establish frozen DINOv3 as a strong zero-shot representation for region-level facial correspondence and identify intermediate self-supervised features as the most useful layer for dense face analysis.
Le visage se décompose le plus précisément en traits dans la 18e couche sur 24 — comme si le prisme donnait le plus bel arc-en-ciel non pas dès le premier rayon, mais au cœur du verre.
L'identification futuriste de « Minority Report » devient réalité sans bases de données titanesques : un réseau de neurones, tel un spectroscope invisible, décompose le visage en un instant.