Модель-невидимка различает части лица экспресс
Обученная на обычных снимках, модель DINOv3 неожиданно стала видеть лица как спектр: сама, без подсказок, выделяет зоны глаз, носа, рта.
На 200 видео точность разметки черт достигла 83% (случайное гадание — 23%). При слежении за губами и бровями — 95,5%. Но самое четкое «спектральное» разделение скрыто не в итоговом слое, а в 18-м из 24: там отличия пятикратные, а к выходу затухают.
В сравнении с моделью CLIP, ловящей общий силуэт, DINOv3 на 16,8 п.п. точнее различает тонкие черты. Архитектура, похожая на стандартные зрительные системы, породила в своих недрах карту лица — настоящий спектроскоп для черт. Застывшие признаки из середины сети — готовый инструмент для расшифровки мимики без всякого обучения.
Оригинальная аннотация
как её написали авторы, на английском arXiv:2607.14423
Frozen self-supervised vision models can align parts of generic objects, but it remains unclear whether this correspondence extends to human faces, where global layout is shared while identity-specific appearance varies sharply. We test whether frozen DINOv3 features define a region-level facial coordinate system: a feature space in which eyes, brows, nose, mouth, skin, and hair remain distinguishable across people and across time without face-specific training. Using DINOv3 ViT-L/16 patch embeddings and FaRL only as a face-part labeling interface, we evaluate cross-identity nearest-neighbor matching and temporal label propagation on 200 CelebDF-v2 real videos. DINOv3 achieves 83.0% region-level semantic accuracy under unconstrained cross-identity matching, compared with a 23.0% area-weighted random baseline, and 95.5% temporal tracking accuracy without a learned temporal module. A no-FaRL control collapses to 0.9%, showing that FaRL supplies semantic initialization while DINOv3 supplies dense spatial correspondence. The strongest correspondence appears at an intermediate layer: block 18 gives a 4.93x same-region versus cross-region discrimination ratio, compared with 1.48x at the final block. Against CLIP ViT-L/14, DINOv3 shows only a small aggregate advantage but a +16.8 pp gain on anatomical regions, indicating that image-level contrastive supervision captures coarse facial layout but not fine-grained anatomical identity. These results establish frozen DINOv3 as a strong zero-shot representation for region-level facial correspondence and identify intermediate self-supervised features as the most useful layer for dense face analysis.
Точнее всего лицо разлагается на черты в 18-м слое из 24 — как если бы призма давала самую яркую радугу не с первого луча, а в толще стекла.
Фантастическая идентификация из «Особого мнения» становится явью без титанических баз: нейросеть, как невидимый спектроскоп, раскладывает лицо на части за мгновение.