Модель-невидимка различает черты лица: как DINOv3 стала спектроскопом мимики экспресс

Оригинал: "Emergent Region-Level Facial Correspondence in Frozen Vision Foundation Models"
arXiv:2607.14423 · 2026-07-15 · CC BY 4.0 · 1 мин
Нейросеть, обученная на случайных фото, без подсказок раскладывает лица на черты, как невидимый спектроскоп.

Обученная на обычных снимках без каких-либо меток, модель компьютерного зрения DINOv3 неожиданно проявила способность, напоминающую работу спектроскопа: она самопроизвольно научилась выделять на лицах отдельные зоны — глаза, нос, рот — словно раскладывая портрет на спектральные составляющие.

Подобно тому, как спектроскоп разлагает свет на цвета, модель-невидимка разлагает лицо на ключевые черты, не получая явных инструкций.

Исследователи проверили эту способность на 200 видео: точность автоматической разметки черт лица достигла 83%, тогда как случайное угадывание дало бы лишь 23%. При слежении за движениями губ и бровей точность поднялась до 95,5%. Но самое интригующее открытие касается того, где именно внутри модели рождается это «спектральное» представление. Оказалось, что наиболее четкое разделение черт скрыто не в итоговом, выходном слое, а в 18-м из 24 слоёв нейронной сети: там различия между зонами лица в пять раз сильнее, чем на выходе, где они постепенно затухают.

Это напоминает тёмную материю — невидимую, но фундаментальную основу, без которой невозможно составить цельную картину явления.

В прямом сравнении с моделью CLIP, которая улавливает лишь общий силуэт, DINOv3 оказалась на 16,8 процентных пункта точнее в различении тонких черт лица. Архитектура DINOv3, напоминающая стандартные зрительные системы, породила в своих внутренних слоях детальную карту лица — своего рода спектроскоп для мимических признаков. Застывшие, стабильные признаки, извлечённые из середины сети, представляют собой готовый инструмент для расшифровки мимики, не требующий дополнительного обучения.

Точнее всего лицо разлагается на черты в 18-м слое из 24 — как если бы призма давала самую яркую радугу не с первого луча, а в толще стекла.

Фантастическая идентификация из «Особого мнения» становится явью без титанических баз: нейросеть, как невидимый спектроскоп, раскладывает лицо на части за мгновение.

Учёные
Christian DopplerD. B. McLaughlinDidier QuelozMichel MayorR. A. RossiterJames Clerk Maxwell
Понятия
поле зрения