Сомнение выдаёт тишина: ИИ читает паузы экспресс

Оригинал: "Simple Features and Honest Calibration for Ambivalence and Hesitancy Recognition in Video"
arXiv:2607.11120 · 2026-07-13 · CC BY 4.0 · 1 мин
Паузы, стираемые речевыми системами, — самый надёжный невербальный маркер человеческой неуверенности.

📄 Показана версия «Просто» — «Подробно» пока не готова. Добавьте ★ в избранное, если хотите её ускорить.

Новая система анализирует короткое интервью, чтобы распознать сомнения человека, объединяя текст, голос и выражение лица. Но главным ключом к неуверенности оказалась тёмная материя речи — паузы и слова-паразиты, которые стандартные речевые системы стирают, словно чёрная дыра. Именно эти пропуски, обычно считающиеся мусором, дали самый независимый невербальный сигнал.

Хотя язык остаётся сильнейшим каналом, молчание между словами выдаёт сомнение точнее интонаций. Исследователи также заметили, что попытки учесть противоречивые сигналы — например, улыбку при грустном голосе — только сбивали систему. Простая настройка порога срабатывания и разбивка сигнала на компоненты позволили обойти стандартную модель, точно определяя сомнения даже на незнакомых данных. Такой подход пригодится в службах поддержки и оценке эмоционального состояния.

Оригинальная аннотация

как её написали авторы, на английском arXiv:2607.11120

We address ambivalence and hesitancy (A/H) recognition in the ABAW 2026 BAH Challenge: given a short interview video, predict whether the person shows signs of A/H. Our system combines affect-specialised text, audio, and visual representations with a small set of readable linguistic hesitation cues, fused by a reliability gate we call Affective Marker Fusion (AMF), and finished with a simple AP-weighted ensemble at a fixed decision threshold. We also introduce \emph{ASR-erased time}: speech recognisers delete fillers and hesitation pauses from the transcript, but the chunk timestamps keep the time those events took, and sixteen features built from these gaps form the strongest and most independent non-verbal channel we measured (AP $$0.718$$, correlation $$0.11$$--$$0.36$$ with all other members). Across controlled experiments we find three things: cross-modal conflict design does not reliably help on BAH; language is by far the strongest channel while affect-specialised audio is a useful second; and calibration matters more than architecture. Fitting ensemble weights and a threshold on the small validation split overfits: it scores $$0.741$$ macro-F1 on validation but only $$0.690$$ on the untouched test set. AP-weighting at a fixed threshold instead reaches $$\mathbf{0.731}$$ on test.

Около 40% спонтанной речи — паузы и заполнители, которые речевые системы отбрасывают, теряя ценные подсказки о неуверенности.

Учёные
Ludwig BoltzmannRudolf ClausiusJacob BekensteinStephen HawkingJames Clerk MaxwellEdward Witten
Понятия
анализ речи с помощью ИИ распознавание речи складной нож (джекнайф)