La duda se delata en el silencio: la IA lee las pausas exprés
Un nuevo sistema analiza una entrevista corta para reconocer las dudas de una persona, combinando texto, voz y expresión facial. Pero la clave principal de la inseguridad resultó ser la materia oscura del habla: pausas y muletillas que los sistemas de voz estándar borran como un agujero negro. Precisamente estas omisiones, normalmente consideradas basura, proporcionaron la señal no verbal más independiente.
Aunque el lenguaje sigue siendo el canal más fuerte, el silencio entre palabras delata la duda con más precisión que las entonaciones. Los investigadores también notaron que los intentos de tener en cuenta señales contradictorias —por ejemplo, una sonrisa con una voz triste— solo confundían al sistema. Un simple ajuste del umbral de activación y el desglose de la señal en componentes permitieron eludir el modelo estándar, identificando dudas con precisión incluso en datos desconocidos. Este enfoque será útil en servicios de atención al cliente y evaluación del estado emocional.
Resumen original
tal como lo escribieron los autores, en inglés arXiv:2607.11120
We address ambivalence and hesitancy (A/H) recognition in the ABAW 2026 BAH Challenge: given a short interview video, predict whether the person shows signs of A/H. Our system combines affect-specialised text, audio, and visual representations with a small set of readable linguistic hesitation cues, fused by a reliability gate we call Affective Marker Fusion (AMF), and finished with a simple AP-weighted ensemble at a fixed decision threshold. We also introduce \emph{ASR-erased time}: speech recognisers delete fillers and hesitation pauses from the transcript, but the chunk timestamps keep the time those events took, and sixteen features built from these gaps form the strongest and most independent non-verbal channel we measured (AP $$0.718$$, correlation $$0.11$$--$$0.36$$ with all other members). Across controlled experiments we find three things: cross-modal conflict design does not reliably help on BAH; language is by far the strongest channel while affect-specialised audio is a useful second; and calibration matters more than architecture. Fitting ensemble weights and a threshold on the small validation split overfits: it scores $$0.741$$ macro-F1 on validation but only $$0.690$$ on the untouched test set. AP-weighting at a fixed threshold instead reaches $$\mathbf{0.731}$$ on test.
Alrededor del 40% del habla espontánea son pausas y rellenos que los sistemas de voz descartan, perdiendo valiosas pistas sobre la inseguridad.