Le doute se lit dans le silence : l'IA décrypte les pauses express
Un nouveau système analyse un court entretien pour détecter les hésitations d'une personne, en combinant le texte, la voix et les expressions du visage. Mais la clé principale de l'incertitude s'est révélée être la matière noire de la parole : les pauses et les mots de remplissage que les systèmes vocaux standard effacent comme un trou noir. Ce sont précisément ces blancs, souvent considérés comme du bruit, qui ont fourni le signal non verbal le plus indépendant.
Bien que le langage reste le canal le plus puissant, le silence entre les mots trahit le doute plus précisément que les intonations. Les chercheurs ont également constaté que tenter de prendre en compte des signaux contradictoires – par exemple un sourire accompagnant une voix triste – ne faisait que déstabiliser le système. Un simple ajustement du seuil de déclenchement et une décomposition du signal en composantes ont permis de contourner le modèle standard, en identifiant avec précision les hésitations même sur des données inconnues. Cette approche pourrait être utile dans les services d'assistance et pour l'évaluation de l'état émotionnel.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2607.11120
We address ambivalence and hesitancy (A/H) recognition in the ABAW 2026 BAH Challenge: given a short interview video, predict whether the person shows signs of A/H. Our system combines affect-specialised text, audio, and visual representations with a small set of readable linguistic hesitation cues, fused by a reliability gate we call Affective Marker Fusion (AMF), and finished with a simple AP-weighted ensemble at a fixed decision threshold. We also introduce \emph{ASR-erased time}: speech recognisers delete fillers and hesitation pauses from the transcript, but the chunk timestamps keep the time those events took, and sixteen features built from these gaps form the strongest and most independent non-verbal channel we measured (AP $$0.718$$, correlation $$0.11$$--$$0.36$$ with all other members). Across controlled experiments we find three things: cross-modal conflict design does not reliably help on BAH; language is by far the strongest channel while affect-specialised audio is a useful second; and calibration matters more than architecture. Fitting ensemble weights and a threshold on the small validation split overfits: it scores $$0.741$$ macro-F1 on validation but only $$0.690$$ on the untouched test set. AP-weighting at a fixed threshold instead reaches $$\mathbf{0.731}$$ on test.
Environ 40 % du discours spontané est constitué de pauses et de remplisseurs que les systèmes vocaux éliminent, perdant ainsi de précieux indices sur l'incertitude.