Как выудить голос друга из шумной беседы: вызов REAL-TSE Challenge экспресс

Оригинал: "SLT 2026 REAL-TSE Challenge: Real-world Target Speaker Extraction from Conversational Recordings"
arXiv:2607.15198 · 2026-07-16 · CC BY-SA 4.0 · 1 мин
Новый конкурс учит алгоритмы выуживать голос друга из реального гама, а не студийной тишины — с перебиваниями, эхом и шипением кофеварки.

Человек без усилий выхватывает нужный голос из гомона вечеринки — наш мозг справляется с этой задачей, словно опытный рыбак, безошибочно узнающий плеск знакомой рыбы в бурном потоке. Для компьютера то же самое — пока задача на пределе возможностей. Прежние программы тренировались на стерильных записях, где нет ни эха, ни звона приборов. Но реальный разговор похож на бурный поток: собеседники перебивают, отходят от микрофона, а на заднем плане шипит кофеварка.

Новый конкурс REAL-TSE Challenge впервые закидывает удочку в эту мутную воду. Участникам дают набор спектрограмм — своего рода фотографий звука, показывающих распределение энергии по частотам и времени, — записанных в живой обстановке. По паре секунд голоса алгоритм должен выловить речь этого человека из многоголосой каши. Оценивается и естественность: не превратится ли голос в скрежет. Два потока: онлайн — как стрим, где решение принимается мгновенно, и офлайн — с анализом всей записи, позволяющим заглянуть в будущее сигнала.

Главная засада — наложение голосов. В реальных беседах почти треть времени люди говорят одновременно, и это ставит в тупик даже лучшие расшифровщики.

В основе метода лежит разложение звука на простые волны — открытие Фурье, которому уже два века: любой сложный сигнал можно представить как сумму синусоид разных частот. Современные системы, подобно рыбакам, вооружённым знанием о том, как распутывать клубки частот, борются с высокой энтропией — мерой беспорядка в звуковом смешении, где голоса переплетаются подобно струям в водовороте. И хотя до идеального улова далеко, именно такие «полевые» испытания двигают технологию из тихих лабораторий в наш шумный мир.

Мозг проделывает этот фокус без тренировки: «эффект вечеринки» даёт нам выцепить знакомый голос из десятков чужих — без малейшего напряжения.

Учёные
Christian DopplerD. B. McLaughlinDidier QuelozMichel MayorR. A. RossiterNiels Bohr
Понятия
распознавание речи анализ речи с помощью ИИ эталон SETI большие языковые модели