Как выудить голос друга из шумной беседы экспресс

Оригинал: "SLT 2026 REAL-TSE Challenge: Real-world Target Speaker Extraction from Conversational Recordings"
arXiv:2607.15198 · 2026-07-16 · CC BY-SA 4.0 · 1 мин
Новый конкурс учит алгоритмы выуживать голос друга из реального гама, а не студийной тишины — с перебиваниями, эхом и шипением кофеварки.

📄 Показана версия «Просто» — «Подробно» пока не готова. Добавьте ★ в избранное, если хотите её ускорить.

Человек без усилий выхватывает нужный голос из гомона вечеринки. Для компьютера то же самое — пока задача на пределе возможностей. Прежние программы тренировались на стерильных записях, где нет ни эха, ни звона приборов. Но реальный разговор похож на бурный поток: собеседники перебивают, отходят от микрофона, а на заднем плане шипит кофеварка.

Новый конкурс REAL-TSE Challenge впервые закидывает удочку в эту мутную воду. Участникам дают набор спектрограмм — своего рода фотографий звука, — записанных в живой обстановке. По паре секунд голоса алгоритм должен выловить речь этого человека из многоголосой каши. Оценивается и естественность: не превратится ли голос в скрежет. Два потока: онлайн — как стрим, и офлайн — с анализом всей записи.

Главная засада — наложение голосов. В реальных беседах почти треть времени люди говорят одновременно, и это ставит в тупик даже лучшие расшифровщики.

В основе метода лежит разложение звука на простые волны — открытие Фурье, которому уже два века. Современные системы, подобно рыбакам, вооружённым знанием о том, как распутывать клубки частот, борются с высокой энтропией — мерой беспорядка в звуковом смешении. И хотя до идеального улова далеко, именно такие «полевые» испытания двигают технологию из тихих лабораторий в наш шумный мир.

Оригинальная аннотация

как её написали авторы, на английском arXiv:2607.15198

We introduce the REAL-TSE Challenge, an IEEE SLT 2026 satellite challenge on target speaker extraction~(TSE) from real conversational recordings. Given a multi-speaker mixture and one or more enrollment utterances from a target speaker, participating systems must recover only the target speech. Unlike simulated read-speech benchmarks, REAL-TSE evaluates Mandarin and English recordings that contain natural overlap, reverberation, noise, channel mismatch, and conversational dynamics. The challenge defines two complementary tracks: an Online track for low-latency streaming extraction and an Offline track for full-context processing. Systems are evaluated with Token Error Rate (TER), Speaker Similarity (SpkSim), DNSMOS, and target-speaker activity F1. This overview paper describes the task definition, datasets, baselines, evaluation protocol, submitted systems, condition-wise findings, and lessons for future real-world TSE benchmarks.

Мозг проделывает этот фокус без тренировки: «эффект вечеринки» даёт нам выцепить знакомый голос из десятков чужих — без малейшего напряжения.

Учёные
Christian DopplerD. B. McLaughlinDidier QuelozMichel MayorR. A. RossiterNiels Bohr
Понятия
распознавание речи анализ речи с помощью ИИ эталон SETI большие языковые модели