Человек без усилий выхватывает нужный голос из гомона вечеринки — наш мозг справляется с этой задачей, словно опытный рыбак, безошибочно узнающий плеск знакомой рыбы в бурном потоке. Для компьютера то же самое — пока задача на пределе возможностей. Прежние программы тренировались на стерильных записях, где нет ни эха, ни звона приборов. Но реальный разговор похож на бурный поток: собеседники перебивают, отходят от микрофона, а на заднем плане шипит кофеварка.
Новый конкурс REAL-TSE Challenge впервые закидывает удочку в эту мутную воду. Участникам дают набор спектрограмм — своего рода фотографий звука, показывающих распределение энергии по частотам и времени, — записанных в живой обстановке. По паре секунд голоса алгоритм должен выловить речь этого человека из многоголосой каши. Оценивается и естественность: не превратится ли голос в скрежет. Два потока: онлайн — как стрим, где решение принимается мгновенно, и офлайн — с анализом всей записи, позволяющим заглянуть в будущее сигнала.
В основе метода лежит разложение звука на простые волны — открытие Фурье, которому уже два века: любой сложный сигнал можно представить как сумму синусоид разных частот. Современные системы, подобно рыбакам, вооружённым знанием о том, как распутывать клубки частот, борются с высокой энтропией — мерой беспорядка в звуковом смешении, где голоса переплетаются подобно струям в водовороте. И хотя до идеального улова далеко, именно такие «полевые» испытания двигают технологию из тихих лабораторий в наш шумный мир.
Мозг проделывает этот фокус без тренировки: «эффект вечеринки» даёт нам выцепить знакомый голос из десятков чужих — без малейшего напряжения.