Обработка аудио и речи eess.AS

Учительница в классе объясняет разницу между «дом» и «том»: приложите руку к горлу и почувствуйте вибрацию. Машина, которая распознаёт речь, делает примерно то же самое, только внутри у неё не горло, а длинные списки чисел. Оказалось, эти числа можно разложить по полочкам — как кубики с буквами в детской.

Кишечник разговаривает с врачом — но очень тихо. Урчание и бульканье длятся доли секунды и легко теряются среди звуков лёгких и сердца. Стетоскоп улавливает лишь малую часть, поэтому диагноз зависит от опыта и слуха конкретного врача. Носимый датчик SonicGuard, закреплённый на животе, слушает непрерывно и записывает каждый шорох. Затем в работу вступает алгоритм.

Если хлопнуть в ладоши в пустой комнате, эхо расскажет о её размерах и форме. Каждый предмет — стул, книга, человек — добавляет в это эхо свою подпись: звук отражается от него особым образом. Авторы статьи придумали, как полностью переписать эту звуковую подпись. Они окружили область пространства замкнутой поверхностью из микрофонов и динамиков.

Обычный кардиоидный микрофон — устройство с диаграммой направленности, напоминающей сердце, — подобно человеческому уху, обладает максимальной чувствительностью спереди, но его показания искажаются при боковом падении звука.

Новая система анализирует короткое интервью, чтобы распознать сомнения человека, объединяя текст, голос и выражение лица. Но главным ключом к неуверенности оказалась тёмная материя речи — паузы и слова-паразиты, которые стандартные речевые системы стирают, словно чёрная дыра, поглощающая всё без следа.

Очистка речи от шумов напоминает настройку старого телевизора: перекрутишь ручку контрастности — и лица становятся неестественными. Исследователи применили метод, позволяющий раздельно регулировать амплитуду (громкость) и фазовый сдвиг (сдвиг по времени) для каждой частоты звука — это спектроскопия, разложение сигнала на частотные…

Крупная нейросеть, такая как Whisper, владеющая сотнями языков, напоминает стандартную модель физики элементарных частиц — стройную систему, где всё находится в тонком равновесии.

Стандартный подход к оцифровке речи, лежащий в основе современных телекоммуникаций, — это прямая дискретизация: тысячи раз в секунду фиксируется мгновенная громкость сигнала. Представьте, что вы пробуете бульон чайной ложкой — каждый глоток даёт лишь слабый намёк на вкус, а чтобы уловить букет, приходится черпать снова и снова.

Звуковой сигнал удобно представлять комплексным числом: его модуль (амплитуда) отражает громкость, а аргумент (фаза) — положение волны во времени, её мгновенный сдвиг. Традиционные нейросети расщепляют это единое описание на две независимые координаты — грубо говоря, задают адрес в декартовой сетке: «два шага на восток, один на север».

Озвучивание протяжённого текста — например, аудиокниги — прежде требовало от компьютера удерживать в оперативной памяти детализированную картину каждой секунды звука. Аналогия: чтобы воспроизвести часовой разговор, приходилось вычерчивать миллиметровый план всего маршрута. Подобные «карты» были колоссальными, и даже мощные машины захлёбывались, собирая речь фрагментами.

Традиционные слуховые аппараты напоминают повара, который готовит по рецепту вслепую. Они анализируют звуковой беспорядок с микрофона и на его основе усиливают речь. В шумном кафе такой подход часто ошибается. Новая система ведёт себя как опытный кулинар: сначала обрабатывает сигнал, а затем «пробует» результат.

В шумной комнате человек выделяет нужный голос благодаря бинауральному слуху: два уха улавливают микроскопическую разницу во времени прихода звуковых волн и их интенсивности. Компьютер с массивом микрофонов действует аналогично — он извлекает пространственные подсказки, вычисляя направление на каждый источник звука.

Человеческий слух устроен так, что мозг выделяет в первую очередь знакомые паттерны — голос собеседника, шум дождя, сигнал автомобиля. Однако новая система работает по иному принципу: она фиксирует любой звуковой всплеск, даже тот, что никогда не встречался ранее.

Активное шумоподавление рождает «антизвук» — волну в противофазе, чтобы погасить нежелательный шум. Но стандартные системы слепы: они не знают, откуда приходит звук. В помещениях, где звук мечется эхом, это подобно боксу с завязанными глазами — глушишь вслепую, часто невпопад.

Представьте кухню, где каждое «блюдо» — синтезированный по тексту звук — готовят десятки поваров. Многие из них лишь мешают: подают ложные сигналы и бесцельно тратят ресурсы. Именно так устроена полная версия нейросети-генератора звуков: множество её связей не участвуют в деле, но потребляют вычислительную мощность.

Модели, превращающие текст в аудио, хорошо воссоздают одиночные звуки, но путаются, когда в сценарии их несколько. Например, по сценарию сначала звонок, потом шаги, потом хлопок двери. Генератор может переставить события, и зритель услышит шаги до звонка. Исследователи нашли неожиданное решение: вместо программирования сложных правил они взяли нейросеть, которая «понимает» аудио, и сделали её строгим контролёром.

Дирижёр держит не палочку, а кисть, и каждый взмах рождает цвет и форму. Эта аналогия помогает понять новую технологию: она преобразует эмоциональную динамику песни в панорамное видео, окружающее слушателя, — подобно тому, как художник превращает замысел в объёмное полотно.

Автоматические судьи речи — это алгоритмы, обученные оценивать произношение и эмоциональную окраску голоса. Однако, как показали исследования, они часто ведут себя подобно кулинарному критику, который выносит вердикт, прочитав меню, но не попробовав само блюдо.

Освоение иностранного языка сродни настройке музыкального инструмента. Новая технология действует как интеллектуальный тюнер: она принимает вашу аудиозапись и эталонную речь носителя, затем динамически растягивает или сжимает их во времени — подобно тому, как подтягивают струну для точного совпадения тонов, — чтобы идеально совместить сигналы, и оценивает три ключевых параметра: чистоту звуков (артикуляцию)…

Голосовые помощники нередко напоминают повара, который монотонно зачитывает рецепт по бумажке, не вкладывая ни капли аппетита. Новый архив русских диалогов «Диалоги» меняет правила игры. Три актёра в студии, подобно шеф-поварам, замешали 20 часов живых разговоров, приправив их двенадцатью эмоциональными «специями».

WanSong создаёт музыку подобно тому, как скульптор ваяет статую из глыбы мрамора: отправной точкой служит шум — хаотичное звучание, напоминающее рокот водопада, — из которого алгоритм шаг за шагом убирает всё лишнее, пока не проступают чистые ноты и голоса.

Человек без усилий выхватывает нужный голос из гомона вечеринки — наш мозг справляется с этой задачей, словно опытный рыбак, безошибочно узнающий плеск знакомой рыбы в бурном потоке. Для компьютера то же самое — пока задача на пределе возможностей. Прежние программы тренировались на стерильных записях, где нет ни эха, ни звона приборов.

Искусственный интеллект, предсказывающий акустику помещения, напоминает студента на экзамене со шпаргалкой. Если проверочные точки совпадают с учебными, модель просто запоминает звуковой «отпечаток» каждой позиции — как студент, узнающий билет по загибу уголка.