Звук cs.SD

В сентябре 2024 года в концертном зале Линца на сцене стоял не только оркестр. Рядом с музыкантами работала установка, рождающая пары запутанных фотонов: лазер с длиной волны 405 нм попадал в нелинейный кристалл и распадался на два фотона с длиной волны 810 нм, которые разлетались к двум измерительным станциям — Алисе и Бобу.

Орнитолог в джунглях слышит трель, но птица прячется в листве. Хорошо бы тут же получить её портрет — хотя бы из базы фотографий. Обычно для этого нужны тысячи пар «запись пения + снимок той же птицы», а собирать их дорого и долго. Авторы пошли в обход: взяли две готовые модели. Одна понимает связь между картинкой и текстом (например, «красная грудка, чёрная шапочка» → фото зарянки).

Бронзовые пластины гамелана звучат не по единому камертону: каждый оркестр на Яве держит собственный строй, и два соседних ансамбля могут играть одну мелодию в чуть разных интервалах. Этот факт стал отправной точкой для необычного эксперимента: учёные перевели 155 лет температурных аномалий Тихого океана в ноты двух яванских ладов и посмотрели, как звук сохраняет динамику климатического хаоса.

Учительница в классе объясняет разницу между «дом» и «том»: приложите руку к горлу и почувствуйте вибрацию. Машина, которая распознаёт речь, делает примерно то же самое, только внутри у неё не горло, а длинные списки чисел. Оказалось, эти числа можно разложить по полочкам — как кубики с буквами в детской.

Кишечник разговаривает с врачом — но очень тихо. Урчание и бульканье длятся доли секунды и легко теряются среди звуков лёгких и сердца. Стетоскоп улавливает лишь малую часть, поэтому диагноз зависит от опыта и слуха конкретного врача. Носимый датчик SonicGuard, закреплённый на животе, слушает непрерывно и записывает каждый шорох. Затем в работу вступает алгоритм.

Крупная нейросеть, такая как Whisper, владеющая сотнями языков, напоминает стандартную модель физики элементарных частиц — стройную систему, где всё находится в тонком равновесии.

Звуковой сигнал удобно представлять комплексным числом: его модуль (амплитуда) отражает громкость, а аргумент (фаза) — положение волны во времени, её мгновенный сдвиг. Традиционные нейросети расщепляют это единое описание на две независимые координаты — грубо говоря, задают адрес в декартовой сетке: «два шага на восток, один на север».

Модели, превращающие текст в аудио, хорошо воссоздают одиночные звуки, но путаются, когда в сценарии их несколько. Например, по сценарию сначала звонок, потом шаги, потом хлопок двери. Генератор может переставить события, и зритель услышит шаги до звонка. Исследователи нашли неожиданное решение: вместо программирования сложных правил они взяли нейросеть, которая «понимает» аудио, и сделали её строгим контролёром.

Дирижёр держит не палочку, а кисть, и каждый взмах рождает цвет и форму. Эта аналогия помогает понять новую технологию: она преобразует эмоциональную динамику песни в панорамное видео, окружающее слушателя, — подобно тому, как художник превращает замысел в объёмное полотно.

Автоматические судьи речи — это алгоритмы, обученные оценивать произношение и эмоциональную окраску голоса. Однако, как показали исследования, они часто ведут себя подобно кулинарному критику, который выносит вердикт, прочитав меню, но не попробовав само блюдо.

Человек без усилий выхватывает нужный голос из гомона вечеринки — наш мозг справляется с этой задачей, словно опытный рыбак, безошибочно узнающий плеск знакомой рыбы в бурном потоке. Для компьютера то же самое — пока задача на пределе возможностей. Прежние программы тренировались на стерильных записях, где нет ни эха, ни звона приборов.

Искусственный интеллект, предсказывающий акустику помещения, напоминает студента на экзамене со шпаргалкой. Если проверочные точки совпадают с учебными, модель просто запоминает звуковой «отпечаток» каждой позиции — как студент, узнающий билет по загибу уголка.

Магнитоэнцефалограф — прибор, похожий на шлем с сотнями датчиков, — улавливает слабые магнитные поля, которые создают работающие нейроны. Если человек слушает речь, в этих сигналах прячутся отпечатки услышанных слов. Но достать их оттуда непросто: сигнал от тысяч источников сливается в запутанный клубок.