Человеческий слух устроен так, что мозг выделяет в первую очередь знакомые паттерны — голос собеседника, шум дождя, сигнал автомобиля. Однако новая система работает по иному принципу: она фиксирует любой звуковой всплеск, даже тот, что никогда не встречался ранее. Такой подход называется аудиодиаризацией — это не просто поиск конкретных шумов, а разбиение всей аудиозаписи на фрагменты с четкой разметкой начала и конца каждого звукового события. В отличие от классических распознавателей, этот метод не требует заранее заданного списка известных звуков. Его можно сравнить с чутким часовым, который реагирует на малейшее движение, не спрашивая, друг перед ним или случайный прохожий.
Технически метод опирается на ту же идею, что и спектроскопия: сложный звук раскладывается на простые гармонические волны, подобно тому, как белый свет расщепляется на радужные полосы. Эту математическую возможность два века назад открыл Жозеф Фурье, показав, что любое колебание представимо суммой синусоид. Система применяет преобразование Фурье к поступающему аудиопотоку и получает спектрограмму — распределение энергии по частотам в каждый момент времени. Затем в игру вступает энтропия — мера неожиданности, или информативности, сигнала. Участки записи с резким ростом энтропии интерпретируются как границы звуковых событий, потому что именно там меняется статистическая структура сигнала: фоновый шум сменяется чем-то новым. Так алгоритм отделяет важные сигналы от монотонного фона, не нуждаясь в библиотеках образцов.
Такой «всеслышащий» алгоритм пригодится в умных домах, чтобы заметить сбой техники — например, нехарактерный стук компрессора холодильника — еще до того, как поломка станет очевидной. В дикой природе он позволит вести мониторинг животных, регистрируя любые вокализации без предварительного обучения на конкретные виды. А еще это шаг к созданию помощников для людей с нарушением слуха: ведь по-настоящему важно не только распознавать привычное, но и вовремя уловить незнакомый звук — сигнал опасности или просто неожиданное событие, которое слышащий человек заметил бы без усилий.
Даже во сне наш мозг мгновенно реагирует на незнакомые звуки: резкий шорох разбудит быстрее, чем привычный шум. Этот принцип и заложен в новую систему.