Очистка речи от шумов напоминает настройку старого телевизора: перекрутишь ручку контрастности — и лица становятся неестественными. Исследователи применили метод, позволяющий раздельно регулировать амплитуду (громкость) и фазовый сдвиг (сдвиг по времени) для каждой частоты звука — это спектроскопия, разложение сигнала на частотные составляющие, словно радуга . Выяснилось: ключевой параметр — амплитуда, а не точная фазовая синхронизация. Слишком агрессивное подавление шума, этой акустической энтропии (меры беспорядка), выхолащивает сигнал . В результате компьютер, обученный на живых записях, перестаёт распознавать слова. Слабый шум порой служит полезной подсказкой — подобно тому, как в фотометрии мерцание звёзд несёт информацию об их природе [tag:photometry]. Парадокс: система Whisper, вскормленная на «грязном» звуке, после идеальной очистки слышит хуже. А вот модель wav2vec2.0 предпочитает агрессивную [tag:filtering][tag:filtering]фильтрацию. Единого рецепта нет, но метод, берущий начало в трудах Фурье — математика, показавшего, что любой сложный сигнал можно представить суммой простых синусоид [scientist:Joseph Fourier], — позволяет быстро найти идеальный баланс. Достаточно добавить виртуальные регуляторы — и любой улучшатель речи подружится с любым голосовым ассистентом без долгого переобучения.
Whisper от OpenAI, обученная на шумных записях, парадоксально хуже понимает идеально очищенную речь — ей не хватает привычного звукового «сора».