Очистка речи от шумов похожа на попытку настроить старый телевизор: стоит перекрутить ручку контрастности, и лица становятся неестественными. Исследователи смогли раздельно регулировать «громкость» и «сдвиг по времени» для каждой частоты звука, словно разложили его на радугу — метод, известный как спектроскопия. Выяснилось: ключевая ручка — громкость, а не фазовая синхронизация. Слишком рьяное подавление шума, этой акустической энтропии, выхолащивает сигнал, и компьютер, привыкший к живым записям, перестаёт узнавать слова. Слабый шум порой служит полезной подсказкой — подобно тому, как в фотометрии мерцание звёзд несёт информацию. Парадокс: система Whisper, вскормленная на грязном звуке, после идеальной чистки слышит хуже. А вот wav2vec2.0 предпочитает агрессивную очистку. Единого рецепта нет, но метод, берущий начало в трудах Фурье, позволяет быстро найти идеальный баланс. Достаточно добавить виртуальные крутилки — и любой улучшатель речи подружится с любым голосовым ассистентом без долгого переобучения.
Whisper от OpenAI, обученная на шумных записях, парадоксально хуже понимает идеально очищенную речь — ей не хватает привычного звукового «сора».