Нейросеть, генерирующая звуки по тексту, похожа на кухню, где каждое «блюдо» готовят десятки поваров. Многие лишь мешают — подают ложные сигналы и тратят ресурсы. Учёные провели ревизию: с помощью спектроскопии (анализа спектра параметров) выявили, кто действительно нужен, и уволили лишних — убрали бесполезные связи. После такой чистки модель избавилась от 83% параметров и стала работать на 39% быстрее. Качество звука для большинства запросов не упало, а для некоторых тембров даже улучшилось. Однако звуки выстрелов, сирен, дрели поначалу страдали — как если бы на кухне вдруг убрали привычные инструменты.
В итоге облегчённая версия не уступает исходной модели. Облегчённая модель требует меньше вычислений и энергии, поэтому её можно запускать прямо на смартфоне, без облака. Убрав балласт, мы на деле снижаем энтропию (меру беспорядка) системы, оставляя чистую эффективность. Лёгкие нейросети откроют повсеместный ИИ, не зависящий от мощных серверов.
Нейросети часто несут балласт: например, знаменитая ResNet-50 может быть обрезана на 90% без потери точности.