Представьте кухню, где каждое «блюдо» — синтезированный по тексту звук — готовят десятки поваров. Многие из них лишь мешают: подают ложные сигналы и бесцельно тратят ресурсы. Именно так устроена полная версия нейросети-генератора звуков: множество её связей не участвуют в деле, но потребляют вычислительную мощность.
Исследователи провели своего рода ревизию, применив спектроскопию — метод анализа спектра параметров, чтобы определить, какие соединения в сети действительно важны. Бесполезные связи «уволили» — обнулили их веса. После такой чистки модель лишилась 83% параметров и стала работать на 39% быстрее. Качество звука для большинства запросов не упало, а для некоторых тембров даже улучшилось — словно на кухне убрали суету, и оставшиеся повара сосредоточились на главном.
Поначалу страдали резкие, сложные звуки: выстрелы, сирены, визг дрели. Это напоминает ситуацию, когда с кухни вдруг исчезли привычные инструменты и повар растерян.
В итоге облегчённая версия не уступает исходной модели.
Такая оптимизация не просто ускоряет вычисления. Убрав балласт, мы фактически снижаем энтропию — меру беспорядка в системе, оставляя чистую эффективность. Облегчённая модель требует меньше энергии, и её можно запускать прямо на смартфоне, без облачных серверов. Лёгкие нейросети откроют путь к повсеместному ИИ, не зависящему от мощных дата-центров.
Нейросети часто несут балласт: например, знаменитая ResNet-50 может быть обрезана на 90% без потери точности.