Как похудела нейросеть, создающая звуки экспресс
Нейросеть, генерирующая звуки по тексту, похожа на кухню, где каждое «блюдо» готовят десятки поваров. Многие лишь мешают — подают ложные сигналы и тратят ресурсы. Учёные провели ревизию: с помощью спектроскопии (анализа спектра параметров) выявили, кто действительно нужен, и уволили лишних — убрали бесполезные связи. После такой чистки модель избавилась от 83% параметров и стала работать на 39% быстрее. Качество звука для большинства запросов не упало, а для некоторых тембров даже улучшилось. Однако звуки выстрелов, сирен, дрели поначалу страдали — как если бы на кухне вдруг убрали привычные инструменты.
В итоге облегчённая версия не уступает исходной модели. Облегчённая модель требует меньше вычислений и энергии, поэтому её можно запускать прямо на смартфоне, без облака. Убрав балласт, мы на деле снижаем энтропию (меру беспорядка) системы, оставляя чистую эффективность. Лёгкие нейросети откроют повсеместный ИИ, не зависящий от мощных серверов.
Оригинальная аннотация
как её написали авторы, на английском arXiv:2607.13330
Diffusion-based text-to-audio generative models such as AudioLDM achieve high perceptual quality and strong semantic consistency; however, their practical deployment is hindered by the substantial computational cost of the U-Net denoising backbone. In this work, we apply model pruning to improve the computational efficiency of AudioLDM, a U-Net-based text-conditioned audio latent diffusion model. We analyse parameter redundancy across U-Net convolutional blocks and evaluate a filter-pruning strategy. Pruning is guided by norm-based criteria and followed by lightweight finetuning to recover performance losses. Experimental results demonstrate that up to 83% of the parameters and 39% of the multiply-accumulate operations of U-Net have been reduced while maintaining, and in some cases improving, generation quality compared to the baseline unpruned network. We find that pruning affects AudioLDM's ability to generate certain sound events including safety-critical sounds such as gunshots, sirens, and explosions, as well as mechanical sounds such as drills and sewing machines, and other sounds such as sprays and tick-tocks, which are mostly recovered by lightweight finetuning of the pruned model.
Нейросети часто несут балласт: например, знаменитая ResNet-50 может быть обрезана на 90% без потери точности.