Un réseau neuronal qui génère des sons à partir de texte, c'est un peu comme une cuisine où chaque « plat » est préparé par des dizaines de cuisiniers. Beaucoup ne font que gêner : ils envoient des signaux erronés et gaspillent des ressources. Les chercheurs ont fait le ménage : grâce à la spectroscopie (l'analyse du spectre des paramètres), ils ont identifié qui était vraiment indispensable et ont licencié les autres, supprimant les connexions inutiles. Après ce nettoyage, le modèle s'est débarrassé de 83 % de ses paramètres et fonctionne 39 % plus vite. La qualité sonore n'a pas baissé pour la plupart des requêtes, et s'est même améliorée pour certains timbres. En revanche, les bruits de coups de feu, de sirènes et de perceuse ont d'abord souffert, comme si on avait soudainement retiré les ustensiles habituels de la cuisine.
Au final, la version allégée ne le cède en rien au modèle standard. Le modèle allégé exige moins de calculs et d'énergie, on peut donc le faire tourner directement sur un smartphone, sans passer par le cloud. En éliminant le lest, on réduit en réalité l'entropie (la mesure du désordre) du système, ne laissant que l'efficacité pure. Les réseaux légers ouvriront la voie à une IA omniprésente, indépendante des serveurs puissants.
Les réseaux de neurones ont souvent du lest : par exemple, le célèbre ResNet-50 peut être élagué à 90 % sans perdre en précision.