Cómo adelgazó la red neuronal que genera sonidos exprés
La red neuronal que genera sonidos a partir de texto se parece a una cocina donde cada «plato» lo preparan decenas de cocineros. Muchos solo estorban: envían señales falsas y malgastan recursos. Los científicos hicieron una revisión: usando espectroscopia (análisis del espectro de parámetros) identificaron quién era realmente necesario y despidieron a los sobrantes, eliminando conexiones inútiles. Tras esta limpieza, el modelo se deshizo del 83% de los parámetros y empezó a funcionar un 39% más rápido. La calidad del sonido no se redujo para la mayoría de las consultas, e incluso mejoró para algunos timbres. Sin embargo, los sonidos de disparos, sirenas y taladros al principio sufrieron, como si de repente quitaran las herramientas habituales de la cocina.
Al final, la versión ligera no es inferior al modelo original. El modelo aligerado requiere menos cálculos y energía, por lo que se puede ejecutar directamente en un smartphone, sin la nube. Al eliminar el lastre, en realidad reducimos la entropía (medida del desorden) del sistema, dejando eficiencia pura. Las redes neuronales ligeras abrirán paso a una IA ubicua, que no dependa de potentes servidores.
Las redes neuronales a menudo llevan lastre: por ejemplo, la famosa ResNet-50 se puede podar un 90% sin pérdida de precisión.