Las características superpuestas aceleran el aprendizaje exprés
Una red neuronal se puede comparar con una residencia estudiantil donde cada residente tiene su propia habitación. Normalmente, cada característica de los datos ocupa una neurona separada, y el aprendizaje se realiza de forma secuencial: primero una característica, luego otra. Esto es lento y depende de los datos específicos que se encuentren.
Pero si permitimos que varias características compartan una misma habitación, es decir, que se superpongan, el panorama cambia. Los científicos construyeron un modelo simple de 'maestro-alumno' y derivaron fórmulas para el aprendizaje sin superposición. Descubrieron que el exponente en la ley de aprendizaje (es decir, la rapidez con la que el error disminuye con el tiempo) depende de la estadística de los datos y de la importancia de los canales.
Cuando en el modelo aparece un 'cuello de botella' para la superposición, se produce una transición a una ley universal: el error disminuye como uno dividido por el tiempo. Esto no depende ni de los datos ni de la importancia de los canales. El aprendizaje se acelera hasta diez veces en comparación con el procesamiento secuencial de características.
Este ritmo rápido con exponente universal podría explicar por qué los grandes modelos de lenguaje, que utilizan activamente la superposición de características, aprenden de manera tan eficiente. Quizás sea precisamente la superposición de características lo que les permite captar rápidamente los patrones del lenguaje sin atascarse en los detalles.
La superposición de características se parece a cómo los humanos recordamos caras: no almacenamos una neurona separada para cada conocido, sino un código distribuido donde las mismas neuronas participan en diferentes recuerdos.
En la novela 'Blindsight' de Peter Watts, una mente alienígena utiliza representaciones distribuidas para procesar información a una velocidad increíble, de manera similar a cómo la superposición de características acelera el aprendizaje.