Por qué las redes neuronales se parecen a los agujeros negros: lección de los modelos 'calvos' exprés
Los científicos descubrieron por qué el método LoRA — una forma elegante de entrenar grandes modelos de lenguaje modificando solo una pequeña parte de los parámetros — funciona tan bien. Examinaron los «entrelazamientos» internos (similares a los cuánticos) y encontraron un misterioso «valle de entrelazamiento». Pero, así como un agujero negro oculta sus secretos, las manifestaciones externas del modelo permanecen simples: ahí reside el secreto de su eficacia.
Reentrenar una red neuronal es como intentar cambiar un agujero negro sin tocar su horizonte de eventos: solo se modifica una pequeña parte de los parámetros. Los investigadores miraron en su interior y vieron patrones sorprendentes — fuertes conexiones entre fragmentos del modelo, como en el entrelazamiento cuántico. Al medir la entropía (medida del caos), descubrieron un 'valle de entrelazamiento' — una caída abrupta del orden que depende del método de entrenamiento.
En la práctica, esto significa que no importa qué patrones haya en el interior, lo que importa es el comportamiento externo. Por eso se pueden desarrollar métodos ligeros de adaptación de IA sin profundizar en los detalles.
🎯 El teorema 'de la calvicie': un agujero negro se describe solo por su masa, carga y rotación. Toda la demás información sobre la materia absorbida se borra.