Por qué las redes neuronales se parecen a los agujeros negros: lección de los modelos 'calvos' ⚡ экспресс
Los investigadores aplicaron un enfoque de la física cuántica para entender el éxito de LoRA, un método popular para reentrenar grandes modelos de lenguaje con actualizaciones de bajo rango. Los parámetros de la red se representaron como productos de matrices de estados, lo que permitió medir el «entrelazamiento artificial» (análogo a la entropía cuántica). Se descubrió que en las capas internas de las actualizaciones LoRA, la entropía sigue una ley de volumen con una caída característica: un «valle de entrelazamiento», mientras que en las capas de atención entre tokens sigue una ley de área con correcciones logarítmicas. Sorprendente paralelismo con el teorema de la ausencia de pelo de los agujeros negros: las diferencias en la estructura interna no se manifiestan en los datos de salida, lo que explica la eficacia de la adaptación de bajo rango.
Reentrenar una red neuronal es como intentar cambiar un agujero negro sin tocar su horizonte de eventos: solo se modifica una pequeña parte de los parámetros. Los investigadores miraron en su interior y vieron patrones sorprendentes — fuertes conexiones entre fragmentos del modelo, como en el entrelazamiento cuántico. Al medir la entropía (medida del caos), descubrieron un 'valle de entrelazamiento' — una caída abrupta del orden que depende del método de entrenamiento.
En la práctica, esto significa que no importa qué patrones haya en el interior, lo que importa es el comportamiento externo. Por eso se pueden desarrollar métodos ligeros de adaptación de IA sin profundizar en los detalles.
🎯 El teorema 'de la calvicie': un agujero negro se describe solo por su masa, carga y rotación. Toda la demás información sobre la materia absorbida se borra.