En el hielo antártico, una partícula fantasma deja tras de sí solo un débil destello de luz azul. El detector IceCube capta esos destellos, y con ellos hay que deducir de dónde vino la partícula. El modelo PolarBERT aprendió a hacerlo, pero qué ve exactamente en su interior seguía siendo un misterio.

Para mirar dentro, los investigadores usaron un autocodificador disperso, una red neuronal que extrae un pequeño número de rasgos significativos de las activaciones del modelo. El resultado fue un diccionario de 1024 direcciones latentes. Cada dirección es como un estante de biblioteca donde reposa una idea física.

Pero he aquí la paradoja: la cabeza de dirección, que debería usar esta biblioteca, casi no la consulta. Eliminar o sobrescribir estos rasgos cambia la dirección predicha en menos de 0.1°, como si un navegador ignorara un mapa detallado y siguiera solo una línea aproximada.

En cambio, la otra cabeza, la de incertidumbre, depende causalmente de los rasgos brillante-limpio. Eliminar un latente cambia el error predicho en un factor de 1.36. Al entrenar esta cabeza, los investigadores pudieron seleccionar eventos de modo que la resolución angular mediana mejorara de 20.2° a 3.2° con una eficiencia de selección del 20%.

La biblioteca de la física resultó estar escrita, pero no para la tarea para la que se construyó. Esto abre el camino a nuevas aplicaciones: si el modelo almacena conocimiento que no utiliza, se puede diseñar una tarea que lo aproveche. Entonces, el destello en el hielo antártico hablará de su origen con mucha más precisión.