Una red neuronal que aprende algo nuevo se parece a un caminante en una región montañosa. Cada conocimiento asimilado es una depresión en el terreno hacia la que el caminante rueda y en la que se queda atrapado. Para salir y llegar a una nueva hondonada, se necesita energía. Pero a medida que el caminante acumula experiencia, las paredes de su pozo se vuelven más empinadas, y cada siguiente ascenso exige más esfuerzo.
Los físicos describieron este proceso con ecuaciones que normalmente se aplican al movimiento browniano: el temblor del polen en el agua. Representaron el estado de la red neuronal como una partícula que se agita entre dos pozos en un paisaje energético. El ruido que empuja a la partícula hace el papel de la "temperatura de aprendizaje". Cuando la temperatura es alta, la partícula salta fácilmente de un pozo a otro: la red asimila rápidamente lo nuevo. Pero a baja temperatura, la partícula permanece en su lugar: la red se aferra obstinadamente a lo viejo.
La principal trampa del aprendizaje continuo es la llamada "estabilidad frente a plasticidad". Si la red se aferra demasiado a los conocimientos previos, no puede asimilar lo nuevo. Si olvida todo con demasiada facilidad, pierde lo acumulado. Los autores del artículo demostraron que el método popular para prevenir el olvido (una penalización por cambiar conexiones importantes) en realidad levanta una barrera que crece con cada nueva tarea. La altura de la barrera aumenta linealmente, pero la probabilidad de saltarla cae exponencialmente. Por eso, después de decenas de tareas, la red se congela definitivamente.
Este hallazgo ofrece una receta: para que la red neuronal siga siendo flexible, no basta con castigarla por olvidar, sino que hay que gestionar hábilmente la "temperatura": el ruido en el proceso de aprendizaje. Inyecciones repentinas de alta temperatura en los momentos adecuados pueden ayudar a la red a reestructurarse sin perder las habilidades antiguas.
El movimiento browniano, en el que se basa el modelo, fue observado por primera vez por el botánico Robert Brown en 1827, al examinar con un microscopio polen en agua. Pensó que veía una "fuerza vital", pero resultó ser el impacto de moléculas invisibles.