Un réseau de neurones qui apprend du nouveau ressemble à un voyageur en terrain montagneux. Chaque connaissance acquise est une dépression dans le relief, où le voyageur roule et se coince. Pour en sortir et atteindre un nouveau creux, il faut de l'énergie. Mais à mesure que le voyageur accumule de l'expérience, les parois de son puits deviennent de plus en plus raides, et chaque ascension suivante exige de plus en plus d'efforts.
Les physiciens ont décrit ce processus avec des équations habituellement utilisées pour le mouvement brownien — le tremblement du pollen dans l'eau. L'état du réseau de neurones a été représenté comme une particule qui s'agite entre deux puits sur un paysage énergétique. Le bruit qui pousse la particule joue le rôle de la « température d'apprentissage ». Lorsque la température est élevée, la particule saute facilement d'un puits à l'autre — le réseau assimile rapidement le nouveau. Mais à basse température, la particule reste en place — le réseau s'accroche obstinément à l'ancien.
Le piège principal de l'apprentissage continu est ce qu'on appelle la « stabilité contre la plasticité ». Si le réseau s'accroche trop à ses connaissances antérieures, il ne peut pas assimiler le nouveau. S'il oublie trop facilement, il perd ce qu'il a accumulé. Les auteurs de l'article ont montré que la méthode populaire de protection contre l'oubli (la pénalité pour modification des connexions importantes) érige en réalité une barrière qui grandit à chaque nouvelle tâche. La hauteur de la barrière augmente linéairement, mais la probabilité de sauter par-dessus diminue exponentiellement. Ainsi, après des dizaines de tâches, le réseau se fige définitivement.
Cette découverte donne une recette : pour qu'un réseau de neurones reste flexible, il ne suffit pas de le punir pour l'oubli, il faut gérer intelligemment la « température » — le bruit dans le processus d'apprentissage. Des injections soudaines de température élevée à des moments opportuns peuvent aider le réseau à se réorganiser sans perdre les anciennes compétences.
Le mouvement brownien, sur lequel repose le modèle, a été observé pour la première fois par le botaniste Robert Brown en 1827, en examinant du pollen dans l'eau au microscope. Il pensait voir une « force vitale », mais c'étaient en réalité les chocs de molécules invisibles.