Un enfant qui explore un appartement inconnu rampe d'un objet à l'autre et mémorise ce qu'il voit depuis chaque coin. C'est ainsi que le cerveau construit une carte mentale — un modèle interne de l'espace. L'algorithme gradCSCG fonctionne sur le même principe : il reçoit un flux vidéo d'une caméra et dessine lui-même le plan du lieu, en s'appuyant uniquement sur le changement des images. Auparavant, les machines avaient besoin d'indices — par exemple, des objets pré-étiquetés dans les images. La nouvelle méthode s'en passe.
L'idée clé est une division du travail entre deux composants. La première partie du programme compresse les images visuelles en un code court, appelé spectre — un ensemble de caractéristiques distinctives de la scène, une sorte d'« empreinte » de ce que voit la caméra. La deuxième partie, gradCSCG lui-même, relie ces codes spectraux au chemin parcouru, reconstruisant la topologie — c'est-à-dire la structure de l'espace et les relations entre les lieux. Les deux parties sont entraînées simultanément : les erreurs de reconnaissance d'images entraînent une correction de la topologie, et la topologie affinée aide à mieux reconnaître les images. Cela ressemble à l'ajustement mutuel de deux experts qui apprennent l'un de l'autre.
Pour que le système ne perde pas le fil, des mécanismes intégrés atténuent l'entropie — ici, l'entropie est une mesure de l'incertitude ou de la confusion dans les estimations de l'algorithme. Si l'entropie augmente, l'algorithme risque de « s'embrouiller » dans ses propres hypothèses. De plus, une protection contre « l'endormissement » dans la monotonie est prévue : lorsque l'image ne change pas pendant longtemps, le système peut cesser d'affiner le modèle. Des mécanismes spéciaux maintiennent un apprentissage actif, empêchant l'algorithme de se reposer sur une solution incorrecte mais stable.
Un résultat inattendu : même si, au même point de l'espace, la caméra montrait à différents moments tantôt le chiffre manuscrit « 3 », tantôt une tache informe, l'algorithme déterminait avec assurance qu'il s'agissait du même point. Il a appris à ignorer les changements non essentiels dans l'apparence visuelle, en se concentrant sur l'identité topologique du lieu. Ainsi se reconstruit la modèle standard — le plan type de l'emplacement, une représentation généralisée de la structure du lieu.
C'est sur le même principe que fonctionnent les neurones en grille (cellules de grille) dans notre cerveau — des cellules spéciales du cortex entorhinal qui s'activent lorsqu'un animal ou un humain traverse les nœuds d'une grille hexagonale imaginaire couvrant l'espace. Leur découverte a été récompensée par le prix Nobel de physiologie ou médecine en 2014. Cette analogie n'est pas fortuite : gradCSCG reproduit un mécanisme clé de la navigation biologique, mais dans un système artificiel.
Cette technologie promet l'apparition de robots assistants capables d'explorer des étages et des lieux inconnus sans GPS, à l'instar du droïde BB-8 de l'univers de « Star Wars » — un explorateur compact qui s'oriente habilement dans un environnement inconnu, en s'appuyant uniquement sur ses capteurs.
Le cerveau humain utilise le même principe : des neurones spéciaux en forme de « grille » sont responsables de l'orientation (prix Nobel 2014). gradCSCG est un pas vers la reproduction de cette capacité dans la technique.
C'est ainsi que s'oriente le droïde BB-8 de « Star Wars » : une caméra en guise d'yeux, et la carte se construit à la volée, sans satellites.