En général, les algorithmes apprennent à agir dans des conditions prédéfinies, comme l'eau qui coule dans un lit déjà creusé. La nouvelle méthode renverse cette logique : elle permet au système d'apprendre à la fois à agir et à modifier son environnement. C'est comme un ruisseau qui ne se contente pas de couler, mais qui se fraye un chemin à travers un sol meuble, raccourcissant sans cesse sa trajectoire.
La clé réside dans la séparation du réglage de l'environnement en deux phases : l'une, telle un courant instantané, influence le pas actuel, tandis que l'autre, comme l'érosion, façonne les événements futurs. Cela permet d'éviter le chaos et de calculer précisément comment chaque changement affectera le résultat. L'algorithme n'a pas besoin de carte : il apprend par essais et erreurs.
L'efficacité a été testée sur un essaim de drones : ils transmettent des signaux tout en ajustant leurs positions, à l'instar de l'eau qui trouve d'elle-même le chemin le plus court vers le bas. Étonnamment, tenter d'optimiser tout à la fois peut dégrader le résultat : le système doit trouver un équilibre entre le gain immédiat et les améliorations à long terme. Cette approche rendra la technologie véritablement adaptative.
Les fourmis ne se contentent pas de suivre des pistes : elles modifient leur environnement avec des phéromones pour que leurs congénères trouvent les meilleurs chemins.
Comme dans le film « Inception », où l'architecte modifie l'espace du rêve, le nouvel algorithme permet au système d'adapter son environnement de manière flexible pour atteindre son objectif.