Comment les robots tracent leur route à travers la galaxie des erreurs express
Que la caméra d'un robot tressaute, et il laisse tomber la pièce : son réseau de neurones est déboussolé. Mais si l'on observe ses signaux, ils évoquent des constellations dans la galaxie : quand tout va bien, ils se regroupent dans un secteur, et juste avant l'erreur, ils basculent brusquement dans un autre. La frontière entre les deux est nette, comme un chenal au milieu des récifs.
Les ingénieurs ont alors fixé à ce chœur céleste un navigateur, semblable à un gouvernail, qui corrige subtilement les signaux en temps réel, évitant la supernova du dysfonctionnement. Mais dans certains cas, tout se brouille dans l'entropie, et le gouvernail tremble. La méthode WA-LQR s'est révélée étonnamment simple : elle ne nécessite pas de refondre tout le réseau, seulement quelques réglages précis. L'idée d'une correction douce a été développée par Maxwell — celui-là même qui a capté l'onde électromagnétique et, par la même occasion, inventé le régulateur pour machines à vapeur. Désormais, le robot ne laissera plus tomber sa charge, même si la caméra tremble ou si l'on change la pince.
Résumé original
tel que rédigé par les auteurs, en anglais arXiv:2607.14943
World Action Models (WAMs) enable semantically- and physically-informed control but are brittle under distribution shift. In this work, we use mechanistic interpretability to study how robustness-relevant perturbations are represented in WAM activation space. Comparing activations across successful and unsuccessful rollouts, we find some WAM architectures exhibit low-dimensional linear separability for robustness-critical features, while others do not. This motivates the use of contrastive activation directions for training-free WAM steering. We also show that local linearity in WAM activation dynamics enables efficient feedback steering via model-based optimal control, yielding World-Action Linear Quadratic Regulator (WA-LQR), a minimally-invasive reduced-order LQR controller. Via mechanistic evaluations, we predict strong steerability in the Cosmos-Policy and DiT4DiT models but weak steerability in LingBot-VA, consistent with steering intervention results. On Cosmos-Policy and DiT4DiT, WA-LQR generalizes contrastive directions to new tasks and improves robustness to camera, gripper, and visual-noise perturbations over unsteered and prompt steering baselines.
Les premiers régulateurs pour machines à vapeur, inventés au XVIIIe siècle, fonctionnaient sur le même principe : un pendule mécanique fermait lui-même la vanne en cas d'emballement. Le gouvernail moderne du robot est l'héritier direct de cette idée, sauf qu'au lieu de la vapeur, ce sont des flux de signaux numériques.
Dans le film « WALL-E », le robot ne cassait pas lors des collisions, il s'adaptait simplement. WA-LQR rend les robots industriels tout aussi insubmersibles : ils slaloment dans la galaxie des signaux sans perdre leur charge.