Une cuisine sans à-coups : quand l'IA arrête de bégayer ✛
Dans la cuisine chaude d'un restaurant, le chef ne peut pas attendre que la poêle soit lavée. De la même manière, les grands modèles de langage (ceux qui sont à la base des chatbots et des assistants vocaux) trébuchent dans les longs dialogues. Chaque réponse ajoute de nouvelles lignes dans la mémoire interne qui stocke les mots déjà traités. Avec le temps, cette mémoire gonfle et « se gâte » — le modèle commence à s'embrouiller et à faire des erreurs, même s'il n'a pas encore officiellement dépassé les limites. Pour éviter cela, on nettoie la mémoire : on supprime les anciens fragments ou on les résume brièvement. Mais après chaque nettoyage, le modèle relit toute l'histoire pour construire de nouvelles notes rapides (le soi-disant cache KV). Pendant ce temps, la réponse se fige — nous voyons ces fractions de seconde de silence.
SmoothAgent résout le problème simplement : il déplace le nettoyage en arrière-plan. Imaginez que le chef ait un assistant qui lave les poêles dans un évier séparé et les sèche pendant que la cuisson principale suit son cours. Au moment voulu, l'outil propre est déjà à portée de main. Ici, c'est pareil : pendant que l'agent principal discute avec l'utilisateur, un agent fantôme applique en arrière-plan un plan d'optimisation — il compresse ou réécrit une partie de l'historique — et construit à l'avance les enregistrements internes correspondants. Quand vient le moment du nettoyage, le bloc de mémoire prêt remplace instantanément l'ancien, et l'agent principal continue de parler sans bégayer.
Cette approche transforme la gestion du contexte d'un frein inévitable en un service d'arrière-plan discret. En substance, elle utilise le principe « prépare ton traîneau en été » de la théorie de l'information : si le travail peut être découpé en morceaux indépendants, fais-le à l'avance pendant que le processeur n'est pas occupé. Le même principe peut s'appliquer à tous les calculs auxiliaires dans le traitement automatique du langage naturel, les systèmes de recherche documentaire et les services cloud. Au final, l'utilisateur remarque simplement que son assistant intelligent répond de manière fluide et rapide, comme une brigade de cuisine bien réglée.
Lorsque la conversation devient trop longue, le modèle commence à se perdre dans des schémas répétitifs — un peu comme une personne qui perd le fil dans une chaîne d'actions monotones.