À l'heure de pointe dans la cuisine d'un restaurant, l'huile grésille, les couteaux claquent, les commandes fusent. Le chef ne peut pas attendre qu'on lave la poêle — il a toujours sous la main un commis qui prépare une poêle propre à l'avance. C'est exactement ainsi que fonctionnent les grands modèles de langage agents : ils pilotent du code, planifient des tâches, dialoguent avec l'utilisateur, générant de longues chaînes de messages.

Ces chaînes surchargent rapidement le modèle. Même dans les limites de la longueur de contexte autorisée, la qualité des réponses chute — le modèle s'embrouille dans les détails anciens. Ce phénomène a été baptisé « pourrissement du contexte ». Pour préserver la cohérence, les développeurs intègrent des stratégies d'ingénierie du contexte : une partie de l'historique est déchargée dans des fichiers, une autre est résumée brièvement, et pour les sous-tâches complexes, on crée un contexte propre séparé. Le prix de cette hygiène, ce sont des arrêts soudains. Après chaque transformation, le modèle recalcule le cache KV (cache des clés et des valeurs des couches d'attention), et l'agent trébuche avant de produire le jeton suivant.

SmoothAgent résout le problème radicalement : il déplace les transformations dans un flux d'arrière-plan. À côté de l'agent principal travaille un agent « fantôme » qui applique de manière asynchrone la stratégie définie (déchargement, résumé) au segment de contexte suivant et construit un cache KV prêt pour le préfixe transformé. Quand l'agent principal atteint la limite et demande un nettoyage, on lui fournit immédiatement un contexte préparé à l'avance. Cela rappelle une brigade de cuisine où un commis lave et essuie les poêles avant même que le chef en ait besoin.

Techniquement, la plupart des opérations de transformation de contexte ont la propriété d'être « décomposables en segments » : le traitement d'une partie de l'historique ne dépend pas de ce qui viendra plus tard. Cela permet à un ordonnanceur avec planification anticipée d'insérer les tâches d'arrière-plan dans les intervalles libres, sans gêner le flux principal. Dans les expériences sur GPU NVIDIA H100 avec les modèles Qwen3-8B et Qwen3-32B, la latence de queue a chuté en moyenne de 62 %. Avec la synthèse, la latence de pointe jusqu'au premier jeton a été réduite jusqu'à 11,9 fois — au lieu d'un blocage d'une seconde, l'agent continuait à générer la réponse aussi fluidement qu'un chef retourne des crêpes sur une plaque brûlante.

Cette approche transforme l'ingénierie du contexte d'un mal nécessaire en une procédure d'arrière-plan invisible. Le pré-traitement asynchrone du cache KV révèle une propriété structurelle applicable à tous les calculs auxiliaires dans le pipeline de l'IA générative. À terme, les calculs anticipés pourraient intégrer les systèmes RAG, les environnements multi-agents et les services cloud — partout où un traitement coûteux peut être effectué à l'avance. L'agent cesse d'être un cuisinier solitaire et devient une brigade bien huilée, où chacun s'active sans précipitation. En fin de compte, l'utilisateur obtient un dialogue fluide, et le modèle, une poêle propre pour chaque nouveau plat.