main concepts scientists sections
ПростоПопулярноПодробно

Плавный ход: опережающая инженерия контекста для LLM-агентов ✛

Оригинал: "SmoothAgent: Efficient Long-Horizon LLM-Based Agent Serving with Lookahead Context Engineering"
· Zaifeng Pan, Qianxu Wang, Zhengding Hu, Chang Chen, Yue Guan, Yanbo Zhou, Steven Swanson, Yufei Ding
arXiv:2607.00151 · 2026-06-30 · CC BY 4.0 · 3 мин
Распределенные и параллельные вычисления
SmoothAgent предвычисляет преобразования контекста асинхронно, как заготовка ингредиентов до подачи блюда, и убирает внезапные паузы в работе языковых агентов.

Контекст

Кухня ресторана в час пик: десятки заказов, шипение масла, стук ножей. Шеф-повар не может позволить себе ждать, пока помоют сковороду — рядом всегда есть кому подготовить чистую. Примерно так же работают LLM-агенты: они управляют кодом, планируют задачи, общаются с пользователем — и порождают длинные цепочки сообщений, которые быстро перегружают модель. Даже в пределах допустимой длины контекста качество ответов падает: модель путается в старых деталях. Это явление окрестили «гниением контекста» (context rot). Чтобы сохранить осмысленность, разработчики встраивают в агентов стратегии инженерии контекста: часть истории сбрасывают в файлы, часть пересказывают кратко, а для сложных подзадач заводят отдельный чистый контекст. Плата за такую гигиену — внезапные остановки: после преобразования модель вынуждена заново просчитывать кэш ключей и значений (KV-кэш), и каждый раз агент спотыкается, прежде чем выдать следующий токен.

Методы

Авторы заметили, что большинство операций по преобразованию контекста обладают свойством «разложимости на сегменты»: переработка одной части истории не зависит от того, что появится позже. Это позволило вынести преобразования в отдельный опережающий поток (lookahead stream). В SmoothAgent рядом с основным агентом работает «теневой»: он асинхронно применяет к очередному сегменту заданную стратегию — например, оффлоадинг или сокращение истории — и строит готовый KV-кэш для преобразованного префикса. Когда основной агент достигает лимита и требует чистки, ему сразу подсовывается заранее подготовленный контекст. Чтобы фоновые запросы не мешали основным, разработан диспетчер с опережающим планированием, учитывающим ограничения по задержке (SLO) и допускающим опережающие задачи только в свободные интервалы.

Результаты

Эксперименты проводили на GPU NVIDIA H100 с моделями Qwen3-8B и Qwen3-32B. Агент выполнял многошаговый анализ кода, на каждом шагу порождая 600–650 токенов — так контекст рос, имитируя стохастический процесс взаимодействий. В синхронном режиме время до первого токена (TTFT) на точках преобразования подскакивало в разы: при суммаризации — до 1.2 с для простой модели. SmoothAgent свёл эти всплески на нет: хвостовая задержка упала в среднем на 62%, а для суммаризации — до 11.9 раз. На системе с раздельными GPU для префиллинга и декодирования выигрыш сохранился и составил в среднем 64.5%. Интеграция в популярные фреймворки (LangChain, LlamaIndex, AutoGen, OpenClaw) показала снижение TTFT от 27% до 81%.

Значение

SmoothAgent превращает инженерию контекста из неизбежного зла в незаметную фоновую процедуру. Этот подход демонстрирует, как методы машинного обучения позволяют спроектировать эффективное обслуживание: асинхронная предобработка KV-кэша скрывает ранее неустранимые задержки. Разложимость на сегменты подсвечивает структурное свойство, которое применимо к любым побочным вычислениям в конвейере генеративного ИИ. В итоге агент перестаёт быть поваром-одиночкой и превращается в отлаженную кухонную бригаду, где каждый занят своим делом без суеты.

Развитие

Ветка развития очевидна: распространение подхода на более сложные сценарии с множеством агентов и общим контекстом. Техника опережающего вычисления может перекочевать в системы RAG, где дорогостоящая обработка документов напрашивается на предварительное выполнение. Ещё одно направление — адаптивное планирование: диспетчеру можно передать предсказатель вероятности скорого срабатывания триггера, чтобы заранее продвигать фоновые задачи без риска опоздать.

Влияние

Промышленные внедрения LLM-агентов (колл-центры, IDE с ИИ-ассистентами, автономные симуляции) получат более плавный и предсказуемый отклик. Облачные провайдеры смогут предлагать фоновые вычисления по сниженным тарифам, улучшая утилизацию GPU.

Следующие шаги

Ближайшие шаги — тщательная апробация на многоагентных сценариях с разделяемым контекстом и включение предобученных моделей-суммаризаторов, чтобы уменьшить стоимость фонового LLM-запроса.

Ключевые проблемы

Работа касается фундаментальной проблемы эффективности длительных рассуждений ИИ: как совладать с неограниченно растущим контекстом без потери качества и скорости. Она перекликается с не до конца решённой задачей внимания за линейное время и с поиском оптимальной политики замещения KV-кэша.

Взгляд машины знаний

Этот раздел адресован автору работы и его коллегам. Соседние работы нашёл смысловой поиск по нашему архиву — не по совпадению слов, а по смыслу. Мы не рецензируем: мы показываем поле вокруг.

Что сделано в работе

В SmoothAgent решается проблема задержек при преобразовании контекста LLM-агентов: авторы предлагают опережающий поток, который асинхронно готовит KV-кэш для будущих преобразований контекста. Эксперименты на Qwen3-8B/32B показывают снижение TTFT до 11.9 раз при суммаризации и 27–81% в популярных агентных фреймворках.

В чём сила

Ключевая сила — введение свойства разложимости на сегменты и использование опережающего планирования с учётом SLO, что позволяет скрыть задержки преобразования контекста без вмешательства в основной поток.

Куда можно двигаться

Что можно попробовать

  • Апробировать использование эластичного ганга для динамического выделения ресурсов под опережающие задачи в SmoothAgent.
  • Проверить, даёт ли неявное сжатие контекста в опережающем потоке дополнительное снижение задержек без потери качества.
  • Внести контролируемый шум в сегменты при предобработке, чтобы сделать KV-кэш более робастным к последующим изменениям контекста.

Работы рядом в нашем архиве

Вокруг этой работы в архиве пусто: ближайший разбор всего на 0.58, при обычных 0.64. Похоже, рядом почти не бурили.

Весь граф →

Метафора «гниение контекста» пришла из наблюдения, что даже в пределах официального окна модель начинает ошибаться на повторяющихся шаблонах — почти как человек, теряющий нить в длинной цепочке однотипных действий.

Ключевые числа

  • снижение пиковой задержки TTFT при суммаризации: до 11.9 раз
  • среднее снижение хвостовой задержки: 62%
  • добавляемый объём контекста за шаг агента: 600–650 токенов
  • среднее снижение задержки в дизагрегированном режиме: 64.5%
  • максимальное количество параллельных агентов в тестах: 64
Понятия
трансформеры большие языковые модели агент голосовой помощник