Просеивая золото: оптимизация ИИ-конвейеров методами баз данных ✛ ✎
Контекст
При дообучении моделей вроде Llama 3 для каждого обучающего примера генерируется до 32 ответов, и только один — с наивысшей оценкой — попадает в следующий раунд. Этот цикл повторяется шесть раз, а модель качества вызывается десятки миллионов раз. Обучение с подкреплением на основе обратной связи (RLHF) стало стандартом, но его вычислительная стоимость огромна. Если посмотреть на этот процесс как на выполнение SQL-запроса вида «SELECT * ORDER BY score LIMIT 1», становится ясно: не обязательно гонять дорогой оценщик на каждом кандидате. Так рождается оптимизация на стыке больших языковых моделей и теории вероятностей.
Методы
Авторы предлагают два взаимодополняющих подхода. Первый — стратегия приближённой обработки запросов (AQP): как при разведке месторождения, мы берём пробы грунта, оцениваем среднее содержание золота и, как только доверительный интервал сужается до нужного порога, прекращаем отбор. В вычислительном плане это означает прогрессивную выборку строк, для которых вызывается оракул, вычисление скользящей оценки агрегата (суммы, среднего, количества) и остановку при стабилизации результата. Для ранжирующих запросов типа LIMIT используется критерий по порядковым статистикам: выборка прекращается, когда k-й лучший результат перестаёт заметно меняться. Второй подход — суррогатная модель-фильтр (PM): на небольшом размеченном оракулом подмножестве обучается компактное дерево решений на поверхностных признаках (длина ответа, наличие формул, специальных символов). В отличие от нейросетевых прокси, требующих GPU-инференса для каждого кандидата, дерево решений работает на CPU за миллисекунды. Далее это дерево быстро сканирует все записи и пропускает к дорогому оракулу только «сомнительные», а в очевидных случаях либо отбрасывает кандидата, либо сразу принимает решение без вызова оценщика. Срабатывает каскадный гейтинг: если разброс предсказаний внутри группы мал, вся группа пропускается; иначе отсеиваются только потенциально слабые ответы.
Результаты
На тестах TPC-DS с агрегирующими запросами стратегия AQP достигла ошибки менее 10% при использовании всего 10–15% вызовов оракула — экономия 85–90%. На реальных конвейерах дообучения LLaMA и Qwen для математических рассуждений (GSM8K) и генерации кода (HumanEval+) метод AQP завершал выборку на 20–50% вызовов с потерей точности не более 5%, а PM сокращал время скоринга до 19 раз (например, с 1079 секунд до 56 для LLaMA-8B) при падении качества менее 10%. Процесс стохастической оценки сходится тем быстрее, чем равномернее распределение. На открытых инструкциях (General) экономия скромнее, но всё ещё значима: производительность росла в 1.2–2.5 раза. Доверительные интервалы вели себя предсказуемо: при равномерном распределении меток сужались быстро, а при сильном перекосе — требовали больше проб. Важно, что ни одна из стратегий не модифицирует модели и не требует переписывать движок базы данных.
Значение
Результаты показывают, что классические оптимизации запросов — приближённые вычисления и прокси-фильтрация — обретают вторую жизнь в эпоху LLM. Они не зависят от внутренностей оценивающей модели и могут быть применены поверх любого существующего конвейера. Это разрушает миф о том, что ускорение ИИ требует новых архитектур: часто достаточно переосмыслить сам поток данных. Для науки о данных это означает потенциальное снижение энергозатрат и стоимости экспериментов, а для разработчиков — инструмент, который можно внедрить без глубокого рефакторинга.
Развитие
В будущем такие Query-Centric подходы можно распространить на многошаговые агентные рассуждения и retrieval-augmented generation. Вместо того чтобы гонять цепочку моделей на каждом документе, система сможет, подобно опытному геологу, по первым признакам штриховать бесперспективные участки. Также возможно объединение с адаптивным роутингом запросов к моделям разной стоимости, что ещё сильнее сократит вычислительный бюджет.
Влияние
Области: обучение языковых моделей, большие аналитические пайплайны, автоматическая разметка данных, рекомендательные системы.
Следующие шаги
Интегрировать предложенные стратегии в движки баз данных (например, DuckDB) и протестировать на более сложных агентных сценариях, где цепочки вызовов LLM включают обращения к внешним инструментам.
Ключевые проблемы
Статья затрагивает проблему масштабирования RLHF и эффективности инференса больших моделей — критический вопрос для устойчивого развития ИИ. Она также перекидывает мост к нерешённой проблеме автоматической оптимизации декларативных пайплайнов, где стоимость вычислений зависит от распределения данных.
Взгляд машины знаний
Этот раздел адресован автору работы и его коллегам. Соседние работы нашёл смысловой поиск по нашему архиву — не по совпадению слов, а по смыслу. Мы не рецензируем: мы показываем поле вокруг.
Что сделано в работе
В работе предложены два подхода к сокращению числа вызовов дорогого оракула в конвейерах RLHF: приближённая обработка запросов (AQP) с прогрессивной выборкой и ранней остановкой на основе доверительных интервалов, а также суррогатная модель-фильтр (PM) на основе дерева решений, обученная на поверхностных признаках. Методы протестированы на бенчмарках TPC-DS и реальных конвейерах дообучения LLaMA и Qwen для задач математических рассуждений и генерации кода, показав значительную экономию вычислительных ресурсов при умеренной потере точности.
В чём сила
Сила работы в переносе зрелых методов оптимизации запросов из области баз данных (AQP, каскадный гейтинг) в контекст RLHF, что позволяет резко снизить затраты на инференс оракула без существенного ущерба качеству. Простота и интерпретируемость суррогатной модели на основе дерева решений, работающей на CPU, делает подход практичным для реальных систем.
Куда можно двигаться
- Можно рассмотреть адаптацию идей из работы о SmoothAgent, где контекст LLM-агентов сшивается без пауз: там применяются механизмы бесшовного переключения между компонентами, что может быть полезно для интеграции AQP и PM в общий конвейер RLHF без задержек на переключение между стратегиями.опора: Кухня без заминок: как SmoothAgent сшивает контекст LLM-агентов без пауз arXiv:2607.00151
- Интересно сопоставить с подходом из работы о том, как ИИ перестал читать лишнее: там, вероятно, используются методы сокращения избыточной информации, которые могут дополнить суррогатную модель-фильтр, улучшив отбор признаков для дерева решений.опора: Как ИИ перестал читать лишнее: метод E3 против информационной энтропии arXiv:2607.13034
Что можно попробовать
- Апробировать комбинацию AQP и PM: использовать AQP для агрегатных запросов, а PM — для ранжирующих, с динамическим выбором стратегии в зависимости от типа запроса.
- Проверить, как обучение дерева решений на более широком наборе поверхностных признаков (например, включая эмбеддинги или статистики текста) повлияет на точность фильтрации.
- Оценить применимость методов к другим типам оракулов, например, к моделям-наградам в задачах с иерархической структурой ответов.
Почему это может быть важно
Предложенные оптимизации могут сделать RLHF более доступным для исследователей и компаний с ограниченными вычислительными ресурсами, ускоряя итерации разработки и снижая углеродный след. Кроме того, перенос методов из баз данных в машинное обучение открывает путь к систематическому применению зрелых техник оптимизации запросов в новых областях.
Работы рядом в нашем архиве
- Почему одни вопросы работают, а другие нетблизость 0.58
- Кухня без заминок: как SmoothAgent сшивает контекст LLM-агентов без паузблизость 0.57
- Гены говорят на разных языках — нейросеть нашла общийблизость 0.57
- Дозорный с картой: охота на планет-странниковблизость 0.56
- Клеточные атласы: кто лучше читает язык тканиблизость 0.56
- Нейросеть-скульптор: как по четырём точкам прочесть гравитационную линзублизость 0.56
- Как ИИ перестал читать лишнее: метод E3 против информационной энтропииблизость 0.55
Вокруг этой работы в архиве пусто: ближайший разбор всего на 0.58, при обычных 0.64. Похоже, рядом почти не бурили.
Самый впечатляющий результат: для генератора кода Qwen3-32B прокси-модель снизила время работы наградчика с 175 секунд до 10 — ускорение в 18 раз, при том что точность (pass@1) осталась в пределах 1% от полного прогона.
Хотя прямого соответствия нет, идея «умного просеивания» напоминает концепцию эффективного использования ограниченных ресурсов для выделения самого ценного — вечная тема инженерной фантастики от плавилен руды до сортировки данных.
Ключевые числа
- ускорение времени скоринга: до 19x
- сокращение вызовов оракула в AQP: 85–90% на равномерных распределениях
- потеря точности в математических задачах: <5%
- доля выборки AQP на LLM-конвейерах: 20–50%
- падение качества на общих инструкциях: ~15% от полного скора