Золото не лежит на поверхности — оно спрятано в тоннах пустой породы. Чтобы добыть грамм драгоценного металла, старатели просеивают кубометры грунта. Примерно так же обучаются современные большие языковые модели: тысячи ответов-кандидатов прогоняются через дорогую модель-оценщик (оракул — модель, дающая точные оценки), чтобы выбрать один — лучший. Процесс напоминает конвейер, где каждый шорох лопаты стоит вычислительных ресурсов.

При дообучении модели Llama 3 для каждого примера генерируется до 32 ответов и только один — с высшей оценкой — идёт в следующий раунд. Цикл повторяется шесть раз, а оракул вызывается десятки миллионов раз. Такой подход унаследован из обучения с подкреплением на основе обратной связи — RLHF. Но если посмотреть на процесс как на SQL-запрос «выбрать лучший, отсортировав по оценке», становится ясно: не обязательно гонять дорогого оценщика на каждом кандидате. Здесь на помощь приходят классические приёмы из мира баз данных.

Первый метод — приближённая агрегация (Approximate Query Processing). Как при разведке месторождения мы берём пробы грунта, оцениваем среднее содержание золота и прекращаем, когда доверительный интервал (диапазон, в котором лежит истинное значение с заданной вероятностью) сужается до нужного порога. В машинном обучении это прогрессивная выборка: оракул вызывается для всё новых случайных ответов, пока оценка агрегата — суммы, среднего или максимума — не стабилизируется. Для запросов вроде «топ-1» критерием становится стабильность лучшего результата. Второй метод — суррогатная модель (Proxy Model). На небольшом наборе ответов, уже размеченных оракулом, обучается лёгкое дерево решений. Оно смотрит на простые признаки — длину текста, наличие формул, специальные символы — и мгновенно отсеивает заведомо слабые варианты. В отличие от нейросетевых прокси, которые требуют графических ускорителей, дерево работает на обычном процессоре и тратит миллисекунды на кандидата. Это каскадный гейтинг: дорогой оракул заглядывает только в «спорные» случаи.

На тестах с аналитическими запросами метод приближённой агрегации давал ошибку менее 10%, задействовав лишь 10–15% вызовов оракула. На конвейерах дообучения моделей LLaMA и Qwen для математических рассуждений и генерации кода он обходился 20–50% вызовов с потерей точности не выше 5%. А суррогатные деревья сокращали время скоринга до 19 раз — например, с 1079 секунд до 56 для восьмимиллиардной LLaMA. Процесс стохастической оценки сходится тем быстрее, чем равномернее распределение данных. На простых инструкциях ускорение скромнее, но всё ещё в разы.

Эти результаты разрушают миф о том, что ускорение искусственного интеллекта непременно требует новых архитектур. Иногда достаточно переосмыслить поток данных: перестать копать каждую лопату породы, а просеивать её умно. Классические оптимизации запросов обретают вторую жизнь в эпоху больших языковых моделей. Дальше — больше: подобные подходы распространятся на многошаговые рассуждения и поиск по документам. Система, словно опытный геолог, будет по первым признакам отбрасывать бесперспективные участки. Так промывочный лоток превращается в автоматический сепаратор — и золото начинает блестеть быстрее.