При добыче золота тонны пустой породы проходят через сито, чтобы найти крупицу металла. Примерно так же в машинном обучении большие языковые модели генерируют множество ответов, и каждый проверяет дорогая нейросеть-оценщик (оракул — программа, дающая точную оценку). Процесс напоминает конвейер, где каждый шаг тратит ресурсы.
Учёные применили два старых трюка из мира баз данных. Первый — проверять не все ответы подряд. Как геолог берёт пробы грунта, так и здесь: по нескольким случайным ответам вычисляют среднюю оценку и следят за доверительным интервалом (диапазоном, где лежит реальное значение). Когда разброс перестаёт сильно меняться, проверку останавливают. Этот метод случайных проб сокращает число вызовов оракула в разы.
Второй способ — поставить быстрое «сито» на входе. На небольшом наборе уже проверенных ответов обучают суррогатную модель (лёгкую замену оракула). Она смотрит на простые признаки — длину текста, наличие цифр — и сразу отбрасывает слабые варианты. Оракул вызывают только для оставшихся. Такой подход похож на промывку золотого песка: сначала водой смывают лёгкую породу, а потом ищут крупицы в тяжёлом остатке. Всё это работает поверх обучения с подкреплением (метода, где модель учится на оценках), но делает его гораздо эффективнее.
Весь этот случайный отбор превращает медленный перебор в быстрый процесс — как автоматический сепаратор на золотом прииске. Старые методы обработки запросов дарят новую жизнь обучению нейросетей.
Самый поразительный результат: для нейросети Qwen3-32B время проверки ответов сократилось с почти трёх минут до десяти секунд.