Добыча драгоценных ответов: секрет ускорения нейросетей ✛ ✎

Оригинал: "Query-Centric Optimization of AI Workflows via Approximate Query Processing and Proxy Models"
arXiv:2607.00254 · 2026-06-30 · arXiv non-exclusive · собственный разбор · 1 мин
Два простых приёма из мира баз данных позволяют обучать нейросети в разы быстрее, почти не теряя в качестве.

При добыче золота тонны пустой породы проходят через сито, чтобы найти крупицу металла. Примерно так же в машинном обучении большие языковые модели генерируют множество ответов, и каждый проверяет дорогая нейросеть-оценщик (оракул — программа, дающая точную оценку). Процесс напоминает конвейер, где каждый шаг тратит ресурсы.

Учёные применили два старых трюка из мира баз данных. Первый — проверять не все ответы подряд. Как геолог берёт пробы грунта, так и здесь: по нескольким случайным ответам вычисляют среднюю оценку и следят за доверительным интервалом (диапазоном, где лежит реальное значение). Когда разброс перестаёт сильно меняться, проверку останавливают. Этот метод случайных проб сокращает число вызовов оракула в разы.

Второй способ — поставить быстрое «сито» на входе. На небольшом наборе уже проверенных ответов обучают суррогатную модель (лёгкую замену оракула). Она смотрит на простые признаки — длину текста, наличие цифр — и сразу отбрасывает слабые варианты. Оракул вызывают только для оставшихся. Такой подход похож на промывку золотого песка: сначала водой смывают лёгкую породу, а потом ищут крупицы в тяжёлом остатке. Всё это работает поверх обучения с подкреплением (метода, где модель учится на оценках), но делает его гораздо эффективнее.

На реальном конвейере для генератора кода время проверки упало с 175 секунд до 10 — ускорение в 18 раз, а точность почти не пострадала.

Весь этот случайный отбор превращает медленный перебор в быстрый процесс — как автоматический сепаратор на золотом прииске. Старые методы обработки запросов дарят новую жизнь обучению нейросетей.

Самый поразительный результат: для нейросети Qwen3-32B время проверки ответов сократилось с почти трёх минут до десяти секунд.

Учёные
David DeutschErwin SchrödingerJohn Stewart BellLouis de BroglieLov GroverPaul Benioff
Понятия
открытие лекарств с помощью ИИ оптимизация ресурсов квантовых вычислений самокоррекция ИИ параллельная обработка большие языковые модели искусственный интеллект квантовый алгоритм резервуарные вычисления языковая модель белков активное обучение методы регуляризации гибридный алгоритм вычислительная стоимость обработка естественного языка анализ речи с помощью ИИ расчёты из первых принципов устойчивое машинное обучение регуляризация обучение профильное правдоподобие