Тысяча частиц вступают в градиентный танец. Каждая чувствует притяжение к области высокой вероятности и отталкивание от соседей — чтобы не скучиваться. Это метод SVGD (перемещение частиц для приближения к сложному распределению), элегантный способ порождать выборки из запутанных распределений, например, для байесовского вывода. В идеале, когда частиц бесконечно много, их поток описывается уравнением в частных производных типа Маккина–Власова — оркестр играет партитуру, где каждая скрипка слышит весь зал. Но на практике число частиц конечно. Классические оценки распространения хаоса (свойство независимости при большом числе) гарантируют, что конечный ансамбль похож на бесконечный лишь короткое время. Затем ошибка нарастает катастрофически — как если бы оркестранты постепенно расходились каждый в своём темпе.
Исследователи предложили два контрастных приёма, чтобы оркестр не сбивался. Первый — стратегия отсечки. На начальном этапе, пока ошибка мала, частицы сверяются с эталонным конечновременным сравнением со средним полем (усреднённое взаимодействие бесконечного числа). Затем, спустя время порядка логарифма от числа частиц, обе системы успевают сойтись к целевой мере независимо. Дальше их близость поддерживается через диссипацию энтропии: различие тает, как снег под мартовским солнцем. Ключевое уравнение:
\[ \frac{d}{dt} \mathrm{KL}(\mu_t \| \pi) = - \mathrm{KSD}^2(\mu_t \| \pi) \]
Скорость убывания относительной энтропии (мера непохожести распределений) равна квадрату расхождения Стейна (особая мера различия через оператор Стейна). Чем ближе к цели, тем медленнее тает, но процесс не прекращается.
Второй подход вскрыл изящную структуру для специальных мишеней. Если целевое распределение получено обратимым преобразованием из стандартного гауссовского, а ядро (правило сходства между частицами) подобрано под стать, то динамика замыкается на конечном числе наблюдаемых — первых и вторых моментах. Тогда частицы и среднее поле подчиняются одной системе обыкновенных дифференциальных уравнений. Это похоже на оркестр, где все музыканты следят за первой скрипкой и автоматически выстраивают гармонию.
Результаты оправдывают долговременную работу конечных ансамблей: теперь не нужно гадать, не начнёт ли ошибка расти неконтролируемо. Более того, проектируя ядро под конкретную мишень, можно добиться не только практической, но и теоретической эффективности. Естественное продолжение — поиск других семейств мишень-ядро, допускающих такое же замыкание, например, из экспоненциальных семейств. Другое направление — ослабление требований гладкости, чтобы охватить популярные на практике ядра. Ключевой следующий шаг — разработать численные методы для автоматического построения конечномерных ядер под заданную мишень. Эта работа напрямую связана с фундаментальной проблемой распространения хаоса в неравновесной статистической механике и с обоснованием методов среднего поля. Оркестр частиц теперь знает: его музыка может звучать вечно, не теряя стройности.
SVGD был изобретён для вариационного вывода, но позже обнаружилась его глубокая связь с диффузионными моделями, набирающими популярность в генерации изображений.