
Сэмплирование многомерного апостериорного распределения по одной координате за раз из её условных распределений.Сэмплирование по Гиббсу — это алгоритм марковской цепи Монте-Карло (MCMC) для генерации выборок из многомерного распределения вероятностей, когда прямое сэмплирование затруднительно. Он работает, обновляя по одной переменной за раз, извлекая каждое новое значение из её условного распределения при текущих значениях всех остальных переменных. Этот подход особенно полезен, когда полное совместное распределение сложно, но условные распределения просты и легко сэмплируются. Сэмплирование по Гиббсу является частным случаем алгоритма Метрополиса-Хастингса, но оно всегда принимает предложенное перемещение, что делает его вычислительно эффективным во многих ситуациях.
Метод назван в честь физика Джозайи Уилларда Гиббса, но формализован Стюартом Геманом и Дональдом Геманом в 1984 году в контексте восстановления изображений, а позже обобщён другими исследователями.
Алгоритм начинается с начального набора значений для всех переменных. На каждой итерации он циклически проходит по переменным в фиксированном порядке (или случайно). Для каждой переменной он сэмплирует новое значение из её условного распределения, удерживая все остальные переменные на их текущих значениях. Эти новые значения немедленно используются в последующих условных распределениях. За многие итерации последовательность выборок сходится к совместному распределению, при условии, что цепь неприводима и апериодична. Ключевой момент — условные распределения должны быть известны и легко сэмплируемы, что часто имеет место в иерархических байесовских моделях.
Он широко используется в байесовской статистике для сэмплирования из апостериорных распределений, например, в латентном размещении Дирихле (LDA) для тематического моделирования в обработке естественного языка, а также в анализе генетических данных.
Несмотря на название, алгоритм не был разработан Гиббсом; имя было придумано Геманами из-за аналогии с распределениями Гиббса в статистической механике.











