статистика

байесовская иерархическая модель

Модель с параметрами параметров — способ подогнать и популяцию, и её отдельных членов одновременно.
38 статей

Описание

Байесовская иерархическая модель — это статистическая модель с несколькими уровнями параметров, где параметры одного уровня сами моделируются параметрами более высокого уровня. Такая структура позволяет одновременно моделировать отдельные наблюдения и популяцию, из которой они происходят. Например, можно моделировать результаты тестов учеников во многих школах, где у каждой школы есть свой средний балл, но эти школьные средние берутся из общего распределения, представляющего все школы. Такое «заимствование силы» между группами улучшает оценки, особенно для групп с небольшим количеством данных.

История

Иерархические модели берут начало в работах Чарльза Стайна в 1950-х годах о сжимающих оценках и были формализованы в байесовских терминах Линдли и Смитом в 1972 году. Они стали широко использоваться с появлением MCMC в 1990-х годах.

Как это работает

Модель строится по слоям. На самом нижнем уровне находится функция правдоподобия для каждого наблюдения при заданных индивидуальных параметрах. На следующем уровне предполагается, что эти индивидуальные параметры берутся из общего распределения с гиперпараметрами. Для самих гиперпараметров могут быть заданы априорные распределения. Вывод осуществляется путем вычисления совместного апостериорного распределения по всем параметрам, часто с использованием методов Монте-Карло с марковскими цепями (MCMC). Иерархическая структура позволяет данным влиять как на индивидуальные оценки, так и на распределение на уровне популяции, что приводит к сжатию экстремальных оценок к среднему значению группы.

Где применяется

Они используются в мета-анализе, исследованиях в области образования, клинических испытаниях с несколькими центрами и в экологии для моделирования распределения видов по участкам.

Любопытный факт

Иерархические модели являются статистической основой «байесовского сжатия», которое может улучшить прогнозы, подтягивая экстремальные оценки к общему среднему — явление, известное как парадокс Стайна.

Граф понятий →

Статьи по теме · 38

Как услышать форму невидимого роя
Переводчик учит язык не по словарю, а по живым разговорам: он слышит обрывки фраз, шум улицы, разные акценты. Из этого хаоса он собирает правила, которые не записаны ни в одной книге. Так и здесь: вместо того чтобы втискивать массы чёрных дыр в заранее готовую форму, нейросеть слушает сами сигналы и сама выводит, как эти массы распределены.
Жёсткий возраст яичника: как фиброз измеряет репродуктивное старение
Старый матрас перестаёт пружинить: наполнитель сбивается в комки, а пружины теряют упругость. Примерно так же меняется яичник женщины с возрастом, только вместо наполнителя в нём разрастается жёсткая соединительная ткань, а роль пружин играют клетки, поддерживающие яйцеклетки. Учёные впервые смогли измерить эту жёсткость у живых женщин и связали её с шансами на успешное ЭКО.
Как подобрать толщину кристалла за 50 симуляций
Переводчик на переговорах не вслушивается в каждое слово: он ловит смысл целых фраз. В электронной микроскопии похожая задача: нужно понять, какой толщины кристалл и под каким наклоном он стоит в пучке, а на руках только дифракционная картина — узор из тысяч светлых и тёмных пятен.
Хроники на краях хромосом: как прочитать историю каждой теломеры
В конце каждой хромосомы лежит колпачок из повторяющихся букв ДНК — теломера. Долгое время её измеряли как среднюю длину по всем хромосомам, словно судили о библиотеке по средней толщине книг. Но у человека три конца — 17p, 20q и 12p — стабильно короче остальных, и именно они чаще связаны с поломками генома. Среднее число прятало эти различия.
Биомолекулы2026-08-191 минarXiv:2608.18604экспресс
Как инженеры белков учатся на ошибках
Белковый инженер похож на повара, который пытается сделать блюдо одновременно вкусным, полезным и дешёвым. Изменяя один ингредиент, он рискует испортить другой. Раньше компьютерные помощники умели оценивать свойства белков только по отдельности, не видя, как они связаны между собой.
Популяции и эволюция2026-08-151 минarXiv:2608.14965экспресс
Тишина соседа как сигнал безопасности: как стая фильтрует ложные тревоги
Одинокая рыба замечает тень над головой. Бежать? Если это просто лист, она зря потратит силы и выдаст себя хищнику. Если это цапля — промедление смертельно. Таков вечный компромисс одиночки: быстрая реакция означает много ложных тревог, осторожность — риск быть съеденным. В стае всё иначе. Сосед, который спокойно продолжает щипать водоросли, — это живое доказательство того, что опасности нет.
Популяции и эволюция2026-08-141 минarXiv:2608.13995экспресс
Эпидемии дышат в такт: математика сезонных волн
Каждую зиму больницы заполняются, а к лету будто пустеют. Эпидемии дышат, как прилив и отлив. Но почему волны болезней накатывают снова и снова, даже без новых мутаций? Математики нашли ответ в споре двух штаммов. Внутри одной эпидемии часто живут два варианта вируса. Переболев одним, человек получает частичную защиту от другого — это называется перекрёстным иммунитетом.
Предвзятость, которой не нужен учитель: эффект обратной базовой ставки
Представьте склад с коробками яблок и груш. Яблок много, груш мало. Но когда кладовщик говорит «фрукт с гладкой кожурой», мы почему-то чаще вспоминаем редкую грушу, а не частое яблоко. Это проявление эффекта обратной базовой ставки — устойчивого когнитивного искажения, при котором мозг, разрешая неоднозначность между категориями, систематически переоценивает редкие варианты за счёт частых.
Капли-гонщики на струе
Капли воды вылетают из сопла одна за другой, словно велосипедисты на узкой дорожке. Те, что летят быстрее, догоняют медленных — и сливаются с ними в более крупные капли. Этот простой механизм называют баллистической агрегацией, и до сих пор его наблюдали лишь в космических масштабах: так пылинки слипаются в планеты.
Звёздный пинбол: алгоритм, читающий правила хаоса
Сто тысяч звёзд в тесном ядре шарового скопления движутся как стальные шарики в гигантском пинбольном автомате. Каждый «толчок» — гравитационная встреча двойной системы с одиночной звездой — запускает каскад непредсказуемых событий. Пара может разлететься, чужак может выбить одного из партнёров и занять его место, а иногда все трое застревают в запутанном иерархическом танце.
Обработка сигналов2026-07-161 минarXiv:2607.14597экспресс
Алгоритм-самоучка: как восстановить сигнал по шуму
Восстановить целостную картину по обрывкам — всё равно что расслышать мелодию оркестра в шумном зале. Такие задачи стоят в фотометрии — области, измеряющей поток излучения от небесных тел, где по слабому мерцанию восстанавливают яркость звезды. Традиционные методы требуют точных сведений о помехах, а они почти всегда неизвестны.
Популяции и эволюция2026-07-161 минarXiv:2607.15104экспресс
Почему не каждый контакт приводит к болезни: роль дозы и «возраста инфекции»
Классические эпидемиологические модели часто упрощают реальность, представляя заражение как равномерный поток воды, который с одинаковой силой омывает всех входящих в контакт.
Комбинаторика2026-07-131 минarXiv:2607.11325экспресс
Эволюционный клубок: как измерить хаос в сети жизни?
Семейное древо превращается в клубок, если учесть приёмных детей и повторные браки. Эволюция часто похожа на такой клубок: хотя стандартная модель — традиционное представление о дивергентной эволюции, где виды ветвятся подобно дереву — рисует аккуратное древо видов, на деле гены кочуют не только по наследству, но и напрямую между неродственными организмами — этот…
Топология по аромату: как один спин выдаёт квантовую фазу
Долгое время идентификация квантовых фаз напоминала допрос свидетеля: нужно было добраться до каждого уголка системы, чтобы выведать её тайну. В эпоху Ландау порядок связывали с нарушением симметрии и локальным параметром — всё как на ладони.
Нейроны раскрывают секреты за минуты, а не часы
Нейрон похож на сложный музыкальный инструмент. Чтобы понять, как он отзовётся на прикосновение, раньше приходилось подключаться к каждой струне напрямую — процедура тонкая, медленная и доступная лишь для единичных клеток. Матрицы микроэлектродов (сетки из сотен датчиков) слушают весь оркестр сразу, но расшифровать, какой именно инструмент играет, по общему гулу долго не удавалось.
Популяции и эволюция2026-07-052 минarXiv:2607.04456экспресс
Как жизнь учится выживать
В кастрюле с бульоном плавают молекулы. Одни копируют себя сами, другие помогают соседям, третьи только мешают. Это не суп, а модель ранней жизни — репликаторная система. Обычно считают, что правила игры заданы раз и навсегда: кто быстрее размножается, тот и побеждает. Но авторы работы предположили другое — правила тоже могут меняться, просто очень медленно. Они разделили время на два потока.
Гены говорят на разных языках — нейросеть нашла общий
60 мышей, 1980 образцов, 234 пациента с раком лёгкого. За каждым числом — тысячи генов. Их активность измеряют, чтобы понять болезнь. Но данные не однородны: у одного больного оценивают уровень белка (непрерывное число), ставят диагноз (да/нет) и определяют подтип опухоли (категория). Смешать их в одной модели — как сложить градусы Цельсия и километры.
Генетический якорь для здоровья
Вы купили новые кухонные весы, но вместо точного веса они показывают только отклонение от какой-то «нормы». Чтобы узнать, сколько весит яблоко, приходится сначала взвесить десятки других яблок и вычислить среднее. Примерно так работают сегодняшние системы мониторинга здоровья: они неделями собирают данные о пульсе, давлении, сне, чтобы понять, что для вас обычно, а что — отклонение.
Как отличить квантовый кристалл от пены
Пространство-время часто представляют как гладкую ткань. Но на самом микроскопическом уровне эта ткань может оказаться не сплошной, а состоящей из отдельных «атомов» — событий, связанных причинностью. Такая картина мира называется теорией причинных множеств.
Физика и общество2026-05-241 минarXiv:2605.25248экспресс
Сообщества по размеру: когда сети собирают как пазл
Социальная сеть похожа на город: есть районы-гиганты и крошечные переулки. Когда алгоритм ищет в ней сплочённые компании, он часто выделяет пару огромных групп и много мелких осколков. Но заказчику — например, муниципалитету — нужны районы примерно одного размера, чтобы равномерно распределить поликлиники или школы.
Почему чёрные дыры в паре так похожи
В космосе часто встречаются пары сливающихся чёрных дыр, где одна заметно массивнее другой. Эта разница в весе — не просто цифра, а ключ к их общей истории. Астрофизики изучили канал стабильного переноса массы — процесс, при котором вещество с одной звезды плавно перетекает на другую, не разрушая систему.
Мозг как оркестр, который ещё и играет джаз
Инженеры строят автомобиль. Одни собирают точную копию двигателя, каждый поршень и свечу, но машина не едет — нет руля и колёс. Другие создают быстрый самоуправляемый карт, однако его мотор из пластилина не похож на настоящий. Примерно так же обстоят дела в науке о мозге.
Квантовая физика2026-05-161 минarXiv:2605.16978экспресс
Как извлечь максимум из слабого сигнала
Опустите палец в воду один раз — и по единственному ощущению попробуйте угадать её температуру. В квантовом мире такие однократные измерения случаются сплошь и рядом, только угадывать приходится невидимые параметры: скажем, силу сжатия лазерного луча. Ошибка может стоить дорого, а данных для уверенности почти нет. Долгое время математика подобных задач напоминала сборку пазла в темноте.
Сеть, где связи дружат тройками
На вечеринке гости не просто болтают парами, а собираются в кружки по интересам: трое обсуждают кино, четверо — спорт. Обычная схема знакомств, как список контактов в телефоне, такое не ухватит — она видит только связи «один на один». А ведь жизнь состоит из групповых взаимодействий: нейроны в мозгу срабатывают ансамблями, виды в экосистеме влияют друг на друга целыми сообществами.
Физика и общество2026-04-252 минarXiv:2604.23337экспресс
Как гнездо заражает стаю
В любой компании есть свои негласные тройки: трое друзей, которые всегда вместе. А есть пары, которые существуют сами по себе. Оказывается, от того, насколько тройки «вмещают» в себя пары, зависит, как по группе распространяется всё — от вируса до новой идеи. Учёные ввели меру, которую назвали коэффициентом вложенности. Он показывает, как часто связи внутри тройки повторяют связи в парах.
Как мозг балансирует на грани
Мозг устроен как многоэтажное здание: нижние этажи обрабатывают простые сигналы, а верхние собирают их в сложные образы. Учёные давно подозревают, что этот порядок связан с тем, как нейроны работают вместе. Но как именно — оставалось загадкой. Исследователи записали электрическую активность тысяч нейронов в зрительной коре и гиппокампе мыши.
Почему второе прикосновение кажется другим
Рука лежит на столе, и на запястье приходят две короткие вибрации — одна за другой. Нужно сказать, какая сильнее. Задача вроде бы простая, но ответ зависит от того, какая вибрация была первой. Если первая слабая, а вторая сильная, разница кажется больше, чем когда их меняют местами. Это не каприз внимания, а работа постоянного механизма: мозг не ждёт полной информации, а строит догадку и поправляет её на ходу.
Почему одиночные снимки гравитационных волн обманчивы
Альбом с сотнями семейных фотографий хранит множество историй. Если разглядывать каждый снимок отдельно, легко решить, что дядя — настоящий великан: в тот день он стоял на ступеньку выше остальных. Но стоит пролистать весь альбом, и становится ясно — его рост самый обычный, просто ступенька попалась на паре кадров. Похоже работают детекторы гравитационных волн.
Шум, который выдаёт себя за гравитацию
В наушниках, через которые слушают далёкий оркестр, время от времени что-то потрескивает. Потрескивание может быть настолько громким, что заглушит музыку или даже сольётся с ней.
Физика и общество2026-03-151 минarXiv:2603.14564экспресс
Как проредить сеть, не порвав её
Густая сеть знакомств: каждый связан почти с каждым, и в этой паутине трудно понять, кто действительно важен. Слишком много нитей — компьютер задыхается, моделирование буксует. Учёные придумали, как прореживать такие сети, не теряя главного. Идея в том, чтобы убирать связи, которые не участвуют в кратчайших путях.
Методология2026-02-191 минarXiv:2602.17772экспресс
Мозг печатает сам: как пары электродов ускоряют чтение мыслей
Человек смотрит на экран, где мигают буквы. Он не шевелит ни рукой, ни глазом — только мысленно отмечает нужный символ. Датчики на голове ловят слабые электрические волны мозга, и компьютер понимает, какую букву выбрал человек. Так работает интерфейс «мозг — компьютер»: он даёт голос тем, кто не может говорить или двигаться.
Популяции и эволюция2026-02-082 минarXiv:2602.08101экспресс
Вирус как удар: почему вспышки бьют не по среднему
Эпидемия — это не ровный поток, а серия ударов. Один носитель вируса может заразить никого, а другой — сразу пятьдесят человек. Такие редкие, но мощные события называют «королями драконов»: они выбиваются из общей картины и определяют, насколько тяжёлой будет волна болезни. В новой работе вирус сравнивают с шаром в бильярде.
Карта в голове: как мозг переносит опыт
Переезжая в новую квартиру, человек не учится заново открывать двери и включать свет. Опыт из старого дома переносится сам собой: кухня — это место с плитой и мойкой, спальня — с кроватью. Мозг хранит не точную карту, а гибкую схему, которую накладывает на незнакомое пространство. Учёные построили компьютерную модель такого переноса. В ней два этажа.
Шёпот в зале: как собрать материал, глушащий звук на двух частотах сразу
Стальная пластина с решёткой 8×8 ячеек гасит упругие волны сразу в двух частотных коридорах. Это не случайная удача, а итог расчёта по новой схеме: сначала грубый шаблон под низкую частоту, затем тонкая доводка внутри свободных пикселей под высокую. Фононный материал — искусственная структура, которая управляет распространением упругих волн, как светофор управляет потоком машин.
Гибридный спектральный анализ: как байесовский метод совмещает точность параметрики и гибкость непараметрики
Черновой набросок портрета: несколько уверенных линий задают форму, но детали ещё не проработаны. Так параметрическая модель, например векторная авторегрессия (VAR), описывает временной ряд: она улавливает основную структуру, но если реальные данные отклоняются от её предположений, портрет получается искажённым.
Переводчик, который не теряет смысл
Метеоролог смотрит на карту давления и пытается понять, куда двинется циклон. У него есть модель, но она ошибается, и есть свежие измерения, но они неполны. Соединить их так, чтобы прогноз остался физически осмысленным, труднее, чем кажется: классические методы иногда выдают отрицательную температуру или невозможную вероятность. Новый подход смотрит на задачу глазами квантовой механики.
Совет из сотни невысоких экспертов предсказывает капризы Эль-Ниньо
Барометр в порту Папеэте на Таити и барометр в австралийском Дарвине разделяют 7400 километров. Когда один показывает высокое давление, другой часто показывает низкое, и эта разница, названная Южной осцилляцией, управляет дождями от Индии до Бразилии. Предсказать её хотя бы на месяц вперёд — задача с вековой историей.
Оркестр, где каждый инструмент вступает по своему расписанию
Оркестр играет сложную пьесу, и каждая группа инструментов вступает по своему расписанию. Скрипки могут замедлиться, пока духовые держат прежний темп, а ударные вдруг взорвутся дробью. Дирижёр слышит всё сразу, но определить, в какой именно момент изменился ритм у флейт, а не у виолончелей, почти невозможно.