статистика

информационный критерий

Сравнение моделей, которое уравновешивает качество подгонки и число параметров, как в AIC и BIC.
37 статей

Описание

Информационный критерий — это числовая оценка, используемая для сравнения конкурирующих статистических моделей на основе одного и того же набора данных. Основная идея заключается в балансировании двух противоположных целей: модель должна хорошо соответствовать данным, но не должна быть настолько сложной, чтобы просто запоминать шум. Информационные критерии формализуют этот компромисс, объединяя меру качества подгонки — обычно максимальное правдоподобие — с штрафным членом, который растет с числом параметров модели. Наиболее известными примерами являются информационный критерий Акаике (AIC) и байесовский информационный критерий (BIC), каждый из которых выведен из разных теоретических оснований, но служит одной и той же практической цели.

История

AIC был предложен Хиротугу Акаике в 1974 году, а BIC разработан Гидеоном Шварцем в 1978 году. Оба критерия были мотивированы теорией информации и с тех пор стали стандартными инструментами в статистике и многих научных областях.

Как это работает

Для данной модели вычисляется максимальное значение функции правдоподобия, которое количественно определяет, насколько вероятны наблюдаемые данные в рамках этой модели. Затем информационный критерий вычитает штраф, зависящий от числа параметров: AIC использует штраф, равный удвоенному числу параметров, а BIC — произведение натурального логарифма объема выборки на число параметров. Меньшие значения критерия указывают на лучшую модель. Разность между значениями критериев для двух моделей может интерпретироваться как приблизительная мера относительной поддержки, при этом разность около 10 является сильным свидетельством в пользу лучшей модели.

Где применяется

В физике информационные критерии используются для выбора между конкурирующими теоретическими моделями — например, для определения, лучше ли спектральная линия описывается одним пиком или двумя перекрывающимися пиками, или предпочитают ли космологические данные плоскую вселенную с космологической постоянной более экзотическим альтернативам.

Любопытный факт

AIC выведен из информационно-теоретической меры, называемой расходимостью Кульбака-Лейблера, которая количественно определяет, сколько информации теряется, когда одно распределение вероятностей аппроксимирует другое.

Граф понятий →

Статьи по теме · 37

Как подобрать толщину кристалла за 50 симуляций
Переводчик на переговорах не вслушивается в каждое слово: он ловит смысл целых фраз. В электронной микроскопии похожая задача: нужно понять, какой толщины кристалл и под каким наклоном он стоит в пучке, а на руках только дифракционная картина — узор из тысяч светлых и тёмных пятен.
Весы для мыслей: как измерить, что нейроинтерфейс действительно говорит
В 1980-х годах соревнование DARPA по распознаванию речи положило конец спору между статистическими методами и рукописными правилами, задав единый стандарт для всей области. Для речевых нейроинтерфейсов, переводящих мозговую активность в слова, такого общего эталона до сих пор не было: каждая система использует свой словарь, способ записи и тип речи.
Предвзятость, которой не нужен учитель: эффект обратной базовой ставки
Представьте склад с коробками яблок и груш. Яблок много, груш мало. Но когда кладовщик говорит «фрукт с гладкой кожурой», мы почему-то чаще вспоминаем редкую грушу, а не частое яблоко. Это проявление эффекта обратной базовой ставки — устойчивого когнитивного искажения, при котором мозг, разрешая неоднозначность между категориями, систематически переоценивает редкие варианты за счёт частых.
Квантовая физика2026-08-042 минarXiv:2608.03944экспресс
Квантовая защита против классической памяти: почему идеальная коррекция стирает следы
Квантовый компьютер — вычислительная машина, использующая квантовые состояния для обработки информации, — похож на хрупкую снежинку, лежащую на тёплой ладони. Малейшее дуновение тепла или лёгкая вибрация — и она превращается в каплю. Чтобы снежинка выжила, её постоянно поправляют, восстанавливая прежнюю форму.
Химическая физика2026-08-032 минarXiv:2608.02536экспресс
Как зафиксировать переходное состояние при фолдинге белка
Представьте горный перевал, соединяющий две долины. В одной долине белок пребывает в свёрнутом, функциональном состоянии, в другой — в развёрнутом, хаотичном. Чтобы перейти из одной формы в другую, молекуле необходимо преодолеть седловину — наивысшую точку на энергетическом ландшафте.
Нейтронные звёзды-близнецы: когда точность меняет картину
Нейтронная звезда — это бывшее ядро массивной звезды, сжатое до размеров города. Чайная ложка её вещества весит как гора. Но внутри этого сверхплотного шара может скрываться сюрприз: под немыслимым давлением нейтроны распадаются на кварки, и звезда получает новое, более компактное ядро.
Системы и управление2026-07-161 минarXiv:2607.14606экспресс
Как за секунды распознать врага в небе
Пилоту в воздушном бою необходимо мгновенно идентифицировать объект и его намерения. Традиционные системы ожидают полного набора радарных данных — это сродни вратарю, который реагирует лишь после удара по мячу. Новый алгоритм действует как опытный вратарь: анализируя начальные движения нападающего, он предсказывает манёвр цели задолго до завершения траектории.
Машинное обучение2026-07-161 минarXiv:2607.14995экспресс
MseaCL: как научить ИИ различать похожие МРТ-снимки, используя текстовые отчёты
Обычные алгоритмы компьютерного зрения воспринимают медицинские изображения как набор несвязанных фрагментов — любые два несовпадающих снимка для них абсолютно различны. Это напоминает попытку отличить близнецов, не зная об их родстве. В медицине же пациенты с одним заболеванием часто выглядят на МРТ почти идентично, и алгоритм ошибается, путая «родственные» случаи.
Обработка сигналов2026-07-152 минarXiv:2607.13583экспресс
Оркестр из неидеальных элементов: как технологические неровности парадоксально усиливают радиосигнал
Представьте себе умную антенную панель — фазированную решётку, — которая управляет радиоволнами, несущимися с скоростью света. Она работает подобно оркестру: сотни миниатюрных излучателей, словно музыкальные инструменты, по команде с изменяемым напряжением сдвигают фазу (момент «вступления» в общее звучание).
Системы и управление2026-07-151 минarXiv:2607.14245экспресс
Энтропийная навигация: как мера беспорядка ведёт роботов к цели
Представьте поисковую группу, прочёсывающую туманное поле. На старте люди расходятся широко: высокая «температура» поиска означает большое разнообразие попыток. Обнаружив след, они сближаются. Но скорость сближения критична — сузить круг слишком рано, и лучшая находка останется в стороне. Координатор оценивает разброс поисковиков и командует, когда ускорить или притормозить.
Компьютерное зрение2026-07-141 минarXiv:2607.12375экспресс
Искусственный интеллект с лупой и спектрометром: как нейросеть оценивает качество изображений
Оценка качества снимка — это работа для дотошного контролёра с целым арсеналом инструментов. Нейросеть IQA-T1 действует именно так: она не просто разглядывает картинку, а методично применяет то спектроскоп, то люксметр. Цифровой шум, словно рябь на воде, маскирует дефекты, но анализ частот — спектроскопия изображения — позволяет выявить потерю резкости.
Пространственная геометрия звука: как алгоритм учится слышать каждого в шумной комнате
В шумной комнате человек выделяет нужный голос благодаря бинауральному слуху: два уха улавливают микроскопическую разницу во времени прихода звуковых волн и их интенсивности. Компьютер с массивом микрофонов действует аналогично — он извлекает пространственные подсказки, вычисляя направление на каждый источник звука.
Системы и управление2026-07-131 минarXiv:2607.11122экспресс
Контроллер-поплавок: стабильность через мгновенное уравнение равновесия
Поплавок в бачке унитаза — идеальный контроллер: чувствуя уровень воды, он мгновенно приводит систему в равновесие без оглядки на прошлое. Инженеры применили этот принцип к нейросетям. Они переписали стандартную архитектуру так, что вместо каскада вычислений она решает одно уравнение равновесия.
Квантовая физика2026-07-071 минarXiv:2607.06404экспресс
Квантовый код под копирку
Квантовый компьютер похож на оркестр без дирижёра: каждый кубит — музыкант, и малейший сбой сбивает всю симфонию. Чтобы музыка не превратилась в какофонию, придумали квантовые коды, исправляющие ошибки. Один из самых перспективных подходов — использовать для кодирования не отдельные частицы, а целые световые волны, так называемые бозонные коды. Но есть загвоздка.
Водораздел данных: как простой переключатель «да/нет» раскрывает многомерные модели
На топографической карте дождевые капли выбирают путь: упав на один склон, они стекают в реку А, на другой — в реку Б. Наблюдатель видит лишь извивы рек (переменные отклика Y) и знает, с какого склона пришла вода (инструмент Z), но не видит самих капель (ненаблюдаемых факторов ε).
Сквилер: когда модель визжит, не веря вашим данным
Статистические модели — это попытка натянуть идеальную математическую паутину на неровный ландшафт данных. Когда модель сопротивляется, она издаёт напряжение, но мы привыкли его игнорировать. Исследователи часами вглядываются в графики остатков, пытаясь угадать, где модель «трещит по швам». Сквилер переводит это сопротивление в звук.
Кто лечит лучше: универсальный ИИ или узкий специалист
Каждую неделю врачи задают ИИ-помощникам миллионы вопросов у постели больного. Но проверяют эти инструменты обычно на экзаменационных задачках, а не на том, что спрашивают в реальной клинике. Группа исследователей решила это исправить. Они собрали 620 настоящих вопросов от докторов из 30 специальностей — от кардиологии до онкологии.
Материаловедение2026-06-061 минarXiv:2606.08148экспресс
Информационное сопоставление: как малые данные предсказывают прочность металлов
Шеф-повар не тратит продукты, готовя всё блюдо, чтобы оценить вкус, — он пробует каплю соуса. Та же логика лежит в основе метода «информационного сопоставления» (information matching) для предсказания прочности металлов.
Как проверить предсказатель, не зная ответа
Лаборатория отправляет роботу список из тысячи молекул-кандидатов для нового лекарства. Робот-предсказатель, натренированный на старых данных, выдаёт для каждой оценку «подойдёт — не подойдёт». Но когда список приходит из незнакомой области — другого вируса или редкой опухоли — робот начинает путаться. Его уверенность остаётся высокой, а реальные попадания падают до нуля.
Машинное обучение2026-05-081 минarXiv:2605.07878экспресс
Почему одни вопросы работают, а другие нет
Вы пробуете блюдо в ресторане, но меню не видели. Задаёте официанту вопросы — слишком солёное? с какими специями? — и по ответам пытаетесь угадать, что за повар его готовил. Примерно так же исследователи изучают современные нейросети, когда доступ к ним есть только через API (программный интерфейс, где можно задать вопрос и получить ответ, но нельзя заглянуть внутрь).
Сознание как сбой термостата
Термостат держит в комнате 20 градусов. Откройте окно зимой – он включит обогрев, чтобы вернуть равновесие. Мозг делает похожую вещь: он постоянно предсказывает, что произойдёт через мгновение, и поправляет себя, если ошибся. Так он учится.
Методология2026-04-251 минarXiv:2604.23463экспресс
Как два врача вместе точнее ставят диагноз
Два специалиста смотрят на один и тот же снимок молочной железы. Один — опытный врач, второй — программа с искусственным интеллектом. Иногда их мнения совпадают, иногда расходятся. От того, насколько часто они соглашаются друг с другом, зависит, насколько точно они вместе отличат здоровую ткань от опухоли.
Почему ДНК копирует себя не самым экономным способом
Если записать рецепт белка на листке и отдать его в типографию, опечатка в одной букве может испортить весь тираж. Клетка сталкивается с той же проблемой, когда копирует свою ДНК — длинную инструкцию из четырёх химических «букв». Но типография не просто перепечатывает текст: каждая буква в новой цепи собирается из отдельных деталей, плавающих вокруг, и на каждую тратится энергия.
Почему второе прикосновение кажется другим
Рука лежит на столе, и на запястье приходят две короткие вибрации — одна за другой. Нужно сказать, какая сильнее. Задача вроде бы простая, но ответ зависит от того, какая вибрация была первой. Если первая слабая, а вторая сильная, разница кажется больше, чем когда их меняют местами. Это не каприз внимания, а работа постоянного механизма: мозг не ждёт полной информации, а строит догадку и поправляет её на ходу.
Экзамен для ИИ-учёного
Лучший ИИ-помощник учёного справился с экзаменом хуже, чем троечник с контрольной. Всего 21% правильных ответов — и это потолок для четырёх сильнейших моделей. Задачи для нового теста писали не программисты, а аспиранты: люди, которые каждый день сталкиваются с настоящей наукой. Тест назвали COMPOSITE-STEM. В нём 70 задач по физике, биологии, химии и математике.
Мозг учится, делая нейроны похожими
Кухонный нож и овощечистка по отдельности справляются с разными задачами, но когда повар учится новому рецепту, он часто хватается за один и тот же нож для всего. Похоже, так же поступает мозг, когда осваивает новый навык различения образов. В эксперименте обезьяны неделями тренировались различать едва заметные отличия в сложных узорах.
Биомолекулы2026-01-311 минarXiv:2602.00660экспресс
Как белки находят свой минимум
Чтобы отличить один белок от другого, нужно описать его форму и состав. Таких описаний — десятки: длина молекулы, заряд, растворимость. Но не все они одинаково полезны. Метод под названием Differentiable Information Imbalance (DII) умеет отбирать самые информативные характеристики, отбрасывая лишние.
Точки слома: как реставратор чистит данные
Старые метеосводки хранят сюрпризы: столбик термометра вдруг подпрыгивает на полградуса не из-за погоды, а потому что на станции сменили прибор. Такие резкие сдвиги в данных называют точками изменения, и отделить их от настоящих климатических сигналов — задача, над которой бьются статистики.
Материаловедение2026-01-241 минarXiv:2601.17253экспресс
Нейросеть отличила настоящие кристаллы от фантазий
Пористые минералы-цеолиты работают как крошечные губки с отверстиями строго определённого размера. Через такие отверстия проходят молекулы одного сорта и застревают другие — на этом построена очистка воды, разделение газов и катализ в нефтехимии. Но придумать новый цеолит на бумаге гораздо проще, чем вырастить его в лаборатории: у кристалла должны сойтись десятки тонких условий.
Медицинская физика2026-01-231 минarXiv:2601.17165экспресс
Проверка для рентгена звуком
Врач смотрит на снимок груди, чтобы найти подозрительное уплотнение. Если картинка красивая и гладкая, но уплотнение на ней исчезло — толку от такого снимка мало. Именно с этой проблемой столкнулись исследователи, разработавшие новый способ проверки программ для фотоакустической томографии.
Физика и общество2026-01-212 минarXiv:2601.14632экспресс
Контактный след: почему пропуск одного звена рушит всю цепочку
Переводчик отвлекается на каждый шорох в зале — и час совещания превращается в два. Так и в борьбе с эпидемией: служба отслеживания контактов пытается восстановить цепочку заражений, но всегда что-то упускает. Кто-то не помнит, с кем встречался, кто-то не отвечает на звонок, кто-то вообще не попал в поле зрения врачей. Вопрос в том, насколько эти пропуски критичны.
Как выжать максимум из каждого фотона
Флуоресцентный микроскоп похож на фотографа, который снимает в темноте: чем больше кадров, тем лучше видно, но каждый кадр стоит фотонов. В живой клетке их запас ограничен, иначе свет просто убьёт образец. Поэтому учёные предложили не увеличивать число фотонов, а умнее выбирать моменты, когда их ловить.
Шум с памятью: как цветной шум меняет причинность климата
Океанские течения переплетаются, как липкая паутина: каждое возмущение оставляет след, который не исчезает мгновенно. Климатологи привыкли считать случайные толчки в этой паутине невидимыми и беспамятными, но новое исследование показывает, что у шума есть память, и она усиливает связи между далёкими узлами.
Калибровка под малые данные: алгоритм GOAL
Оптик крутит оправу, ловит фокус, и размытое пятно становится чёткой картинкой. Примерно так же работает новый алгоритм GOAL: он поворачивает облако данных, сжимает лишние измерения и наводит резкость на то, что действительно важно. Когда признаков больше, чем наблюдений, стандартные методы напоминают попытку разглядеть лицо через запотевшее стекло: шум забивает сигнал. GOAL действует иначе.
Лотерейный билет климата: почему Эль-Ниньо греет втрое сильнее, чем кажется
Выигрыш в лотерею меняет жизнь победителя, но для статистики всех игроков почти ничего не значит: вероятность выигрыша ничтожна, и средний выигрыш на билет остаётся крошечным. В климате есть похожие события: фаза Эль-Ниньо случается не каждый год, зато когда случается, температура Тихоокеанского Северо-Запада меняется заметно.
Где ломается лёд: как найти переломы в случайном потоке
Ледяной покров реки кажется цельным, но под ним есть трещины, которые меняют течение. Так и временной ряд: за ровной поверхностью чисел скрываются моменты, когда правила игры меняются. Эти моменты называют точками смены, и их поиск похож на простукивание льда в поисках слабых мест.
Найти кукловодов: как причинность спасает предсказания от взрыва вычислений
Кукловод дёргает за нити, и марионетка пляшет. В предсказании будущего по временным рядам роль кукловодов играют немногие переменные, которые действительно управляют системой. Остальные показатели лишь повторяют их движения, создавая видимость сложности. Задача в том, чтобы найти этих кукловодов и следить только за их пальцами, а не за всей сценой.