AIC против BIC: разница и сравнение

Основные выводы

1. Определение: AIC (информационный критерий Акаике) и BIC (байесовский информационный критерий) являются статистическими мерами, используемыми при выборе модели и статистическом моделировании для оценки компромисса между соответствием модели и ее сложностью. Они используются для сравнения различных моделей и выбора той, которая лучше всего объясняет данные.
2. Цель: AIC и BIC служат схожим целям, но используют несколько разные подходы. AIC стремится оценить относительное качество статистических моделей для данного набора данных и помогает выбрать модели, которые минимизируют потерю информации. BIC, с другой стороны, более строго наказывает сложность модели, что может привести к выбору более простых моделей.
3. Критерий выбора: В целом, при сравнении моделей, использующих AIC и BIC, более низкие значения указывают на лучшее соответствие. Однако BIC имеет тенденцию отдавать предпочтение более простым моделям, чем AIC. Следовательно, если существует компромисс между соответствием модели и сложностью, BIC, скорее всего, отдаст предпочтение более простой модели по сравнению с AIC.
4. Таким образом, AIC и BIC являются статистическими данными.

Что такое АИК?

Информационный критерий Акаике (AIC) — это статистическая мера, обычно используемая при выборе и оценке модели, особенно в регрессионном анализе и прогнозирующем моделировании. Его разработал японский статистик Хиротугу Акаике.

AIC — это широко используемый статистический инструмент для сравнения моделей и обеспечения баланса между их соответствием и сложностью. Это ценный инструмент выбора модели, помогающий исследователям и аналитикам выбрать наиболее подходящую модель для своих данных.

Что такое БИК?

Байесовский информационный критерий (BIC), или критерий Шварца, представляет собой статистическую меру, используемую для выбора модели и оценка. По назначению он похож на информационный критерий Акаике (AIC), но имеет некоторые отличительные характеристики.

Байесовский информационный критерий (BIC) — это инструмент выбора модели, который больше подчеркивает простоту модели, чем AIC. Это особенно полезно при работе с небольшими наборами данных и может помочь предотвратить включение ненужных параметров в статистические модели.

Разница между AIC и BIC

1. AIC основан на оценке максимального правдоподобия параметров модели. Он рассчитывается по формуле AIC = -2 * логарифм правдоподобия + 2 * количество параметров. И наоборот, BIC также использует вероятность, но включает штраф за количество параметров. Он рассчитывается как BIC = -2 * логарифм правдоподобия + логарифм (размер выборки) * количество параметров.
2. AIC имеет тенденцию в некоторой степени отдавать предпочтение более сложным моделям, поскольку в нем налагается меньше параметров, чем в BIC. BIC накладывает более строгий штраф за сложность модели. Это настоятельно не рекомендует включать ненужные параметры, которые могут привести к упрощению моделей.
3. Выбирая между моделями AIC, вы должны выбрать модель с наименьшим значением AIC. При использовании BIC вы должны выбрать модель с наименьшим значением BIC.
4. AIC основан на теории информации и функции правдоподобия. В его основе лежит принцип минимизации потерь информации. BIC основан на байесовских принципах и включает байесовский подход к выбору модели. Его цель — найти модель, которая наиболее вероятна с учетом данных.
5. AIC часто используется, когда основное внимание уделяется выбору модели и необходимо учитывать компромисс между соответствием модели и ее сложностью. Это полезно в широком спектре статистического анализа. BIC особенно полезен, когда необходимо строго наказывать сложные модели, например, в ситуациях с ограниченными данными, когда простота высоко ценится, или при выборе байесовской модели.

Сравнение AIC и BIC

Параметры сравнения	АПК	BIC
Вес в пользу простоты	AIC относительно более снисходителен к сложности модели.	BIC решительно отдает предпочтение более простым моделям и больше наказывает за сложность.
Асимптотическая согласованность	AIC по своей сути не привязан к байесовскому моделированию и может использоваться в частотном и байесовском контекстах.	AIC является последовательным, то есть он выбирает истинную модель по мере того, как размер выборки увеличивается до бесконечности.
Предотвращение переобучения	AIC может быть полезен, если вы хотите избежать серьезного переоснащения, но открыты для более сложных моделей.	AIC последовательна и выбирает истинную модель по мере того, как размер выборки увеличивается до бесконечности.
Использование в байесовском моделировании	BIC асимптотически последовательен, но больше ориентирован на экономию модели даже в больших выборках.	BIC имеет более тесную связь с байесовскими методами и часто используется при выборе байесовской модели из-за ее байесовской основы.
Интерпретация информационных критериев	Основная интерпретация AIC заключается в том, что она аппроксимирует ожидаемое расхождение Кульбака-Лейблера между истинной моделью и предполагаемой моделью.	BIC предотвращает переоснащение, жестко наказывая сложные модели, что делает его пригодным для небольших наборов данных.

Рекомендации

1. https://journals.sagepub.com/doi/abs/10.1177/0049124103262065
2. https://psycnet.apa.org/record/2012-03019-001