AIC проти BIC: різниця та порівняння

Ключові винесення

1. Визначення: AIC (інформаційний критерій Акаіке) і BIC (байєсівський інформаційний критерій) є статистичними показниками, що використовуються у виборі моделі та статистичному моделюванні для оцінки компромісу між придатністю моделі та її складністю. Вони використовуються для порівняння різних моделей і вибору тієї, яка найкраще пояснює дані.
2. Мета: AIC і BIC служать схожим цілям, але використовують дещо різні підходи. AIC прагне оцінити відносну якість статистичних моделей для даного набору даних і допомагає вибрати моделі, які мінімізують втрату інформації. BIC, з іншого боку, суворіше штрафує за складність моделі, що може призвести до вибору простіших моделей.
3. Критерії вибору: Загалом, порівнюючи моделі з використанням AIC і BIC, нижчі значення вказують на кращу відповідність. Однак BIC більше надає перевагу простішим моделям, ніж AIC. Тому, якщо існує компроміс між відповідністю моделі та складністю, BIC, швидше за все, віддасть перевагу простішій моделі порівняно з AIC.
4. Таким чином, AIC і BIC є статистичними

Що таке AIC?

Інформаційний критерій Akaike (AIC) — це статистичний показник, який зазвичай використовується при виборі та оцінці моделі, зокрема в регресійному аналізі та прогнозному моделюванні. Його розробив японський статистик Хіротугу Акаіке.

AIC — це широко використовуваний статистичний інструмент для порівняння моделей і збалансування їх відповідності та складності. Це цінний інструмент для вибору моделі, який допомагає дослідникам і аналітикам вибрати найбільш прийнятну модель для своїх даних.

Що таке BIC?

Байєсівський інформаційний критерій (BIC) або критерій Шварца — це статистичний показник, який використовується для вибору та оцінки моделі. За призначенням він схожий на інформаційний критерій Акаіке (AIC), але має деякі відмінні характеристики.

Байєсівський інформаційний критерій (BIC) — це інструмент для вибору моделі, який більше підкреслює простоту моделі, ніж AIC. Це особливо корисно під час роботи з меншими наборами даних і може допомогти запобігти включенню непотрібних параметрів у статистичні моделі.

Різниця між AIC і BIC

1. AIC базується на оцінці максимальної правдоподібності параметрів моделі. Він розраховується за формулою AIC = -2 * логарифм правдоподібності + 2 * кількість параметрів. І навпаки, BIC також використовує ймовірність, але включає штраф за кількість параметрів. Він розраховується як BIC = -2 * логарифм правдоподібності + логарифм (розмір вибірки) * кількість параметрів.
2. AIC певною мірою віддає перевагу більш складним моделям, оскільки він штрафує менше параметрів, ніж BIC. BIC накладає суворіше покарання за складність моделі. Настійно не рекомендується включати непотрібні параметри, які можуть призвести до більш простих моделей.
3. Вибираючи між моделями AIC, ви обираєте модель із найнижчим значенням AIC. Використовуючи BIC, ви виберете модель із найнижчим значенням BIC.
4. AIC походить від теорії інформації та функції правдоподібності. Він заснований на принципі мінімізації втрат інформації. BIC базується на принципах Байєса та включає баєсівський погляд на вибір моделі. Він спрямований на пошук моделі, яка є найбільш вірогідною з урахуванням даних.
5. AIC використовується, коли зосереджено увагу на виборі моделі та необхідно враховувати компроміс між відповідністю моделі та складністю. Це корисно для широкого спектру статистичних аналізів. BIC особливо корисний, коли є потреба сильно покарати складні моделі, наприклад, у ситуаціях з обмеженими даними, де простота високо цінується, або під час вибору байєсівської моделі.

Порівняння між AIC і BIC

Параметри порівняння	АІК	BIC
Вага на простоті	AIC відносно більш поблажливий щодо складності моделі.	BIC віддає перевагу простішим моделям і більше карає за складні.
Асимптотична узгодженість	AIC за своєю суттю не пов’язаний із байєсівським моделюванням і може використовуватися в частотному та байєсівському контекстах.	AIC є послідовним, тобто він вибирає справжню модель, коли розмір вибірки зростає до нескінченності.
Запобігання переобладнанню	AIC може бути корисним, коли ви хочете уникнути сильного переобладнання, але готові до дещо складніших моделей.	AIC є послідовним і вибирає справжню модель, коли розмір вибірки зростає до нескінченності.
Використання в байєсівському моделюванні	BIC є асимптотично послідовним, але більше зосереджується на економності моделі навіть у великих вибірках.	BIC має сильніший зв’язок із байєсівськими методами та використовується у виборі байєсівської моделі завдяки своїй байєсівській основі.
Інтерпретація інформаційних критеріїв	Основна інтерпретація AIC полягає в тому, що вона наближена до очікуваної розбіжності Кульбака-Лейблера між справжньою моделлю та розрахунковою моделлю.	BIC запобігає переобладнанню, сильно штрафуючи складні моделі, що робить його придатним для менших наборів даних.

посилання

1. https://journals.sagepub.com/doi/abs/10.1177/0049124103262065
2. https://psycnet.apa.org/record/2012-03019-001

Останнє оновлення: 25 листопада 2023 р