AIC vs BIC: ero ja vertailu

Keskeiset ostokset

1. Määritelmä: AIC (Akaike Information Criterion) ja BIC (Bayesian Information Criterion) ovat molemmat tilastollisia mittareita, joita käytetään mallin valinnassa ja tilastollisessa mallintamisessa arvioimaan mallin sopivuuden ja monimutkaisuuden välistä kompromissia. Niitä käytetään vertailemaan eri malleja ja valitsemaan se, joka parhaiten selittää tietoja.
2. Tarkoitus: AIC ja BIC palvelevat samanlaisia ​​tarkoituksia, mutta käyttävät hieman erilaisia ​​lähestymistapoja. AIC pyrkii arvioimaan tilastollisten mallien suhteellisen laadun tietylle tietojoukolle ja auttaa valitsemaan malleja, jotka minimoivat tiedon menetyksen. BIC puolestaan ​​rankaisee mallin monimutkaisuutta raskaammin, mikä voi johtaa yksinkertaisempien mallien valintaan.
3. Valintakriteeri: Yleensä AIC- ja BIC-malleja verrattaessa pienemmät arvot osoittavat parempaa sovitusta. BIC kuitenkin suosii yksinkertaisempia malleja vahvemmin kuin AIC. Siksi, jos mallin sovituksen ja monimutkaisuuden välillä on kompromissi, BIC suosii todennäköisemmin yksinkertaisempaa mallia AIC:hen verrattuna.
4. Yhteenvetona AIC ja BIC ovat tilastoja

Mikä on AIC?

Akaike Information Criterion (AIC) on tilastollinen mitta, jota käytetään yleisesti mallien valinnassa ja arvioinnissa, erityisesti regressioanalyysissä ja ennustavassa mallintamisessa. Sen on kehittänyt japanilainen tilastotieteilijä Hirotugu Akaike.

AIC on laajalti käytetty tilastollinen työkalu mallien vertailuun ja mallien sopivuuden ja monimutkaisuuden tasapainottamiseen. Se on arvokas työkalu mallien valinnassa, ja se auttaa tutkijoita ja analyytikoita valitsemaan tiedoilleen sopivimman mallin.

Mikä on BIC?

Bayesian Information Criterion (BIC) tai Schwarz-kriteeri on tilastollinen mitta, jota käytetään mallien valinnassa ja arvioinnissa. Se on tarkoitukseltaan samanlainen kuin Akaike Information Criterion (AIC), mutta sillä on joitain erillisiä ominaisuuksia.

Bayesian Information Criterion (BIC) on mallinvalintatyökalu, joka korostaa mallin yksinkertaisuutta voimakkaammin kuin AIC. Se on erityisen hyödyllinen käsiteltäessä pienempiä tietojoukkoja, ja se voi auttaa estämään tarpeettomien parametrien sisällyttämisen tilastollisiin malleihin.

Ero AIC:n ja BIC:n välillä

1. AIC perustuu malliparametrien suurimman todennäköisyyden estimointiin. Se lasketaan kaavalla AIC = -2 * log-todennäköisyys + 2 * parametrien lukumäärä. Käänteisesti BIC käyttää myös todennäköisyyttä, mutta sisältää rangaistuksen parametrien lukumäärästä. Se lasketaan seuraavasti: BIC = -2 * log-todennäköisyys + log(otoskoko) * parametrien lukumäärä.
2. AIC yleensä suosii monimutkaisempia malleja jossain määrin, koska se rankaisee vähemmän parametreja kuin BIC. BIC määrää kovemman rangaistuksen mallin monimutkaisuudesta. Se estää voimakkaasti tarpeettomien parametrien sisällyttämisen, mikä voi johtaa yksinkertaisempiin malleihin.
3. Kun valitset AIC-malleista, valitse malli, jolla on pienin AIC-arvo. Kun käytät BIC-koodia, valitse malli, jolla on pienin BIC-arvo.
4. AIC on johdettu informaatioteoriasta ja todennäköisyysfunktiosta. Se perustuu tiedon menetyksen minimoimisen periaatteeseen. BIC perustuu Bayesin periaatteisiin ja sisältää bayesilaisen näkökulman mallien valintaan. Sen tavoitteena on löytää malli, joka on todennäköisin tietojen perusteella.
5. AIC:tä käytetään, kun keskitytään mallin valintaan ja mallin sopivuuden ja monimutkaisuuden välinen kompromissi on otettava huomioon. Se on hyödyllinen monenlaisissa tilastollisissa analyyseissä. BIC on erityisen hyödyllinen, kun monimutkaisia ​​malleja on rangaistava voimakkaasti, kuten tilanteissa, joissa data on rajoitettua, kun yksinkertaisuutta arvostetaan suuresti, tai Bayesin mallin valinnassa.

AIC:n ja BIC:n vertailu

Vertailun parametrit	AIC	BIC
Paino yksinkertaisuuteen	AIC on suhteellisen lempeä mallin monimutkaisuuden suhteen.	BIC suosii voimakkaasti yksinkertaisempia malleja ja rankaisee monimutkaisuutta enemmän.
Asymptoottinen johdonmukaisuus	AIC ei ole luonnostaan ​​sidottu Bayesilaiseen mallinnukseen, ja sitä voidaan käyttää useissa ja bayesilaisissa yhteyksissä.	AIC on johdonmukainen, mikä tarkoittaa, että se valitsee todellisen mallin otoksen koon kasvaessa äärettömään.
Yliasennusten ehkäisy	AIC voi olla hyödyllinen, kun haluat välttää vakavan yliasennuksen, mutta olet avoin hieman monimutkaisemmille malleille.	AIC on johdonmukainen ja valitsee todellisen mallin otoksen koon kasvaessa äärettömään.
Käyttö Bayesilaisessa mallintamisessa	BIC on asymptoottisesti johdonmukainen, mutta keskittyy enemmän mallien parsimoniin jopa suurissa näytteissä.	BIC:llä on vahvempi yhteys bayesialaisiin menetelmiin ja sitä käytetään Bayesin mallien valinnassa sen bayesilaisen pohjan vuoksi.
Tietokriteerien tulkinta	AIC:n ensisijainen tulkinta on, että se approkimoi odotetun Kullback-Leiblerin eron todellisen mallin ja estimoidun mallin välillä.	BIC estää ylisovituksen rankaisemalla voimakkaasti monimutkaisia ​​malleja, mikä tekee siitä sopivan pienempiin tietokokonaisuuksiin.

Viitteet

1. https://journals.sagepub.com/doi/abs/10.1177/0049124103262065
2. https://psycnet.apa.org/record/2012-03019-001

Viimeksi päivitetty: 25. marraskuuta 2023