OLS vs MLE: Ero ja vertailu

Tilastoissa on useita käsitteitä, jotka auttavat meitä saavuttamaan tietyn tuloksen. Tilastotiedot voivat vaihdella sisällöstä riippuen ja määrästä määrään.

Tilastot on eräänlainen haara, joka auttaa saamaan karkean käsityksen meneillään olevasta tapahtumasta. Se auttaa meitä ennustamaan tuloksia ja tekemään niitä koskevia päätöksiä.

Tilastollinen analyysi tehdään erilaisten tietojen perusteella, joita kerätään tietyn tapahtuman aikana tai sen jälkeen. Erityyppisiä tietoja kuitenkin analysoidaan erityyppisten käsitteiden avulla.

Kaksi tällaisia ​​käsitteitä ovat 1. OLS eli tavalliset pienimmän neliösumman ja 2. MLE eli maksimitodennäköisyyden estimointi.

Keskeiset ostokset

1. Ordinary Least Squares (OLS) on tilastollinen menetelmä lineaaristen regressiomallien arvioimiseksi minimoimalla neliövirheiden summa.
2. Maximum Likelihood Estimation (MLE) on tilastollinen tekniikka, joka arvioi parametreja maksimoimalla todennäköisyysfunktion.
3. OLS on ominaista lineaariselle regressiolle, kun taas MLE:tä voidaan soveltaa erilaisiin tilastollisiin malleihin.

OLS vs MLE

OLS arvioi parametrit, jotka minimoivat neliöityjen jäännösten summan, kun taas MLE arvioi parametrit, jotka maksimoivat havaittujen tietojen todennäköisyyden. OLS on yksinkertaisempi ja intuitiivisempi menetelmä, kun taas MLE pystyy käsittelemään monimutkaisempia malleja ja toimimaan tehokkaammin pienissä näytteissä.

Menetelmä, jota käytetään tietyssä lineaarissa olevien tuntemattomien parametrien laskemiseen ja arvioimiseen regressio malli tunnetaan tavallisina pienimmän neliösumman (OLS). Se on menetelmä, jossa virheiden määrä jakautuu tasaisesti.

Se on yksi johdonmukaisimmista tekniikoista, kun mallin regressorit ovat peräisin ulkopuolelta.

Tilastollinen menetelmä, jota käytetään useiden parametrien estimointiin, kun havaitun tilastotiedon todennäköisyysjakauma oletetaan, tunnetaan maksimitodennäköisyyden estimoina (MLE).

Maksimitodennäköisyysarvio on se piste parametriavaruudessa, joka maksimoi todennäköisyysfunktion.

Vertailu Taulukko

Vertailuparametrit	OLS	MLE
Täysmuodot	Tavalliset pienimmän neliösumman.	Maksimitodennäköisyysarvio.
Tunnetaan myös	Lineaariset pienimmän neliösumman	Ei muuta nimeä
Käytetään	Tavallista pienimmän neliösumman menetelmää käytetään lineaarisen regressiomallin erilaisten tuntemattomien parametrien määrittämiseen.	Maksimitodennäköisyyden estimointi on menetelmä, jota käytetään 1. Parametrien estimointi 2. Tilastollisen mallin sovittaminen tilastotietoihin.
Löytänyt	Adrien Marie Legendre	Konsepti johdettiin kollektiivisesti Gaussin, Hagenin ja Edgeworthin panosten avulla.
haittoja	Se ei ole saatavilla eikä sovellu sensuroituihin tilastotietoihin. Sitä ei voida soveltaa tietoihin, joilla on erittäin suuria tai erittäin pieniä arvoja. Tässä konseptissa on verrattain vähemmän optimiominaisuuksia.	Äärimmäisen pienempiä arvoja omaavien tilastotietojen laskennassa maksimitodennäköisyyden estimointimenetelmä voi olla melko puolueellinen, Joissain tapauksissa saattaa olla tarpeen ratkaista todennäköisyysyhtälöt erikseen, Joskus numeeristen arvojen estimointi voi olla ei-triviaali.

Mikä on OLS?

Tietyn lineaarisen regressiomallin tuntemattomien parametrien laskemiseen ja arvioimiseen käytetty menetelmä tunnetaan tavallisina pienimmän neliösumman (OLS) nimissä. Adrien Marie Legendre löysi tämän käsitteen tilastomaailmasta.

Puitteet, joissa tavallisia pienimmän neliösumman arvoja voidaan soveltaa, voivat vaihdella.

On valittava sopiva viitekehys, jossa tavalliset pienimmän neliösumman neliöt voidaan heittää tietyssä lineaarisessa regressiomallissa saadakseen selville samassa sijaitsevat tuntemattomat parametrit.

Yksi tämän käsitteen differentiaalinen puoli on se, käsitelläänkö regressoreita satunnaismuuttujina vai vakioina, joilla on ennalta määrätyt arvot.

Jos regressoreita käsitellään satunnaismuuttujina, tutkimus voi olla synnynnäisempi ja muuttujat voivat olla näytteitä yhdessä ryhmälle. seurantatutkimus. Tämä johtaa joihinkin verrattain tarkempiin tuloksiin.

Kuitenkin, jos regressoreita käsitellään vakioina, joilla on ennalta määrätyt arvot, niin tutkimusta pidetään verrattain enemmän kokeena.

On olemassa toinenkin klassinen lineaarinen regressiomalli, jossa painotetaan otosdataa, joka on äärellinen. Tästä voidaan päätellä, että tiedoissa olevat arvot ovat rajoitettuja ja kiinteitä ja tietojen estimointi tapahtuu kiinteiden tietojen perusteella.

Edelleen päättely tilastosta lasketaan myös verrattain helpompi menetelmä.

Mikä on MLE?

Tilastollinen menetelmä, jota käytetään useiden parametrien estimointiin, kun havaitun tilastotiedon todennäköisyysjakauma oletetaan, tunnetaan maksimitodennäköisyyden estimoina (MLE).

Sillä on verrattain optimaalisempia ominaisuuksia kuin monilla muilla käsitteillä, joita käytetään tuntemattomien parametrien laskemiseen erilaisissa tilastomalleissa.

Alkuarviointi tehdään tilastollisen otosdatan todennäköisyysfunktion perusteella.

Karkeasti ennustetaan dataa kuten tietojoukkoa, ja sen todennäköisyys on myös todennäköisyys saada samanlainen tietojoukko annetulle todennäköisyystilastomallille. 

Tietojoukon koko karkea ennuste koostuu useista tuntemattomista parametreista, jotka sijaitsevat todennäköisyysmallissa. Nämä arvot tai nämä tuntemattomat parametrit maksimoivat tietojoukon todennäköisyyden.

Näitä arvoja kutsutaan maksimitodennäköisyyden arvioiksi. On olemassa useita todennäköisyysfunktioita, jotka ovat hyödyllisiä myös luotettavuusanalyysissä yleisesti käytetyille jakaumille.

Oli olemassa sensuroituja malleja, joiden alla lasketaan sensuroitu tieto luotettavuusanalyysissä, ja maksimitodennäköisyyden arvioinnin käsitettä voidaan käyttää samaan.

Tätä käsitettä käyttämällä voidaan arvioida erilaisia ​​parametreja, koska se antaa suhteellisen johdonmukaisemman lähestymistavan siihen.

Tätä käsitettä käyttämällä voidaan luoda useita hypoteesijoukkoja datan parametreille. Se sisältää suunnilleen sekä normaalijakaumia että otosvariansseja.

Tärkeimmät erot OLS:n ja MLE:n välillä

1. OLS-menetelmä on tavallinen pienimmän neliösumman menetelmä. Toisaalta MLE-menetelmä on maksimitodennäköisyyden estimointi.
2. Tavallinen lineaaristen neliöiden menetelmä tunnetaan myös lineaarisena pienimmän neliösumman menetelmänä. Toisaalta maksimitodennäköisyyden menetelmällä ei ole muuta nimeä, jolla se tunnetaan.
3. Tavallisella pienimmän neliösumman menetelmällä on verrattain vähemmän optimaalisia ominaisuuksia. Toisaalta maksimitodennäköisyyden estimaatiolla on verrattain optimaalisempia ominaisuuksia.
4. Tavallista pienimmän neliösumman menetelmää ei voida käyttää sensuroiduille tiedoille. Toisaalta maksimitodennäköisyyden estimointimenetelmää voidaan käyttää sensuroidulle tiedolle.
5. Tavallista pienimmän neliösumman menetelmää käytetään lineaarisen regressiomallin erilaisten tuntemattomien parametrien määrittämiseen. Toisaalta maksimitodennäköisyyden estimointi on menetelmä, jota käytetään 1. Parametrien estimointiin 2. Tilastollisen mallin sovittamiseen tilastotietoihin.

Viitteet

1. https://methods.sagepub.com/base/download/BookChapter/the-multivariate-social-scientist/d49.xml
2. https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/j.2517-6161.1961.tb00430.x

Viimeksi päivitetty: 13. heinäkuuta 2023