OLS vs MLE: Razlika i usporedba

U statistici postoji nekoliko pojmova koji nam pomažu doći do određenog rezultata. Statistički podaci mogu varirati od sadržaja do sadržaja i količine do količine.

Statistika je vrsta grane koja nam pomaže steći grubu predodžbu o događaju koji je u tijeku. Pomaže nam predvidjeti rezultate i samim time donijeti odluke u vezi s istima.

Statistička analiza se radi na temelju različitih podataka koji se prikupljaju tijekom određenog događaja ili nakon njega. Međutim, različite vrste podataka analiziraju se pomoću različitih vrsta koncepata.

Dva takva koncepta su 1. OLS ili obični najmanji kvadrati i 2. MLE ili procjena maksimalne vjerojatnosti.

Ključni za poneti

1. Obični najmanji kvadrati (OLS) statistička su metoda za procjenu modela linearne regresije minimiziranjem zbroja kvadrata pogrešaka.
2. Procjena maksimalne vjerojatnosti (MLE) je statistička tehnika koja procjenjuje parametre maksimiziranjem funkcije vjerojatnosti.
3. OLS je specifičan za linearnu regresiju, dok se MLE može primijeniti na različite statističke modele.

OLS protiv MLE

OLS procjenjuje parametre koji minimiziraju zbroj kvadrata reziduala, dok MLE procjenjuje parametre koji maksimiziraju vjerojatnost promatranih podataka. OLS je jednostavnija i intuitivnija metoda, dok se MLE može nositi sa složenijim modelima i biti učinkovitiji u malim uzorcima.

Metoda koja se koristi za izračunavanje i procjenu nepoznatih parametara prisutnih u određenom linearu regresija model poznat kao obični najmanji kvadrati (OLS). To je metoda u kojoj je broj grešaka ravnomjerno raspoređen.

To je jedna od najdosljednijih tehnika kada regresori u modelu potječu izvana.

Metoda u statistici koja se koristi za procjenu nekoliko parametara kada se pretpostavi distribucija vjerojatnosti promatranih statističkih podataka poznata je kao procjena maksimalne vjerojatnosti (MLE).

Procjena najveće vjerojatnosti je točka u prostoru parametara koja maksimizira funkciju vjerojatnosti.

Tabela za usporedbu

Parametri usporedbe	OLS	MLE
Pune forme	Obični najmanji kvadrati.	Procjena najveće vjerojatnosti.
Također poznat kao	Linearni najmanji kvadrati	Nema drugog imena
Koristi se za	Obična metoda najmanjih kvadrata koristi se za određivanje različitih nepoznatih parametara koji su prisutni u modelu linearne regresije.	Procjena maksimalne vjerojatnosti je metoda koja se koristi za 1. Procjenu parametara 2. Prilagodbu statističkog modela statističkim podacima.
Otkrio	Adrien Marie Legendre	Koncept je kolektivno izveden uz pomoć doprinosa Gaussa, Hagena i Edgewortha.
Nedostaci	Nije dostupan i primjenjiv na statističke podatke koji su cenzurirani. Ne može se primijeniti na podatke koji imaju iznimno velike ili iznimno male vrijednosti. U ovom konceptu postoji relativno manje svojstava optimalnosti.	Tijekom izračuna statističkih podataka koji imaju iznimno male vrijednosti, metoda procjene maksimalne vjerojatnosti može biti prilično pristrana. U nekim slučajevima može biti potrebno posebno riješiti jednadžbe vjerojatnosti. Ponekad procjena numeričkih vrijednosti može biti netrivijalna.

Što je OLS?

Metoda koja se koristi za izračunavanje i procjenu nepoznatih parametara prisutnih u određenom modelu linearne regresije poznata je kao obični najmanji kvadrati (OLS). Ovaj koncept u svijetu statistike otkrio je Adrien Marie Legendre.

Okviri u kojima je primjenjiv uobičajeni najmanji kvadrat mogu varirati.

Mora se odabrati odgovarajući okvir gdje se uobičajeni najmanji kvadrati mogu baciti u određeni model linearne regresije kako bi se otkrili nepoznati parametri koji se nalaze u istom.

Jedan od aspekata ovog koncepta koji je diferencijalan je treba li tretirati regresore kao slučajne varijable ili kao konstante s unaprijed definiranim vrijednostima.

Ako se regresori tretiraju kao slučajne varijable, tada studija može biti više urođena, a varijable mogu biti uzorci zajedno za kolektiv promatračka studija. To dovodi do nekih relativno točnijih rezultata.

Međutim, ako se regresori tretiraju kao konstante s unaprijed definiranim vrijednostima, tada se studija smatra usporedno više poput eksperimenta.

Postoji još jedan klasični model linearne regresije u kojem je naglasak stavljen na uzorke podataka koji su konačni. To dovodi do zaključka da su vrijednosti u podacima ograničene i fiksne, te da se procjena podataka vrši na temelju fiksnih podataka.

Unaprijediti zaključak statistički se također izračunava relativno lakšom metodom.

Što je MLE?

Metoda u statistici koja se koristi za procjenu nekoliko parametara kada se pretpostavi distribucija vjerojatnosti promatranih statističkih podataka poznata je kao procjena maksimalne vjerojatnosti (MLE).

Ima relativno optimalnija svojstva od mnogih drugih koncepata koji se koriste za izračunavanje nepoznatih parametara u različitim statističkim modelima.

Početna procjena radi se na temelju osnovne funkcije vjerojatnosti podataka statističkog uzorka.

Grubo predviđanje podataka je napravljeno kao skup podataka, a njegova vjerojatnost je također vjerojatnost dobivanja sličnog skupa podataka za dani statistički model vjerojatnosti. 

Cjelokupno grubo predviđanje skupa podataka sastoji se od raznih nepoznatih parametara koji se nalaze u modelu vjerojatnosti. Ove vrijednosti ili ovi nepoznati parametri povećavaju vjerojatnost skupa podataka.

Ove vrijednosti poznate su kao procjene najveće vjerojatnosti. Postoji nekoliko funkcija vjerojatnosti koje su također korisne za distribucije koje se obično koriste u analizi pouzdanosti.

Postoje cenzurirani modeli prema kojima se izračunavaju cenzurirani podaci u analizi pouzdanosti, a za isto se može koristiti koncept procjene maksimalne vjerojatnosti.

Korištenjem ovog koncepta mogu se procijeniti različiti parametri jer daje relativno dosljedniji pristup prema njemu.

Pomoću ovog koncepta može se generirati nekoliko skupova hipoteza za parametre u podacima. Približno sadrži normalne distribucije kao i varijance uzorka.

Glavne razlike između OLS i MLE

1. OLS metoda je obična metoda najmanjih kvadrata. S druge strane, MLE metoda je procjena maksimalne vjerojatnosti.
2. Metoda običnih linearnih kvadrata poznata je i kao linearna metoda najmanjih kvadrata. S druge strane, metoda najveće vjerojatnosti nema drugi naziv pod kojim je poznata.
3. Obična metoda najmanjih kvadrata ima relativno manje optimalnih svojstava. S druge strane, procjena maksimalne vjerojatnosti ima relativno optimalnija svojstva.
4. Obična metoda najmanjih kvadrata ne može se koristiti za cenzurirane podatke. S druge strane, metoda procjene najveće vjerojatnosti može se koristiti za cenzurirane podatke.
5. Obična metoda najmanjih kvadrata koristi se za određivanje različitih nepoznatih parametara koji su prisutni u modelu linearne regresije. S druge strane, procjena maksimalne vjerojatnosti je metoda koja se koristi za 1. Procjenu parametara 2. Prilagodbu statističkog modela statističkim podacima.

Reference

1. https://methods.sagepub.com/base/download/BookChapter/the-multivariate-social-scientist/d49.xml
2. https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/j.2517-6161.1961.tb00430.x

Zadnje ažuriranje: 13. srpnja 2023