OLS vs MLE: Rozdíl a srovnání

Ve statistice existuje několik pojmů, které nám pomáhají dosáhnout konkrétního výsledku. Statistická data se mohou lišit obsah od obsahu a množství od množství.

Statistika je typ odvětví, které nám pomáhá získat přibližnou představu o probíhající události. Pomáhá nám předvídat výsledky, a tak se o nich rozhodovat.

Statistická analýza se provádí na základě různých dat, která jsou shromážděna během určité události nebo po ní. Různé typy dat jsou však analyzovány pomocí různých typů konceptů.

Dva z těchto konceptů jsou 1. OLS neboli obyčejné nejmenší čtverce a 2. MLE neboli odhad maximální věrohodnosti.

Key Takeaways

1. Obyčejné nejmenší čtverce (OLS) je statistická metoda pro odhad lineárních regresních modelů minimalizací součtu čtvercových chyb.
2. Odhad maximální věrohodnosti (MLE) je statistická technika, která odhaduje parametry maximalizací věrohodnostní funkce.
3. OLS je specifická pro lineární regresi, zatímco MLE lze aplikovat na různé statistické modely.

OLS vs MLE

OLS odhaduje parametry, které minimalizují součet kvadrátů reziduí, zatímco MLE odhaduje parametry, které maximalizují pravděpodobnost pozorovaných dat. OLS je jednodušší a intuitivnější metoda, zatímco MLE zvládne i složitější modely a bude efektivnější v malých vzorcích.

Metoda použitá k výpočtu a odhadu neznámých parametrů přítomných v určité lineární regrese model je známý jako obyčejné nejmenší čtverce (OLS). Je to metoda, ve které je počet chyb rovnoměrně rozložen.

Je to jedna z nejkonzistentnějších technik, kdy regresory v modelu pocházejí z vnějšku.

Metoda ve statistice, která se používá k odhadu několika parametrů, když se předpokládá rozdělení pravděpodobnosti pozorovaných statistických dat, je známá jako odhad maximální věrohodnosti (MLE).

Odhad maximální pravděpodobnosti je bod v prostoru parametrů, který maximalizuje funkci pravděpodobnosti.

Srovnávací tabulka

Parametry srovnání	OLS	MLE
Plné formy	Obyčejné nejmenší čtverce.	Odhad maximální pravděpodobnosti.
Také známý jako	Lineární nejmenší čtverce	Žádné jiné jméno
Používá se pro	Obyčejná metoda nejmenších čtverců se používá pro stanovení různých neznámých parametrů, které jsou přítomny v lineárním regresním modelu.	Odhad maximální věrohodnosti je metoda, která se používá pro 1. Odhad parametrů 2. Přizpůsobení statistického modelu statistickým datům.
Objevil	Adrien Marie Legendre	Koncept byl kolektivně odvozen s pomocí příspěvků od Gausse, Hagena a Edgewortha.
nevýhody	Není k dispozici a nevztahuje se na statistická data, která jsou cenzurována. Nelze jej použít na data, která mají extrémně velké nebo extrémně malé hodnoty. V tomto konceptu je srovnatelně méně vlastností optimality.	Během výpočtu statistických dat, která mají extrémně menší hodnoty, může být metoda odhadu maximální věrohodnosti značně zkreslená. V některých případech může být potřeba konkrétně řešit rovnice pravděpodobností. Někdy může být odhad numerických hodnot netriviální.

Co je OLS?

Metoda použitá k výpočtu a odhadu neznámých parametrů přítomných v určitém lineárním regresním modelu je známá jako obyčejné nejmenší čtverce (OLS). Objev tohoto konceptu ve světě statistiky učinil Adrien Marie Legendre.

Rámce, ve kterých lze použít běžné nejmenší čtverce, se mohou lišit.

Je třeba vybrat vhodný rámec, ve kterém lze použít obyčejné nejmenší čtverce v konkrétním lineárním regresním modelu, aby se zjistily neznámé parametry, které se v něm nacházejí.

Jedním z aspektů tohoto konceptu, který je rozdílný, je to, zda zacházet s regresory jako s náhodnými proměnnými nebo jako s konstantami s předem definovanými hodnotami.

Pokud se s regresory zachází jako s náhodnými proměnnými, pak může být studie více vrozená a proměnné mohou být vzorky společně pro kolektivní observační studie. To vede k některým srovnatelně přesnějším výsledkům.

Pokud se však s regresory zachází jako s konstantami s předem definovanými hodnotami, pak je studie považována poměrně spíše za experiment.

Existuje další klasický lineární regresní model, ve kterém je kladen důraz na výběrová data, která jsou konečná. To vede k závěru, že hodnoty v datech jsou omezené a fixní a odhad dat se provádí na základě fixních dat.

Další odvození statistiky se také vypočítává poměrně jednodušší metodou.

Co je MLE?

Metoda ve statistice, která se používá k odhadu několika parametrů, když se předpokládá rozdělení pravděpodobnosti pozorovaných statistických dat, je známá jako odhad maximální věrohodnosti (MLE).

Má poměrně optimálnější vlastnosti než mnoho jiných konceptů, které se používají k výpočtu neznámých parametrů v různých statistických modelech.

Počáteční odhad se provádí na základě základní věrohodnostní funkce dat statistického vzorku.

Přibližná predikce dat se provádí jako množina dat a její pravděpodobnost je také pravděpodobností získání podobného souboru dat pro daný pravděpodobnostní statistický model. 

Celá hrubá predikce množiny dat se skládá z různých neznámých parametrů, které se nacházejí napříč pravděpodobnostním modelem. Tyto hodnoty nebo tyto neznámé parametry maximalizují pravděpodobnost souboru dat.

Tyto hodnoty jsou známé jako odhady maximální pravděpodobnosti. Existuje několik pravděpodobnostních funkcí, které jsou také užitečné pro rozdělení, která se běžně používají v analýze spolehlivosti.

Existovaly cenzurované modely, podle kterých se počítají cenzurovaná data v analýze spolehlivosti a pro totéž lze použít koncept odhadu maximální věrohodnosti.

Pomocí tohoto konceptu lze odhadnout různé parametry, protože k němu poskytuje poměrně konzistentnější přístup.

Pomocí tohoto konceptu lze pro parametry v datech vygenerovat několik sad hypotéz. Přibližně obsahuje jak normální rozdělení, tak i výběrové rozptyly.

Hlavní rozdíly mezi OLS a MLE

1. Metoda OLS je běžná metoda nejmenších čtverců. Na druhou stranu je metoda MLE maximálním odhadem pravděpodobnosti.
2. Metoda obyčejných lineárních čtverců je také známá jako lineární metoda nejmenších čtverců. Na druhou stranu metoda maximální věrohodnosti nemá žádný jiný název, pod kterým by byla známá.
3. Obyčejná metoda nejmenších čtverců má srovnatelně méně optimálních vlastností. Na druhou stranu má odhad maximální věrohodnosti poměrně optimálnější vlastnosti.
4. Běžnou metodu nejmenších čtverců nelze použít pro cenzurovaná data. Na druhou stranu lze pro cenzurovaná data použít metodu odhadu maximální věrohodnosti.
5. Obyčejná metoda nejmenších čtverců se používá pro stanovení různých neznámých parametrů, které jsou přítomny v lineárním regresním modelu. Na druhou stranu, odhad maximální věrohodnosti je metoda, která se používá pro 1. Odhad parametrů 2. Přizpůsobení statistického modelu statistickým datům.

Reference

1. https://methods.sagepub.com/base/download/BookChapter/the-multivariate-social-scientist/d49.xml
2. https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/j.2517-6161.1961.tb00430.x

Poslední aktualizace: 13. července 2023