OLS vs. MLE: Unterschied und Vergleich

In der Statistik gibt es mehrere Konzepte, die uns helfen, ein bestimmtes Ergebnis zu erzielen. Statistische Daten können von Inhalt zu Inhalt und Menge zu Menge variieren.

Statistik ist eine Art Zweig, der uns hilft, eine ungefähre Vorstellung von einem laufenden Ereignis zu bekommen. Es hilft uns, die Ergebnisse vorherzusagen und dadurch entsprechende Entscheidungen zu treffen.

Die statistische Analyse erfolgt auf der Grundlage verschiedener Daten, die während oder nach einem bestimmten Ereignis gesammelt werden. Allerdings werden verschiedene Arten von Daten unter Verwendung verschiedener Arten von Konzepten analysiert.

Zwei solcher Konzepte sind 1. OLS oder gewöhnliche kleinste Quadrate und 2. MLE oder Maximum-Likelihood-Schätzung.

Key Take Away

1. Ordinary Least Squares (OLS) ist eine statistische Methode zum Schätzen linearer Regressionsmodelle durch Minimieren der Summe quadrierter Fehler.
2. Die Maximum-Likelihood-Schätzung (MLE) ist eine statistische Technik, die Parameter durch Maximieren der Likelihood-Funktion schätzt.
3. OLS ist spezifisch für die lineare Regression, während MLE auf verschiedene statistische Modelle angewendet werden kann.

OLS gegen MLE

OLS schätzt die Parameter, die die Summe der quadrierten Residuen minimieren, während MLE die Parameter schätzt, die die Wahrscheinlichkeit der beobachteten Daten maximieren. OLS ist eine einfachere und intuitivere Methode, während MLE komplexere Modelle handhaben kann und bei kleinen Stichproben effizienter ist.

Die Methode, die verwendet wird, um die unbekannten Parameter zu berechnen und zu schätzen, die in einem bestimmten Linear vorhanden sind Regression Modell ist als gewöhnliche kleinste Quadrate (OLS) bekannt. Es ist eine Methode, bei der die Anzahl der Fehler gleichmäßig verteilt ist.

Es ist eine der konsistentesten Techniken, wenn die Regressoren im Modell extern stammen.

Die Methode in der Statistik, die verwendet wird, um mehrere Parameter zu schätzen, wenn die Wahrscheinlichkeitsverteilung der beobachteten statistischen Daten angenommen wird, wird als Maximum-Likelihood-Schätzung (MLE) bezeichnet.

Die Maximum-Likelihood-Schätzung ist der Punkt im Parameterraum, der die Likelihood-Funktion maximiert.

Vergleichstabelle

Vergleichsparameter	OLS	MLE
Vollformen	Gewöhnliche kleinste Quadrate.	Maximum-Likelihood-Schätzung.
Auch bekannt als	Lineare kleinste Quadrate	Kein anderer Name
Verwendet für	Die gewöhnliche Methode der kleinsten Quadrate wird zur Bestimmung verschiedener unbekannter Parameter verwendet, die in einem linearen Regressionsmodell vorhanden sind.	Die Maximum-Likelihood-Schätzung ist die Methode, die verwendet wird für 1. Parameterschätzung 2. Anpassung eines statistischen Modells an die statistischen Daten.
Entdeckt von	Adrian Marie Legendre	Das Konzept wurde gemeinsam mit Hilfe der Beiträge von Gauss, Hagen und Edgeworth entwickelt.
Nachteile	Es ist nicht verfügbar und anwendbar auf statistische Daten, die zensiert werden. Es kann nicht auf Daten mit extrem großen oder extrem kleinen Werten angewendet werden. In diesem Konzept gibt es vergleichsweise weniger Optimalitätseigenschaften.	Bei der Berechnung von statistischen Daten mit extrem kleinen Werten kann die Methode der Maximum-Likelihood-Schätzung ziemlich verzerrt sein. In einigen Fällen muss man möglicherweise die Likelihood-Gleichungen speziell lösen. Manchmal kann die Schätzung der numerischen Werte nicht trivial sein.

Was ist OLS?

Die Methode zur Berechnung und Schätzung der unbekannten Parameter, die in einem bestimmten linearen Regressionsmodell vorhanden sind, wird als gewöhnliche kleinste Quadrate (OLS) bezeichnet. Die Entdeckung dieses Konzepts in der Welt der Statistik wurde von Adrien Marie Legendre gemacht.

Die Rahmenbedingungen, in denen die gewöhnlichen kleinsten Quadrate anwendbar sind, können variieren.

Man muss einen geeigneten Rahmen auswählen, in dem die gewöhnlichen kleinsten Quadrate in ein bestimmtes lineares Regressionsmodell gegossen werden können, um die darin befindlichen unbekannten Parameter herauszufinden.

Einer der differenziellen Aspekte dieses Konzepts ist, ob die Regressoren als Zufallsvariablen oder als Konstanten mit vordefinierten Werten behandelt werden sollen.

Wenn die Regressoren als Zufallsvariablen behandelt werden, kann die Studie angeborener sein, und die Variablen können Stichproben für ein Kollektiv sein Beobachtungsstudie. Dies führt zu einigen vergleichsweise genaueren Ergebnissen.

Wenn die Regressoren jedoch als Konstanten mit vordefinierten Werten behandelt werden, wird die Studie vergleichsweise eher als Experiment betrachtet.

Es gibt ein weiteres klassisches lineares Regressionsmodell, bei dem die Betonung auf endlichen Stichprobendaten liegt. Dies führt zu dem Schluss, dass die Werte in den Daten begrenzt und festgelegt sind und die Schätzung der Daten auf der Grundlage der festgelegten Daten erfolgt.

Des Weiteren Inferenz der Statistik wird ebenfalls in einem vergleichsweise einfacheren Verfahren berechnet.

Was ist MLE?

Die Methode in der Statistik, die verwendet wird, um mehrere Parameter zu schätzen, wenn die Wahrscheinlichkeitsverteilung der beobachteten statistischen Daten angenommen wird, wird als Maximum-Likelihood-Schätzung (MLE) bezeichnet.

Es hat vergleichsweise optimalere Eigenschaften als viele andere Konzepte, die verwendet werden, um die unbekannten Parameter in verschiedenen statistischen Modellen zu berechnen.

Die anfängliche Schätzung erfolgt auf Basis der Basis-Likelihood-Funktion der statistischen Stichprobendaten.

Eine grobe Vorhersage der Daten wird wie der Datensatz gemacht, und ihre Wahrscheinlichkeit ist auch die Wahrscheinlichkeit, einen ähnlichen Datensatz für das gegebene statistische Wahrscheinlichkeitsmodell zu erhalten. 

Die gesamte grobe Vorhersage des Datensatzes besteht aus verschiedenen unbekannten Parametern, die über das Wahrscheinlichkeitsmodell verteilt sind. Diese Werte oder diese unbekannten Parameter maximieren die Wahrscheinlichkeit des Datensatzes.

Diese Werte sind als Maximum-Likelihood-Schätzungen bekannt. Es gibt mehrere Wahrscheinlichkeitsfunktionen, die auch für die Verteilungen nützlich sind, die üblicherweise in der Zuverlässigkeitsanalyse verwendet werden.

Es gab zensierte Modelle, nach denen die zensierten Daten in der Zuverlässigkeitsanalyse berechnet werden, und das Konzept der Maximum-Likelihood-Schätzung kann dazu verwendet werden.

Mit diesem Konzept können verschiedene Parameter geschätzt werden, da es einen vergleichsweise konsistenteren Ansatz dafür bietet.

Mit diesem Konzept können mehrere Hypothesensätze für die Parameter in den Daten generiert werden. Sie enthält näherungsweise sowohl Normalverteilungen als auch Stichprobenvarianzen.

Hauptunterschiede zwischen OLS und MLE

1. Die OLS-Methode ist die gewöhnliche Methode der kleinsten Quadrate. Andererseits ist die MLE-Methode die Maximum-Likelihood-Schätzung.
2. Die Methode der gewöhnlichen linearen Quadrate wird auch als Methode der linearen kleinsten Quadrate bezeichnet. Andererseits hat die Maximum-Likelihood-Methode keinen anderen Namen, unter dem sie bekannt ist.
3. Die gewöhnliche Methode der kleinsten Quadrate hat vergleichsweise weniger optimale Eigenschaften. Andererseits hat die Maximum-Likelihood-Schätzung vergleichsweise optimalere Eigenschaften.
4. Die gewöhnliche Methode der kleinsten Quadrate kann nicht für zensierte Daten verwendet werden. Andererseits kann das Maximum-Likelihood-Schätzverfahren für zensierte Daten verwendet werden.
5. Die gewöhnliche Methode der kleinsten Quadrate wird zur Bestimmung verschiedener unbekannter Parameter verwendet, die in einem linearen Regressionsmodell vorhanden sind. Andererseits ist die Maximum-Likelihood-Schätzung die Methode, die verwendet wird für 1. Parameterschätzung 2. Anpassung eines statistischen Modells an die statistischen Daten.

Bibliographie

1. https://methods.sagepub.com/base/download/BookChapter/the-multivariate-social-scientist/d49.xml
2. https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/j.2517-6161.1961.tb00430.x

Letzte Aktualisierung: 13. Juli 2023