OLS vs MLE : différence et comparaison

En statistique, il existe plusieurs concepts qui nous aident à atteindre un résultat particulier. Les données statistiques peuvent varier d'un contenu à l'autre et d'une quantité à l'autre.

Les statistiques sont un type de branche qui nous aide à acquérir une idée approximative d'un événement en cours. Cela nous aide à prédire les résultats et ainsi à prendre des décisions à leur sujet.

L'analyse statistique est effectuée sur la base de diverses données collectées lors d'un certain événement ou après celui-ci. Cependant, divers types de données sont analysés en utilisant divers types de concepts.

Deux de ces concepts sont 1. OLS ou moindres carrés ordinaires et 2. MLE ou estimation du maximum de vraisemblance.

Faits marquants

  1. Les moindres carrés ordinaires (MCO) sont une méthode statistique d'estimation des modèles de régression linéaire en minimisant la somme des erreurs quadratiques.
  2. L'estimation du maximum de vraisemblance (MLE) est une technique statistique qui estime les paramètres en maximisant la fonction de vraisemblance.
  3. OLS est spécifique à la régression linéaire, tandis que MLE peut être appliqué à divers modèles statistiques.

OLS contre MLE

OLS estime les paramètres qui minimisent la somme des carrés des résidus, tandis que MLE estime les paramètres qui maximisent la vraisemblance des données observées. OLS est une méthode plus simple et plus intuitive, tandis que MLE peut gérer des modèles plus complexes et être plus efficace dans de petits échantillons.

OLS contre MLE

La méthode utilisée pour calculer et estimer les paramètres inconnus présents dans un certain linéaire régression modèle est connu sous le nom de moindres carrés ordinaires (MCO). C'est une méthode dans laquelle le nombre d'erreurs est également réparti.

C'est l'une des techniques les plus cohérentes lorsque les régresseurs du modèle proviennent de l'extérieur.

La méthode statistique utilisée pour estimer plusieurs paramètres lorsque la distribution de probabilité est supposée des données statistiques observées est connue sous le nom d'estimation du maximum de vraisemblance (MLE).

L'estimation du maximum de vraisemblance est le point dans l'espace des paramètres qui maximise la fonction de vraisemblance.

Tableau de comparaison

Paramètres de comparaisonOLSMLE
Formulaires completsMoindres carrés ordinaires.Estimation de vraisemblance maximale.
Aussi connu sous le nomMoindres carrés linéairesPas d'autre nom
Utilisé pourLa méthode des moindres carrés ordinaires est utilisée pour la détermination de divers paramètres inconnus présents dans un modèle de régression linéaire. L'estimation du maximum de vraisemblance est la méthode utilisée pour 1. L'estimation des paramètres 2. L'ajustement d'un modèle statistique aux données statistiques.
Découverte parAdrien-Marie LegendreLe concept a été dérivé collectivement à l'aide des contributions de Gauss, Hagen et Edgeworth.
InconvénientsIl n'est pas disponible et applicable aux données statistiques censurées. Il ne peut pas être appliqué à des données qui ont des valeurs extrêmement grandes ou des valeurs extrêmement petites. Il y a relativement moins de propriétés d'optimalité dans ce concept.Lors du calcul de données statistiques qui ont des valeurs extrêmement plus petites, la méthode d'estimation du maximum de vraisemblance peut être assez biaisée. Dans certains cas, il peut être nécessaire de résoudre spécifiquement les équations de vraisemblance. Parfois, l'estimation des valeurs numériques peut être non triviale.

Qu'est-ce que l'OLS ?

La méthode utilisée pour calculer et estimer les paramètres inconnus présents dans un certain modèle de régression linéaire est connue sous le nom de moindres carrés ordinaires (OLS). La découverte de ce concept dans le monde des statistiques a été faite par Adrien Marie Legendre.

Lisez aussi:  Convertisseur Kelvin en Fahrenheit

Les cadres dans lesquels les moindres carrés ordinaires sont applicables peuvent varier.

Il faut sélectionner un cadre approprié où les moindres carrés ordinaires peuvent être coulés dans un modèle de régression linéaire particulier pour découvrir les paramètres inconnus situés dans le même.

L'un des aspects de ce concept qui est différentiel est de savoir s'il faut traiter les régresseurs comme des variables aléatoires ou comme des constantes avec des valeurs prédéfinies.

Si les régresseurs sont traités comme des variables aléatoires, alors l'étude peut être plus innée, et les variables peuvent être des échantillons ensemble pour un collectif. étude observationnelle. Cela conduit à des résultats relativement plus précis.

Cependant, si les régresseurs sont traités comme des constantes avec des valeurs prédéfinies, alors l'étude est considérée comparativement plus comme une expérience.

Il existe un autre modèle de régression linéaire classique dans lequel l'accent est mis sur les données d'échantillon qui sont finies. Cela conduit à la conclusion que les valeurs dans les données sont limitées et fixes, et l'estimation des données est effectuée sur la base des données fixes.

Plus loin inférence de la statistique est également calculée selon une méthode relativement plus simple.

Qu'est-ce que MLE ?

La méthode statistique utilisée pour estimer plusieurs paramètres lorsque la distribution de probabilité est supposée des données statistiques observées est connue sous le nom d'estimation du maximum de vraisemblance (MLE).

Il a des propriétés comparativement plus optimales que de nombreux autres concepts utilisés pour calculer les paramètres inconnus dans divers modèles statistiques.

L'estimation initiale est effectuée sur la base de la fonction de vraisemblance de base des données statistiques de l'échantillon.

Lisez aussi:  Mer vs Golfe : différence et comparaison

En gros, la prédiction des données est faite comme l'ensemble de données, et sa probabilité est également la probabilité d'obtenir un ensemble de données similaire pour le modèle statistique de probabilité donné. 

L'ensemble de la prédiction approximative de l'ensemble de données se compose de divers paramètres inconnus situés dans le modèle de probabilité. Ces valeurs ou ces paramètres inconnus maximisent la vraisemblance de l'ensemble de données.

Ces valeurs sont appelées estimations du maximum de vraisemblance. Il existe plusieurs fonctions de vraisemblance qui sont également utiles pour les distributions couramment utilisées dans l'analyse de fiabilité.

Il existait des modèles censurés sous lesquels les données censurées dans l'analyse de fiabilité sont calculées, et le concept d'estimation de vraisemblance maximale peut être utilisé pour faire de même.

Divers paramètres peuvent être estimés en utilisant ce concept car il donne une approche relativement plus cohérente à son égard.

Plusieurs ensembles d'hypothèses peuvent être générés pour les paramètres dans les données en utilisant ce concept. Il contient approximativement à la fois des distributions normales et des variances d'échantillon.

Principales différences entre OLS et MLE

  1. La méthode MCO est la méthode des moindres carrés ordinaires. D'autre part, la méthode MLE est l'estimation du maximum de vraisemblance.
  2. La méthode des carrés linéaires ordinaires est également connue sous le nom de méthode linéaire des moindres carrés. D'autre part, la méthode du maximum de vraisemblance n'a pas d'autre nom sous lequel elle soit connue.
  3. La méthode des moindres carrés ordinaires a comparativement moins de propriétés optimales. D'autre part, l'estimation du maximum de vraisemblance a des propriétés comparativement plus optimales.
  4. La méthode des moindres carrés ordinaires ne peut pas être utilisée pour les données censurées. D'autre part, la méthode d'estimation du maximum de vraisemblance peut être utilisée pour les données censurées.
  5. La méthode des moindres carrés ordinaires est utilisée pour la détermination de divers paramètres inconnus présents dans un modèle de régression linéaire. D'autre part, l'estimation du maximum de vraisemblance est la méthode utilisée pour 1. L'estimation des paramètres 2. L'ajustement d'un modèle statistique aux données statistiques.
Bibliographie
  1. https://methods.sagepub.com/base/download/BookChapter/the-multivariate-social-scientist/d49.xml
  2. https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/j.2517-6161.1961.tb00430.x

Dernière mise à jour : 13 juillet 2023

point 1
Une requête?

J'ai mis tellement d'efforts à écrire ce billet de blog pour vous apporter de la valeur. Cela me sera très utile, si vous envisagez de le partager sur les réseaux sociaux ou avec vos amis/famille. LE PARTAGE C'EST ♥️

Laisser un commentaire

Vous voulez enregistrer cet article pour plus tard ? Cliquez sur le cœur dans le coin inférieur droit pour enregistrer dans votre propre boîte d'articles !