OLS 与 MLE：差异与比较

在统计学中，有几个概念可以帮助我们达到特定的结果。 统计数据可能因内容和数量而异。

统计学是一种分支，可以帮助我们对正在进行的事件有一个大概的了解。 它帮助我们预测结果，从而做出有关相同的决定。

统计分析是根据在特定事件期间或之后收集的各种数据进行的。 但是，通过使用各种类型的概念来分析各种类型的数据。

其中两个概念是 1. OLS 或普通最小二乘法和 2. MLE 或最大似然估计。

关键精华

1. 普通最小二乘法 (OLS) 是一种通过最小化误差平方和来估计线性回归模型的统计方法。
2. 最大似然估计 (MLE) 是一种通过最大化似然函数来估计参数的统计技术。
3. OLS 专用于线性回归，而 MLE 可应用于各种统计模型。

OLS 与 MLE

OLS 估计使残差平方和最小的参数，而 MLE 估计使观测数据的可能性最大的参数。 OLS 是一种更简单、更直观的方法，而 MLE 可以处理更复杂的模型，在小样本时效率更高。

用于计算和估计某个线性关系中存在的未知参数的方法 回归 模型称为普通最小二乘法 (OLS)。 这是一种错误数量均匀分布的方法。

当模型中的回归变量来自外部时，它是最一致的技术之一。

当假定观察到的统计数据的概率分布时，用于估计多个参数的统计学方法称为最大似然估计 (MLE)。

最大似然估计是参数空间中使似然函数最大化的点。

对比表

比较参数	OLS	MLE
完整形式	普通最小二乘。	最大似然估计。
也被称为	线性最小二乘法	没有别的名字
用于	普通最小二乘法用于确定线性回归模型中存在的各种未知参数。	最大似然估计是用于 1. 参数估计 2. 将统计模型拟合到统计数据的方法。
被发现	阿德里安·玛丽·勒让格	这个概念是在 Gauss、Hagen 和 Edgeworth 所做的贡献的帮助下共同推导出来的。
缺点	它不适用于被审查的统计数据。 它不能应用于具有极大值或极小值的数据。 这个概念中的最优属性相对较少。	在计算具有极小值的统计数据时，最大似然估计方法可能会有很大偏差，在某些情况下可能需要专门求解似然方程，有时数值的估计可能是非平凡的。

什么是 OLS？

用于计算和估计某个线性回归模型中存在的未知参数的方法称为普通最小二乘法 (OLS)。 Adrien Marie Legendre 在统计学界发现了这个概念。

适用普通最小二乘法的框架可能会有所不同。

必须选择一个合适的框架，在该框架中可以将普通最小二乘法应用于特定的线性回归模型，以找出位于同一模型中的未知参数。

这个概念的一个不同方面是将回归量视为随机变量还是具有预定义值的常量。

如果将回归变量视为随机变量，则研究可以更加先天，并且可以将变量一起作为集体样本 观察研究. 这导致一些相对更准确的结果。

但是，如果回归量被视为具有预定义值的常数，则该研究被认为更像是一个实验。

存在另一种经典的线性回归模型，其中强调的是样本数据是有限的。 这导致数据中的值是有限和固定的结论，数据的估计是在固定数据的基础上进行的。

进一步 推理 统计数据的计算也采用相对简单的方法。

什么是最大似然估计？

当假定观察到的统计数据的概率分布时，用于估计多个参数的统计学方法称为最大似然估计 (MLE)。

与用于计算各种统计模型中的未知参数的许多其他概念相比，它具有相对更优化的属性。

初始估计是在统计样本数据的基本似然函数的基础上完成的。

粗略地预测数据就像一组数据，其似然也就是给定概率统计模型得到一组相似数据的概率。 

数据集的整个粗略预测由位于概率模型中的各种未知参数组成。 这些值或这些未知参数最大化数据集的可能性。

这些值称为最大似然估计。 存在几个对可靠性分析中常用的分布也很有用的似然函数。

存在计算可靠性分析中的删失数据的删失模型，并且可以使用最大似然估计的概念来做同样的事情。

可以通过使用这个概念来估计各种参数，因为它给出了一个相对更一致的方法。

通过使用这个概念，可以为数据中的参数生成几个假设集。 它大约包含正态分布和样本方差。

OLS 和 MLE 之间的主要区别

1. OLS 方法是普通最小二乘法。 另一方面，MLE 方法是最大似然估计。
2. 普通线性二乘法也称为线性最小二乘法。 另一方面，最大似然法没有其他已知的名称。
3. 普通最小二乘法具有相对较少的最佳属性。 另一方面，最大似然估计具有相对更优的特性。
4. 普通最小二乘法不能用于删失数据。 另一方面，最大似然估计方法可用于删失数据。
5. 普通最小二乘法用于确定线性回归模型中存在的各种未知参数。 另一方面，最大似然估计是用于 1. 参数估计 2. 将统计模型拟合到统计数据的方法。

参考资料

1. https://methods.sagepub.com/base/download/BookChapter/the-multivariate-social-scientist/d49.xml
2. https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/j.2517-6161.1961.tb00430.x

最后更新时间：13 年 2023 月 XNUMX 日