OLS против MLE: разница и сравнение

В статистике есть несколько концепций, которые помогают нам достичь того или иного результата. Статистические данные могут варьироваться от содержания к содержанию и от количества к количеству.

Статистика — это тип ответвления, который помогает нам получить общее представление о происходящем событии. Это помогает нам предсказывать результаты и тем самым принимать решения относительно того же самого.

Статистический анализ делается на основе различных данных, которые собираются во время определенного события или после него. Однако различные типы данных анализируются с использованием различных типов понятий.

Две из таких концепций: 1. OLS или обычные методы наименьших квадратов и 2. MLE или оценка максимального правдоподобия.

Основные выводы

1. Обыкновенные методы наименьших квадратов (OLS) — это статистический метод оценки моделей линейной регрессии путем минимизации суммы квадратов ошибок.
2. Оценка максимального правдоподобия (MLE) — это статистический метод, который оценивает параметры путем максимизации функции правдоподобия.
3. OLS специфичен для линейной регрессии, тогда как MLE может применяться к различным статистическим моделям.

ОЛС против МЛЕ

OLS оценивает параметры, которые минимизируют сумму квадратов остатков, в то время как MLE оценивает параметры, которые максимизируют вероятность наблюдаемых данных. OLS — более простой и интуитивно понятный метод, в то время как MLE может работать с более сложными моделями и более эффективен при работе с небольшими выборками.

Метод, используемый для расчета и оценки неизвестных параметров, присутствующих в некотором линейном регресс Модель известна как обычный метод наименьших квадратов (OLS). Это метод, при котором количество ошибок распределяется поровну.

Это один из наиболее последовательных методов, когда регрессоры в модели возникают извне.

Метод в статистике, который используется для оценки нескольких параметров, когда предполагается распределение вероятностей наблюдаемых статистических данных, известен как оценка максимального правдоподобия (MLE).

Оценка максимального правдоподобия - это точка в пространстве параметров, которая максимизирует функцию правдоподобия.

Сравнительная таблица

Параметры сравнения	МНК	МЛЭ
Полные формы	Обычные наименьшие квадраты.	Оценка максимального правдоподобия.
Также известный под названием	Линейный метод наименьших квадратов	Нет другого имени
Используется для	Обычный метод наименьших квадратов используется для определения различных неизвестных параметров, присутствующих в модели линейной регрессии.	Оценка максимального правдоподобия — это метод, который используется для 1. Оценки параметров. 2. Подгонки статистической модели к статистическим данным.
Обнаружено	Адриен Мари Лежандр	Концепция была получена коллективно с помощью вклада, сделанного Гауссом, Хагеном и Эджвортом.
Недостатками	Он недоступен и не применим к статистическим данным, подвергшимся цензуре. Его нельзя применять к данным, которые имеют очень большие или очень маленькие значения. В этой концепции сравнительно меньше свойств оптимальности.	При расчете статистических данных, которые имеют чрезвычайно малые значения, метод оценки максимального правдоподобия может быть весьма необъективным. В некоторых случаях может потребоваться специальное решение уравнений правдоподобия. Иногда оценка числовых значений может быть нетривиальной.

Что такое ОЛС?

Метод, используемый для расчета и оценки неизвестных параметров, присутствующих в определенной модели линейной регрессии, известен как метод наименьших квадратов (OLS). Открытие этого понятия в мире статистики было сделано Адрианом Мари Лежандром.

Рамки, в которых применим обычный метод наименьших квадратов, могут различаться.

Необходимо выбрать подходящую структуру, в которой обычный метод наименьших квадратов можно применить к конкретной модели линейной регрессии, чтобы найти неизвестные параметры, расположенные в ней.

Один из дифференциальных аспектов этой концепции заключается в том, рассматривать ли регрессоры как случайные переменные или как константы с предопределенными значениями.

Если регрессоры рассматривать как случайные переменные, то исследование может быть более врожденным, и переменные могут быть образцами вместе для коллективного исследования. наблюдательное исследование. Это приводит к некоторым сравнительно более точным результатам.

Однако если регрессоры рассматривать как константы с предопределенными значениями, то исследование считается сравнительно более похожим на эксперимент.

Существует еще одна классическая модель линейной регрессии, в которой упор делается на конечные выборочные данные. Это приводит к выводу, что значения в данных ограничены и фиксированы, а оценка данных выполняется на основе фиксированных данных.

В дальнейшем вывод статистические также вычисляются сравнительно более простым методом.

Что такое МЛЭ?

Метод в статистике, который используется для оценки нескольких параметров, когда предполагается распределение вероятностей наблюдаемых статистических данных, известен как оценка максимального правдоподобия (MLE).

Он обладает сравнительно более оптимальными свойствами, чем многие другие понятия, используемые для расчета неизвестных параметров в различных статистических моделях.

Первоначальная оценка выполняется на основе базовой функции правдоподобия данных статистической выборки.

Грубое предсказание данных делается подобно набору данных, и его вероятность также является вероятностью получения аналогичного набора данных для данной вероятностной статистической модели. 

Весь грубый прогноз набора данных состоит из различных неизвестных параметров, которые расположены по всей вероятностной модели. Эти значения или эти неизвестные параметры максимизируют вероятность набора данных.

Эти значения известны как оценки максимального правдоподобия. Существует несколько функций правдоподобия, которые также полезны для распределений, обычно используемых в анализе надежности.

Существовали цензурированные модели, в соответствии с которыми рассчитываются цензурированные данные в анализе надежности, и для этого можно использовать концепцию оценки максимального правдоподобия.

Используя эту концепцию, можно оценить различные параметры, поскольку она обеспечивает сравнительно более последовательный подход к ней.

Используя эту концепцию, можно сгенерировать несколько наборов гипотез для параметров в данных. Он приблизительно содержит как нормальные распределения, так и выборочные дисперсии.

Основные различия между OLS и MLE

1. Метод МНК — это обычный метод наименьших квадратов. С другой стороны, метод MLE представляет собой оценку максимального правдоподобия.
2. Метод обычных линейных квадратов также известен как линейный метод наименьших квадратов. С другой стороны, метод максимального правдоподобия не имеет другого имени, под которым он известен.
3. Обычный метод наименьших квадратов имеет сравнительно меньше оптимальных свойств. С другой стороны, оценка максимального правдоподобия обладает сравнительно более оптимальными свойствами.
4. Обычный метод наименьших квадратов нельзя использовать для цензурированных данных. С другой стороны, для цензурированных данных можно использовать метод оценки максимального правдоподобия.
5. Обычный метод наименьших квадратов используется для определения различных неизвестных параметров, присутствующих в модели линейной регрессии. С другой стороны, оценка максимального правдоподобия — это метод, который используется для 1. Оценки параметров. 2. Подгонки статистической модели к статистическим данным.

Рекомендации

1. https://methods.sagepub.com/base/download/BookChapter/the-multivariate-social-scientist/d49.xml
2. https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/j.2517-6161.1961.tb00430.x

Последнее обновление: 13 июля 2023 г.