OLS проти MLE: різниця та порівняння

У статистиці є кілька понять, які допомагають нам досягти певного результату. Статистичні дані можуть відрізнятися від вмісту до вмісту та кількості до кількості.

Статистика — це тип гілки, який допомагає нам отримати приблизне уявлення про поточну подію. Це допомагає нам передбачити результати та прийняти рішення щодо них.

Статистичний аналіз проводиться на основі різних даних, які збираються під час певної події або після неї. Однак різні типи даних аналізуються за допомогою різних типів концепцій.

Двома такими концепціями є 1. OLS або звичайний метод найменших квадратів і 2. MLE або оцінка максимальної правдоподібності.

Ключові винесення

1. Звичайні найменші квадрати (OLS) — це статистичний метод для оцінки моделей лінійної регресії шляхом мінімізації суми квадратів помилок.
2. Оцінка максимальної правдоподібності (MLE) — це статистичний метод, який оцінює параметри шляхом максимізації функції правдоподібності.
3. OLS є специфічним для лінійної регресії, тоді як MLE можна застосовувати до різних статистичних моделей.

OLS проти MLE

OLS оцінює параметри, які мінімізують суму квадратів залишків, тоді як MLE оцінює параметри, які максимізують вірогідність спостережуваних даних. OLS є простішим та більш інтуїтивно зрозумілим методом, тоді як MLE може працювати зі складнішими моделями та бути ефективнішим у невеликих вибірках.

Метод, який використовується для обчислення та оцінки невідомих параметрів, присутніх у певному лінійному регресія Модель відома як звичайні найменші квадрати (OLS). Це метод, у якому кількість помилок розподіляється рівномірно.

Це один із найбільш послідовних методів, коли регресори в моделі походять ззовні.

Метод у статистиці, який використовується для оцінки кількох параметрів, коли передбачається розподіл ймовірностей спостережуваних статистичних даних, відомий як оцінка максимальної правдоподібності (MLE).

Оцінка максимальної правдоподібності – це точка в просторі параметрів, яка максимізує функцію правдоподібності.

Таблиця порівняння

Параметри порівняння	OLS	MLE
Повні форми	Звичайні найменші квадрати.	Оцінка максимальної правдоподібності.
Також відомий як	Лінійні найменші квадрати	Іншого імені немає
Використовуваний для	Звичайний метод найменших квадратів використовується для визначення різних невідомих параметрів, які присутні в моделі лінійної регресії.	Оцінка максимальної правдоподібності – це метод, який використовується для 1. Оцінки параметрів 2. Підгонки статистичної моделі до статистичних даних.
Виявлено	Адріан Марі Лежандр	Концепція була колективно отримана за допомогою внесків Гауса, Хагена та Еджворта.
недоліками	Він недоступний і не застосовується до статистичних даних, які піддаються цензурі. Його не можна застосовувати до даних, які мають надзвичайно великі чи надзвичайно малі значення. У цій концепції порівняно менше властивостей оптимальності.	Під час обчислення статистичних даних, які мають надзвичайно малі значення, метод оцінки максимальної правдоподібності може бути досить упередженим. У деяких випадках може знадобитися спеціальне розв’язування рівнянь правдоподібності. Іноді оцінка числових значень може бути нетривіальною.

Що таке OLS?

Метод, який використовується для обчислення та оцінки невідомих параметрів, присутніх у певній моделі лінійної регресії, відомий як звичайні найменші квадрати (OLS). Відкриття цієї концепції у світі статистики було зроблено Адрієном Марі Лежандром.

Рамки, в яких застосовується звичайний метод найменших квадратів, можуть відрізнятися.

Необхідно вибрати відповідну структуру, де звичайні найменші квадрати можуть бути використані в конкретній моделі лінійної регресії, щоб знайти невідомі параметри, розташовані в ній.

Один із аспектів цієї концепції, який є диференціальним, полягає в тому, чи розглядати регресори як випадкові змінні чи як константи із заздалегідь визначеними значеннями.

Якщо регресори розглядаються як випадкові змінні, то дослідження може бути більш вродженим, а змінні можуть бути зразками разом для колективу спостережливе дослідження. Це призводить до деяких порівняно більш точних результатів.

Однак, якщо регресори розглядаються як константи із заздалегідь визначеними значеннями, то дослідження розглядається порівняно більше як експеримент.

Існує ще одна класична модель лінійної регресії, в якій наголос робиться на кінцевих вибіркових даних. Це призводить до висновку, що значення в даних є обмеженими та фіксованими, а оцінка даних виконується на основі фіксованих даних.

далі умовивод статистичних даних також обчислюється порівняно легшим методом.

Що таке MLE?

Метод у статистиці, який використовується для оцінки кількох параметрів, коли передбачається розподіл ймовірностей спостережуваних статистичних даних, відомий як оцінка максимальної правдоподібності (MLE).

Він має порівняно більш оптимальні властивості, ніж багато інших понять, які використовуються для обчислення невідомих параметрів у різних статистичних моделях.

Початкова оцінка виконується на основі базової функції ймовірності даних статистичної вибірки.

Грубе прогнозування даних виконується як набір даних, і його ймовірність також є ймовірністю отримання подібного набору даних для даної ймовірнісної статистичної моделі. 

Весь приблизний прогноз набору даних складається з різних невідомих параметрів, які розташовані в імовірнісній моделі. Ці значення або ці невідомі параметри максимізують вірогідність набору даних.

Ці значення відомі як оцінки максимальної правдоподібності. Існує кілька функцій правдоподібності, які також корисні для розподілів, які зазвичай використовуються в аналізі надійності.

Існували цензуровані моделі, за якими обчислювалися цензуровані дані в аналізі надійності, і для того ж можна використовувати концепцію оцінки максимальної правдоподібності.

За допомогою цієї концепції можна оцінити різні параметри, оскільки вона дає порівняно більш послідовний підхід до неї.

За допомогою цієї концепції можна створити кілька наборів гіпотез для параметрів у даних. Він приблизно містить як нормальні розподіли, так і вибіркові дисперсії.

Основні відмінності між OLS і MLE

1. Метод МНК є звичайним методом найменших квадратів. З іншого боку, метод MLE є оцінкою максимальної правдоподібності.
2. Звичайний метод лінійних квадратів також відомий як лінійний метод найменших квадратів. З іншого боку, метод максимальної правдоподібності не має іншої назви, під якою він відомий.
3. Звичайний метод найменших квадратів має порівняно менше оптимальних властивостей. З іншого боку, оцінка максимальної правдоподібності має порівняно більш оптимальні властивості.
4. Звичайний метод найменших квадратів не можна використовувати для цензурованих даних. З іншого боку, метод оцінки максимальної правдоподібності можна використовувати для цензурованих даних.
5. Звичайний метод найменших квадратів використовується для визначення різних невідомих параметрів, які присутні в моделі лінійної регресії. З іншого боку, оцінка максимальної правдоподібності — це метод, який використовується для 1. Оцінки параметрів 2. Підгонки статистичної моделі до статистичних даних.

посилання

1. https://methods.sagepub.com/base/download/BookChapter/the-multivariate-social-scientist/d49.xml
2. https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/j.2517-6161.1961.tb00430.x

Останнє оновлення: 13 липня 2023 р