OLS vs MLE: Perbedaan dan Perbandingan

Dalam statistik, ada beberapa konsep yang membantu kita mencapai hasil tertentu. Data statistik dapat bervariasi dari konten ke konten dan kuantitas ke kuantitas.

Statistik adalah jenis cabang yang membantu kita memperoleh gambaran kasar tentang suatu peristiwa yang sedang berlangsung. Ini membantu kami untuk memprediksi hasil dan dengan demikian membuat keputusan tentang hal yang sama.

Analisis statistik dilakukan atas dasar berbagai data yang dikumpulkan selama atau setelah peristiwa tertentu. Namun, berbagai jenis data dianalisis dengan menggunakan berbagai jenis konsep.

Dua dari konsep tersebut adalah 1. OLS atau kuadrat terkecil biasa dan 2. MLE atau estimasi kemungkinan maksimum.

Pengambilan Kunci

  1. Ordinary Least Squares (OLS) adalah metode statistik untuk mengestimasi model regresi linier dengan meminimalkan jumlah kesalahan kuadrat.
  2. Estimasi Kemungkinan Maksimum (MLE) adalah teknik statistik yang memperkirakan parameter dengan memaksimalkan fungsi kemungkinan.
  3. OLS khusus untuk regresi linier, sedangkan MLE dapat diterapkan pada berbagai model statistik.

OLS vs MLE

OLS memperkirakan parameter yang meminimalkan jumlah residu kuadrat, sedangkan MLE memperkirakan parameter yang memaksimalkan kemungkinan data yang diamati. OLS adalah metode yang lebih sederhana dan lebih intuitif, sedangkan MLE dapat menangani model yang lebih kompleks dan lebih efisien dalam sampel kecil.

OLS vs MLE

Metode yang digunakan untuk menghitung dan mengestimasi parameter yang tidak diketahui yang ada dalam suatu linier tertentu regresi model ini dikenal sebagai kuadrat terkecil biasa (OLS). Ini adalah metode di mana jumlah kesalahan didistribusikan secara merata.

Ini adalah salah satu teknik yang paling konsisten ketika regressor dalam model berasal dari luar.

Metode dalam statistik yang digunakan untuk memperkirakan beberapa parameter ketika distribusi probabilitas diasumsikan dari data statistik yang diamati dikenal sebagai estimasi kemungkinan maksimum (MLE).

Estimasi kemungkinan maksimum adalah titik dalam ruang parameter yang memaksimalkan fungsi kemungkinan.

Tabel perbandingan

Parameter PerbandinganOLSMLE
Bentuk penuhKuadrat terkecil biasa.Estimasi kemungkinan maksimum.
Juga dikenal sebagaiKuadrat terkecil linierTidak ada nama lain
Digunakan untukMetode kuadrat terkecil biasa digunakan untuk penentuan berbagai parameter yang tidak diketahui yang ada dalam model regresi linier. Estimasi kemungkinan maksimum adalah metode yang digunakan untuk 1. Estimasi parameter 2. Menyesuaikan model statistik dengan data statistik.
Ditemukan olehAdrien Marie LegendreKonsep ini diturunkan secara kolektif dengan bantuan kontribusi yang dilakukan oleh Gauss, Hagen, dan Edgeworth.
KerugianIni tidak tersedia dan berlaku untuk data statistik yang disensor. Itu tidak dapat diterapkan pada data yang memiliki nilai sangat besar atau nilai sangat kecil. Ada properti optimalitas yang relatif lebih sedikit dalam konsep ini.Selama perhitungan data statistik yang memiliki nilai yang sangat kecil metode estimasi kemungkinan maksimum bisa sangat bias, Dalam beberapa kasus seseorang mungkin perlu secara khusus menyelesaikan persamaan kemungkinan, Terkadang estimasi nilai numerik bisa menjadi non-trivial.

Apa itu OLS?

Metode yang digunakan untuk menghitung dan memperkirakan parameter yang tidak diketahui yang ada dalam model regresi linier tertentu dikenal sebagai kuadrat terkecil biasa (OLS). Penemuan konsep ini dalam dunia statistika dilakukan oleh Adrien Marie Legendre.

Baca Juga:  Psikologi Normalitas vs Abnormalitas: Perbedaan dan Perbandingan

Kerangka kerja di mana kuadrat terkecil biasa berlaku dapat bervariasi.

Seseorang harus memilih kerangka kerja yang sesuai di mana kuadrat terkecil biasa dapat dilemparkan dalam model regresi linier tertentu untuk mengetahui parameter yang tidak diketahui terletak di tempat yang sama.

Salah satu aspek dari konsep ini yang berbeda adalah apakah memperlakukan regressor sebagai variabel acak atau sebagai konstanta dengan nilai yang telah ditentukan sebelumnya.

Jika regressor diperlakukan sebagai variabel acak, maka studi bisa lebih bawaan, dan variabel bisa menjadi sampel bersama untuk kolektif. studi observasional. Ini mengarah pada beberapa hasil yang relatif lebih akurat.

Namun, jika regressor diperlakukan sebagai konstanta dengan nilai yang telah ditentukan, maka studi tersebut dianggap lebih seperti eksperimen.

Ada model regresi linier klasik lain di mana penekanannya diberikan pada data sampel yang terbatas. Ini mengarah pada kesimpulan bahwa nilai-nilai dalam data terbatas dan tetap, dan estimasi data dilakukan berdasarkan data tetap.

Lebih lanjut kesimpulan statistik juga dihitung dengan metode yang relatif lebih mudah.

Apa itu MLE?

Metode dalam statistik yang digunakan untuk memperkirakan beberapa parameter ketika distribusi probabilitas diasumsikan dari data statistik yang diamati dikenal sebagai estimasi kemungkinan maksimum (MLE).

Ini memiliki properti yang relatif lebih optimal daripada banyak konsep lain yang digunakan untuk menghitung parameter yang tidak diketahui dalam berbagai model statistik.

Estimasi awal dilakukan berdasarkan fungsi kemungkinan dasar dari data sampel statistik.

Baca Juga:  Metode Penilaian Persediaan FIFO vs Rata-Rata Tertimbang: Perbedaan dan Perbandingan

Perkiraan kasar dari data dibuat seperti kumpulan data, dan kemungkinannya juga merupakan probabilitas untuk mendapatkan kumpulan data yang serupa untuk model statistik probabilitas yang diberikan. 

Seluruh prediksi kasar dari kumpulan data terdiri dari berbagai parameter yang tidak diketahui yang terletak di seluruh model probabilitas. Nilai-nilai ini atau parameter yang tidak diketahui ini memaksimalkan kemungkinan kumpulan data.

Nilai-nilai ini dikenal sebagai perkiraan kemungkinan maksimum. Terdapat beberapa fungsi kemungkinan yang juga berguna untuk distribusi yang biasa digunakan dalam analisis reliabilitas.

Ada model yang disensor di mana data yang disensor dalam analisis reliabilitas dihitung, dan konsep estimasi kemungkinan maksimum dapat digunakan untuk melakukan hal yang sama.

Berbagai parameter dapat diperkirakan dengan menggunakan konsep ini karena memberikan pendekatan yang relatif lebih konsisten terhadapnya.

Beberapa set hipotesis dapat dihasilkan untuk parameter dalam data dengan menggunakan konsep ini. Ini kira-kira berisi distribusi normal serta varian sampel.

Perbedaan Utama Antara OLS dan MLE

  1. Metode OLS adalah metode kuadrat terkecil biasa. Di sisi lain, metode MLE adalah estimasi kemungkinan maksimum.
  2. Metode kuadrat linier biasa juga dikenal sebagai metode kuadrat terkecil linier. Di sisi lain, metode kemungkinan maksimum tidak memiliki nama lain yang dikenal.
  3. Metode kuadrat terkecil biasa memiliki sifat optimal yang relatif lebih sedikit. Di sisi lain, estimasi kemungkinan maksimum memiliki sifat yang relatif lebih optimal.
  4. Metode kuadrat terkecil biasa tidak dapat digunakan untuk data yang disensor. Di sisi lain, metode estimasi kemungkinan maksimum dapat digunakan untuk data yang disensor.
  5. Metode kuadrat terkecil biasa digunakan untuk penentuan berbagai parameter yang tidak diketahui yang ada dalam model regresi linier. Di sisi lain, estimasi kemungkinan maksimum adalah metode yang digunakan untuk 1. Estimasi parameter 2. Menyesuaikan model statistik dengan data statistik.
Referensi
  1. https://methods.sagepub.com/base/download/BookChapter/the-multivariate-social-scientist/d49.xml
  2. https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/j.2517-6161.1961.tb00430.x

Terakhir Diperbarui : 13 Juli 2023

dot 1
Satu permintaan?

Saya telah berusaha keras menulis posting blog ini untuk memberikan nilai kepada Anda. Ini akan sangat membantu saya, jika Anda mempertimbangkan untuk membagikannya di media sosial atau dengan teman/keluarga Anda. BERBAGI ADALAH ️

Tinggalkan Komentar

Ingin menyimpan artikel ini untuk nanti? Klik hati di pojok kanan bawah untuk menyimpan ke kotak artikel Anda sendiri!