OLS กับ MLE: ความแตกต่างและการเปรียบเทียบ

ในทางสถิติ มีหลายแนวคิดที่ช่วยให้เราไปถึงผลลัพธ์ที่เฉพาะเจาะจง ข้อมูลสถิติอาจแตกต่างกันไปในแต่ละเนื้อหาและปริมาณต่อปริมาณ

สถิติเป็นสาขาประเภทหนึ่งที่ช่วยให้เราได้รับแนวคิดคร่าวๆ เกี่ยวกับเหตุการณ์ที่กำลังดำเนินอยู่ ช่วยให้เราสามารถคาดการณ์ผลลัพธ์และด้วยเหตุนี้จึงทำการตัดสินใจในเรื่องเดียวกัน

การวิเคราะห์ทางสถิติจะทำบนพื้นฐานของข้อมูลต่างๆ ที่รวบรวมระหว่างเหตุการณ์หนึ่งๆ หรือหลังจากนั้น อย่างไรก็ตาม ข้อมูลประเภทต่างๆ จะถูกวิเคราะห์โดยใช้แนวคิดประเภทต่างๆ

สองแนวคิดดังกล่าวคือ 1. OLS หรือกำลังสองน้อยที่สุดธรรมดา และ 2. MLE หรือการประมาณค่าความน่าจะเป็นสูงสุด

ประเด็นที่สำคัญ

1. กำลังสองน้อยที่สุดสามัญ (OLS) เป็นวิธีการทางสถิติสำหรับการประมาณค่าแบบจำลองการถดถอยเชิงเส้นโดยการลดผลรวมของข้อผิดพลาดกำลังสองให้เหลือน้อยที่สุด
2. การประมาณค่าความน่าจะเป็นสูงสุด (MLE) เป็นเทคนิคทางสถิติที่ประมาณค่าพารามิเตอร์โดยการเพิ่มฟังก์ชันความน่าจะเป็นให้สูงสุด
3. OLS มีความเฉพาะเจาะจงกับการถดถอยเชิงเส้น ในขณะที่ MLE สามารถนำไปใช้กับแบบจำลองทางสถิติต่างๆ ได้

OLS กับ MLE

OLS ประมาณการพารามิเตอร์ที่จะลดผลรวมของส่วนที่เหลือกำลังสองให้เหลือน้อยที่สุด ในขณะที่ MLE ประมาณการพารามิเตอร์ที่เพิ่มโอกาสสูงสุดของข้อมูลที่สังเกตได้ OLS เป็นวิธีที่ง่ายกว่าและใช้งานง่ายกว่า ในขณะที่ MLE สามารถจัดการกับโมเดลที่ซับซ้อนกว่าและมีประสิทธิภาพมากกว่าในกลุ่มตัวอย่างขนาดเล็ก

วิธีที่ใช้ในการคำนวณและประมาณค่าพารามิเตอร์ที่ไม่รู้จักที่มีอยู่ในเส้นตรงที่แน่นอน ถดถอย แบบจำลองนี้เรียกว่ากำลังสองน้อยที่สุดธรรมดา (OLS) เป็นวิธีการที่มีการกระจายจำนวนข้อผิดพลาดเท่าๆ กัน

เป็นหนึ่งในเทคนิคที่สอดคล้องกันมากที่สุดเมื่อตัวถดถอยในแบบจำลองมาจากภายนอก

วิธีการทางสถิติที่ใช้ในการประมาณค่าพารามิเตอร์หลายตัวเมื่อการแจกแจงความน่าจะเป็นของข้อมูลทางสถิติที่สังเกตได้เรียกว่าการประมาณค่าความน่าจะเป็นสูงสุด (MLE)

การประมาณค่าความน่าจะเป็นสูงสุดคือจุดในพื้นที่พารามิเตอร์ที่เพิ่มฟังก์ชันความน่าจะเป็นสูงสุด

ตารางเปรียบเทียบ

พารามิเตอร์ของการเปรียบเทียบ	อปท	พม
เต็มรูปแบบ	กำลังสองน้อยที่สุดสามัญ	การประมาณค่าความน่าจะเป็นสูงสุด
ยังเป็นที่รู้จัก	กำลังสองน้อยที่สุดเชิงเส้น	ไม่มีชื่ออื่น
ใช้สำหรับ	วิธีกำลังสองน้อยที่สุดแบบธรรมดาใช้สำหรับการกำหนดค่าพารามิเตอร์ที่ไม่รู้จักต่างๆ ที่มีอยู่ในแบบจำลองการถดถอยเชิงเส้น	การประมาณค่าความน่าจะเป็นสูงสุดเป็นวิธีการที่ใช้สำหรับ 1. การประมาณค่าพารามิเตอร์ 2. การประกอบแบบจำลองทางสถิติเข้ากับข้อมูลทางสถิติ
ค้นพบโดย	เอเดรียน มารี เลเจนเดร	แนวคิดนี้ได้รับร่วมกันด้วยความช่วยเหลือของเกาส์ ฮาเกน และเอดจ์เวิร์ธ
ข้อเสีย	ไม่สามารถใช้ได้และใช้ได้กับข้อมูลทางสถิติที่ถูกเซ็นเซอร์ ไม่สามารถใช้ได้กับข้อมูลที่มีค่ามากหรือค่าน้อยมาก แนวคิดนี้มีสมบัติการหาค่าที่เหมาะสมน้อยกว่า	ในระหว่างการคำนวณข้อมูลทางสถิติที่มีค่าน้อยกว่ามาก วิธีการประมาณค่าความน่าจะเป็นสูงสุดอาจค่อนข้างเอนเอียง ในบางกรณีอาจต้องแก้สมการความน่าจะเป็นโดยเฉพาะ บางครั้งการประมาณค่าตัวเลขอาจไม่ใช่เรื่องเล็กน้อย

OLS คืออะไร?

วิธีที่ใช้ในการคำนวณและประมาณค่าพารามิเตอร์ที่ไม่รู้จักซึ่งมีอยู่ในแบบจำลองการถดถอยเชิงเส้นบางแบบเรียกว่า กำลังสองน้อยที่สุดธรรมดา (OLS) การค้นพบแนวคิดนี้ในโลกแห่งสถิตินั้นทำโดย Adrien Marie Legendre

กรอบที่ใช้กำลังสองน้อยที่สุดธรรมดาอาจแตกต่างกันไป

เราจะต้องเลือกเฟรมเวิร์กที่เหมาะสมซึ่งสามารถนำกำลังสองน้อยที่สุดธรรมดาไปใช้ในโมเดลการถดถอยเชิงเส้นโดยเฉพาะเพื่อค้นหาพารามิเตอร์ที่ไม่รู้จักซึ่งอยู่ในเดียวกัน

แง่มุมหนึ่งของแนวคิดนี้ที่แตกต่างคือการปฏิบัติต่อ regressors เป็นตัวแปรสุ่มหรือเป็นค่าคงที่ด้วยค่าที่กำหนดไว้ล่วงหน้า

ถ้าตัวถดถอยถูกมองว่าเป็นตัวแปรสุ่ม การศึกษาอาจมีมาแต่กำเนิดมากกว่า และตัวแปรสามารถเป็นตัวอย่างร่วมกันสำหรับกลุ่มตัวอย่าง การศึกษาเชิงสังเกต. สิ่งนี้นำไปสู่ผลลัพธ์ที่ค่อนข้างแม่นยำยิ่งขึ้น

อย่างไรก็ตาม หากถือว่าการถดถอยเป็นค่าคงที่ด้วยค่าที่กำหนดไว้ล่วงหน้า การศึกษาจะถือว่าค่อนข้างคล้ายกับการทดลองมากกว่า

มีแบบจำลองการถดถอยเชิงเส้นแบบดั้งเดิมอีกรูปแบบหนึ่งซึ่งเน้นไปที่ข้อมูลตัวอย่างที่มีขอบเขตจำกัด สิ่งนี้นำไปสู่ข้อสรุปว่าค่าในข้อมูลมีจำกัดและคงที่ และการประมาณข้อมูลจะทำบนพื้นฐานของข้อมูลคงที่

ต่อไป การอนุมาน ของสถิติยังคำนวณด้วยวิธีที่ค่อนข้างง่ายกว่าอีกด้วย

MLE คืออะไร?

วิธีการทางสถิติที่ใช้ในการประมาณค่าพารามิเตอร์หลายตัวเมื่อการแจกแจงความน่าจะเป็นของข้อมูลทางสถิติที่สังเกตได้เรียกว่าการประมาณค่าความน่าจะเป็นสูงสุด (MLE)

มีคุณสมบัติที่เหมาะสมกว่าแนวคิดอื่นๆ ที่ใช้ในการคำนวณค่าพารามิเตอร์ที่ไม่รู้จักในแบบจำลองทางสถิติต่างๆ

การประมาณค่าเริ่มต้นจะทำบนพื้นฐานของฟังก์ชันความน่าจะเป็นพื้นฐานของข้อมูลตัวอย่างทางสถิติ

การคาดคะเนข้อมูลอย่างคร่าว ๆ จะทำเหมือนกับชุดข้อมูล และความเป็นไปได้ก็คือความน่าจะเป็นที่จะได้รับชุดข้อมูลที่คล้ายกันสำหรับแบบจำลองทางสถิติความน่าจะเป็นที่กำหนด 

การคาดคะเนคร่าวๆ ทั้งหมดของชุดข้อมูลประกอบด้วยพารามิเตอร์ที่ไม่รู้จักต่างๆ ซึ่งอยู่ในโมเดลความน่าจะเป็น ค่าเหล่านี้หรือพารามิเตอร์ที่ไม่รู้จักเหล่านี้จะเพิ่มความเป็นไปได้ของชุดข้อมูลให้สูงสุด

ค่าเหล่านี้เรียกว่าค่าประมาณความเป็นไปได้สูงสุด มีฟังก์ชันความน่าจะเป็นหลายฟังก์ชันที่มีประโยชน์สำหรับการแจกแจงที่ใช้กันทั่วไปในการวิเคราะห์ความน่าเชื่อถือ

มีแบบจำลองที่เซ็นเซอร์อยู่ซึ่งมีการคำนวณข้อมูลที่ถูกเซ็นเซอร์ในการวิเคราะห์ความน่าเชื่อถือ และแนวคิดของการประมาณค่าความน่าจะเป็นสูงสุดสามารถใช้ทำเช่นเดียวกันได้

สามารถประมาณค่าพารามิเตอร์ต่างๆ ได้โดยใช้แนวคิดนี้ เนื่องจากให้แนวทางที่สอดคล้องกันมากกว่า

สามารถสร้างชุดสมมติฐานหลายชุดสำหรับพารามิเตอร์ในข้อมูลได้โดยใช้แนวคิดนี้ ประกอบด้วยทั้งการแจกแจงแบบปกติและความแปรปรวนตัวอย่างโดยประมาณ

ความแตกต่างที่สำคัญระหว่าง OLS และ MLE

1. วิธี OLS เป็นวิธีกำลังสองน้อยที่สุดธรรมดา ในทางกลับกัน วิธี MLE เป็นการประมาณค่าความน่าจะเป็นสูงสุด
2. วิธีกำลังสองเชิงเส้นธรรมดาเรียกอีกอย่างว่าวิธีกำลังสองน้อยเชิงเส้น ในทางกลับกัน วิธีความเป็นไปได้สูงสุดไม่มีชื่ออื่นที่เป็นที่รู้จัก
3. วิธีกำลังสองน้อยที่สุดธรรมดามีคุณสมบัติที่เหมาะสมน้อยกว่าโดยเปรียบเทียบ ในทางกลับกัน การประมาณค่าความน่าจะเป็นสูงสุดจะมีคุณสมบัติที่เหมาะสมกว่าโดยเปรียบเทียบ
4. ไม่สามารถใช้วิธีกำลังสองน้อยที่สุดแบบธรรมดากับข้อมูลที่ถูกเซ็นเซอร์ได้ ในทางกลับกัน วิธีการประเมินความเป็นไปได้สูงสุดสามารถใช้กับข้อมูลที่ถูกเซ็นเซอร์ได้
5. วิธีกำลังสองน้อยที่สุดแบบธรรมดาใช้สำหรับการกำหนดค่าพารามิเตอร์ที่ไม่รู้จักต่างๆ ที่มีอยู่ในแบบจำลองการถดถอยเชิงเส้น ในทางกลับกัน การประมาณค่าความน่าจะเป็นสูงสุดเป็นวิธีที่ใช้สำหรับ 1. การประมาณพารามิเตอร์ 2. การประกอบแบบจำลองทางสถิติเข้ากับข้อมูลทางสถิติ

อ้างอิง

1. https://methods.sagepub.com/base/download/BookChapter/the-multivariate-social-scientist/d49.xml
2. https://rss.onlinelibrary.wiley.com/doi/abs/10.1111/j.2517-6161.1961.tb00430.x

อัพเดตล่าสุด : 13 กรกฎาคม 2023