การสลายตัวของค่าเอกพจน์ (SVD) กับการวิเคราะห์องค์ประกอบหลัก (PCA): ความแตกต่างและการเปรียบเทียบ

การสลายตัวของค่าเอกพจน์ (SVD) เป็นหนึ่งในคุณสมบัติที่เป็นประโยชน์และมีประโยชน์ในทุกจุดประสงค์ในพีชคณิตเชิงเส้นเชิงตัวเลขสำหรับการได้มาของข้อมูล ในขณะที่การวิเคราะห์องค์ประกอบหลัก (PCA) เป็นวิธีการที่ได้รับการยอมรับอย่างดีซึ่งได้แนะนำทฤษฎีมากมายเกี่ยวกับสถิติ

โดยเฉพาะอย่างยิ่ง PCA จัดเตรียมระบบพิกัดลำดับชั้นที่ขับเคลื่อนด้วยข้อมูล

ประเด็นที่สำคัญ

1. SVD เป็นเทคนิคการแยกตัวประกอบเมทริกซ์ที่ใช้กับเมทริกซ์ใดๆ ในขณะที่ PCA เป็นการแปลงเชิงเส้นเฉพาะสำหรับเมทริกซ์ความแปรปรวนร่วม
2. PCA ใช้สำหรับการบีบอัดข้อมูลและการแยกคุณสมบัติ ในขณะที่ SVD มีแอปพลิเคชันที่หลากหลายในการประมวลผลสัญญาณ การทำเหมืองข้อมูล และการดึงข้อมูล
3. SVD ไม่ต้องการข้อมูลที่อยู่กึ่งกลาง ในขณะที่ PCA ทำงานได้ดีที่สุดกับข้อมูลที่อยู่กึ่งกลางและเป็นมาตรฐาน

การสลายตัวของค่าเอกพจน์ (SVD) เทียบกับการวิเคราะห์องค์ประกอบหลัก (PCA)

การสลายตัวของค่าเอกพจน์ (SVD) เป็นวิธีแยกตัวประกอบในพีชคณิตเชิงเส้นที่สามารถแยกเมทริกซ์จริงหรือเมทริกซ์เชิงซ้อนใดๆ ได้ การวิเคราะห์องค์ประกอบหลัก (PCA) เป็นขั้นตอนทางสถิติที่ใช้การสลายตัวแบบ SVD หรือไอเจนบนเมทริกซ์ความแปรปรวนร่วมหรือเมทริกซ์สหสัมพันธ์เพื่อระบุองค์ประกอบหลัก

การสลายตัวของค่าเอกพจน์ (SVD) เป็นคุณสมบัติที่ใช้กันอย่างแพร่หลายที่สุดในพีชคณิตเชิงเส้นเชิงตัวเลข ช่วยในการลดข้อมูลให้เป็นคุณสมบัติหลักที่จำเป็นสำหรับการวิเคราะห์ การทำความเข้าใจ และคำอธิบาย

svd เป็นหนึ่งในองค์ประกอบแรกๆ ในการประมวลผลข้อมูลล่วงหน้าและส่วนใหญ่ เรียนรู้เครื่อง อัลกอริธึมสำหรับการลดข้อมูลโดยเฉพาะ SVD เป็นลักษณะทั่วไปของการแปลงฟูริเยร์ที่ขับเคลื่อนด้วยข้อมูล

ปัจจุบันการวิเคราะห์องค์ประกอบหลัก (PCA) เป็นเครื่องมือทางสถิติที่ก่อให้เกิดแนวคิดมากมาย สิ่งนี้จะช่วยให้เราสามารถใช้ชุดคะแนนแบบลำดับชั้นเพื่อแสดงการเปลี่ยนแปลงทางสถิติ

PCA เป็นเทคนิคทางสถิติ/ความฉลาดของเครื่องจักรที่ใช้ในการกำหนดรูปแบบข้อมูลหลักที่เพิ่มความแปรผันโดยรวมให้สูงสุด ดังนั้นระบบพิกัดจะบันทึกความแปรปรวนสูงสุดโดยขึ้นอยู่กับทิศทางของข้อมูล

ตารางเปรียบเทียบ

พารามิเตอร์ของการเปรียบเทียบ	การสลายตัวของค่าเอกพจน์ (SVD)	การวิเคราะห์องค์ประกอบหลัก (PCA)
ความต้องการ	คณิตศาสตร์เชิงนามธรรม การสลายตัวของเมทริกซ์ และฟิสิกส์ควอนตัมล้วนต้องใช้ SVD	สถิติมีประสิทธิภาพโดยเฉพาะใน PCA ในการวิเคราะห์ข้อมูลจากการวิจัย
การแสดงออก	การแยกตัวประกอบนิพจน์เกี่ยวกับพีชคณิต	คล้ายกับนิพจน์ตัวประกอบโดยประมาณ
วิธีการ	เป็นวิธีการทางคณิตศาสตร์เชิงนามธรรมและการสลายเมทริกซ์	เป็นวิธีการในสถิติ/การเรียนรู้ของเครื่อง
สาขา	ที่เป็นประโยชน์ในสาขาคณิตศาสตร์	ที่เป็นประโยชน์ในสาขาคณิตศาสตร์
การประดิษฐ์	SVD คิดค้นโดย Eugenio Beltrami และ Camille Jordan	PCA ถูกคิดค้นโดย Karl Pearson

การสลายตัวของค่าเอกพจน์ (SVD) คืออะไร?

SVD เชื่อมโยงอย่างยิ่งกับส่วนของค่าลักษณะเฉพาะของเมทริกซ์และการแยกตัวประกอบเวกเตอร์ลักษณะเฉพาะของเมทริกซ์

แม้ว่าเมทริกซ์ทั้งหมดอาจไม่สามารถแยกตัวประกอบเป็น pt ได้ แต่เมทริกซ์ A m×n ใดๆ ก็สามารถแยกตัวประกอบได้โดยการปล่อยให้เมทริกซ์ทางด้านซ้ายและ PT ทางด้านขวาเป็นค่าใดๆ ก็ได้ เป็นมุมฉาก เมทริกซ์ U และ vt (ไม่จำเป็นต้องสลับสับเปลี่ยนซึ่งกันและกัน)

การแยกตัวประกอบแบบพิเศษประเภทนี้เรียกว่า SVD

การขยายไซน์และโคไซน์ใช้ในคณิตศาสตร์ทั้งหมดเพื่อประมาณค่าฟังก์ชัน และ FT เป็นหนึ่งในการแปลงที่มีประโยชน์มากที่สุด นอกจากนี้ยังมีฟังก์ชั่น Bessel และ Airy รวมถึงฮาร์โมนิกทรงกลมอีกด้วย

และในวิทยาการคอมพิวเตอร์และวิศวกรรมศาสตร์รุ่นก่อนหน้า การแปลงทางคณิตศาสตร์ของแบบจำลองทางคณิตศาสตร์นี้ถูกนำมาใช้เพื่อถ่ายโอนระบบที่สนใจไปยังระบบพิกัดใหม่

หนึ่งในอัลกอริทึมที่โดดเด่นคือ SVD เราสามารถใช้พีชคณิตเชิงเส้นเพื่อสร้างรายได้

ข้อดีอย่างหนึ่งของการใช้พีชคณิตเชิงเส้นเพื่อทำกำไรคือการใช้พีชคณิตเชิงเส้นอย่างแพร่หลายเนื่องจากอิงจากพีชคณิตเชิงเส้นที่เรียบง่ายและอ่านง่าย ซึ่งสามารถใช้ได้ทุกเมื่อ

หากคุณมี Data Matrix คุณสามารถคำนวณ svd และรับคุณลักษณะที่ตีความได้และเข้าใจได้ซึ่งคุณสามารถสร้างแบบจำลองได้ นอกจากนี้ยังปรับขนาดได้ ดังนั้นจึงสามารถใช้กับชุดข้อมูลขนาดใหญ่มากได้

ทุกๆ เมทริกซ์แฟกเตอร์จะถูกแบ่งออกเป็นสามส่วน ซึ่งเรียกว่า u Sigma v transpose เมทริกซ์มุมฉากเป็นองค์ประกอบ u เมทริกซ์แนวทแยงเป็นปัจจัยซิกมา

แฟกเตอร์ v ทรานสโพสก็เช่นเดียวกันกับเมทริกซ์มุมฉาก ทำให้มันเป็นแนวทแยงมุมฉากหรือยืดและหมุนทางกายภาพ

เมทริกซ์แต่ละตัวจะแยกตัวประกอบเป็นเมทริกซ์มุมฉากโดยการคูณเมทริกซ์แนวทแยง (ค่าเอกพจน์) ด้วยเมทริกซ์มุมฉากอีกตัว: การหมุน การยืดเวลา การหมุนครั้ง

การวิเคราะห์องค์ประกอบหลัก (PCA) คืออะไร?

PCA เป็นวิธีการที่ได้รับการยอมรับอย่างดีซึ่งได้แนะนำทฤษฎีมากมายเกี่ยวกับสถิติ ซึ่งเทียบเท่ากับการประมาณข้อความแยกส่วนโดยคงเงื่อนไขที่ 'ใหญ่ที่สุด' และกำจัดเงื่อนไขที่เล็กกว่าทั้งหมด'

เป็นวิธีการที่ได้รับการยอมรับอย่างดีซึ่งได้แนะนำทฤษฎีมากมายเกี่ยวกับสถิติ โดยเฉพาะอย่างยิ่ง PCA จัดเตรียมระบบพิกัดลำดับชั้นที่ขับเคลื่อนด้วยข้อมูล

การวิเคราะห์องค์ประกอบหลัก (PCA) เรียกว่าการสลายตัวแบบมุมฉากที่เหมาะสม PCA เป็นวิธีการระบุรูปแบบในข้อมูลโดยกำหนดในแง่ของความเหมือนและความแตกต่าง

ใน PCA มีเมทริกซ์ข้อมูล X ที่มีการรวบรวมการวัดจากการทดลองต่างๆ และการทดลองอิสระสองรายการจะแสดงเป็นตัวประกอบแถวขนาดใหญ่ที่ x1,x2 และอื่นๆ

PCA เป็นวิธีการลดขนาดที่สามารถช่วยลดขนาดของชุดข้อมูลที่ใช้ในการฝึกอบรมแมชชีนเลิร์นนิง มันบรรเทาคำสาปมิติอันน่าสะพรึงกลัว

PCA เป็นวิธีการกำหนดคุณลักษณะที่สำคัญที่สุดขององค์ประกอบหลักที่มีอิทธิพลสูงสุดต่อตัวแปรเป้าหมาย PCA พัฒนาองค์ประกอบหลักคุณลักษณะใหม่

ความแตกต่างหลักระหว่าง การสลายตัวของค่าเอกพจน์ (SVD) และการวิเคราะห์องค์ประกอบหลัก (PCA)

1. SVD สามารถเทียบเคียงได้โดยตรงกับ แฟ นิพจน์พีชคณิต ในขณะที่ PCA เทียบเท่ากับการประมาณคำสั่งแยกตัวประกอบโดยคงคำศัพท์ที่ 'ใหญ่ที่สุด' และกำจัดเงื่อนไขที่เล็กกว่าทั้งหมดออกไป
2. ค่าใน SVD เป็นตัวเลขที่สอดคล้องกัน และการแยกตัวประกอบเป็นกระบวนการแยกย่อย ในขณะที่ PCA เป็นวิธีทางสถิติ/ข้อมูลเชิงลึกของเครื่องจักรในการพิจารณาประเด็นหลัก
3. การสลายตัวของเมทริกซ์ในพื้นที่ออร์โธปกติเรียกว่า SVD ในขณะที่ PCA สามารถคำนวณได้โดยใช้ SVD แม้ว่าจะมีราคาสูงกว่าก็ตาม
4. SVD เป็นหนึ่งในคุณสมบัติที่เป็นประโยชน์และใช้งานได้หลากหลายที่สุดในพีชคณิตเชิงเส้นเชิงตัวเลขสำหรับการรวบรวมข้อมูล ในขณะที่ PCA เป็นวิธีการที่มีชื่อเสียงซึ่งได้นำทฤษฎีมากมายเกี่ยวกับสถิติมาใช้
5. SVD เป็นหนึ่งในอัลกอริธึมที่โดดเด่น ในขณะที่ PCA เป็นแนวทางการลดขนาด

อ้างอิง

1. https://www.hindawi.com/journals/acisc/2021/6686759/
2. https://www.tandfonline.com/doi/abs/10.1198/106186007X256080

อัพเดตล่าสุด : 13 กรกฎาคม 2023