Розклад сингулярного значення (SVD) проти аналізу головних компонентів (PCA): різниця та порівняння

Сингулярне розкладання (SVD) є однією з найбільш широко використовуваних і універсальних корисних функцій у числовій лінійній алгебрі для збору даних, тоді як аналіз головних компонент (PCA) є добре встановленим методом, який започаткував багато теорій про статистику.

Зокрема, PCA надає нам керовану даними ієрархічну систему координат.

Ключові винесення

1. SVD — це техніка факторизації матриці, яка застосовується до будь-якої матриці, тоді як PCA — це лінійне перетворення, специфічне для коваріаційних матриць.
2. PCA використовується для стиснення даних і виділення функцій, тоді як SVD має різні застосування в обробці сигналів, аналізі даних і пошуку інформації.
3. SVD не потребує центрованих даних, тоді як PCA найкраще працює з центрованими та нормалізованими даними.

Декомпозиція сингулярного значення (SVD) проти аналізу головних компонентів (PCA)

Розклад сингулярних значень (SVD) — це метод факторизації в лінійній алгебрі, який може розкласти будь-яку дійсну або комплексну матрицю. Аналіз головних компонентів (PCA) — це статистична процедура, яка використовує SVD або власний розклад коваріаційної або кореляційної матриці для ідентифікації головних компонентів.

Сингулярне розкладання (SVD) є найбільш широко використовуваною функцією в числовій лінійній алгебрі. Це допомагає скоротити дані до ключових характеристик, необхідних для аналізу, розуміння та опису.

SVD є одним із перших елементів у більшості попередніх обробок даних навчання за допомогою машини зокрема алгоритми для зменшення даних. SVD — це узагальнення перетворення Фур’є на основі даних.

Аналіз головних компонентів (PCA) тепер є статистичним інструментом, який породив численні ідеї. Це дозволить нам використовувати ієрархічний набір точок для вираження статистичних змін.

PCA — це метод статистичного/машинного аналізу, який використовується для визначення основних шаблонів даних, які максимізують загальну варіацію. Отже, максимальна дисперсія фіксується системою координат залежно від напрямків даних.

Таблиця порівняння

Параметри порівняння	Декомпозиція сингулярного значення (SVD)	Аналіз основних компонентів (PCA)
Вимога	Абстрактна математика, матричне розкладання та квантова фізика потребують SVD.	Статистика особливо ефективна в PCA для аналізу даних дослідження.
вираз	Розкладання алгебраїчних виразів на множники.	подібно до апроксимації факторизованих виразів.
Методи	Це метод абстрактної математики та матричної декомпозиції.	Це метод у статистиці/машинному навчанні.
Філія	Допомагає в галузі математики.	Допомагає в галузі математики.
Винахід	SVD винайшли Еудженіо Бельтрамі та Камілла Джордан.	PCA був винайдений Карлом Пірсоном.

Що таке розкладання сингулярних значень (SVD)?

SVD тісно пов’язаний із частиною власного значення позитивно визначеної матриці та факторизації власного вектора.

Хоча не всі матриці можна розкласти на множники як pt, будь-яку m×n матрицю A можна розкласти на множники, дозволивши їй ліворуч і PT праворуч бути будь-якими двома ортогональний матриці U і vt (не обов'язково транспонувати одна одну).

Цей тип спеціальної факторизації відомий як SVD.

Розклади синусів і косинусів використовуються в усій математиці для наближення функцій, і FT є одним із найкорисніших перетворень. Є також функції Бесселя і Ейрі, а також сферичні гармоніки.

І в попередньому поколінні інформатики та техніки це математичне перетворення математичної моделі використовувалося для переведення цікавої системи в нову систему координат.

Одним із відомих алгоритмів є SVD. Для отримання прибутку можна використовувати лінійну алгебру.

Одним із найкорисніших аспектів використання лінійної алгебри для отримання прибутку є те, що вона широко поширена, оскільки вона заснована на дуже простій і зрозумілій лінійній алгебрі, якою можна скористатися в будь-який час.

Якщо у вас є матриця даних, ви можете обчислити svd і отримати інтерпретовані та зрозумілі функції, на основі яких ви можете створювати моделі. Він також масштабований, тому його можна використовувати для дуже великих наборів даних.

Кожен матричний фактор ділиться на три частини, які відомі як u Sigma v транспонування. Ортогональна матриця є компонентою u. Діагональна матриця є фактором сигма.

Фактор v транспонування також є ортогональною матрицею, що робить її ортогонально діагональною або фізично розтягується та обертається.

Кожна матриця розкладається на ортогональну матрицю шляхом множення її на діагональну матрицю (особливе значення) на іншу ортогональну матрицю: обертання, часове розтягнення, помножене обертання.

Що таке аналіз основних компонентів (PCA)?

PCA — добре відомий метод, який започаткував багато теорій про статистику. Це еквівалентно апроксимації факторизованого твердження шляхом збереження «найбільших» членів і усунення всіх менших членів.

Це добре відомий метод, який запровадив багато теорій про статистику. Зокрема, PCA надає нам керовану даними ієрархічну систему координат.

Аналіз головних компонентів (PCA) називається відповідним ортогональним розкладанням. PCA — це метод виявлення шаблонів у даних шляхом визначення їх схожості та відмінності.

У PCA існує матриця даних X, яка містить набір вимірювань із різних експериментів, а два незалежні експерименти представлені як великі коефіцієнти рядків у x1, x2 тощо.

PCA — це підхід до зменшення розмірності, який може допомогти зменшити розміри наборів даних, які використовуються в навчанні машинному навчанню. Це полегшує жахливе прокляття розмірності.

PCA — це метод визначення найважливіших характеристик основного компонента, які мають найбільший вплив на цільову змінну. PCA розробляє новий принциповий компонент.

Основні відмінності між Декомпозиція сингулярного значення (SVD) і аналіз головних компонентів (PCA)

1. SVD прямо порівнюється з факторинг алгебраїчних виразів, тоді як PCA еквівалентна апроксимації факторизованого твердження шляхом збереження «найбільших» членів і усунення всіх менших членів.
2. Значення в SVD — це узгоджені числа, а факторізація — це процес їх розкладання, тоді як PCA — це статистичний/машинний спосіб визначення основних аспектів.
3. Розкладання матриці на ортонормальні області відоме як SVD, тоді як PCA можна обчислити за допомогою SVD, хоча це дорожче.
4. SVD є однією з найбільш широко використовуваних і універсальних корисних функцій у числовій лінійній алгебрі для збору даних, тоді як PCA є добре встановленим методом, який започаткував багато теорій про статистику.
5. SVD є одним із відомих алгоритмів, тоді як PCA є підходом до зменшення розмірності.

посилання

1. https://www.hindawi.com/journals/acisc/2021/6686759/
2. https://www.tandfonline.com/doi/abs/10.1198/106186007X256080

Останнє оновлення: 13 липня 2023 р