特異値分解 (SVD) と主成分分析 (PCA): 違いと比較

特異値分解 (SVD) は、データ取得のための数値線形代数で最も広く使用され、多目的に役立つ機能の XNUMX つです。一方、主成分分析 (PCA) は、統計に関する多くの理論を導入した確立された方法です。

特に、PCA はデータ駆動型の階層座標系を提供します。

主要な取り組み

1. SVD は任意の行列に適用される行列分解手法であり、PCA は共分散行列に固有の線形変換です。
2. PCA はデータ圧縮と特徴抽出に使用されますが、SVD は信号処理、データ マイニング、および情報検索にさまざまな用途があります。
3. SVD は中心化されたデータを必要としませんが、PCA は中心化され正規化されたデータで最適に機能します。

特異値分解 (SVD) と主成分分析 (PCA)

特異値分解 (SVD) は、実数または複素数の行列を分解できる線形代数の因数分解手法です。 主成分分析 (PCA) は、共分散行列または相関行列の SVD または固有分解を使用して主成分を特定する統計手順です。

特異値分解 (SVD) は、数値線形代数で最も広く使用されている機能です。 これは、分析、理解、および説明に必要な主要な機能にデータを削減するのに役立ちます。

SVD は、特にデータ削減のためのほとんどのデータ前処理および機械学習アルゴリズムの最初の要素の 1 つです。SVD は、データ駆動型フーリエ変換の一般化です。

主成分分析 (PCA) は現在、数多くのアイデアを生み出してきた統計ツールです。 これにより、ポイントの階層セットを使用して統計的変化を表すことができます。

PCA は、全体的な変動を最大化する主要なデータ パターンを決定するために使用される統計/機械知能技術です。 したがって、最大分散は、データの方向に応じて座標系によってキャプチャされます。

比較表

比較のパラメータ	特異値分解（SVD）	主成分分析（PCA）
要件	抽象数学、行列分解、および量子物理学にはすべて SVD が必要です。	統計は、研究からのデータを分析するための PCA で特に効果的です。
表現	代数式の因数分解。	因数分解された式の近似に似ています。
メソッド	これは、抽象数学と行列分解の方法です。	統計・機械学習の手法です。
ブランチ	数学の分野で役立ちます。	数学の分野で役立ちます。
発明	SVD は Eugenio Beltrami と Camille Jordan によって発明されました。	PCA は Karl Pearson によって発明されました。

特異値分解（SVD）とは何ですか？

SVD は、正定行列の固有値と固有ベクトルの因数分解の一部に強く関連しています。

すべての行列が pt として因数分解できるわけではありませんが、任意の m×n 行列 A は、左側の A と右側の PT が任意の 2 つの直交行列 U と vt (必ずしも互いに転置する必要はない) になることを許可することで因数分解できます。

このタイプの特殊因数分解は、SVD として知られています。

正弦展開と余弦展開は、関数を近似するためにすべての数学で使用されます。FT は最も有用な変換の XNUMX つです。 ベッセル関数とエアリー関数、球面調和関数もあります。

また、前世代のコンピューター サイエンスとエンジニアリングでは、この数学的モデルの数学的変換を使用して、目的のシステムを新しい座標系に変換していました。

著名なアルゴリズムの XNUMX つに SVD があります。 線形代数を使用して収益を生み出すことができます。

利益を上げるために線形代数を使用する最も有用な側面の XNUMX つは、いつでも使用できる非常に単純で読みやすい線形代数に基づいているため、広く普及していることです。

データ マトリックスがある場合は、svd を計算し、解釈可能でわかりやすい特徴を取得して、そこからモデルを作成できます。 また、スケーラブルであるため、非常に大きなデータ セットでも使用できます。

すべての行列因子は、u シグマ v 転置と呼ばれる XNUMX つの部分に分割されます。 直交行列は成分 u です。 対角行列は係数シグマです。

因子 v 転置も同様に直交行列であり、直交対角または物理的に伸縮および回転します。

各行列は、対角行列 (特異値) と別の直交行列 (回転、タイム ストレッチ、回回転) を乗算することにより、直交行列に分解されます。

主成分分析 (PCA) とは何ですか?

PCA は、統計に関する多くの理論を導入した確立された方法です。 これは、因数分解されたステートメントを「最大の」項を維持し、それより小さな「」項をすべて削除することによって近似することと同じです。

統計に関する多くの理論を導入した確立された方法です。 特に、PCA はデータ駆動型の階層座標系を提供します。

主成分分析 (PCA) は、適切な直交分解と呼ばれます。 PCA は、類似点と相違点の観点からデータを定義することで、データ内のパターンを識別する方法です。

PCA には、さまざまな実験からの測定値のコレクションを含むデータ行列 X があり、1 つの独立した実験は x2、xXNUMX などの大きな行因子として表されます。

PCA は、機械学習トレーニングで使用されるデータセットの次元の削減に役立つ次元削減アプローチです。 それは恐ろしい次元の呪いを軽減します。

PCA は、ターゲット変数に最大の影響を与える主成分の最も重要な特性を決定する方法です。 PCA は新しい機能原理コンポーネントを開発します。

間の主な違い 特異値分解 (SVD) と主成分分析 (PCA)

1. SVD は代数式の因数分解に直接相当しますが、PCA は「最大」の項を維持し、「小さい」項をすべて削除することで因数分解されたステートメントを近似することと同等です。
2. SVD の値は一貫した数値であり、因数分解はそれらを分解するプロセスですが、PCA は主要な側面を決定するための統計的/機械知能的な方法です。
3. 正規直交領域への行列の分解は SVD として知られていますが、PCA は SVD を使用して計算できますが、価格は高くなります。
4. SVD は、データ取得のための数値線形代数で最も広く使用され、多目的に役立つ機能の XNUMX つですが、PCA は統計に関する多くの理論を導入した確立された方法です。
5. SVD は主要なアルゴリズムの XNUMX つですが、PCA は次元削減アプローチです。

参考情報

1. https://www.hindawi.com/journals/acisc/2021/6686759/
2. https://www.tandfonline.com/doi/abs/10.1198/106186007X256080