「主成分分析(無相関化)」と「最小二乗法(二次形式の最小値最大値算出)」は共に
対称行列の対角化から導出される。
これらの関係について整理してみた。

まずは「主成分分析(無相関化)」と「最小二乗法(二次形式の最小値最大値算出)」を、
対称行列の対角化という『便利な道具』を用いてそれぞれ導出してみる。

対角化とは、対称行列Aの固有ベクトルを並べた行列Uによって、
U'AU=Λ
とする変換である(Λは対角成分に固有値を並べた行列)。

無相関化は、データxの共分散行列Σの固有ベクトルを並べた行列Uによって、
データxをy=U'xと変換することによって、共分散行列をU'ΣU=Λとし、成分同士を無相関とする。
無相関化されたデータから固有値の大きい成分のみを抽出すると主成分分析となる。
※はじパタp.41参照

二次形式の最小値最大値の場合は、(共分散行列ではなく)二次形式(x, Ax)を
(x, Ax)=(Ux', AUx')=(x', U'AUx')=(x', Λx')
と二次形式の標準形(二乗のみの線形結合)へ変形できることから、
二次形式(x, Ax)の最小値(最大値)はAの最小(最大)固有値だと導出する。
※金谷先生応用数学教室p.185

最小二乗法は二次形式の最小値がAの最小固有値であることを利用する。
http://akasuku.blog.jp/archives/67001223.html

これら2つの問題は、対角化という便利な道具を用いて導出される別々の問題のように見えるが、
実際には強く関連している。
なぜなら、主成分分析とは、「主成分の分散を最大化する」ような変換だからである。
導出は面倒なので、金谷先生応用数学教室p.195参照のこと。