x^Axは二次形式であり、二次形式は固有ベクトルによる基底変換と対角化で標準形にすることができる。
二次形式の標準形が最小値となるのはxがAの最小固有値に対する固有ベクトルの場合である。
なので、x^Axを最小化するxはAの最小固有値に対する固有ベクトルである。

x^Ax
=(Ux')^AUx'
=x'^U^AUx'
=x'^Λx (Λは固有値を対角成分に持つ行列)
=Σλix'i^2
>=Σλ1x'1^2

等号となるときにx^Axは最小となり、これはx'=(1,0,...,0)^の時である。
x=Ux'なので、x=u1の時である。
つまり、x^Axが最小となるのは、x=u1の時であり、これはAの最小固有値に対する固有ベクトルである。

「Ax=0を最小二乗法で解く」というのはこれと同じである。
Ax=0より、x^A^Ax=0となる。
これはx^A^Axを最小化するxを求める問題であり、xはA^Aの最小固有値に対する固有ベクトルとなる。