不偏分散 \(\hat{V}\) と分散 \(V\)
偏差平方和 \((n-1)\hat{V}=nV\) から相互に求められる。共分散でも同様である。
主成分得点と観測変数との相関係数。主成分負荷量が大きいほど、その主成分は変数と強く相関しているということを表し、主成分をよく説明する変数であるといえる。
主成分負荷量
（参考サイト）
放送大学 様 「身近な統計」
https://www.ouj.ac.jp/mijika/tokei/xml/k3_01006.xml
主成分負荷量は、主成分得点と観測変数との相関係数である。
主成分負荷量が大きいほど、その主成分は変数と強い相関があり主成分をよく説明している。
主成分分析を相関行列で行うべきか分散共分散行列で行うべきかという疑問があるが、
「主成分分析は分散共分散行列で考えるから固有値が主成分の分散になっている」訳だから、
・標準化されていない変量の主成分分析には分散共分散行列を用いる。
・標準化された変量の主成分分析にも分散共分散行列を用いるが、それは相関行列である。
どちらの行列を用いるかという選択があるわけではなく、変量を標準化するかしないかという選択があるわけである。
要は、分散共分散行列の固有値問題を利用して主成分を求め、関係式において変数を正規化したときに現れる係数が主成分負荷量ということになる。
標準化されていない場合の主成分負荷量について確認してみよう。
（標準化されている場合については、当サイト「主成分分析と因子分析の関係」参照）
\(
\begin{pmatrix}
a_{1(1)}&a_{1(2)}\\
a_{2(1)}&a_{2(2)}
\end{pmatrix}
^{-1}
\begin{pmatrix}
s_{11} & s_{12}\\
s_{12}& s_{22}
\end{pmatrix}
\begin{pmatrix}
a_{1(1)}&a_{1(2)}\\
a_{2(1)}&a_{2(2)}
\end{pmatrix}
=
\begin{pmatrix}
\lambda_{(1)}&0\\
0&\lambda_{(2)}
\end{pmatrix}
\)
共分散を求めてから標準化しても同じである。（標準偏差で割る）
（標準化されていれば相関行列になるだけで、変数の関係は同じである）
負荷行列の定義
主成分負荷行列も因子負荷行列も、元の変数と新変数との相関係数である。
相関係数はスケールの影響を受けない。標準化して共分散を求めれば相関係数になる。
共分散を求めてから標準化しても同じである。（標準偏差で割る）
元の変数と新変数との共分散行列は、
\(E\left[\begin{pmatrix}
x_{1}\\
x_{2}
\end{pmatrix}
\begin{pmatrix}
z_{(1)}& z_{(2)}
\end{pmatrix}\right]
=
\begin{pmatrix}
a_{1(1)}&a_{1(2)}\\
a_{2(1)}&a_{2(2)}
\end{pmatrix}
E\left[
\begin{pmatrix}
z_{(1)}\\
z_{(2)}
\end{pmatrix}
\begin{pmatrix}
z_{(1)}& z_{(2)}
\end{pmatrix}\right]
=
\begin{pmatrix}
a_{1(1)}&a_{1(2)}\\
a_{2(1)}&a_{2(2)}
\end{pmatrix}
\begin{pmatrix}
\lambda_{(1)}&0\\
0&\lambda_{(2)}
\end{pmatrix}\)
\(\therefore ~E\left[\begin{pmatrix}
x_{1}\\
x_{2}
\end{pmatrix}
\begin{pmatrix}
z_{(1)}& z_{(2)}
\end{pmatrix}\right]
=
\begin{pmatrix}
\lambda_{(1)}a_{1(1)}&\lambda_{(2)}a_{1(2)}\\
\lambda_{(1)}a_{2(1)}&\lambda_{(2)}a_{2(2)}
\end{pmatrix}
\)
新変数を標準化するため \(\sqrt{\lambda_{(1)}}~,~\sqrt{\lambda_{(2)}}\) で割れば、
\(E\left[\begin{pmatrix}
x_{1}\\
x_{2}
\end{pmatrix}
\begin{pmatrix}
\dfrac{z_{(1)}}{\sqrt{\lambda_{(1)}}}& \dfrac{z_{(2)}}{\sqrt{\lambda_{(2)}}}
\end{pmatrix}\right]=
\begin{pmatrix}
\sqrt{\lambda_{(1)}} a_{1(1)}&\sqrt{\lambda_{(2)}} a_{1(2)}\\
\sqrt{\lambda_{(1)}} a_{2(1)}&\sqrt{\lambda_{(2)}} a_{2(2)}
\end{pmatrix}\)
元の変数を標準化するため \(\sqrt{s_{11}}~,~\sqrt{s_{22}}\) で割れば、
主成分負荷行列 \(E\left[\begin{pmatrix}
\dfrac{x_{1}}{\sqrt{s_{11}}}\\
\dfrac{x_{2}}{\sqrt{s_{11}}}
\end{pmatrix}
\begin{pmatrix}
\dfrac{z_{(1)}}{\sqrt{\lambda_{(1)}}}& \dfrac{z_{(2)}}{\sqrt{\lambda_{(2)}}}
\end{pmatrix}\right]=
\begin{pmatrix}
\dfrac{\sqrt{\lambda_{(1)}} a_{1(1)}}{\sqrt{s_{11}}}&\dfrac{\sqrt{\lambda_{(2)}} a_{1(2)}}{\sqrt{s_{11}}}\\
\dfrac{\sqrt{\lambda_{(1)}} a_{2(1)}}{\sqrt{s_{22}}}&\dfrac{\sqrt{\lambda_{(2)}} a_{2(2)}}{\sqrt{s_{22}}}
\end{pmatrix}\) が得られる。
これは相関係数を成分とする行列である。実際に相関係数を計算してみる。
\(z_{(1)}\) は第１主成分であり、\(\lambda_{(1)}\) はその分散。 \(z_{(2)}\) が第２主成分であり、\(\lambda_{(2)}\) はその分散とする。
\(cor(x_1,z_{(1)})=\dfrac{Cov(x_1,z_{(1)})}{\sqrt{V(x_1)}\sqrt{V(z_{(1)})}}=\dfrac{E(x_1\cdot z_{(1)})}{\sqrt{s_{11}}\sqrt{\lambda_1}}=\dfrac{a_{1(1)}\lambda_1}{\sqrt{s_{11}}\sqrt{\lambda_1}}=\dfrac{\sqrt{\lambda_{(1)}} a_{1(1)}}{\sqrt{s_{11}}}\) （主成分負荷量）
（ \(\because ~~E(x_1\cdot z_{(1)})=a_{1(1)}E(z_{(1)}^2)+ a_{1(2)}E(z_{(1)}z_{(2)})=a_{1(1)}E(z_{(1)}^2)=a_{1(1)}\lambda_1\) ）
\(\begin{pmatrix}
x_{1}\\
x_{2}
\end{pmatrix}
=
\begin{pmatrix}
\sqrt{\lambda_{(1)}} a_{1(1)}&\sqrt{\lambda_{(2)}} a_{1(2)}\\
\sqrt{\lambda_{(1)}} a_{2(1)}&\sqrt{\lambda_{(2)}} a_{2(2)}
\end{pmatrix}
\begin{pmatrix}
\left. z_{(1)} \right/ \sqrt{\lambda_{(1)}} \\
\left. z_{(2)} \right/ \sqrt{\lambda_{(2)}}
\end{pmatrix}
\)
\(u_1=\left. z_{(1)} \right/ \sqrt{\lambda_{(1)}} \: \:,
\:\:u_2=\left. z_{(2)} \right/ \sqrt{\lambda_{(2)}}\) とおくと、
\(\begin{pmatrix}
x_{1}\\
x_{2}
\end{pmatrix}
=
\begin{pmatrix}
\sqrt{\lambda_{(1)}} a_{1(1)}&\sqrt{\lambda_{(2)}} a_{1(2)}\\
\sqrt{\lambda_{(1)}} a_{2(1)}&\sqrt{\lambda_{(2)}} a_{2(2)}
\end{pmatrix}
\begin{pmatrix}
u_1\\
u_2
\end{pmatrix}
\)
故に、 \(\begin{pmatrix}
\dfrac{x_{1}}{\sqrt{s_{11}}}\\
\dfrac{x_{2}}{\sqrt{s_{22}}}
\end{pmatrix}
=
\begin{pmatrix}
\dfrac{\sqrt{\lambda_{(1)}} a_{1(1)}}{\sqrt{s_{11}}}&\dfrac{\sqrt{\lambda_{(2)}} a_{1(2)}}{\sqrt{s_{11}}}\\
\dfrac{\sqrt{\lambda_{(1)}} a_{2(1)}}{\sqrt{s_{22}}}&\dfrac{\sqrt{\lambda_{(2)}} a_{2(2)}}{\sqrt{s_{22}}}
\end{pmatrix}
\begin{pmatrix}
\left. z_{(1)} \right/ \sqrt{\lambda_{(1)}} \\
\left. z_{(2)} \right/ \sqrt{\lambda_{(2)}}
\end{pmatrix}\)
標準化により、因子と変数の関係を明確にするのが因子負荷行列（主成分負荷行列）と言える。
例1（ワークp194）
\(\bar{x}_1=5.5~,~\bar{x}_2=4.5~,~\bar{x}_3=31/6=5.17~,~\bar{x}_4=32/6=5.33\)
\(\displaystyle V(x_1)=\sum x_{1i}^2-\bar{x}_1^2=37.83-5.5^2=7.58\) 不偏分散は、\(s_{1,1}=6V(x_1)/5=9.1\)
\(\displaystyle V(x_2)=\sum x_{2i}^2-\bar{x}_2^2=29.16-4.5^2=8.9\) 不偏分散は、\(s_{1,1}=6(8.9)/5=10.7\)
\(Cov(x_1,x_2)=E(x_1x_2)-\bar{x}_1\bar{x}_2=24.16-5.5\times 4.5=-0.59\)
不偏共分散は、 \(s_{1,2}=(-0.59)\cdot6/5=-0.708\)
標本相関係数、 \(\displaystyle r_{1,2}=(-0.708)/(\sqrt{7.58}\sqrt{8.9})=-0.0717\)
相関係数は、不偏分散を使っても分散を使っても変わりはない。
実際、\(\displaystyle r_{1,2}=(-0.59)/(\sqrt{9.1}\sqrt{10.7})=-0.0718\)
（標本分散共分散行列、相関行列の計算は省略する）
例2（ワークp197）
変数のスケールが大きく異なる場合は標準化して分析する必要があるが、本問ではすべて１０点満点であるので標準化する必要はないと考えられる。
平均偏差の値とは、平均を引いた値で平均は０になる（偏差というのが妥当ではないかと思う）
主成分分析の変数は平均を０にしておく必要があるか？
@koshian2様 「主成分分析で標準偏差で割るべき？に対する議論」
https://qiita.com/koshian2/items/2e69cb4981ae8fbd3bda
同志社大学の解説ですが、「関数prcompには引数scaleがあり、データの標準化が必要なときはscale=TRUEを指定する。デフォルトにはscale=FALSEになっている。scale=TRUEにすると元のデータの相関行列を用いた主成分に等しい」とあります。
\(x_1=0.370u_1+0.564u_2-0.293u_3+0.678u_4\) について変数を基準化する。
\(\dfrac{x_1}{\sqrt{9.1}}=\dfrac{0.370}{\sqrt{9.1}}u_1+\dfrac{0.564}{\sqrt{9.1}}u_2-\dfrac{0.293}{\sqrt{9.1}}u_3+\dfrac{0.678}{\sqrt{9.1}}u_4\)
\(\dfrac{x_1}{\sqrt{9.1}}=\dfrac{0.370\sqrt{20.2}}{\sqrt{9.1}}\dfrac{u_1}{\sqrt{20.2}}+\dfrac{0.564\sqrt{19.4}}{\sqrt{9.1}}\dfrac{u_2}{\sqrt{19.4}}-\dfrac{0.293\sqrt{0.85}}{\sqrt{9.1}}\dfrac{u_3}{\sqrt{0.85}}+\dfrac{0.678\sqrt{0.18}}{\sqrt{9.1}}\dfrac{u_4}{\sqrt{0.18}}\)
\(x_1\) の主成分負荷量は、
第１主成分：\(\dfrac{0.370\sqrt{20.2}}{\sqrt{9.1}}=0.551\) 第２主成分：\(\dfrac{0.564\sqrt{19.4}}{\sqrt{9.1}}=0.82349\)
公式によらなくても、変数を基準化すれば主成分負荷量になることが分かる。
問22.1（ワークp199）
相関行列による主成分分析では、標準化された変数を用いているので、
\(\begin{pmatrix}
x_{1}\\
x_{2}
\end{pmatrix}
=
\begin{pmatrix}
\sqrt{\lambda_{(1)}} a_{1(1)}&\sqrt{\lambda_{(2)}} a_{1(2)}\\
\sqrt{\lambda_{(1)}} a_{2(1)}&\sqrt{\lambda_{(2)}} a_{2(2)}
\end{pmatrix}
\begin{pmatrix}
\left. z_{(1)} \right/ \sqrt{\lambda_{(1)}} \\
\left. z_{(2)} \right/ \sqrt{\lambda_{(2)}}
\end{pmatrix}
\) と考えてよい。
実際、固有値の和＝７ となっているので新変数の分散合計は７、元の変数の分散合計も７でありそれぞれの変数の分散が１であることが分かる。
(1) \(x_1=-0.497u_1+0.217u_2+\cdots\) の変数を基準化する。
\(x_1=-0.497\sqrt{2.26}\dfrac{u_1}{\sqrt{2.26}}+0.217\sqrt{1.50}\dfrac{u_2}{\sqrt{1.50}}+\cdots\)
\(x_1\) の主成分負荷量は、
第１主成分：\(-0.497\sqrt{2.26}=-0.747\) 第２主成分：\(0.217\sqrt{1.50}=0.2657\)
(2)
主成分負荷量は、主成分得点と観測変数との相関係数である。
主成分負荷量の表で、絶対値が大きいものは影響力が大きく０に近いものは影響力が小さい。
第１主成分は、100mハードル、200m、走り幅跳びに影響力があり、
第２主成分は、砲丸、槍投げに影響力が大きい。
(3)バイプロットの図で左上にあるものが総合力が高い。よって、A と考えられる。