分散共分散行列は対称な半正定値行列である。特に、正則な分散共分散行列は対称な正定値行列である
・半正定値対称行列の固有値は非負であり、Σ=AA’ 正方行列とその転置行列の積に分解される。
・正定値対称行列の固有値は正であり、Σ=AA’ 正則行列とその転置行列の積に分解される。
分解可能であることは直交行列による対角化を用いて説明されるが、実際の計算はコレスキーの方法で行われる。
この分解は、多変量正規分布を説明するのに必要となる。
正定値行列と半正定値行列
［参考サイト］
高校数学の美しい物語 様 https://manabitimes.jp/math/1089
東京大学 寒野善博 様 https://www.or.mist.i.u-tokyo.ac.jp/kanno/lecture/math_design/psd170420.pdf
［定義］
実対称行列について、すべての固有値が正であるとき正定値であるという。
すべての固有値が非負であるとき半正定値であるという。
対称行列 \(A\) について、次の5つは同値である。
1．全てのn次元実ベクトル \(x\in R^n\) に対して \(x'Ax\geq0\) が成り立つ。
2．\(A\) の固有値は全て非負である。
3．ある直交行列 \(Q\) と対角要素がすべて非負の対角行列 \(D\) を用いて \(A=QDQ'\) と書ける。
4．\(A=SS'\) を満たす実正方行列 \(S\) が存在する。
5．\(A\) の主小行列式が全て非負である。
このとき、対称行列 \(A\) は半正定値行列であるという。
また、対称行列 \(A\) について、次の5つは同値である。
1．0 でない任意の \(x\in R^n\) に対して \(x'Ax>0\) が成り立つ。
2．\(A\) の固有値はすべて正である。
3．ある直交行列 \(Q\) と対角要素がすべて正の対角行列 \(D\) を用いて \(A=QDQ'\) と書ける。
4．\(A=SS'\)を満たす正則行列 \(S\) が存在する。
5．\(A\) の主小行列式が全て正である。
このとき、対称行列 \(A\) は正定値行列であるという。
簡単のため、2次元で説明する。
\(A=
\begin{pmatrix}
a & b \\
b & d
\end{pmatrix}\) 、\(x=
\begin{pmatrix}
x\\
y
\end{pmatrix}\) とすると、 \(x'Ax=ax^{2}+2bxy+dy^{2}\)
\(B=
U^{-1}AU=
\begin{pmatrix}
\lambda_{1} & 0 \\
0 & \lambda_{2}
\end{pmatrix}
\) とすると、 \(x'Ax
=x'U(U^{-1}AU )U^{-1}x
=x'UBU^{-1}x\)
\(u=\begin{pmatrix}
u \\
v
\end{pmatrix}
=U^{-1}x\) とおくと、 \(x'Ax
=x'UBU^{-1}x
=\begin{pmatrix}
u & v
\end{pmatrix}\begin{pmatrix}
\lambda_{1} & 0 \\
0 & \lambda_{2}
\end{pmatrix}\begin{pmatrix}
u \\
v
\end{pmatrix}
=\lambda_1u^2+\lambda_2v^2\)
これから1,2,3が同値であることが分かる。
4について、
\(
A=U\begin{pmatrix}
\lambda_{1} & 0 \\
0 & \lambda_{2}
\end{pmatrix}U^{-1}=
U
\begin{pmatrix}
\sqrt{\lambda_{1}} & 0 \\
0 & \sqrt{\lambda_{2}}
\end{pmatrix}
\begin{pmatrix}
\sqrt{\lambda_{1}} & 0 \\
0 & \sqrt{\lambda_{2}}
\end{pmatrix}
U^{-1}
\) だから
\(S=U
\begin{pmatrix}
\sqrt{\lambda_{1}} & 0 \\
0 & \sqrt{\lambda_{2}}
\end{pmatrix}\) とおくと、 \(A=SS'\) となる。
正定値なら \(\lambda_1,\lambda_2 >0\) より、 \(S\) は正則であり、
逆に、\(A=SS'\) （ \(S\) が正則）ならば、 \(x\neq 0\) のとき \(S'x\neq0\) だから
\(x'Ax=x'SS'x=(S'x)'(S'x)>0\) よって、正定値となる。
5について、
主小行列式がすべて正 \(\iff a>0\:\:,\:\:d>0\:\:,\:\:ad-b^2>0\)
固有方程式は \(\lambda^2-(a+d)\lambda+(ad-b^2)=0\)
二次関数のグラフを考えれば、2つの固有値がともに正であることが分かるので、正定値になる。
［参考サイト］
東京都立大学 室田 一雄 様 「LA-6 正定値行列」
https://www.comp.tmu.ac.jp/kzmurota/lect-optimfinance/shiryoOPEN/FinL06posdefinite20.pdf
コレスキー分解
明治大学 桂田祐史 様 「Cholesky 分解ノート」
http://nalab.mind.meiji.ac.jp/~mk/labo/text/cholesky.pdf
分散共分散行列は対称な非正定値行列であるから、上記の性質が成り立っている。
特に、Xの各成分が独立に１次元正規分布に従い、分散共分散行列Σが正定値行列であるとき、
上記の性質から、\(\Sigma=AA'\) となる正則行列Aが存在し
\(Z=A^{-1}(X-\mu)\) により、Xはn次元標準正規分布Zに変換される。
よって、\(X=AZ+\mu \sim N(\mu,AA')\) Xは多変量正規分布に従う。
(当サイト「多変量正規分布」及び、大学生の確率・統計 p122「多次元正規分布」参照)
\(\Sigma=AA'\) となる \(A\) の存在は固有値と固有ベクトルにより説明されるが一意ではない。
\(A\) を下三角行列として簡便に求める方法がコレスキー分解である。
具体的に２次元の標準化された場合で計算してみよう。
\(\Sigma=
\begin{pmatrix}
1 & \rho \\
\rho & 1
\end{pmatrix}\:,\:\:
A =
\begin{pmatrix}
\, l_{11} & 0 \\
\, l_{21} & l_{22}\\
\end{pmatrix}
\) とおくと、
\(\begin{pmatrix}
1 & \rho \\
\rho & 1
\end{pmatrix}=
\begin{pmatrix}
l_{11} & 0\\
l_{21} & l_{22}\\
\end{pmatrix}
\begin{pmatrix}
l_{11} & l_{21}\\
0 & l_{22}\\
\end{pmatrix}
=
\begin{pmatrix}
l_{11}^2 & l_{11}l_{21}\\
l_{11}l_{21} & l_{21}^2+l_{22}^2\\
\end{pmatrix}
\)
\(1= l_{11}^2\:\:,\:\:\rho = l_{11}l_{21}\) より \(l_{11}=1\:\:,\:\:l_{21}=\rho\) 、\(1= l_{21}^2+l_{22}^2\) より \(l_{22}=\sqrt{1-\rho^2}\)
よって、 \(A=\begin{pmatrix}
1 & 0 \\
\rho & \sqrt{1-\rho^{2}}
\end{pmatrix}\) とすれば、 \(\Sigma=AA'\) となる。
３次元のコレスキー分解の計算例は、当サイト2012人文②を参照。
コレスキー分解は手計算が容易である。
(参考) LDU分解
http://linalg.u-aizu.ac.jp/Linear_Algebra/lesson_4.pdf