hyoccori-toukei

独立標準２変量正規分布

x,yが独立でN(0,1)に従うとき、(x,y)は独立標準２変量正規分布 N(0,Σ)に従う。

（Σは分散共分散行列　単に、標準２変量正規分布といえば２変量は独立である）

　　　　　\(X=\begin{pmatrix}
x \\
y
\end{pmatrix}\)　とすると、\(\Sigma =E\left( XX'\right) \)

以下、期待値記号Eを省いて書く。

　　　　　\(
\Sigma =E\left( XX'\right) =

E\left[\begin{pmatrix}
x \\
y
\end{pmatrix}\ \begin{pmatrix}
x&y
\end{pmatrix} \right]

=\begin{pmatrix}
\sigma _{x}^{2} & \sigma_{xy} \\
\sigma _{xy} & \sigma _{y}^{2}
\end{pmatrix}=\begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}
\)

即ち、\(
\begin{pmatrix}
x \\
y
\end{pmatrix}\sim N\left( \begin{pmatrix}
0 \\
0
\end{pmatrix},\begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}\right)
\)

独立でない標準２変量正規分布

まず、X,YがN(0,1)に従うが、独立でないとき、X,Y の相関係数を \(\rho\) とすると

分散共分散行列は、 \(
\Sigma =\begin{pmatrix}
1 & \rho \\
\rho & 1
\end{pmatrix}
\)

独立でない(X,Y)を、独立な標準確率変数(x,y)に変換するにはどうしたらよいだろうか？

\(
\begin{pmatrix}
X \\
Y
\end{pmatrix}=A\begin{pmatrix}
x \\
y
\end{pmatrix}
\) とおいて未定係数法を用いる。分散共分散行列を比較すると、

　　　　　\(
\Sigma =E\left[\begin{pmatrix}
X \\
Y
\end{pmatrix}\ \left( XY\right)\right] =E\left[A\begin{pmatrix}
x \\
y
\end{pmatrix}\left( xy\right) A'\right]=A\begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}A'=AA'
\)

よって、\(\begin{pmatrix}
1 & \rho \\
\rho & 1
\end{pmatrix}=AA'\) をみたすAを求めればよい。

それには、

　　　　　\(A=\begin{pmatrix}
1 & 0 \\
\rho & \sqrt{1-\rho^{2}}
\end{pmatrix}\) とすればよい。

実際、\(AA'=\begin{pmatrix}
1 & 0 \\
\rho & \sqrt{1-\rho^{2}}
\end{pmatrix}
\begin{pmatrix}
1 & \rho \\
0 & \sqrt{1-\rho^{2}}
\end{pmatrix}
=
\begin{pmatrix}
1 & \rho \\
\rho & 1
\end{pmatrix}\)

このとき、

　　　　　\(Y=\rho x+\sqrt{1-\rho^{2}}y=\sqrt{\rho^{2}}x+\sqrt{1-\rho^{2}}y\)　 であるので、

Yはx,yの混合された確率変数であり、混合比は \(\sqrt{\rho ^{2}}:\sqrt{1-\rho ^{2}}\)

x が \(\rho\) の割合だけ混じっていることになる。このとき、 \(AA'=\Sigma \) である。

また、　\(A^{-1}=\dfrac{1}{\sqrt{1-\rho^{2}}}\begin{pmatrix}
\sqrt{1-\rho^{2}} & 0 \\
-\rho & 1
\end{pmatrix}\) であるから、

　　　　　\(
\begin{pmatrix}
x \\
y
\end{pmatrix}=
\dfrac{1}{\sqrt{1-\rho^{2}}}\begin{pmatrix}
\sqrt{1-\rho^{2}} & 0 \\
-\rho & 1
\end{pmatrix}

\begin{pmatrix}
X \\
Y
\end{pmatrix}
\)　　　即ち、

\(x=X\) 、 \(y=\dfrac{-\rho }{\sqrt{1-\rho^{2}}}X+\dfrac{1}{\sqrt{1-\rho^{2}}}Y\)　と変換すれば \((x,y)\) は独立な標準正規分布である。

\(\Sigma= \begin{pmatrix}
1 & \rho \\
\rho & 1
\end{pmatrix}=AA'\) を満たす \(A\) を求める問題

一般の証明は、土井正明様（京都大学大学院医学研究科社会健康医学系専攻医療統計学 准教授）
「分散分析　第９回講義資料」を参考にさせていただきました。

［固有値と固有ベクトル］

\(\Sigma\) の固有方程式は、 \(\lambda^2-2\lambda+(1-\rho^2)=0\) 　　　\(\therefore (\lambda-1+\rho)(\lambda-1-\rho)=0\)

固有値は　\(\lambda=1+\rho,1-\rho\)

固有ベクトルは、 \(\begin{pmatrix}
1&\rho\\
\rho&1
\end{pmatrix}

\begin{pmatrix}
x\\
y
\end{pmatrix}
=
\lambda\begin{pmatrix}
x\\
y
\end{pmatrix}\) より、\(\begin{pmatrix}
1-\lambda&\rho\\
\rho&1-\lambda
\end{pmatrix}

\begin{pmatrix}
x\\
y
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}\)

　　　　　\(\lambda=1+\rho\)　のとき \(\begin{pmatrix}
-\rho&\rho\\
\rho&-\rho
\end{pmatrix}

\begin{pmatrix}
x\\
y
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}\) 　　　\(\therefore \begin{pmatrix}
x\\
y
\end{pmatrix}
=
\dfrac{1}{\sqrt{2}}\begin{pmatrix}
1\\
1
\end{pmatrix}\)

　　　　　\(\lambda=1-\rho\)　のとき \(\begin{pmatrix}
\rho&\rho\\
\rho&\rho
\end{pmatrix}

\begin{pmatrix}
x\\
y
\end{pmatrix}
=
\begin{pmatrix}
0\\
0
\end{pmatrix}\) 　　　\(\therefore \begin{pmatrix}
x\\
y
\end{pmatrix}
=
\dfrac{1}{\sqrt{2}}\begin{pmatrix}
1\\
-1
\end{pmatrix}\)

\(P=\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{pmatrix}\) で対角化すると、 \(\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{pmatrix}

\begin{pmatrix}
1&\rho\\
\rho&1
\end{pmatrix}

\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{pmatrix}
=
\begin{pmatrix}
1+\rho&0\\
0&1-\rho
\end{pmatrix}\)

　　　　　\(\begin{pmatrix}
1&\rho\\
\rho&1
\end{pmatrix}

=
\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{pmatrix}
\begin{pmatrix}
1+\rho&0\\
0&1-\rho
\end{pmatrix}
\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{pmatrix}\)

　　　　　\(\begin{pmatrix}
1&\rho\\
\rho&1
\end{pmatrix}
=
\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{pmatrix}

\begin{pmatrix}
\sqrt{1+\rho}&0\\
0&\sqrt{1-\rho}
\end{pmatrix}\begin{pmatrix}
\sqrt{1+\rho}&0\\
0&\sqrt{1-\rho}
\end{pmatrix}

\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{pmatrix}\)

\(A=
\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}
\end{pmatrix}

\begin{pmatrix}
\sqrt{1+\rho}&0\\
0&\sqrt{1-\rho}
\end{pmatrix}\) とおくと、 \(\begin{pmatrix}
1&\rho\\
\rho&1
\end{pmatrix}=AA'\) となる。

ところで、これを満たすA は無数にある。直交行列 \(T\) に対し、\(AT\) も上の式を満たす。

実際、\(AT(AT)'=ATT'A'=A(TT')A'=AA'\)

A として (1,2) 成分が0となるものを選んでみよう。 \(T=\begin{pmatrix}
\cos\theta &-\sin\theta\\
\sin\theta&\cos\theta
\end{pmatrix}\) として、

　　　　　\(AT=
\begin{pmatrix}
\frac{\sqrt{1+\rho}}{\sqrt{2}}&\frac{\sqrt{1-\rho}}{\sqrt{2}}\\
\frac{\sqrt{1+\rho}}{\sqrt{2}}&-\frac{\sqrt{1-\rho}}{\sqrt{2}}
\end{pmatrix}
\begin{pmatrix}
\cos\theta &-\sin\theta\\
\sin\theta&\cos\theta
\end{pmatrix}
=
\dfrac{1}{\sqrt{2}}
\begin{pmatrix}
\sqrt{1+\rho}&\sqrt{1-\rho}\\
\sqrt{1+\rho}&-\sqrt{1-\rho}
\end{pmatrix}
\begin{pmatrix}
\cos\theta &-\sin\theta\\
\sin\theta&\cos\theta
\end{pmatrix}\)

(1,2)成分は、 \(-\dfrac{\sqrt{1+\rho}}{\sqrt{2}}\sin\theta+\dfrac{\sqrt{1-\rho}}{\sqrt{2}}\cos\theta=0\) 　　\(\therefore \tan\theta=\dfrac{\sqrt{1-\rho}}{\sqrt{1+\rho}}\)

\(\cos\theta=\dfrac{\sqrt{1+\rho}}{\sqrt{2}}\) 、\(\sin\theta=\dfrac{\sqrt{1-\rho}}{\sqrt{2}}\) だから、 \(T=\begin{pmatrix}
\cos\theta &-\sin\theta\\
\sin\theta&\cos\theta
\end{pmatrix}
=\dfrac{1}{\sqrt{2}}
\begin{pmatrix}
\sqrt{1+\rho}&-\sqrt{1-\rho}\\
\sqrt{1-\rho}&\sqrt{1+\rho}
\end{pmatrix}\)

　　　　　\(AT=\dfrac{1}{2}
\begin{pmatrix}
\sqrt{1+\rho}&\sqrt{1-\rho}\\
\sqrt{1+\rho}&-\sqrt{1-\rho}
\end{pmatrix}

\begin{pmatrix}
\sqrt{1+\rho}&-\sqrt{1-\rho}\\
\sqrt{1-\rho}&\sqrt{1+\rho}
\end{pmatrix}

=
\begin{pmatrix}
1&0\\
\rho&-\sqrt{1-\rho^2}
\end{pmatrix}\)

さらに、x軸についての対称移動 \(U=\begin{pmatrix}
1 &0\\
0&-1
\end{pmatrix}\) を行うと、 \(ATU=
\begin{pmatrix}
1&0\\
\rho&\sqrt{1-\rho^2}
\end{pmatrix}\)

これを、改めてAとすれば計算がしやすくなる。

まとめると、

\(\Sigma= \begin{pmatrix}
1 & \rho \\
\rho & 1
\end{pmatrix}=AA'\) を満たすAの一つは　 \(A=\begin{pmatrix}
1&0\\
\rho&\sqrt{1-\rho^2}
\end{pmatrix}\) である。

［参考］

(2,1)成分を0とするようにもできる。

この場合、\(\tan\theta=\dfrac{\sqrt{1+\rho}}{\sqrt{1-\rho}}\) 、\(\cos\theta=\dfrac{\sqrt{1-\rho}}{\sqrt{2}}\) 、\(\sin\theta=\dfrac{\sqrt{1+\rho}}{\sqrt{2}}\) であり、

\(AT=\dfrac{1}{2}
\begin{pmatrix}
\sqrt{1+\rho}&\sqrt{1-\rho}\\
\sqrt{1+\rho}&-\sqrt{1-\rho}
\end{pmatrix}

\begin{pmatrix}
\sqrt{1-\rho}&-\sqrt{1+\rho}\\
\sqrt{1+\rho}&\sqrt{1-\rho}
\end{pmatrix}

=
\begin{pmatrix}
\sqrt{1-\rho^2}&-\rho\\
0&-1
\end{pmatrix}\) 　、\(ATU=
\begin{pmatrix}
\sqrt{1-\rho^2}&\rho\\
0&1
\end{pmatrix}\)

多変量正規分布の最尤推定

エンジニアを目指す浪人のブログ 様　 「多変量正規分布の最尤推定量を導出する」
　　　　　　　https://seetheworld1992.hatenablog.com/entry/2019/07/01/103515

n次元正規分布　\({\displaystyle \;\;\; f_X \left( x | \mu,\Sigma \right) = \frac{ 1 }{ (2 \pi )^{n/2} \ \left[ \mathrm{det} \left( \Sigma \right) \right]^{1/2} } \exp \left( - \frac{1}{2} ( x - \mu )^T \Sigma^{-1} ( x - \mu ) \right) }\)

\({\displaystyle \mathcal{D} = \{ x_1,x_2,\ldots,x_N \} \;\;\; }\) に対する尤度関数 \({\displaystyle \;\;\; L \left( \mu,\Sigma \; | \mathcal{D} \right) = \prod_{i=1}^N f_X \left( x_i | \mu,\Sigma \right) }\)

対数尤度関数は、

　　　　　\(\begin{split}
\displaystyle l \left( \mu,\Sigma \; | \mathcal{D} \right)
&= \log L \left( \mu,\Sigma \; | \mathcal{D} \right)= \log \prod_{i=1}^N f_X \left( x_i | \mu,\Sigma \right)= \sum_{i=1}^N \log f_X \left( x_i | \mu,\Sigma \right)\\
&=\sum_{i=1}^N \log \left[ \frac{ 1 }{ (2 \pi )^{n/2} \ \left[ \mathrm{det} \left( \Sigma \right) \right]^{1/2} } \exp \left( - \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right) \right]\\
&= \sum_{i=1}^N \left[ - \frac{n}{2} \log (2 \pi ) - \frac{1}{2} \log \left[ \mathrm{det} \left( \Sigma \right) \right] - \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu ) \right]\\
&=- \frac{Nn}{2} \log (2 \pi ) - \frac{N}{2} \log \left[ \mathrm{det} \left( \Sigma \right) \right] - \sum_{i=1}^N \frac{1}{2} ( x_i - \mu )^T \Sigma^{-1} ( x_i - \mu )
\end{split}\)

行列の微分では、 \(\displaystyle{
\frac{\partial}{\partial \mathbf{x}} \mathbf{x}^T\mathbf{A}\mathbf{x} = (\mathbf{A}+\mathbf{A}^T)\mathbf{x}
}\) 　　　Aが対称行列の場合は、 \(\displaystyle{
\frac{\partial}{\partial \mathbf{x}} \mathbf{x}^T\mathbf{A}\mathbf{x} = 2\mathbf{A}\mathbf{x}
}\) だから、

　　　　　\(\begin{split}
\frac{ \partial }{ \partial \mu } l \left( \mu,\Sigma \; | \mathcal{D} \right)
&=\frac{ \partial }{ \partial \mu } \left[ - \sum_{i=1}^N \frac{1}{2} \left( x_i^T \Sigma^{-1} x_i - x_i^T \Sigma^{-1} \mu - \mu^T \Sigma^{-1} x_i + \mu^T \Sigma^{-1} \mu \right) \right]\\
&=- \sum_{i=1}^N \frac{1}{2}\left(-2 \Sigma^{-1} x_i + 2\Sigma^{-1} \mu \right)
=\sum_{i=1}^N\left[\Sigma^{-1} (x_i -\mu) \right]\\
&=\Sigma^{-1} \left[\sum_{i=1}^N(x_i -\mu)\right]
=\Sigma^{-1} \left[\sum_{i=1}^Nx_i -N\mu\right]
\end{split}\)

\(\frac{ \partial }{ \partial \mu } l \left( \mu,\Sigma \; | \mathcal{D} \right)=0\) とすると、\(\displaystyle \left[\sum_{i=1}^Nx_i -N\mu\right]=0\)

よって最尤推定量は \(\displaystyle \widehat\mu=\dfrac{1}{N}\sum_{i=1}^Nx_i\)