正規分布を学んでいると気になるフレーズに出会う。
・分散共分散行列と周辺分布だけで分布が決まるのが多変量正規分布の特徴である。(大学生の統計学)
・正規分布に従う確率変数 X,Y の対 (X,Y) は、必ずしも2変量正規分布には従わない。(wikipedia)
これらの理解が本質を把握するうえで重要だと思うので整理してみることにする。
1変量正規分布はBellCurveと呼ばれ比較的わかりやすい。
しかし、正規分布に従う確率変数 X,Y の対 (X,Y) は、2変量正規分布には従うとは限らない。
3Dグラフィックで分かりやすく示されているのは、
三中信宏 様(国立研究開発法人農業・食品産業技術総合研究機構農業環境変動研究センター)
「二変量正規分布の2D/3Dグラフィクス」http://cse.naro.affrc.go.jp/minaka/R/R-binormal.html
2次元標準正規分布は、富士山のような均等な山を成し、各成分は独立である。
一般の2次元正規分布は尾根を持つ山で、尾根は回帰直線のようになる。
まずは、2次元標準正規分布から見ていこう。
[参考サイト]
数学ノート様「多変量正規分布を理解する」https://math-note.com/multivariate-normal-distribution/
村澤 康友 様 「多変量正規分布」 https://ymurasawa.web.fc2.com/us-sl12.pdf
http://www.eco.osakafu-u.ac.jp/osakafu-content/uploads/sites/9/2014/06/us-ln12.pdf
まずは、多変量正規分布の定義から見ていこう。
n次元標準正規分布
\(X_1,X_2,\cdots,X_n\sim N(0,1)\:\:\:i.i.d.\) のとき、 \((X_1,X_2,\cdots,X_n)\) の同時分布の確率密度関数は
\(\displaystyle f(z)=\prod_{i=1}^n \left(\dfrac{1}{\sqrt{2\pi}}\exp\left(-\dfrac{1}{2}z_i^2\right)\right)=\left(\dfrac{1}{\sqrt{2\pi}}\right)^n \exp \left(-\dfrac{1}{2}z'z\right)\)
このとき、 \((X_1,X_2,\cdots,X_n)\) はn次元標準正規分布に従うという。
この関数を確率密度関数にもつことを定義としてもよい。
分散共分散行列は \(I_n\) だから、 \(X\sim N\left(0\:,\:I_n\right)\)
( \(n=2\) のとき、全方向について対称な富士山のようなグラフになる )
各成分同士が独立であり、成分同士の相関が0であることが標準正規分布の条件である。
一次変換による定義
n次元一般正規分布は、n次元標準正規分布に一次変換と平行移動を施したもの。
・ n次元標準正規分布 Z 、正則行列 \(A\) に対し、 \(X=AZ+\mu \sim N(\mu,AA')\) n次元正規分布
\(A\) が正則のとき、分散共分散行列 \(\Sigma=AA'\) は正定値行列
一般の分散共分散行列は半正定値行列で \(AA'\) と表されるが、 \(A\) が正則とは限らない。
このことは、次の事柄の特別な場合と考えることができる。
n次元正規分布 \(X\sim N(\mu,\Sigma)\) に対し、 \(Y=AX+\nu \sim N(A\mu+\nu,A\Sigma A')\)
(高校数学の美しい物語様 https://manabitimes.jp/math/1089 参照)
確率密度関数による定義
必要なものは、平均 \(\mu\) 、対称行列 \(\Sigma\)
\(f(X)=\dfrac{1}{\left(\sqrt{2\pi}\right)^2\sqrt{|\Sigma|}}\exp\left[{-\dfrac{1}{2}(X-\mu)'\ \Sigma^{-1}(X-\mu)}\right]\)
分散共分散行列は \(\Sigma\) になる。(計算必要 https://manabitimes.jp/math/1110 )
これは、分散共分散行列による定義といえる。
・n次元正規分布 X → Σ(分散共分散行列:正定値)半正定値ではない
逆に、
・ Σ(分散共分散行列:正定値)→ n次元正規分布 X
Σは正則行列で、\(f(X)=\dfrac{1}{\left(\sqrt{2\pi}\right)^2\sqrt{|\Sigma|}}\exp\left[{-\dfrac{1}{2}(X-\mu)'\ \Sigma^{-1}(X-\mu)}\right]\)
さらに行列を用いて詳しく説明する。
[参考サイト]高校数学の美しい物語様( https://manabitimes.jp/math/1089 )
(1) Σ が半正定値対称行列なら、 \(\Sigma=AA'\) (Aはn次正方行列)
(2) Σ が正定値対称行列なら、 \(\Sigma=AA'\) (Aはn次正則行列)
\(Z=A^{-1}(X-\mu)\) は標準正規分布である。実際、
\(ZZ'=A^{-1}(X-\mu)(X-\mu)'(A^{-1})'=A^{-1}\Sigma (A^{-1})'=A^{-1}AA'(A^{-1})'=I_n\)
[注意]1次元正規分布 X を2つ連ねても、2次元正規分布とはならない。(wiki 参照)
具体例では、
(1) \(X\sim N(0,1)\) のとき、\(\begin{pmatrix}
X\\
X
\end{pmatrix}\) の分散共分散行列は、 \(\Sigma=\begin{pmatrix}
1&1\\
1&1
\end{pmatrix}\)
分散共分散行列は半正定値で、 \(\begin{pmatrix}
1&1\\
1&1
\end{pmatrix}
=AA'\) となる行列 A が存在する。
直交行列で対角化すると、 \(\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}
\end{pmatrix}
\begin{pmatrix}
1&1\\
1&1
\end{pmatrix}
\begin{pmatrix}
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}
\end{pmatrix}
=
\begin{pmatrix}
2&0\\
0&0
\end{pmatrix}\)
\(\begin{pmatrix}
1&1\\
1&1
\end{pmatrix}
=
\begin{pmatrix}
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}
\end{pmatrix}
\begin{pmatrix}
2&0\\
0&0
\end{pmatrix}
\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}
\end{pmatrix}
\)
\(\begin{pmatrix}
1&1\\
1&1
\end{pmatrix}
=
\begin{pmatrix}
\frac{1}{\sqrt{2}}&-\frac{1}{\sqrt{2}}\\
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}
\end{pmatrix}
\begin{pmatrix}
\sqrt{2}&0\\
0&0
\end{pmatrix}
\cdot
\begin{pmatrix}
\sqrt{2}&0\\
0&0
\end{pmatrix}
\begin{pmatrix}
\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}\\
-\frac{1}{\sqrt{2}}&\frac{1}{\sqrt{2}}
\end{pmatrix}
\)
\(\begin{pmatrix}
1&1\\
1&1
\end{pmatrix}=
\begin{pmatrix}
1&0\\
1&0
\end{pmatrix}
\begin{pmatrix}
1&1\\
0&0
\end{pmatrix}
\) \(A=\begin{pmatrix}
1&0\\
1&0
\end{pmatrix}\) とすれば、 \(\Sigma=AA'\)
しかし、Σは半正定値なので、Aは正則ではない。
\(Z=A^{-1}X\) によって変換できないので、 \(\begin{pmatrix}
X\\
X
\end{pmatrix}\) は2次元正規分布ではない。
(2) 分散共分散行列が正定値なら、Σは正則で、 \(\Sigma=AA'\) となる正則行列 A が存在する。
\(Z=A^{-1}X\) とすると、
\(ZZ'=A^{-1}XX'(A^{-1})'=A^{-1}\Sigma (A^{-1})'=A^{-1}AA'(A^{-1})'=I_2\)
Zは独立な2次元標準正規分布であり、
\(X=AZ\) より、\(XX'=AZZ'A'=AI_2A'=AA'=\Sigma\)
確率密度関数は、
\(f(x,y)=\dfrac{1}{2\pi\sqrt{|\Sigma|}}\exp\left({-\dfrac{1}{2}X'\ \Sigma^{-1}X}\right)\)
まとめ
n次元標準正規分布 \(Z\sim N(0,I_n)\) のとき、正則行列 Aとμを用いて、\(X=AZ+\mu\) とすると、
\(X\sim N(\mu,AA')\) \(AA'=\Sigma\) は対称な正定値行列
確率密度関数 \(f(x)=\dfrac{1}{(2\pi)^n\sqrt{|\Sigma|}}\exp\left({-\dfrac{1}{2}X'\ \Sigma^{-1}X}\right)\)
逆に、
Xの各成分が1次元正規分布に従い、分散共分散行列Σが正則であるとき、
Σは対称な正定値行列であり、 \(AA'=\Sigma\) となる正則行列Aが存在
\(Z=A^{-1}(X-\mu)\) により、n次元標準正規分布Zに変換される
(大学生の確率統計 122「多次元正規分布」参照)
具体的に見てみよう。
\(
\begin{pmatrix}
X \\
Y
\end{pmatrix}\sim N\left( \begin{pmatrix}
0 \\
0
\end{pmatrix},\begin{pmatrix}
1 & \rho \\
\rho & 1
\end{pmatrix}\right)
\) のとき、
\(
\begin{pmatrix}
X \\
Y
\end{pmatrix}=A\begin{pmatrix}
x \\
y
\end{pmatrix}
\) \(
\begin{pmatrix}
x \\
y
\end{pmatrix}\sim N\left( \begin{pmatrix}
0 \\
0
\end{pmatrix},\begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}\right)
\) を満たす正則行列Aが存在する。
条件は、 \(AA'=\begin{pmatrix}
1 & \rho \\
\rho & 1
\end{pmatrix}\) であり、これを満たすものとしては、 \(A=\begin{pmatrix}
1 & 0 \\
\rho & \sqrt{1-\rho^{2}}
\end{pmatrix}\) がある。
[根拠]
正定値対称行列 \(\Sigma\) は、下三角行列 \(A\) によって、 \(\Sigma=AA'\) と分解される。
これをコレスキー分解という。
[参考サイト] Wikipedia 様 https://ja.wikipedia.org/wiki/コレスキー分解
コレスキー分解による \(A\) の構成方法は別に述べる。
標準化されていない場合
\(
\begin{pmatrix}
X \\
Y
\end{pmatrix}\sim N\left( \begin{pmatrix}
\mu_X \\
\mu_Y
\end{pmatrix},
\begin{pmatrix}
\sigma _{X}^{2} & \sigma_{XY} \\
\sigma _{XY} & \sigma _{Y}^{2}
\end{pmatrix}\right)
\) のとき、
\(
\begin{pmatrix}
X \\
Y
\end{pmatrix}=A\begin{pmatrix}
x \\
y
\end{pmatrix}
+\begin{pmatrix}
\mu_X \\
\mu_Y
\end{pmatrix}
\) 、\(
\begin{pmatrix}
x \\
y
\end{pmatrix}\sim N\left( \begin{pmatrix}
0 \\
0
\end{pmatrix},\begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}\right)
\) を満たす正則行列Aが存在する。
条件は、\(AA'=\begin{pmatrix}
\sigma _{X}^{2} & \sigma_{XY} \\
\sigma _{XY} & \sigma _{Y}^{2}
\end{pmatrix}\) 、これを満たすものとしては、\(A=\begin{pmatrix}
\sigma_X & 0 \\
\rho \sigma_Y & \sqrt{1-\rho^{2}}\sigma_Y
\end{pmatrix}\) がある。
(証) \(Z_1=\dfrac{X-\mu_X}{\sigma_X}\) 、\(Z_2=\dfrac{Y-\mu_Y}{\sigma_Y}\) について、
\(E(Z_1Z_2)=\dfrac{\sigma_{XY}}{\sigma_X\sigma_Y}=\rho\) であり、\(
\begin{pmatrix}
Z_1 \\
Z_2
\end{pmatrix}\sim N\left( \begin{pmatrix}
0 \\
0
\end{pmatrix},\begin{pmatrix}
1 & \rho \\
\rho & 1
\end{pmatrix}\right)
\) を満たすから、
\(
\begin{pmatrix}
Z_1 \\
Z_2
\end{pmatrix}
=
\begin{pmatrix}
1 & 0 \\
\rho & \sqrt{1-\rho^{2}}
\end{pmatrix}
\begin{pmatrix}
x \\
y
\end{pmatrix}
\) 、\(
\begin{pmatrix}
x \\
y
\end{pmatrix}\sim N\left( \begin{pmatrix}
0 \\
0
\end{pmatrix},\begin{pmatrix}
1 & 0 \\
0 & 1
\end{pmatrix}\right)
\) を満たす正則行列Aが存在する。
\(Z_1=\dfrac{X-\mu_X}{\sigma_X}=x\) より、\(X=\sigma_X\cdot x+\mu_X\)
\(Z_2=\dfrac{Y-\mu_Y}{\sigma_Y}=\rho x+\sqrt{1-\rho^{2}}y\) より、\(Y=\sigma_Y\left(\rho x+\sqrt{1-\rho^{2}}y \right)+\mu_Y\)
よって、 \(A=\begin{pmatrix}
\sigma_X & 0 \\
\rho \sigma_Y & \sqrt{1-\rho^{2}}\sigma_Y
\end{pmatrix}\)
[参考]
\(
\begin{pmatrix}
Z_1 \\
Z_2
\end{pmatrix}
=
\begin{pmatrix}
\sqrt{1-\rho^2}&\rho\\
0&1
\end{pmatrix}
\begin{pmatrix}
x \\
y
\end{pmatrix}
\) とすれば、
\(Z_1=\dfrac{X-\mu_X}{\sigma_X}=\sqrt{1-\rho^{2}}x+\rho y\) \(\therefore X=\sigma_X\left(\sqrt{1-\rho^{2}}x+\rho y \right)+\mu_X\)
\(Z_2=\dfrac{Y-\mu_Y}{\sigma_Y}=y\) \(\therefore Y=\sigma_Y\cdot y+\mu_Y\)
この場合、 \(A=\begin{pmatrix}
\sqrt{1-\rho^{2}}\sigma_X & \rho \sigma_X \\
0 & \sigma_Y
\end{pmatrix}\) である。
条件付き期待値
\(\begin{pmatrix}
X\\
Y
\end{pmatrix}
=A
\begin{pmatrix}
x\\
y
\end{pmatrix}
+
\begin{pmatrix}
\mu_X\\
\mu_Y
\end{pmatrix}\) 、\(AA'=\Sigma\) : \((x,y)\) は2次元標準正規分布、 \(A\) は正則行列
\(A\) は無数にあるが、 \(A=\begin{pmatrix}
\sigma_X & 0 \\
\rho \sigma_Y & \sqrt{1-\rho^{2}}\sigma_Y
\end{pmatrix}\) とすると、
\(X=\sigma_X\cdot x+\mu_X\) \(Y=\sigma_Y\left(\rho x+\sqrt{1-\rho^{2}}y \right)+\mu_Y\)
\(X\geq \mu_X\) のとき、\(0\leq x\) 、\(-\infty<y<+\infty\)
\(\begin{split}
E(X|X\geq \mu_X)&=
2\int_{0}^{+\infty}
\int_{-\infty}^{+\infty}(\sigma_X\cdot x+\mu_X)\dfrac{1}{\sqrt{2\pi}^2}\exp\left[{-\dfrac{1}{2}\left(x^2+y^2\right)}\right]dxdy\\
&=2\int_{0}^{+\infty}
\int_{-\infty}^{+\infty}\sigma_X\cdot x\dfrac{1}{\sqrt{2\pi}^2}\exp\left[{-\dfrac{1}{2}\left(x^2+y^2\right)}\right]dxdy+\mu_X\\
&=2\int_{0}^{+\infty}\sigma_X\cdot x\dfrac{1}{\sqrt{2\pi}}\exp\left({-\dfrac{1}{2}x^2}\right)dx\cdot
\int_{-\infty}^{+\infty}\dfrac{1}{\sqrt{2\pi}}\exp\left({-\dfrac{1}{2}y^2}\right)dy+\mu_X\\
&=2\int_{0}^{+\infty}\sigma_X\cdot x\dfrac{1}{\sqrt{2\pi}}\exp\left({-\dfrac{1}{2}x^2}\right)dx+\mu_X\\
\end{split}\)
\(\begin{split}
E(Y|X\geq \mu_X)
&=
2\int_{0}^{+\infty}
\int_{-\infty}^{+\infty}\left[\sigma_Y\left(\rho x+\sqrt{1-\rho^{2}}y \right)+\mu_Y\right]\dfrac{1}{\sqrt{2\pi}^2}\exp\left[{-\dfrac{1}{2}\left(x^2+y^2\right)}\right]dxdy\\
&=
2\int_{0}^{+\infty}
\int_{-\infty}^{+\infty}\sigma_Y\rho x\dfrac{1}{\sqrt{2\pi}^2}\exp\left[{-\dfrac{1}{2}\left(x^2+y^2\right)}\right]dxdy+2\int_{0}^{+\infty}
\int_{-\infty}^{+\infty}\sigma_Y\sqrt{1-\rho^2}y\dfrac{1}{\sqrt{2\pi}^2}\exp\left[{-\dfrac{1}{2}\left(x^2+y^2\right)}\right]dxdy+\mu_Y\\
&=
2\int_{0}^{+\infty}
\int_{-\infty}^{+\infty}\sigma_Y\rho x\dfrac{1}{\sqrt{2\pi}^2}\exp\left[{-\dfrac{1}{2}\left(x^2+y^2\right)}\right]dxdy+\mu_Y\\
&=2\int_{0}^{+\infty}\sigma_Y\rho x\dfrac{1}{\sqrt{2\pi}}\exp\left({-\dfrac{1}{2}x^2}\right)dx\cdot
\int_{-\infty}^{+\infty}\dfrac{1}{\sqrt{2\pi}}\exp\left({-\dfrac{1}{2}y^2}\right)dy+\mu_Y\\
&=2\int_{0}^{+\infty}\sigma_Y\rho x\dfrac{1}{\sqrt{2\pi}}\exp\left({-\dfrac{1}{2}x^2}\right)dx+\mu_Y\\
\end{split}\)
よって、 \(E(Y|X\geq \mu_X)=\mu_Y+\rho\sigma_Y\left[\dfrac{E(X|X\geq \mu_X)-\mu_X}{\sigma_X}\right]\)
\(E(y|x)=\mu_y+\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right)\) と同様に、条件付き期待値は回帰直線の式に等しいことが分かる。
周辺分布
[要点]
多変量正規分布に従う確率変数ベクトルから、いくつかの成分を抜き出した確率変数の周辺分布を得るには、平均ベクトル、分散共分散行列から無関係な成分を除けばよい。(Wiki)
簡潔な説明には二次形式を用いる。
https://www.slideshare.net/kohta/prml231233-4350783
https://qiita.com/mochio/items/280c229bee5fe282852b
変数変換すれば平方の積に分解され、累次積分は積分の積になる。
(参考)二次形式の平方完成 https://ja.wikipedia.org/wiki/平方完成#二次形式の平方完成
本サイト「2変量正規分布と線形回帰分析」参照
\(
\begin{pmatrix}
x \\
y
\end{pmatrix}
\sim
N_2\left( \begin{pmatrix}
\mu_x \\
\mu_y
\end{pmatrix},\begin{pmatrix}
\sigma_x^2 & \sigma_{xy}\\
\sigma_{xy} & \sigma_y^2
\end{pmatrix}\right)
\) のとき、\(x\sim N(\mu_x,\sigma_x^2)\) 、\(y\sim N(\mu_y,\sigma_y^2)\)