hyoccori-toukei

2変量正規分布の確率密度関数

\((x,y)\) が2変量正規分布に従うとき、確率密度関数は 平均と分散共分散行列によって決まる。

\(
\begin{pmatrix}
x \\
y
\end{pmatrix}
\sim
N_2\left( \begin{pmatrix}
\mu_x \\
\mu_y
\end{pmatrix},\begin{pmatrix}
\sigma_x^2 & \sigma_{xy}\\
\sigma_{xy} & \sigma_y^2
\end{pmatrix}\right)
=
N_2\left( \begin{pmatrix}
\mu_x \\
\mu_y
\end{pmatrix},\begin{pmatrix}
\sigma_x^2 & \rho\sigma_x \sigma_y \\
\rho\sigma_x \sigma_y & \sigma_y^2
\end{pmatrix}\right)
\) 　のとき、

\(\Sigma^{-1}=
\dfrac{1}{\sigma_x^2\sigma_y^2(1-\rho^2)}
\begin{pmatrix}
\sigma_y^2 & -\sigma_{xy}\\
-\sigma_{xy} & \sigma_x^2
\end{pmatrix}\) \(\Sigma^{-1}=
\dfrac{1}{\sigma_x^2\sigma_y^2(1-\rho^2)}
\begin{pmatrix}
\sigma_y^2 & -\sigma_{xy}\\
-\sigma_{xy} & \sigma_x^2
\end{pmatrix}\) であり、 \(f(x,y)=\dfrac{1}{\left(\sqrt{2\pi}\right)^2\sqrt{|\Sigma|}}\exp\left[{-\dfrac{1}{2}(X-\mu)'\ \Sigma^{-1}(X-\mu)}\right]\)

２次形式の計算より、

　　　　　\(\begin{split}
(X-\mu)'\ \Sigma^{-1}(X-\mu)&=
\dfrac{1}{\sigma_x^2\sigma_y^2(1-\rho^2)}
\left[\sigma_y^2(x-\mu_x)^2-2\sigma_{xy}(x-\mu_x)(y-\mu_y)+\sigma_x^2(y-\mu_y)^2\right]\\
&=\dfrac{1}{(1-\rho^2)}
\left[\dfrac{(x-\mu_x)^2}{\sigma_x^2}-2\rho\dfrac{(x-\mu_x)}{\sigma_x}\dfrac{(y-\mu_y)}{\sigma_y}+\dfrac{(y-\mu_y)^2}{\sigma_y^2}\right]
\end{split}\)

\(|\Sigma|=\sigma_x^2\sigma_y^2-\rho^2\sigma_x^2\sigma_y^2=\sigma_x^2\sigma_y^2(1-\rho^2)\) 　 より、 　\(\sqrt{|\Sigma|}=\sigma_x\sigma_y\sqrt{1-\rho^2}\) だから

\(f(x,y)=\dfrac{1}{2\pi\sigma_x\sigma_y\sqrt{1-\rho^2}}
\exp\left[-\dfrac{1}{2}\dfrac{1}{(1-\rho^2)}
\left[\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2-2\rho\left(\dfrac{x-\mu_x}{\sigma_x}\right)\left(\dfrac{y-\mu_y}{\sigma_y}\right)+\left(\dfrac{y-\mu_y}{\sigma_y}\right)^2\right]
\right]\)

周辺分布 \(f(x)\) を求めるには、 \(f(x,y)\) をyで積分する。

　　　　　\(\begin{split}
(X-\mu)'\ \Sigma^{-1}(X-\mu)&=\dfrac{1}{(1-\rho^2)}
\left[\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2-2\rho\left(\dfrac{x-\mu_x}{\sigma_x}\right)\left(\dfrac{y-\mu_y}{\sigma_y}\right)+\left(\dfrac{y-\mu_y}{\sigma_y}\right)^2\right]\\
&=\dfrac{1}{(1-\rho^2)}
\left[\left(\left(\dfrac{y-\mu_y}{\sigma_y}\right)-\rho\left(\dfrac{x-\mu_x}{\sigma_x}\right)\right)^2+(1-\rho^2)\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2\right]\\
\end{split}\)

　　　　　\(\therefore (X-\mu)'\ \Sigma^{-1}(X-\mu)=
\left(\dfrac{1}{\sqrt{1-\rho^2}}\left(\dfrac{y-\mu_y}{\sigma_y}\right)-\dfrac{\rho}{\sqrt{1-\rho^2}}\left(\dfrac{x-\mu_x}{\sigma_x}\right)\right)^2+\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2\)

\(t=\dfrac{1}{\sqrt{1-\rho^2}}\left(\dfrac{y-\mu_y}{\sigma_y}\right)-\dfrac{\rho}{\sqrt{1-\rho^2}}\left(\dfrac{x-\mu_x}{\sigma_x}\right)\) と置換すると、

　　　　　\(dt=\dfrac{1}{\sqrt{1-\rho^2}}\dfrac{dy}{\sigma_y}\) 　\(\therefore dy=\sigma_y\sqrt{1-\rho^2}\cdot dt\)

\(\begin{split}f(x)&=
\dfrac{1}{2\pi\sigma_x\sigma_y\sqrt{1-\rho^2}}
\int _{-\infty}^{\infty}\exp\left[-\dfrac{1}{2}\left(\dfrac{1}{\sqrt{1-\rho^2}}\left(\dfrac{y-\mu_y}{\sigma_y}\right)-\dfrac{\rho}{\sqrt{1-\rho^2}}\left(\dfrac{x-\mu_x}{\sigma_x}\right)\right)^2-\dfrac{1}{2}\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2\right]dy\\
&=\dfrac{1}{2\pi\sigma_x\sigma_y\sqrt{1-\rho^2}}
\int _{-\infty}^{\infty}\exp\left[-\dfrac{1}{2}t^2-\dfrac{1}{2}\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2\right]\sigma_y\sqrt{1-\rho^2}\cdot dt\\
&=\dfrac{1}{2\pi\sigma_x}
\int _{-\infty}^{\infty}\exp\left[-\dfrac{1}{2}t^2-\dfrac{1}{2}\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2\right]dt=\dfrac{1}{\sqrt{2\pi}\sigma_x}\exp\left[-\dfrac{1}{2}\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2\right]
\dfrac{1}{\sqrt{2\pi}}\int _{-\infty}^{\infty}\exp\left(-\dfrac{1}{2}t^2\right)dt\\
&=\dfrac{1}{\sqrt{2\pi}\sigma_x}\exp\left[-\dfrac{1}{2}\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2\right]
\end{split}\)

\(f(x,y)=\dfrac{1}{2\pi\sigma_x\sigma_y\sqrt{1-\rho^2}}
\exp\left[-\dfrac{1}{2}\left(\dfrac{1}{\sqrt{1-\rho^2}}\left(\dfrac{y-\mu_y}{\sigma_y}\right)-\dfrac{\rho}{\sqrt{1-\rho^2}}\left(\dfrac{x-\mu_x}{\sigma_x}\right)\right)^2-\dfrac{1}{2}\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2
\right]\)

xを固定したときのyの条件付き分布の確率密度関数 \(f(y|x)\) は、

\(f(y|x)=\dfrac{f(x,y)}{f(x)}
=\dfrac{1}{\sqrt{2\pi}\sigma_y\sqrt{1-\rho^2}}
\exp\left[-\dfrac{1}{2}\left(\dfrac{1}{\sqrt{1-\rho^2}}\left(\dfrac{y-\mu_y}{\sigma_y}\right)-\dfrac{\rho}{\sqrt{1-\rho^2}}\left(\dfrac{x-\mu_x}{\sigma_x}\right)\right)^2\right]\)

\(\dfrac{1}{\sqrt{1-\rho^2}}\left(\dfrac{y-\mu_y}{\sigma_y}\right)-\dfrac{\rho}{\sqrt{1-\rho^2}}\left(\dfrac{x-\mu_x}{\sigma_x}\right)=
\dfrac{1}{\sqrt{1-\rho^2}\sigma_y}\left({y-\mu_y-\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right)
}\right)\) 　だから、

よって、 　　　　　\(f(y|x)\sim N\left(\mu_y+\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right),(1-\rho^2)\sigma_y^2\right)\)　　　　　\(V(y|x)=(1-\rho^2)\sigma_y^2\)

\(x\) を固定したときの条件付き期待値は \(y\) の \(x\) による回帰直線に等しいことが分かる。

　　　　　X,Yが標準化されていれば最も分かりやすい。（ノート③参照）

\(
\begin{pmatrix}
x \\
y
\end{pmatrix}
\sim
N_2\left( \begin{pmatrix}
0 \\
0
\end{pmatrix},\begin{pmatrix}
1 & 0\\
0 & 1
\end{pmatrix}\right)
\) のとき、\(\Sigma^{-1}=
\dfrac{1}{1-\rho^2}
\begin{pmatrix}
1 & -\rho\\
-\rho & 1
\end{pmatrix}\) このとき、 \(f(y|x)\sim N\left(\rho x,(1-\rho^2)\right)\)

X,Yが標準化されていれば最も分かりやすい。

\(
\begin{pmatrix}
x \\
y
\end{pmatrix}
\sim
N_2\left( \begin{pmatrix}
0 \\
0
\end{pmatrix},\begin{pmatrix}
1 & 0\\
0 & 1
\end{pmatrix}\right)
\)　のとき、\(\Sigma^{-1}=
\dfrac{1}{1-\rho^2}
\begin{pmatrix}
1 & -\rho\\
-\rho & 1
\end{pmatrix}\) このとき、\(f(y|x)\sim N\left(\rho x,(1-\rho^2)\right)\)

平均への回帰

統計学がわかった 様　「平均への回帰とはなにか。遺伝学者ゴルトンの発見」
　　　　　　　　　　https://toukeigaku-jouhou.info/2018/02/20/regression-toward-the-mean/
回帰とは、データに偏りがあったとしても、いずれ平均値へと近くなる現象のことをいいます。

統計Web 様　「平均への回帰、相関係数―統計学史(2)」
　　　　　　　　　　https://bellcurve.jp/statistics/blog/13987.html
ゴールトンは平均への回帰現象の数値化を試み、その結果生まれたのが「相関係数」です。

\((X_1,X_2)\) は同じ平均と分散を持ち、 \(
\begin{pmatrix}
X_1 \\
X_2
\end{pmatrix}
\sim
N_2\left( \begin{pmatrix}
\mu \\
\mu
\end{pmatrix},\begin{pmatrix}
\sigma^2 & \rho\sigma^2\\
\rho\sigma^2 & \sigma^2
\end{pmatrix}\right)
\)
であるとする。

\(\rho\) は相関係数で、 \(|\rho|\leq1\) を満たす。

\((X_1,X_2)\) を標準化した変量\((Z_1,Z_2)\) の回帰式は　\(Z_2=\rho Z_1\)

よって、 \(X_2-\mu=\rho(X_1-\mu)\)

この式から \(X_2\) の偏差は \(X_1\) の偏差より小さく( \(\rho\) 倍)、平均へ回帰することを意味する。