正規分布からは次のような分布が派生して生まれる。
・独立な標準正規分布の平方和 → カイ二乗分布
・２つのカイ二乗分布の商 → F分布
・標準正規分布とカイ二乗分布の平方根の商 → t分布
連続一様分布
\(U(a,b)\sim f(x)=\dfrac{1}{b-a}\)
\(E(X)=\dfrac{a+b}{2}\) \(V(X)=\dfrac{(a-b)^2}{12}\)
\(\displaystyle M_X(t)=\int_a^be^{tx}\dfrac{1}{b-a}dx=\dfrac{1}{b-a}\dfrac{e^{bt}-e^{at}}{t}\)
（参考） \(\displaystyle E(X^2)=\int_a^bx^2\dfrac{1}{b-a}dx=\dfrac{1}{3}\dfrac{b^3-a^3}{b-a}=\dfrac{1}{3}(a^2+ab+b^2)\) による
正規分布
標準正規分布
\(Z\sim N(0,1):f(z)=\dfrac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}\) \(M_Z(t)=e^{\frac{t^2}{2}}\)
一般正規分布
\(X\sim N(\mu,\sigma^2):f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2}}\)
（導出）
変数変換 \(X=\sigma Z+\mu\) から導出できる。
\(X=\sigma Z+\mu:(a,b)\rightarrow (\alpha,\beta)\)
\(\displaystyle \int_a^bf_Z(z)dz=\int_{\alpha}^{\beta}f_X(x)dx\) と変形して \(f_X(x)\) を求める。
変数変換は置換積分と同等で、 \(z=\dfrac{x-\mu}{\sigma}\) から \(\dfrac{dz}{dx}=\dfrac{1}{\sigma}\)
\(\begin{split}\displaystyle\int_a^b f_Z(z)dz&=\displaystyle\int_{\alpha}^{\beta}
f_Z\left(\dfrac{x-\mu}{\sigma}\right)\dfrac{dz}{dx}dx=
\int_{\alpha}^{\beta} f_Z\left(\dfrac{x-\mu}{\sigma}\right)\dfrac{1}{\sigma}dx\\&=
\int_{\alpha}^{\beta}\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}dx
=\int_{\alpha}^{\beta}f_X(x)dx
\end{split}\)
モーメント母関数も変数変換により求まる。
\(M_X(t)=E\left(e^{t(\mu+\sigma Z)}\right)=e^{\mu t}E\left(e^{t\sigma
Z}\right)
=e^{\mu t}\cdot e^{\frac{(\sigma t)^2}{2}}=e^{\mu t+\frac{1}{2} \sigma^2t^2}\)
指数分布
単位時間中にある事象が発生する平均回数をλとする。
その事象の１回目が起こるまでの時間をXとするとき、Xは指数分布に従う。
\(f\left( x| \lambda \right) =\lambda e^{-\lambda x}\) （Xは 発生間隔と考えてもよい）
期待値： \(1/\lambda\) 分散： \(1/\lambda^2\)
モーメント母関数： \(m(t)=\left(1-t/\lambda\right)^{-1}\) 特性関数： \(\varphi(t)=\left(1-it/\lambda\right)^{-1}\)
[注意]
\(f\left( x| \mu \right) =\dfrac{1}{\mu} \exp\left(-\dfrac{1}{\mu}x\right)\) という表現もある。 \(\mu=\dfrac{1}{\lambda}\)（周期）
期待値： \(\mu\) 分散： \(\mu ^2\) モーメント母関数： \(m(t)=\left(1-\mu t\right)^{-1}\)
ガンマ分布
単位時間中にある事象が発生する平均回数をλとする。
その事象のk回目が起こるまでの時間をXとするとき、Xはガンマ分布に従う。
\(f\left(x| k,\lambda \right) =\dfrac{\lambda ^{k}}{\left( k-1\right) !}x^{k-1}e^{-\lambda x}\) （回数、振動数）
ガンマ関数 \(\displaystyle \Gamma \left( k\right) =\left( k-1\right) !\) を用いれば、
\(f\left(x| k,\lambda \right) =\dfrac{\lambda ^{k}}{\Gamma \left( k\right)}x^{k-1}e^{-\lambda x}\)
ガンマ分布は指数分布の和である。（ kが自然数のとき、アーラン分布ともいう ）
\(X_1,\cdots ,X_k \sim f_{X_i}(x|\lambda)=\lambda e^{-\lambda x}:i.i.d.\) （指数分布）とするとき、
\(X=X_1+\cdots +X_k\sim f\left(x| k,\lambda \right) =\dfrac{\lambda ^{k}}{\Gamma \left( k\right)}x^{k-1}e^{-\lambda x}\) （ \(\lambda,x\) が \(k-1\) 個増えている）
和の分布は合成積によって導出される。
合成積は部分積分なので、 \(X_i\) を加えるごとに \(x\) が増え, \(\lambda\) が増え,分母の \(k\) が増える。
期待値： \(k\mu=k/\lambda\) 分散： \(k\mu ^2=k/\lambda^2\)
（式の成り立ちを理解すれば、暗記に頼らなくてすむ）
モーメント母関数は、 \(k\) 個のモーメント母関数の積になるので、
\(M_X (t)=\left(1-t\mu\right)^{-k}=\left(1-t/\lambda\right)^{-k}\)
カイ二乗分布
\(\displaystyle f(x)=\dfrac{1}{2^{\frac{k}{2}}\Gamma\left(\frac{k}{2}\right)}x^{\frac{k}{2}-1}e^{-\frac{x}{2}}\)
\(f\left(x| k,\lambda \right) =\dfrac{\lambda ^{k}}{\left( k-1\right) !}x^{k-1}e^{-\lambda x}\) （回数、振動数）において、
\(\lambda=\dfrac{1}{2}\) とすると、 \(f\left(x| k,\dfrac{1}{2} \right) =\dfrac{\frac{1}{2} ^{k}}{\left( k-1\right) !}x^{k-1}e^{-\frac{1}{2} x}\) （周期２の事象が 回起きるまでの時間）
\(k\) を \(\dfrac{k}{2}\) とすると、\(f\left(x| \dfrac{k}{2},\dfrac{1}{2} \right) =\dfrac{\frac{1}{2} ^{\frac{k}{2}}}{\left( k-1\right) !}x^{\frac{k}{2}-1}e^{-\frac{1}{2} x}\) （周期２の事象が \(\dfrac{k}{2}\) 回起きるまでの時間）
\(E(X)=2\cdot\dfrac{k}{2}=k\) \(V(X)=2^2\cdot \dfrac{k}{2}=2k\)
特に、\(k=2\) のときは「周期２の事象が１回起きるまでの時間Xの分布」ということになる。
ベータ分布
あつまれ統計の森 様 - ベータ分布(Beta distribution)の定義と期待値・分散の計算
https://www.hello-statisticians.com/explain-terms-cat/beta_distribution1.html
\(f\left(x\right) =kx^{p-1}(1-p)^{q-1}\) のとき
\(\mu=\dfrac{p}{p+q}~,~\sigma^2=\dfrac{pq}{(p+q)^2(p+q+1)}~,~MO=\dfrac{p-1}{p+q-2}\)
これらはベイズ共役分布として活用される。
対数正規分布
高校数学の美しい物語 様 対数正規分布の例と平均，分散
https://mathtrain.jp/lognormal
［定義］
\(Y\sim N\left( \mu ,\sigma ^{2}\right) \) のとき、 \(X=e^{Y}\) の従う分布を対数正規分布という。
即ち、 \(\log X=Y\sim N\left( \mu ,\sigma ^{2}\right) \)
変数変換を用いて、YからXを導いてみる。
置換積分
\(x=g(t)\) のとき、
\(\displaystyle\int_a^b f(x)dx=\displaystyle\int_{\alpha}^{\beta} f(g(t))\dfrac{dx}{dt}dt\)
ただし、 \(t:\alpha\to \beta\) と単調に変化するとき、 \(x:a\to b\) と単調に変化するものとする。
この置換積分は、 \(x\to t\) という変数変換を意味する。
（被積分関数が、逆変換の微分をかけたものになることに注意）
この置換積分の公式は、t の確率密度関数が、 \(f(g(t))\dfrac{dx}{dt}\) であることを意味する。
今、関数 h は微分可能な単調関数とする。
\(X\sim f\left( x\right) \) (確率密度関数 ) \(Y=h\left( X\right) \) であるとき、Yの確率密度関数は、
\(\displaystyle Y\sim f\left(x\right)\left| \frac{dx}{dy} \right| \)
\(Y\sim g\left( y\right) =f\left( h^{-1}\left( y\right) \right) \times \left| \left( h^{-1}\right) '\left( y\right) \right| \)
（逆変換の微分をかけたものになることに注意）
今、\(X=e^{Y}\) 、\(Y\sim f(y)=\frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{1}{2}\left(\frac{y-\mu}{\sigma}\right)^2}\)
逆関数は、 \(y=\log x\) だから、
\(X\sim g\left( x\right) =f\left( \log x \right) \times \left| \frac{1}{x}\right|
=\frac{1}{\sqrt{2\pi}\sigma x}e^{-\frac{1}{2}\left(\frac{\log x-\mu}{\sigma}\right)^2}\)
対数正規分布 \(X\sim LN\left( \mu ,\sigma ^{2}\right) \) の確率密度関数は、\(g(x)
=\frac{1}{\sqrt{2\pi}\sigma x}e^{-\frac{1}{2}\left(\frac{\log x-\mu}{\sigma}\right)^2}\)
［2014 社会①解説］
(1)
変数変換を用いて、XからYを導いてみる。
対数正規分布 \(X\sim LN\left( \mu ,\sigma ^{2}\right) \) の確率密度関数は、\(f(x)
=\frac{1}{\sqrt{2\pi}\sigma x}e^{-\frac{1}{2}\left(\frac{\log x-\mu}{\sigma}\right)^2}\)
とする。
\(Y=\log X\) と変換したとき 、確率度密度関数は、f(x)→g(y) とどのように変わるだろうか。
逆関数は \(x=e^{y}\) より、 \(\displaystyle\frac{dx}{dy}=e^y\) \(\therefore
\frac{dx}{dy}=x\)
確率密度関数は、 \(\begin{split}
g(y)&=f(x)\frac{dx}{dy}
=\frac{1}{\sqrt{2\pi}\sigma x}e^{-\frac{1}{2}\left(\frac{\log x-\mu}{\sigma}\right)^2}x\
=\frac{1}{\sqrt{2\pi}\sigma }e^{-\frac{1}{2}\left(\frac{y-\mu}{\sigma}\right)^2}
\end{split}\)
Yは正規分布に従うことがわかる。
(2)
［基本］モーメント母関数
確率変数 X のモーメント母関数は、 \(M_X(t)=E(e^{tX})\) と定義される。
Xが正規分布に従うとき、 \(M_X(t)=e^{\mu t+\frac{1}{2}\sigma^2t^2}\) で与えられる。
Xが対数正規分布に従うとき、モーメント母関数は存在しない。
二変量正規分布
［類題］人文2013② 当サイト「多変量正規分布」参照
［定義］
n次元標準正規分布 \(Z\sim N(0,I_n)\) のとき、正則行列 A とμを用いて、 \(X=AZ+\mu\) とすると、
\(X\sim N(\mu,AA')\) \(AA'=\Sigma\) は対称な正定値行列
確率密度関数 \(f(x)=\dfrac{1}{\left(\sqrt{2\pi}\right)^n\sqrt{|\Sigma|}}\exp\left({-\dfrac{1}{2}X'\ \Sigma^{-1}X}\right)\)
逆に、
Xの各成分が１次元正規分布に従い、分散共分散行列Σが正則であるとき、
Σは対称な正定値行列であり、 \(AA'=\Sigma\) となる正則行列Aが存在
\(Z=A^{-1}(X-\mu)\) により、n次元標準正規分布Zに変換される。
混合正規分布
ガウス分布 \(N(x\mid\mu_k,\Sigma_k):k=1,2,\cdots,K\) に対し、
\(p(x)=\displaystyle\sum_{k=1}^K\pi_kN(x\mid\mu_k,\Sigma_k)\) \(\pi_k\) は混合率： \(\displaystyle\sum_{k=1}^K\pi_k=1\)
によって定まる分布を混合ガウス分布という。
F分布
２つの独立なカイ二乗分布の商は、F分布に従う。
\(U_1\sim \chi^2(k_1)\:,\:U_2\sim \chi^2(k_2):i.i.d.\) であるとき、 F=\dfrac{U_1/k_1}{U_2/k_2}\sim F(k_1,k_2)
［F分布による等分散性の検定］
\(X\sim N(\mu_X,\sigma_X^2)\:,\:Y\sim N(\mu_Y,\sigma_Y^2)\::i.i.d.\) は独立な２群を表す確率変数とする。
独立な２群の標本数を \(N_1,N_2\) 、母分散を \(\sigma_X^2,\sigma_Y^2\) 、不偏分散を \(U_X^2,U_Y^2\) とすると、
\(\frac{(N_1-1)U_X^2}{\sigma_X^2}\sim \chi^2(N_1-1)\:\:\:,\:\:\:
\frac{(N_2-1)U_Y^2}{\sigma_Y^2}\sim \chi^2(N_2-1)\) であるから、
\(F=\left. \frac{(N_1-1)U_X^2}{\sigma_X^2\cdot(N_1-1)} \right/
\frac{(N_2-1)U_Y^2}{\sigma_Y^2\cdot(N_2-1)}=
\left. \frac{U_X^2}{\sigma_X^2} \right/ \frac{U_Y^2}{\sigma_Y^2}
\)
［帰無仮説］ \(\sigma_X^2=\sigma_Y^2\) のもとでは、\(F=\dfrac{U_X^2}{U_Y^2}\sim F(N_1-1,N_2-1)\)
これにより、等分散を検定することができる。
t分布
浅野晃 様 「カイ二乗分布とｔ分布」
http://racco.mikeneko.jp/Kougi/2011a/AAN/2011aaan15.pdf
『 t分布は、[標準正規分布]／[カイ二乗分布の平方根] の分布である 』
・\(Z\sim N(0,1)\)：標準正規分布 、 \(W\sim \chi^2(m)\)：自由度 \(m\) のカイ二乗分布 、\(Z,W\) は独立のとき
\(t=\dfrac{Z}{\sqrt{\left. W \right/ m}} \sim t(m)\) ：自由度 \(m\) のt分布に従う。
［説明］
\(X_1,X_2,\cdots,X_n\sim N(\mu,\sigma^2):i.i.d\) （独立に正規分布に従う）とき
標本平均 \(\overline{X}\sim N\left(\mu,\dfrac{\sigma^2}{n}\right)\) 標準化 \(Z=\dfrac{\overline{X}-\mu}{\left. \sigma \right/ \sqrt{n}} \sim N(0,1)\)
・標本分散 \(S^2\) に対し、 \((n-1)S^2\) は偏差平方和である。これに標準化に近い操作を施す。
\(\begin{split}
U=\dfrac{n-1}{\sigma^2}S^2&=\dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i-\overline{X})^2\\
&=\sum_{i=1}^n\left(\dfrac{X_i-\overline{X}}{\sigma}\right)^2
\sim \chi^2(n-1)
\end{split}\)
「標準化に近い操作」と言った意味は、
\(\overline{X}\) のところを \(\mu\) にすれば完全な標準化となり、独立な標準正規分布の平方和は
カイ二乗分布 \(\displaystyle \sum_{i=1}^n\left(\dfrac{X_i-\mu}{\sigma}\right)^2
\sim \chi^2(n)\) が成立する。
（完全な標準化の場合は、数学的帰納法で比較的容易に証明できる）
今、母平均を \(\overline{X}\) で代用しているので、自由度が１減じていることになる。
（この証明はヘルマート行列などの線形代数を用いる難しい証明になる）
（浅野晃先生のサイトには行列を使わない解説がある）
上の２つの定理を用いれば、
\(t=\dfrac{\overline{X}-\mu}{\left. S \right/ \sqrt{n}}
=\dfrac{\left. (\overline{X}-\mu) \right/ \dfrac{\sigma}{\sqrt{n}}}{\left. S \right/ \sigma}
=\dfrac{Z}{\sqrt{\left. S^2 \right/ \sigma^2}}
=\dfrac{Z}{\sqrt{\left. U \right/ (n-1)}}
\sim t(n-1)\)
標本平均 \(\overline{X}\) の標準化を標本分散で代用したものは、t分布に従うことが分かる。