統計学が難しく感じるのは、複雑な確率分布を扱うときである。
しかし、複雑に思える確率分布も元は１つであり、関連分布は１つの枝にまとめられる。
正規分布
１次元標準正規分布 \(Z\sim N(0,1)\) は \(\phi \left( z\right) =\dfrac{1}{\sqrt{2\pi }}\exp \left( -\dfrac{z^{2}}{2}\right) \) を確率密度関数とする。
［関連する分布］
・独立な n 個の１次元標準正規分布の平方和が従う分布をカイ二乗分布という。
・独立な２つのカイ二乗分布の商が従う分布をF分布という。
・独立な１次元標準正規分布とカイ二乗分布の平方根の商が従う分布をt分布という。
カイ二乗分布
(1) 母平均 \(\mu\) が既知の場合
\(Z_1,Z_2,\cdots,Z_n\sim N(0,1):i.i.d\) （独立に正規分布に従う） のとき、\(\displaystyle
\sum_{i=1}^{n}Z_i^2\sim \chi^2(n)\)
（独立な標準正規分布の平方和はカイ二乗分布に従う）
\(X_1,X_2,\cdots,X_n\sim N(\mu,\sigma^2):i.i.d\) のとき
\(\displaystyle \sum_{i=1}^n\left(\dfrac{X_i-\mu}{\sigma}\right)^2=\sum_{i=1}^{n}Z_i^2
\sim \chi^2(n)\) が成立する。
(2) 母平均 \(\mu\) が未知の場合
\(X_1,X_2,\cdots,X_n\sim N(\mu,\sigma^2):i.i.d\) （独立に正規分布に従う）のとき
\(\displaystyle \sum_{i=1}^n\left(\dfrac{X_i-\overline{X}}{\sigma}\right)^2
\sim \chi^2(n-1)\)
（標本平均 \(\overline{X}\) で代用すると自由度は１減じる）
（証明）
［多変量正規分布の一次変換］ （当サイト「多変量正規分布」を参照）
n次元標準正規分布 \(Z\sim N(0,I_n)\) のとき、正則行列 A とμを用いて、 \(X=AZ+\mu\) とすると、
\(X\sim N(\mu,AA')\) \(AA'=\Sigma\) は対称な正定値行列
確率密度関数 \(f(x)=\dfrac{1}{(2\pi)^n\sqrt{|\Sigma|}}\exp\left({-\dfrac{1}{2}X'\ \Sigma^{-1}X}\right)\)
［参考サイト］
高校数学の美しい物語 様 「不偏分散と自由度n-1のカイ二乗分布」 https://manabitimes.jp/math/1205
学習院大学 様 「標 本 分 布」 https://www-cc.gakushuin.ac.jp/~20130021/mathsta/chap6.pdf
［参考図書］
稲垣 宣夫 様 数理統計学（裳華房） p94「標本平均と標本分散の分布」
（n次元標準正規分布をヘルマート変換と呼ばれる直交行列で変換する説明は、稲垣先生の本に詳しい）
まず、\(Y_i=\dfrac{X_i-\mu}{\sigma}\) とすると、\(Y_1,Y_2,\cdots,Y_n\sim N(0,1):i.i.d\)
\(Y=(Y_1,Y_2,\cdots,Y_n)\) は、独立なn次元標準正規分布となる。
確率密度関数 \(\displaystyle f_Y(y)=\prod_{i=1}^n\dfrac{1}{\sqrt{2\pi}}\exp\left({-\frac{y_i^2}{2}}\right)=\left(\dfrac{1}{\sqrt{2\pi}}\right)^n \exp\left({-\frac{1}{2}y'y}\right)\)
１行目の要素がすべて \(\dfrac{1}{\sqrt{n}}\) である直交行列の１つとして、ヘルマート変換
\(Q=\begin{pmatrix}
\frac{1}{\sqrt{n}} & \frac{1}{\sqrt{n}} & \cdots &\cdots &\cdots & \frac{1}{\sqrt{n}}\\
\frac{1}{\sqrt{2}} & -\frac{1}{\sqrt{2}} & 0& \cdots &\cdots &0\\
\frac{1}{\sqrt{2\cdot3}} & \frac{1}{\sqrt{2\cdot3}} & -\frac{2}{\sqrt{2\cdot3}}& 0& \cdots &0\\
\cdots &\cdots &\cdots & \cdots &\cdots &\cdots\\
\frac{1}{\sqrt{n(n-1)}} & \frac{1}{\sqrt{n(n-1)}}& \frac{1}{\sqrt{n(n-1)}}& \cdots &\frac{1}{\sqrt{n(n-1)}}&-\frac{n-1}{\sqrt{n(n-1)}}\\
\end{pmatrix}\) をとり
\(Z=QY\) によって一次変換すると、\(Z\sim N(0\:,\:QQ')=N(0\:,\:I_n)\)
\(Z=(Z_1,Z_2,\cdots,Z_n)\) もまた、独立なn次元標準正規分布となる。
\(\begin{split}
Z_1^2+Z_2^2+\cdots+Z_n^2&=Y_1^2+Y_2^2+\cdots+Y_n^2=\sum_{i=1}^n\left(\dfrac{X_i-\mu}{\sigma}\right)^2
=\dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i-\overline{X}+\overline{X}-\mu)^2\\
&=\dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i-\overline{X})^2+\dfrac{2}{\sigma^2}\sum_{i=1}^n(X_i-\overline{X})(\overline{X}-\mu)+\dfrac{1}{\sigma^2}\sum_{i=1}^n(\overline{X}-\mu)^2\\
&=\dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i-\overline{X})^2+\dfrac{n}{\sigma^2}(\overline{X}-\mu)^2\\
\end{split}\)
ここで、 \(\overline{X}\sim N\left(\mu,\dfrac{\sigma^2}{n}\right)\) より、\(\dfrac{n}{\sigma^2}(\overline{X}-\mu)^2\) が標準正規分布の２乗であることが分かる。
さらに、
\(\begin{split}
\dfrac{n}{\sigma^2}(\overline{X}-\mu)^2&=\dfrac{n}{\sigma^2}\left(\dfrac{1}{n}\sum_{i=1}^n X_i-\mu\right)^2
=\dfrac{1}{n\sigma^2}\left(\sum_{i=1}^n X_i-n\mu\right)^2
=\dfrac{1}{n\sigma^2}\sum_{i=1}^n (X_i-\mu)^2\\
&=\dfrac{1}{n}\sum_{i=1}^n\left(\dfrac{X_i-\mu}{\sigma}\right)^2=\sum_{i=1}^n \left(\dfrac{Y_i}{\sqrt{n}}\right)^2=Z_1^2
\end{split}\)
よって、 \(\displaystyle
Z_1^2+Z_2^2+\cdots+Z_n^2
=\dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i-\overline{X})^2+Z_1^2
\) だから
\(\displaystyle
Z_2^2+\cdots+Z_n^2
=\dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i-\overline{X})^2\) \(\displaystyle
\therefore \sum_{i=1}^n\left(\dfrac{X_i-\overline{X}}{\sigma}\right)^2
=Z_2^2+\cdots+Z_n^2\)
独立な \((n-1)\) 個の標準正規分布の平方和になるので、 \(\chi^2(n-1)\) に従うことが分かる。
［参考サイト］
あつまれ統計の森 様
「Helmert変換に使用される行列が直交行列であることを具体的に確認する」
https://www.hello-statisticians.com/explain-terms-cat/helmert1.html
京都大学 土居正明先生の資料にヘルマート行列の作り方があったので概略を記す。
https://slideshowjp.com/doc/161263/資料2：直交行列とhelmert変換—so-net
［ヘルマート行列］
１行目の要素がすべて \(\dfrac{1}{\sqrt{n}}\) である直交行列が存在することは、シュミットの直交化法を用いれば容易に証明できる。
しかし、ヘルマートの方法はもっとシンプルである。
\(\begin{pmatrix}
1\\
1
\end{pmatrix}\) と垂直なベクトルは \(\begin{pmatrix}
1\\
-1
\end{pmatrix}\)
\(\begin{pmatrix}
1\\
1\\
1
\end{pmatrix}\) と垂直なベクトルは \(\begin{pmatrix}
1\\
1\\
-2
\end{pmatrix}
\:,\:\begin{pmatrix}
1\\
-1\\
0
\end{pmatrix}\)
\(\begin{pmatrix}
1\\
1\\
1\\
1
\end{pmatrix}\) と垂直なベクトルは \(\begin{pmatrix}
1\\
1\\
1\\
-3
\end{pmatrix}
\:,\:\begin{pmatrix}
1\\
1\\
-2\\
0
\end{pmatrix}
\:,\:\begin{pmatrix}
1\\
-1\\
0\\
0
\end{pmatrix}\)
前のベクトルに0を付け加えたベクトルも垂直であるので、n次元では
\(\begin{pmatrix}
1\\
1\\
1\\
1\\
\vdots\\
\\
1
\end{pmatrix}\) と垂直なベクトルは \(\begin{pmatrix}
1\\
1\\
1\\
1\\
\vdots\\
\\
-(n-1)
\end{pmatrix}
\:\cdots \:\begin{pmatrix}
1\\
1\\
1\\
-3\\
0\\0
\end{pmatrix}
\:,\:\begin{pmatrix}
1\\
1\\
-2\\
0\\
\vdots\\
0
\end{pmatrix}
\:,\:\begin{pmatrix}
1\\
-1\\
0\\
0\\
\vdots\\
0
\end{pmatrix}\)
大きさは \(\sqrt{n-1+(n-1)^2}=\sqrt{n(n-1)}\:,\cdots,\sqrt{4\cdot 3}\:,\sqrt{3\cdot 2}\:,\sqrt{2\cdot 1}\) であるので、正規化すると
\(\dfrac{1}{\sqrt{n}}\begin{pmatrix}
1\\
1\\
1\\
1\\
\vdots\\
\\
1
\end{pmatrix}\) と垂直なベクトルは \(\dfrac{1}{\sqrt{n(n-1)}}\begin{pmatrix}
1\\
1\\
1\\
1\\
\vdots\\
\\
-(n-1)
\end{pmatrix}
\:\cdots \:
\dfrac{1}{\sqrt{4\cdot3}}\begin{pmatrix}
1\\
1\\
1\\
-3\\
0\\0
\end{pmatrix}
\:,\:
\dfrac{1}{\sqrt{3\cdot 2}}\begin{pmatrix}
1\\
1\\
-2\\
0\\
\vdots\\
0
\end{pmatrix}
\:,\:
\dfrac{1}{\sqrt{2\cdot 1}}\begin{pmatrix}
1\\
-1\\
0\\
0\\
\vdots\\
0
\end{pmatrix}\)
これらを列ベクトルとする行列を転置すれば、
\(Q=\begin{pmatrix}
\frac{1}{\sqrt{n}} & \frac{1}{\sqrt{n}} & \cdots &\cdots &\cdots & \frac{1}{\sqrt{n}}\\
\frac{1}{\sqrt{n(n-1)}} & \frac{1}{\sqrt{n(n-1)}}& \frac{1}{\sqrt{n(n-1)}}& \cdots &\frac{1}{\sqrt{n(n-1)}}&-\frac{n-1}{\sqrt{n(n-1)}}\\
\cdots &\cdots &\cdots & \cdots &\cdots &\cdots\\
\frac{1}{\sqrt{4\cdot3}} & \frac{1}{\sqrt{4\cdot3}} & \frac{1}{\sqrt{4\cdot3}}& \frac{-3}{\sqrt{4\cdot3}}& \cdots &0\\
\frac{1}{\sqrt{3\cdot2}} & \frac{1}{\sqrt{3\cdot2}} & -\frac{2}{\sqrt{3\cdot2}}& 0& \cdots &0\\
\frac{1}{\sqrt{2\cdot 1}} & -\frac{1}{\sqrt{2\cdot 1}} & 0& \cdots &\cdots &0\\
\end{pmatrix}\)
これは直交行列であり、これを転置すれば先に出てきた直交行列になる。
しかし、１行目の要素がすべて \(\dfrac{1}{\sqrt{n}}\) の直交行列であればよいので、この行列で十分であろう。
自由度と分散の関係
\(X_1,X_2,\cdots,X_n\sim N(\mu,\sigma^2):i.i.d\) なら、\(X_1,X_2,\cdots,X_n\) の自由度はnであり、
\(V(X_1+X_2+\cdots+X_n)=n\sigma^2\) が成立する。
\(\displaystyle E\left( \sum_{i=1}^n\left(\dfrac{X_i-\overline{X}}{\sigma}\right)^2\right)
=E(Z_2^2+\cdots+Z_n^2)=n-1\) よって自由度はn-1である。
このように分散との関係を考えると、自由度と分散の関係が見えてくる。
標準化された平方和では、期待値が自由度になっている。
また、カイ二乗分布は、「偏差平方和と母分散の比」と考えることもできる。
即ち、 (偏差平方和)/(母分散)〜カイ二乗分布
（自由度は 偏差平方和の自由度）
数学としては適切とは言えないが、ここでは自由度の確認の方法として述べる。
(1) \(X_1,X_2,\cdots,X_n\sim N(\mu,\sigma^2):i.i.d\) （独立に正規分布に従う）とき
\(\displaystyle \sum_{i=1}^n\left(X_i-\mu\right)^2\) の自由度は n である。
\(\displaystyle E\left(\sum_{i=1}^n\left(X_i-\mu\right)^2\right)=n\cdot\sigma^2\) \(\therefore\displaystyle E\left(\dfrac{1}{n} \sum_{i=1}^n\left(X_i-\mu\right)^2\right)=\sigma^2\)
自由度で割った期待値が母分散になるから、自由度は \(n\) である。
偏差平方和と母分散の比は、
\(\displaystyle \dfrac{1}{\sigma^2}\sum_{i=1}^n\left(X_i-\mu\right)^2=\sum_{i=1}^n\left(\dfrac{X_i-\mu}{\sigma}\right)^2
\sim \chi^2(n)\) が成立する。
(2) \(X_1,X_2,\cdots,X_n\sim N(\mu,\sigma^2):i.i.d\) （独立に正規分布に従う）とき
\(\displaystyle \sum_{i=1}^n(X_i-\overline{X})^2\) の自由度は \((n-1)\)
である。
\(\displaystyle E\left(\sum_{i=1}^n(X_i-\overline{X})^2\right)=(n-1)\cdot\sigma^2\) \(\displaystyle \therefore E\left(\dfrac{1}{n-1} \sum_{i=1}^n(X_i-\overline{X})^2\right)=\sigma^2\)
自由度で割った期待値が母分散になるから、自由度は \(n-1\) である。
偏差平方和と母分散の比は、
\(\dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i-\overline{X})^2\sim \chi^2(n-1)\) が成立する。