hyoccori-toukei

---

F分布の定義

２つの独立なカイ二乗分布の商は、F分布に従う。

　　　　　\(U_1\sim \chi^2(k_1)\:,\:U_2\sim \chi^2(k_2):i.i.d.\)　であるとき、\(F=\dfrac{U_1/k_1}{U_2/k_2}\sim F(k_1,k_2)\)

F分布は、次のような場面で活用される。

分散分析における群間変動の検定

［参考］
　データ科学便覧 様 https://data-science.gr.jp/theory/tst_oneway_anova.html

(偏差平方和)/(母分散)〜カイ二乗分布　（自由度は 偏差平方和の自由度）　を利用する検定

　　　　　平方和分解　 \(\begin{split}\sum_{i=1}^a\sum_{k=1}^{n_i}(x_{ki}-\overline{x}_{\cdot \cdot})^2&=\sum_{i=1}^a\sum_{k=1}^{n_i}(x_{ki}-\overline{x}_{\cdot i})^2+\sum_{i=1}^an_i\cdot(\overline{x}_{\cdot i}-\overline{x}_{\cdot\cdot})^2
\end{split}\) を、

　　　　　\(S_T=S_e+S_A\)　　　(全変動)= (誤差変動)+ (群間変動) と表す。

(偏差平方和)/(母分散) 〜（カイ二乗分布）　を利用して検定する。

東京大学 大森宏 様 http://lbm.ab.a.u-tokyo.ac.jp/~omori/meiji/meiji04new.html によれば、

帰無仮説 「群間平均に差がない」 のもとで、

　　\(E(S_e)=(n-a)\sigma^2\)　より、 \(S_e\) の自由度は \((n-a)\) 　　\(\therefore \dfrac{S_e}{\sigma^2}\sim \chi^2(n-a)\)

　　\(E(S_A)=(a-1)\sigma^2\)　より、 \(S_A\)の自由度は \((a-1)\)　　 \(\therefore \dfrac{S_A}{\sigma^2}\sim \chi^2(a-1)\)

カイ二乗分布の商は F分布に従うから、

　　　　　\(F=\dfrac{S_A/(a-1)}{S_e/(n-a)}\sim F(a-1,n-a)\)　　　　これが分散分析のF値である。

論理の流れとして、

　　　　　(群間変動)／(母分散)と(誤差変動)／(母分散) がそれぞれカイ二乗分布に従う。
　　　　　⇩
　　　　　群間の平均平方(MSA)／誤差の平均平方(MSe) がF分布に従う。

を頭に入れておくとよい。

F値が大きいことを示されれば、群間平均に有意な差があると判断する。

　

単回帰分析におけるF検定

［参考サイト］
　東京大学　大森宏様　　http://lbm.ab.a.u-tokyo.ac.jp/~omori/meiji/meiji04new.html

単回帰分析について

データ \(\displaystyle (x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)\) に対し、回帰式による予測値を \(\widehat{y_{i}}\) とすると

　　　　　(全変動)= (残差変動)+ (回帰変動) 　　\(S_T=S_e+S_R\)　　が成立する。

　　　　　\(\displaystyle S_T=\sum_{i=1}^n\left( y_{i}-\overline{y}\right)^2\)　　　\(\displaystyle S_R=\sum_{i=1}^n\left( \widehat{y_{i}}-\overline{y}\right)^2\)　　　\(\displaystyle S_e=\sum_{i=1}^n\left( y_{i}- \widehat{y_{i}}\right)^2\)

F値はカイ二乗分布の商であるという定義に基づいて、 \(F=\dfrac{S_R}{S_e/(n-2)}\) を示す。

\(S_T\:,\:S_R\:,\:S_e\) の自由度はそれぞれ \((n-1)\:,\:1\:,\:(n-2)\) である。

「回帰係数は０」という帰無仮説のもとで次のことが成立するからである。(証明略)

　　　　　\(E(S_T)=(n-1)\sigma^2\)　　　\(E(S_R)=(1)\sigma^2\)　　　\(E(S_e)=(n-2)\sigma^2\)

故に、 　\(\dfrac{S_T}{\sigma^2}\sim \chi^2(n-1)\) 　　　\(\dfrac{S_R}{\sigma^2}\sim \chi^2(1)\)　　　\(\dfrac{S_e}{\sigma^2}\sim \chi^2(n-2)\)

\(F=\dfrac{U_1/k_1}{U_2/k_2}\sim F(k_1,k_2)\) 　であるから、

　　　　　\(F=\dfrac{S_R/1}{S_e/(n-2)}=\dfrac{S_R}{S_e/(n-2)}\sim F(1,n-2)\)

［注意］

分散分析でも回帰分析と同様に平方分解が成り立つ。

説明変数を \(A_i\) 、予測値を \(\overline{x}_{\cdot i}\) と考え、 \(S_T=S_e+S_R\) にあてはめると

　　　　　\(\displaystyle S_R=\sum_{i=1}^n\left( \widehat{y_{i}}-\overline{y}\right)^2
=\sum_{i=1}^an_i\left(\overline{x}_{\cdot i}-\overline{x}_{\cdot\cdot}\right)^2=S_A\)

　　　　　\(\displaystyle S_e=\sum_{i=1}^n\left( y_{i}- \widehat{y_{i}}\right)^2
=\sum_{i=1}^a\sum_{k=1}^{n_i}(x_{ki}-\overline{x}_{\cdot i})^2\)

故に、　 \(\begin{split}\sum_{i=1}^a\sum_{k=1}^{n_i}(x_{ki}-\overline{x}_{\cdot \cdot})^2&=\sum_{i=1}^a\sum_{k=1}^{n_i}(x_{ki}-\overline{x}_{\cdot i})^2+\sum_{i=1}^an_i\cdot(\overline{x}_{\cdot i}-\overline{x}_{\cdot\cdot})^2
\end{split}\)

即ち、\(S_T=S_e+S_A\) 　　　(全変動)= (誤差変動)+ (群間変動) が成立する。

上記の「分散分析における群間変動の検定」の説明より、 \(S_e\:,\:S_A\) の自由度は

\((n-a)\:,\:(a-1)\) となることに注意すれば、回帰分析のF値と同じ構成手法により

　　　　　\(F=\dfrac{S_A/(a-1)}{S_e/(n-a)}\sim F(a-1,n-a)\)

このように、回帰分析と分散分析の手法には類比が認められる。

　

上記の回帰分析のF検定は、「回帰係数=0」という帰無仮説を、残差変動に対する 回帰変動の割合によって評価する手法である。

もう１つの手法として、回帰係数を直接検定する手法がある。

それには回帰係数の確率分布が必要となり、行列や二次形式など線形代数の知識が必要となる。

詳細は当サイト「回帰分析の流れ」を参照のこと。概略は以下の通りである。

回帰係数の推定値を \(\widehat\beta\) 、回帰係数の真の値を \(\beta\) とすると、 \(\widehat{\beta }-\beta\sim N\left(0\ ,\ \sigma ^{2}\left( X'X\right) ^{-1}\right)\)

\(\widehat \beta\) の成分 \(\widehat \beta_i\) について、 \((X'X)^{-1}\) の \(ij\) 成分を \(q_{ij}\) とすると、\(\sigma ^{2}\left( X'X\right) ^{-1}\) の \(ii\) 成分は \(\sigma^2q_{ii}\) だから、

　　　　　\(\widehat \beta_i\sim N(\beta_i,\sigma^2q_{ii})\)　　　　　\(Z=\dfrac{\widehat{\beta}_i-\beta_i}{\sigma\sqrt{q_{ii}}}\sim N(0,1)\)　であるので、\(Z^2\sim \chi^2(1)\)

さらに、単回帰分析の場合は　\(Y=\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-2\right) \) であるので、

F検定量は　　　\(F=\dfrac{Z^2/1}{Y/(n-2)}\sim F(1,n-2)\)　　 自由度 \((1,n-2)\) のF分布に従う。

杉本典夫先生は、このF値を偏F値と呼んでいる。
　　　　　　　　http://www.snap-tck.com/room04/c01/stat/stat99/stat0203.pdf

偏回帰係数の検定の偏F値と残差分散によるF値の整合性については、カイ二乗分布に従う統計量を考え、その商をつくる点では同じであるが、難しくなりそうなので立ち入らない。

・回帰の分散分析→F値（分散分析と同じ） 帰無仮説：「回帰変動は無視できる」

・回帰係数の検定→F値（回帰係数の分布を前提とする） 帰無仮説：「回帰係数は０」

特に、回帰係数を検定するF 値を偏 F 値と呼ぶ。これは、偏回帰係数が 0 かどうかの検定を行うための検定統計量である。

F統計量と決定係数の関係については「統計学のレビュー」（岩城先生）p12 を参照

京都産業大学　岩城 秀樹　様　『統計学のレビュー』
　　　　　　　　　　http://www.cc.kyoto-su.ac.jp/~iwaki/Stat0.pdf

　

独立な２群の等分散性の検定

分散分析は残差（誤差）が正規分布であり、すべてのグループで分散が等しいという前提がある。

そこで、等分散の検定が必要になる。

　　　　　2群間の分散をみる→F検定

　　　　　3群以上間の分散をみる→バートレット検定

\(X\sim N(\mu_X,\sigma_X^2)\:,\:Y\sim N(\mu_Y,\sigma_Y^2)\::i.i.d.\) は独立な２群を表す確率変数とする。

独立な２群の標本数を \(N_1,N_2\) 、母分散を \(\sigma_X^2,\sigma_Y^2\) 、不偏分散を \(U_X^2,U_Y^2\) とすると、

(偏差平方和)/(母分散) 〜（カイ二乗分布）であり

　　　　　\(\frac{(N_1-1)U_X^2}{\sigma_X^2}\sim \chi^2(N_1-1)\:\:\:,\:\:\:
\frac{(N_2-1)U_Y^2}{\sigma_Y^2}\sim \chi^2(N_2-1)\)　であるから、

　　　　　　　　　　\(\displaystyle F=\left. \frac{(N_1-1)U_X^2}{\sigma_X^2\cdot(N_1-1)} \right/ \frac{(N_2-1)U_Y^2}{\sigma_Y^2\cdot(N_2-1)}=
\left. \frac{U_X^2}{\sigma_X^2} \right/ \frac{U_Y^2}{\sigma_Y^2}
\)

　　［帰無仮説］ \(\sigma_X^2=\sigma_Y^2\) のもとでは、 \(F=\dfrac{U_X^2}{U_Y^2}\sim F(N_1-1,N_2-1)\)

これにより等分散を検定することができる。

F値があまり大きくないことを示せば、p値は有意水準を下回り、等分散仮説は棄却されない。