2012人文

2012 人文 (統計検定1級応用 過去問の解説です)

  1. 2標本t検定 対応のあるt検定
  2. 混合正規分布
  3. 回帰分析と決定係数(共通問題)
  4. ポアソン分布(共通問題)
  5. 2標本t検定・wilcoxon順位和検定(共通問題)
     

2012人文① 2標本t検定 対応のあるt検定

L をListeningの点数、R をReadingの点数とする。

分散を \(S_L^2\:,\:S_R^2\) 、共分散を \(S_{LR}\) とすると、相関係数は \(r_{LR}=\dfrac{S_{LR}}{S_LS_R}\)

[共分散の性質]

     \(Cov(X,Y)=E(XY)-E(X)E(Y)\)

     \(Cov(X,Y+Z)=Cov(X,Y)+Cov(X,Z)\)

     \(Cov(kX,Y)=kCov(X,Y)\)

(1) 相関係数を求めるには共分散が必要である。

\(V(T)=Cov(L+R,L+R)=Cov(L,L)+2Cov(L,R)+Cov(R,R)\) より、

     \(S_T^2=S_L^2+2S_{LR}+S_R^2\)   だから、\(145^2=80^2+75^2+2S_{LR}\)  \(\therefore S_{LR}=4500\)

これから \(r=0.75\) を得る。

(2) 点数の差 \(D=L-R\) について、

\(V(D)=Cov(L-R,L-R)=Cov(L,L)-2Cov(L,R)+Cov(R,R)\) より、

     \(S_D^2=S_L^2-2S_{LR}+S_R^2=80^2-2\times 4500+75^2=3025\) 

     \(M_D=E(L)-E(R)=50\)

(3) 2標本t検定

2016人文⑤にも同じテーマでの出題がある。

2標本t検定では、等分散と正規性を前提としている。

2群に共通な分散として、プールした分散を用いる。

[不偏分散] \(\displaystyle s^2 = \frac{1}{n - 1} \sum_{i = 1}^n {(x_i - \overline{x})^2}
\)    [偏差平方和]
 \(\displaystyle \sum_{i = 1}^n {(x_i - \overline{x})^2}=(n-1)s^2
\)

     文学部クラスの偏差平方和  \((32-1)\cdot 140^2\)

     経済学部クラスの偏差平方和  \((30-1)\cdot 130^2\)

     全体の偏差平方和は、\((32-1)\cdot 140^2+(30-1)\cdot 130^2\)

これを自由度 \((32-1)+(30-1)=60\)  で割れば、プールした分散 \(s^2=18295\) が得られ、

これを母分散 \(\sigma^2\) の推定値として使用する。

[帰無仮説]両学部で英語の平均点に差はない。

等分散と正規性を前提としているので、

文学部の生徒の点数 \(X_1\sim N(\mu,\sigma^2)\) とすると、32人の平均点  \(\overline{X_1}\sim N\left(\mu,\dfrac{\sigma^2}{32}\right)\)

経済学部の生徒の点数 \(X_2\sim N(\mu,\sigma^2)\) とすると、30人の平均点  \(\overline{X_2}\sim N\left(\mu,\dfrac{\sigma^2}{30}\right)\)

独立性を仮定すると、\(\overline{X_1}-\overline{X_2}\sim N\left(0\:,\:\dfrac{\sigma^2}{32}+\dfrac{\sigma^2}{30}\right)\)  \(\therefore Z=\dfrac{\overline{X_1}-\overline{X_2}}{\sqrt{\dfrac{\sigma^2}{32}+\dfrac{\sigma^2}{30}}}\sim N\left(0\:,\:1\right)\)

母分散 \(\sigma^2\) の代わりに推定値 \(s^2\) を使うとt分布に従う。即ち、

\(t=\dfrac{\overline{X_1}-\overline{X_2}}{\sqrt{\dfrac{s^2}{32}+\dfrac{s^2}{30}}}\)  は自由度 \((32-1)+(30-1)=60\) のt分布に従う。

今、\(\overline{X_1}=520.5\:,\:\overline{X_2}=490.5\:,\:s^2=18295\)  であるから、 \(t=\dfrac{30}{34.374}=0.873\)

\(t_{60}(0.05)=1.671>0.873\) であるから、片側検定で有意な差はない。

両側検定でも有意な差ではない。

(4) 解答参照

 

2012人文② 混合正規分布

[混合ガウス分布]

ガウス分布 \(N(x\mid\mu_k,\Sigma_k):k=1,2,\cdots,K\) に対し、混合率 \(\pi_k\) のガウス分布は

     \(p(x)=\displaystyle\sum_{k=1}^K\pi_kN(x\mid\mu_k,\Sigma_k)\)    \(\pi_k\) は混合率:\(\displaystyle\sum_{k=1}^K\pi_k=1\) (混合の割合を表す)

で与えられる。

本問では、 \(K=2\) であり、2群 \(G_0\:,\:G_1\) について

群 \(G_0\) の確率密度関数を  \(f_0(x)=\dfrac{1}{\sqrt{2\pi}\cdot 10}\exp\left[-\dfrac{(x-50)^2}{2\cdot 10^2}\right]\)

群 \(G_1\) の確率密度関数を  \(f_1(x)=\dfrac{1}{\sqrt{2\pi}\cdot 10}\exp\left[-\dfrac{(x-70)^2}{2\cdot 10^2}\right]\)

混合比を \(p_0=P(G_0)\:,\:p_1=P(G_1)\) とすると、混合分布の確率密度関数は

     \(f(x)=p_0f_0(x)+p_1f_1(x)\)

\(P(X=x)\) は \(x\) を含む微小幅 \(dx\) の区間の値をとる確率と考えると、

     \(\begin{split}
P(X=x)&=P(X=x\:,\:G_0)+P(X=x\:,\:G_1)\\
&=P(G_0)P(X=x|G_0)+P(G_1)P(X=x|G_1)\\
&=p_0f_0(x)dx+p_1f_1(x)dx
\end{split}\)

データ \(X=x\) が与えられたとき、それが \(G_1\) 由来である条件付き確率は

     \(P(G_1|X=x)=\dfrac{p_1f_1(x)dx}{p_0f_0(x)dx+p_1f_1(x)dx}
=\dfrac{p_1f_1(x)}{p_0f_0(x)+p_1f_1(x)}=\dfrac{1}{1+\dfrac{p_0f_0(x)}{p_1f_1(x)}}\)

\(\dfrac{f_0(x)}{f_1(x)}=\exp\left[-\dfrac{(x-50)^2}{2\cdot 10^2}+\dfrac{(x-70)^2}{2\cdot 10^2}\right]=\exp\left[\dfrac{(-20)(2x-120)}{2\cdot 10^2}\right]=\exp(-0.2x+12)\)

\(p_1=0.25\:,\:p_0=0.75\) だから、

     \(P(G_1|X=x)=\dfrac{1}{1+3\exp(-0.2x+12)}\)

(1)(2)は、これを用いて考える。

     \(P(G_1|X=60)=\dfrac{1}{1+3\exp(-0.2\times 60+12)}=\dfrac{1}{4}=0.25\)

     \(P(G_1|X=70)=\dfrac{1}{1+3\exp(-0.2\times 70+12)}=\dfrac{1}{1+3\exp(-2)}=0.711\)

(3) 目的は心理テストの点数からケアの必要性を判断することである。

実際にケアが必要だったかどうかは後にならないと分からない。点数だけで判断するとケアが必要なのに漏れる人も出てくるが、必要者の80%くらいはカバーしたいというのがこの問題の目的である。

心理テストの点数が \(X=x\) である人が、実際にケアの必要な \(G_1\) 群に属する確率は、

     \(P(G_1|X=x)=\dfrac{1}{1+3\exp(-0.2x+12)}=0.8\)    これから \(x\) を求める。

\(\exp(-0.2x+12)=\dfrac{1}{12}\)  だから、 \(-0.2x+12=\log\frac{1}{12}\)    \(\therefore 0.2x-12=\log12\)

\(\log12=2\log2+\log3=(2\cdot 0.3010+0.4771)\cdot(2.3026)=2.4847\) から、\(x=72.42\)

73点以上の人にケアしていれば、実際に必要な人の80%をカバーできることになる。

(4) 心理テストの点数50以上の人のみをケアすることにすると、

\(G_0\) のうちでケアを受ける人の割合は、\(P(X>50|G_0)=0.5\)

\(G_1\) のうちでケアを受ける人の割合は、

     \(P(X>50|G_1)=P\left(Z>\dfrac{50-70}{10}\right)=P(Z>-2)=1-0.0228=0.9772\)

97.7%カバーしているが、2.3%のケアの必要な人の漏れが生じている。

次に、ケアの負担を考える。

混合率を考慮すると相談者全体の中でケアを受ける人の割合は、

     \(0.75\times 0.5+0.25\times 0.9772=0.6193\)

これが答えである。

判断の有効性については、ケアを受ける人の中で実際にケアが必要である人の割合は

     \(\dfrac{0.25\times 0.9772}{0.75\times 0.5+0.25\times 0.9772}=\dfrac{0.2443}{0.6193}=0.394\)

ケアを受けた人の61%は、実際にはケアは必要なかったことになる。

このような数値をもとに、何点で線を引くか検討することになる。

(注:公式問題集の解答は「ケアを必要とする比率」ですが、問題文は「ケアを受ける人の割合」なので、問題文と解答にズレがあるように思います。)

[注意]

確率密度関数は確率ではない。例えば、\(N\left(0\:,\:\dfrac{1}{8\pi}\right)\) の確率密度関数は、

     \(f(x)=\dfrac{1}{\sqrt{2\pi}\sqrt{1/(8\pi)}}\exp\left[-\dfrac{x^2}{1(/4\pi)}\right]\)  であるが、

\(f(0)=2\) となり、1より大きくなってしまう。

\(f(x)\) は確率密度であるので、区間幅をかけた \(f(x)dx\) は確率となる。

 

2012共通① 回帰分析と決定係数

【参考サイト】

大阪大学 谷崎久志 様 http://www2.econ.osaka-u.ac.jp/~tanizaki/class/2018/basic_econome/02.pdf 参照

[単回帰の基本] 

モデル: \(y_i=\alpha+\beta x_i+\varepsilon_i\:\:(i=1,2,\cdots,n)\) ( \(\alpha,\beta\) は真の回帰係数)

     \(x_i\:\:\:(i=1,2,\cdots,n)\) は定数、 誤差項 \(\varepsilon_i\sim N(0\:,\:\sigma^2)\) は確率変数で互いに独立

回帰直線は、 \(E(y_i)=\alpha+\beta x_i\) と考えることができる。

最小二乗法では、

残差  \(e_i=y_i-(a+bx_i)\) の平方和が最小となるように \(a,b\) を定める。(OLS推定量)

     \(y_i=a+bx_i+e_i\:\:(i=1,2,\cdots,n)\) より、残差\(e_i\) は誤差 \(\varepsilon_i\) の実現値と考えられる。

     \(\displaystyle s^2=\dfrac{1}{n-2}\sum_{i=1}^n e_i^2\) は、\(\sigma^2\) の不偏推定量かつ一致推定量である。

     (一致推定量は、\(s^2\) が \(\sigma^2\) に確率収束することを意味する)

正規方程式  \(a+b\overline{x}=\overline{y}\) 、 \(a\overline{x}+b\overline{x^2}=\overline{xy}\)

・ \(\beta\) の推定値 \(b\) は、 \(\displaystyle b=\frac{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) \left( y_{i}-\overline{y}\right) }{
\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}
=\dfrac{T_{xy}}{T_{xx}} \)  ( \(T_{xy}\) は偏差積和、 \(T_{xx}\) は偏差平方和)

よって、 \(b\sim N\left(\beta\:,\:\dfrac{\sigma^2}{T_{xx}}\right)\)

・ \(\alpha\) の推定値 \(a\) については、

     正規方程式より、 \(\overline{y}=a+b\overline{x}\)    \(\therefore a=\overline{y}-b\overline{x}\)

     モデルの平均は、\(\overline{y}=\alpha+\beta\overline{x}+\overline{\varepsilon}\)}

     \(a+b\overline{x}=\alpha+\beta\overline{x}+\overline{\varepsilon}\)  より、\(a-\alpha=
-(b-\beta)\overline{x}+\overline{\varepsilon}\)

     \(\therefore E(a-\alpha)=-\overline{x}E(b-\beta)+E(\overline{\varepsilon})=0\)

また、 \(V(a-\alpha)=\overline{x}^2V(b-\beta)+V(\overline{\varepsilon})=\dfrac{\sigma^2}{T_{xx}}\overline{x}^2+\dfrac{\sigma^2}{n}=\dfrac{\sigma^2}{T_{xx}}\left(\overline{x}^2+\dfrac{T_{xx}}{n}\right)=\dfrac{\sigma^2}{T_{xx}}\overline{x^2}\)

よって、 \(a\sim N\left(\alpha\:,\:\dfrac{\sigma^2}{T_{xx}}\overline{x}^2+\dfrac{\sigma^2}{n}\right)
=N\left(\alpha\:,\:\dfrac{\sigma^2}{T_{xx}}\overline{x^2}\right)\)

このことは、行列を用いた公式  \(\sigma ^{2}\left( X'X\right) ^{-1}=
\frac{\sigma^2}{\sum_{i=1}^{n}( x_{i}-\overline{x})^2}
\begin{pmatrix}
\overline {x^2} & -\overline x \\
-\overline x & 1
\end{pmatrix}
\) と合致する。

                      (当サイト「単回帰分析」参照)

・ \(y_i=a+bx_i+e_i\:\:(i=1,2,\cdots,n)\) について、

     \(V(a+bx_i)=V(a)+x_i^2V(b)+2x_i\cdot Cov(a,b)\) であり、

     \(V(a)=\dfrac{\sigma^2}{T_{xx}}\overline{x^2}
=\dfrac{\sigma^2}{n}+\dfrac{\sigma^2}{T_{xx}}\overline{x}^2\) 、 \(V(b)=\dfrac{\sigma^2}{T_{xx}} \) 、 \(Cov(a,b)=-\dfrac{\sigma^2\overline{x}}{T_{xx}}\) だから、

        \(V(a+bx_i)=\dfrac{\sigma^2}{n}+\dfrac{\sigma^2}{T_{xx}}\overline{x}^2+\dfrac{\sigma^2}{T_{xx}}x_i^2 -2\dfrac{\sigma^2}{T_{xx}}x_i\overline{x}=\dfrac{\sigma^2}{n}+\dfrac{\sigma^2}{T_{xx}}(x_i-\overline{x})^2\)

よって、\(y_i\sim N\left(\alpha+\beta x_i\:,\:\dfrac{\sigma^2}{n}+\dfrac{\sigma^2}{T_{xx}}(x_i-\overline{x})^2\right)\)

[注意]  \(a-\alpha=
-(b-\beta)\overline{x}+\overline{\varepsilon}\) より、

        \(\begin{split}Cov(a,b)&=E\left((a-\alpha)(b-\beta)\right)=E\left(-(b-\beta)^2\overline{x}+\overline{\varepsilon}(b-\beta)\right)\\&=-E\left((b-\beta)^2\right)\overline{x}+E\left(\overline{\varepsilon}(b-\beta)\right)=-\dfrac{\sigma^2\overline{x}}{T_{xx}}
\end{split}\)

(1)(2)  \(\displaystyle b
=\dfrac{T_{xy}}{T_{xx}} \) 、  \(a=\overline{y}-b\overline{x}\)

本問では、偏差積和 \(A_{x,j}=T_{xy}\) 、偏差平方和 \(A_x=T_{xx}\) となっているので、

     \(b^{(1)}=\dfrac{A_{x,1}}{A_x}\:,\:b^{(2)}=\dfrac{A_{x,2}}{A_x}\:,\:b^{(3)}=\dfrac{A_{x,3}}{A_x}\)  から、\(b^{(1)}=0.5\:,\:b^{(2)}=1\:,\:b^{(3)}=2\)

     \(a^{(j)}=\overline{y^{(j)}}-b^{(j)}\overline{x}=\overline{y^{(j)}}-b^{(j)}\times2\) から、\(a^{(1)}=0.1\:,\:a^{(2)}=0.1\:,\:a^{(3)}=0.1\)

(3) (全変動)=(回帰変動)+(残差変動)が常に成立し、

  (決定係数)=(回帰変動)/(全変動)

  数式では、 \(T_{yy}=S_R+S_e\)

全変動  :\(\displaystyle T_{yy}=\sum ^{n}_{i=1}\left( y_{i}-\overline{y}\right) ^{2}\)

回帰変動 :\(\displaystyle S_R=\sum_{i=1}^n(\widehat{y_i}-\overline{y})^2=\sum_{i=1}^n(a+bx_i-\overline{y})^2\)

残差変動 :\(\displaystyle S_e=\sum_{i=1}^n(\widehat{y_i}-y_i)^2=\sum_{i=1}^n(a+bx_i-y_i)^2\)

回帰変動 :\(\displaystyle S_R=\sum_{i=1}^n(a+bx_i-\overline{y})^2=\sum_{i=1}^n\left[(a+bx_i)-(a+b\overline{x})\right]^2
=\sum_{i=1}^nb^2(x_i-\overline{x})^2=b^2T_{xx}
=\dfrac{T_{xy}^2}{T_{xx}}\)

全変動: \(S_T=T_{yy}\) だから、決定係数は \(R^2=\dfrac{T_{xy}^2}{T_{xx}T_{yy}}\)

これは相関係数の2乗と一致する。

残差平方和 \(SSR=S_e\) は

     \(\displaystyle S_e=\sum_{i=1}^n(a+bx_i-y_i)^2=\sum_{i=1}^n\left[(a+bx_i)-(a+b\overline{x})\right]^2\)

     \(S_e=T_{yy}-\dfrac{T_{xy}^2}{T_{xx}}=\dfrac{T_{xx}T_{yy}-T_{xy}^2}{T_{xx}}=T_{yy}(1-r_{xy}^2)\)

これらの公式を用いて計算する。

第1の回帰式では、

     \(\left(R^{(1)}\right)^2=\dfrac{A_{x,1}^2}{A_xA_1}=\dfrac{5^2}{10\cdot (3.7)}=0.676\)  、\(SSR^{(1)}=(3.7)(1-0.676)=1.198\)

第2の回帰式では、

     \(\left(R^{(2)}\right)^2=\dfrac{A_{x,2}^2}{A_xA_2}=\dfrac{10^2}{10\cdot (11.2)}=0.893\) 、\(SSR^{(2)}=(11.2)(1-0.893)=1.198\)

第3の回帰式では、

     \(\left(R^{(3)}\right)^2=\dfrac{A_{x,3}^2}{A_xA_3}=\dfrac{20^2}{10\cdot (41.2)}=0.971\)  、\(SSR^{(3)}=(41.2)(1-0.971)=1.195\)

(4)

     \(b\sim N\left(\beta\:,\:\dfrac{\sigma^2}{T_{xx}}\right)\)     \(a\sim N\left(\alpha\:,\:\dfrac{\sigma^2}{T_{xx}}\overline{x}^2+\dfrac{\sigma^2}{n}\right)
=N\left(\alpha\:,\:\dfrac{\sigma^2}{T_{xx}}\overline{x^2}\right)\)

     \(y_i\sim N\left(\alpha+\beta x_i\:,\:\dfrac{\sigma^2}{n}+\dfrac{\sigma^2}{T_{xx}}(x_i-\overline{x})^2\right)\)   (中心から隔たるほど散らばりは大きい)

誤差項 \(\varepsilon_i\sim N(0\:,\:\sigma^2)\) であるが、\(\sigma^2\) は未知であるので、

     残差分散   \(\displaystyle s^2=\dfrac{1}{n-2}\sum_{i=1}^n e_i^2=\dfrac{S_e}{n-2}=\dfrac{SSR}{n-2}\)  を推定値とする。

\(\sigma^2\) の代わりに \(s^2\) を用いて標準化すると、t分布に従う。

     \(\dfrac{b-\beta}{\sqrt{\dfrac{s^2}{T_{xx}}}}\sim t(n-2)\)    \(\dfrac{a-\alpha}{\sqrt{\dfrac{s^2}{T_{xx}}\overline{x^2}}}\sim t(n-2)\)     \(\dfrac{y_i-(\alpha+\beta x_i)}{s\sqrt{\dfrac{1}{n}+\dfrac{(x_i-\overline{x})^2}{T_{xx}}}}\sim t(n-2)\)

[誤差分散の推定]

\(SSR^{(1)}=SSR^{(2)}=SSR^{(3)}=1.2\) であるから、いずれのモデルでも

誤差分散の推定値は

     \(\displaystyle s^2=\dfrac{1}{n-2}\sum_{i=1}^n e_i^2=\dfrac{1}{3}SSR=0.4\)

残差平方和 \(S_e\) の自由度は \(n-2=5-2=3\)     \(\displaystyle \therefore s^2=\dfrac{1}{n-2}\sum_{i=1}^n e_i^2=\dfrac{1}{3}SSR\)

     \(\dfrac{s^2}{T_{xx}}=\dfrac{1}{10}\dfrac{SSR}{3}=\dfrac{1}{10}\dfrac{1.2}{3}=0.04\)     \(\dfrac{s^2}{T_{xx}}\overline{x^2}=0.04\times 6=0.24\)

     \(\dfrac{s^2}{n}+\dfrac{s^2}{T_{xx}}(x_i-\overline{x})^2=\dfrac{0.4}{5}+\dfrac{0.4}{10}(x_i-\overline{x})^2\)

[回帰係数の推定精度]

回帰係数 \(b\) の標準誤差の推定値は、 \(\sqrt{0.04}=0.2\) で、いずれのモデルも同じである。

しかし、t値は \(t=\dfrac{b}{0.2}\sim t(3)\) だから、モデル(3)のp値が最も小さい。

[ \(y_i\) の推定精度]

\(y_i\) の標準誤差の推定値は、 \(\dfrac{0.4}{5}+\dfrac{0.4}{10}(x_i-2)^2\) で、いずれのモデルも推定精度は同じである。

(5) 自由度3のt分布に従うことを考慮すると、95%点は3.182 だから、

\(x=x_i\) における \(y\) の条件付期待値 \(\mu_0\) の信頼区間は、 \(m_0=a+bx_i\) とおくと

     \(m_0-3.182s\sqrt{\dfrac{1}{5}+\dfrac{(x_i-2)^2}{T_{xx}}}<\mu_0<m_0+3.182s\sqrt{\dfrac{1}{5}+\dfrac{(x_i-2)^2}{T_{xx}}}\)

中心 \(x=2\) から隔たるほど、信頼区間の幅は大きくなる。

参考サイト[過去問解説]
 michannel 様 https://mi-chan-nel.com/toukei-kentei-kakomon/

 

2012共通② ポアソン分布

[定義]

単位時間中にある事象が発生する平均回数をλとする。

単位時間中にその事象が発生する回数をXとするとき、X はポアソン分布に従う。

     \(p\left( x| \lambda \right) =\dfrac{\lambda ^{x}}{x!}\ e^{-\lambda }\)

(1)ポアソン分布の前提条件は

・独立性:次に起きる確率は、これまでの経過に関係しない。

・定常性:確率は、対象とする期間中は一定である。

・希少性:微小時間内では2回起こらない。

サッカーの各セクションでのゴールは、これらの前提条件を満たしている。

(2) \(X\) はサッカー各セクションごとのゴール数とする。

前半・後半は2セクションと考えるので、セクションの総数は96である。

観測値 \(x_i\:\:(i=1,\cdots ,96)\) をtable形式に整理したものが問題の表である。

ゴール数の合計は、表より \(t=101\)

1セクションの平均ゴール数は、\(\overline{x}=\dfrac{t}{n}=\dfrac{101}{96}=1.052\)

ポアソン分布の定義における単位時間は各セクションであるので、\(\lambda=1.052\) と考えられる。

根拠を最尤法によって説明する。

観測値 \(x_i\:\:(i=1,\cdots ,96)\) の尤度は \(\dfrac{\lambda ^{x_i}}{x_i!}\ e^{-\lambda }\)     尤度関数は、\(\displaystyle L(\lambda)=\prod_{i=1}^{96}\left(\dfrac{\lambda ^{x_i}}{x_i!}\ e^{-\lambda }\right)\)

対数尤度関数は  \(\displaystyle l(\lambda)=(\log\lambda)(x_1+x_2+\cdots +x_{96})-96\lambda-\sum_{i=1}^{96} \log(x_i!)\)

     \(l'(\lambda)=\dfrac{x_1+x_2+\cdots +x_{96}}{\lambda}-96=0\)   とすると、\(\lambda=\dfrac{x_1+x_2+\cdots +x_{96}}{96}\)

                                         (標本平均が最尤推定値になっている)

(3) 適合度をカイ二乗検定によって検定する。

[基本]

・カイ二乗値

適合度検定は、各グループに属するデータ数の比率が理論通りかどうか検定するもので、

適合度検定量は、 \(T=\displaystyle \sum_{i=1}^{k}\dfrac{(X_i-Np_i)^2}{Np_i}\)

しかし、\(T\) がカイ二乗分布に直接従うわけではない。そもそもカイ二乗統計量は独立な標準正規分布の平方和である。適合度検定量とカイ二乗統計量をつなぐのがピアソンの定理である。

・ピアソンの定理

      \(N\rightarrow \infty\) のとき、 \(T=\displaystyle \sum_{i=1}^{k}\dfrac{(X_i-Np_i)^2}{Np_i}\rightarrow \chi^2(k-1)\)    (分布収束)

このように自由度は級の数 k - 1 だが、未知母数を含む分布の検定する場合、推定した未知母数の数だけ自由度が減る。

[参考サイト]
     統計科学研究所 様
 「適合度検定」 
           https://statistics.co.jp/reference/StatisticalDataScienceA/Chapter7nonpassword.pdf
      九州大学 海事統計学 様
           http://sysplan.nams.kyushu-u.ac.jp/gen/edu/MarineStatistics/2017/kougi14/kougi14.pdf

[帰無仮説] 「観測度数は理論度数の分布から得られた」を検定する検定量は、

     \(N\rightarrow \infty\) のとき、 \(T=\displaystyle \sum_{i=1}^{k}\dfrac{(X_i-Np_i)^2}{Np_i}\rightarrow \chi^2(k-r-1)\)    (分布収束)

漸近的に自由度 𝑘 − 𝑟 − 1のカイ二乗分布に従う。 𝑟は期待度数を求めるために観測値から推定した未知母数の数である。

本問では、ポアソン分布のパラメーター  \(\lambda=1.052\) と推定しているので、自由度は3。

[近似の精度について]

ピアソンの定理は、一般に \(Np_i\geq 5\) (𝑖 = 1,2, ⋯ , 𝑘) であればカイ二乗分布による近似がよいと言われている。 \(Np_i< 5\) となる 𝑖 が存在する場合には、すべてのカテゴリーの期待度数が5以上になるようカテゴリーをまとめればよい。

さて、\(\lambda=1.052\) としてカイ二乗値を計算しよう。

\(p_1=P(X=0)=\dfrac{\lambda^0}{0!}e^{-1.052}=\dfrac{1}{e^{1}\cdot e^{0.052}}=\dfrac{1}{2.7183\cdot 1.0533}=0.34926\)

     \(Np_1=96\times 0.34926=33.529\) より、 \(\dfrac{(X_1-Np_1)^2}{Np_1}=\dfrac{(35-33.529)^2}{33.529}=0.0645\)

\(p_2=P(X=1)=\dfrac{\lambda^1}{1!}e^{-1.052}=\dfrac{1.052}{e^{1}\cdot e^{0.052}}=\dfrac{1.052}{2.7183\cdot 1.0533}=0.36742\)

     \(Np_2=96\times 0.36742=35.272\) より、\(\dfrac{(X_2-Np_2)^2}{Np_2}=\dfrac{(35-35.272)^2}{35.272}=0.0020\)

\(p_3=P(X=2)=\dfrac{\lambda^2}{2!}e^{-1.052}=\dfrac{1.052^2}{2e^{1}\cdot e^{0.052}}=\dfrac{1.052^2}{2\cdot 2.7183\cdot 1.0533}=0.19326\)

     \(Np_3=96\times 0.19326=18.553\) より、\(\dfrac{(X_3-Np_3)^2}{Np_3}=\dfrac{(18-18.553)^2}{18.553}=0.01648\)

\(p_4=P(X=3)=\dfrac{\lambda^3}{3!}e^{-1.052}=\dfrac{1.052^3}{6e^{1}\cdot e^{0.052}}=\dfrac{1.052^3}{6\cdot 2.7183\cdot 1.0533}=0.06777\)

     \(Np_4=96\times 0.0677=6.4992\) より、\(\dfrac{(X_4-Np_4)^2}{Np_4}=\dfrac{(5-6.4992)^2}{6.4992}=0.3458\)

\(p_5=P(X\geq 4)=1-P(X<4)=1-0.97771=0.0229\)

     \(Np_5=96\times 0.0229=2.1398\) より、\(\dfrac{(X_5-Np_5)^2}{Np_5}=\dfrac{(3-2.1398)^2}{2.1398}=0.3458\)

よって、カイ二乗値  \(T=0.77458\)

今、\(T\) は自由度3のカイ二乗分布に従っており、上側5%有意点は 7.81 であるから、

有意とは言えない。即ち、

[帰無仮説] \(\lambda=1.052\) のポアソン分布に従う

は棄却されない。

(実際に計算してみると、平方と割り算のため計算誤差が非常に大きくなるので慎重な扱いが必要であることが分かる)

(5) \(\lambda\) を区間推定する。

[考え方]

\(X\sim Po(\lambda)\) : ポアソン分布に従うとき、\(E(X)=\lambda\) 、\(V(X)=\lambda\)

     ( \(\lambda\) は1セクション中にある事象が発生する平均回数)

\(X_1,X_2,\cdots ,X_n \sim Po(\lambda)\) : 互いに独立にポアソン分布に従うとするとき、

     \(X=X_1+X_2+\cdots +X_n \sim Po(n\lambda)\)

中心極限定理から、n が十分大きいときは漸近的に、 \(X\sim N(n\lambda, n\lambda)\)

よって、 \(\dfrac{X-n\lambda}{\sqrt{n\lambda}}\sim N(0,1)\) と考えられる。

\(\sqrt{n\lambda}=\sqrt{n\widehat{\lambda}}\)  ( \(\widehat{\lambda}\) は予測値)で近似すると、 \(\dfrac{X-n\lambda}{\sqrt{n\widehat{\lambda}}}\sim N(0,1)\)   \(\therefore \dfrac{X/n-\lambda}{\sqrt{\widehat{\lambda}/n}}\sim N(0,1)\)

結果 \(X/n=t/n\) と予測値 \(\widehat{\lambda}=t/n\) によって、95%信頼区間を求める。

     \(X/n-1.96\sqrt{\dfrac{\widehat{\lambda}}{n}}<\lambda<X/n+1.96\sqrt{\dfrac{\widehat{\lambda}}{n}}\)

     \(\sqrt{\dfrac{\widehat{\lambda}}{n}}=\sqrt{\dfrac{t}{n^2}}=\dfrac{\sqrt{t}}{n}\) だから、  \(t/n-1.96\dfrac{\sqrt{t}}{n}<\lambda<t/n+1.96\dfrac{\sqrt{t}}{n}\)

     \(1.052-1.96\dfrac{\sqrt{101}}{96}<\lambda<1.052+1.96\dfrac{\sqrt{101}}{96}\)

よって、 \(0.847<\lambda<1.257\) が信頼区間である。

[注意]

nが大きくないときには、別の推定方法を考える必要があるが、筆者には難しいので割愛する。

[参考サイト]

データサイエンティストのメモ書き 様 「ポアソン分布のパラメータλの区間推定」
              https://analytics-note.xyz/statistics/estimation-poisson/

 

2012共通③ 2標本t検定・wilcoxon順位和検定

(1) 2標本t検定

2群が正規分布で、等分散とみなせるときに行うことができる。

(等分散でない場合は、Welch検定を行う)

プールした分散などについては、当サイト「独立2群の差の検定」より

     \(s^2=\dfrac{s_1^2(n_1-1)+s_2^2(n_2-1)}{n_1+n_2-2}
=\dfrac{(2.23)^2(8-1)+(2.28)^2(8-1)}{8+8-2}=\dfrac{71.2}{14}=5.085\)

     \(t=\dfrac{\overline{X_1}-\overline{X_2}}{s\sqrt{\dfrac{1}{n_1}+\dfrac{1}{n_2}}}
=\dfrac{\overline{X_1}-\overline{X_2}}{(2.255)\sqrt{\dfrac{1}{8}+\dfrac{1}{8}}}\sim t(14)\)

\(t=\dfrac{1.62}{1.127}=1.437\) であり、自由度14のt分布の上側2.5%点は \(t=2.145\)

よって、有意水準5%で差があるとは言えない。

(2) Wilcoxon rank sum test

2標本の分布の位置のズレを評価するノンパラメトリックな手法。

正規分布に従うことを前提としない。Wilcoxonの順位和検定の詳細については、当サイト「Wilcoxon」参照。

(3) 比較したい2標本の観測値に全体順位をつけて、標本ごとの合計(順位和)を算出。

  (観測値に同一順位がある場合は、順位の平均値をつける)

標本をA、B、順位和を \(R_A,R_B\) とするとき、

     Wilcoxonの順位和検定量  \(W = \min \left( R_{A},\ R_{B} \right)\)

     \(E(W)=\min\left[\dfrac{n_1(n_1+n_2+1)}{2}\:\:,\:\:\dfrac{n_2(n_1+n_2+1)}{2}\right]\)  、 \(V(W)=\dfrac{n_1n_2(n_1+n_2+1)}{12}\)

     (タイ値があるときは補正が必要。当サイト「独立2群の差の検定」参照)

順位和は離散型分布であり、組合せ計算により確率分布が計算できる。(詳細は省略)

大標本で正規近似ができる場合は Z検定を行うが、小標本の場合は組合せから確率を直接求める EXACTな方法 を用いる。即ち、

1から16から8個を選んで和 \(T\) を求めるとき、 \(T\geq 88\) となる確率を求める。

A,Bの順位和の小さい方を \(W\) とすると、 \(W=48\) であるから、 \(W\leq 48\) となる確率を求めてもよい。

[R結果]
   Exact Wilcoxon rank sum test
   data: vx and vy
   W = 12, p-value = 0.03792
   alternative hypothesis: true mu is not equal to 0

Rがどのような計算をしているかは不明であるが、p値は正規近似した場合のp=0.036 に近い。

(4)

<帰無仮説> 「分布に差がない」

のもとで、Aの様々な順位の組み合わせに対して順位和 \(T\) の確率分布を求めることができる。

期待値と分散は

     \(E(T)=\dfrac{n_1(n_1+n_2+1)}{2}\) 、\(V(T)=\dfrac{n_1n_2(n_1+n_2+1)}{12}\)

本問では、計算はRの ”wilcox.exact()” を利用すればよい。

\(n_1=n_2=8\) であるから、 \(E(W|H_0)=\dfrac{8\cdot17}{2}=68\)

タイ値はないので、       \(V(W|H_0)=\dfrac{8\cdot 8\cdot 17}{12}=\dfrac{272}{3}=90.67\)

(5) 市原清志『バイオサイエンスの統計学』p90によると、「正規近似できるのは各群の標本数の一方が20以上のとき」であり、小標本の場合は検定表を使用する。
ここでは、問題の指示に従い正規近似すると、 \(Z=\dfrac{88-67}{\sqrt{90.67}}=2.10\)   \(\therefore P(|Z|>2.1)=0.0179\times 2=0.0358\)

有意水準 5%で有意である。帰無仮説は棄却され、2群には差があると判断できる。

類題として、2019医薬④参照。

© hyoccori-toukei 2021