2014 統計数理 (統計検定1級 統計数理 過去問の解説です)
⑤ 尤度比検定(ウィルクスの定理とカイ二乗検定)
2014統計数理⑤ 尤度比検定
[ウィルクスの定理]
分割表の帰無仮説の検定において
「 −2×(尤度比の対数) が漸近的にカイ二乗分布に収束する。」
(参考サイト)
名古屋大学 黒木玄 様 「最尤法とカイ二乗検定の基礎」
https://genkuroki.github.io/documents/IntroMLE.pdf
https://www.giters.com/genkuroki/Statistics
https://nbviewer.org/github/genkuroki/Statistics/blob/master/Pearson%27s%20χ²-statistics%20of%20contingency%20tables.ipynb
https://nbviewer.org/gist/genkuroki/17f19359e475fb01cae47dbf65d4b574/Simple%20example%20of%20model%20selection%20by%20comparison%20of%20log-likelihood%20ratios.ipynb
京都大学大学院医学研究科 山田亮 様 「遺伝統計学の基礎」(第13章 棄却と検定)
http://www.statgenet.med.kyoto-u.ac.jp/StatGenet/ryamada_bon/SaikouPDFs/GNMT_CH13.pdf
Wikipedia 様 「Wilks' theorem」
https://en.wikipedia.org/wiki/Wilks%27_theorem
(1) 番組を見て満足する確率は 毎回 \(p\) で独立とする。
1人の人が 4回視聴して \(j\) 回 満足する確率は、
\( q_j=q_j(p)={}_4 C_j p^j(1-p)^{4-j}\) \((j=0,1,2,3,4)\)
1人の人が満足した回数Xの分布は次のようになる。
X | 0 | 1 | 2 | 3 | 4 |
P | \(q_0\) | \(q_1\) | \(q_2\) | \(q_3\) | \(q_4\) |
\(q_0+q_1+q_2+q_3+q_4=1\)
n人に調査をするとき、回数Xの期待度数は、
X | 0 | 1 | 2 | 3 | 4 |
P | \(nq_0\) | \(nq_1\) | \(nq_2\) | \(nq_3\) | \(nq_4\) |
さて、
n人に調査をするとき、回数Xの実際の人数合計は多項分布に従う。
X | 0 | 1 | 2 | 3 | 4 | 合計 |
人数 | \(n_0\) | \(n_1\) | \(n_2\) | \(n_3\) | \(n_4\) | \(n\) |
この表のようになる確率は、\(\dfrac{n!}{n_0!n_1!n_2!n_3!n_3!}q_0^{n_0}q_1^{n_1}q_2^{n_2}q_3^{n_3}q_4^{n_4}\)
これを \(p\) の関数と考えたものが尤度関数 \(L(p)\) である。
\(\displaystyle L(p)=\dfrac{n!}{n_0!n_1!n_2!n_3!n_3!}\prod_{j=0}^4\left({}_4 C_j p^j(1-p)^{4-j}\right)^{n_j}\)
対数尤度は
\(\displaystyle \log L(p)=\log \left(\dfrac{n!}{n_0!n_1!n_2!n_3!n_3!}\right)+ \log \prod_{j=0}^4\left({}_4 C_j \right)^{n_j}+\log \prod_{j=0}^4\left(p^j(1-p)^{4-j}\right)^{n_j}\)
はじめの2項は \(p\) に依存しないので \(C\) とおくと、
\(\displaystyle \log L(p)=C+\sum_{j=0}^4{n_j}\left(j\log p +(4-j)\log (1-p)\right)\)
これが最大となる \(p\) を求める。
\(\displaystyle \dfrac{\partial}{\partial p}\log L(p)=\sum_{j=0}^4{n_j}\left(\dfrac{j}{p} +\dfrac{j-4}{1-p}\right)=0\) とすると
\(\begin{split}\sum_{j=0}^4{n_j}\{j(1-p) +(j-4)p\}&=\sum_{j=0}^4{n_j}(j
-4p)\\
&=\sum_{j=0}^4{n_j}j -4p\sum_{j=0}^4n_j\\
&=\sum_{j=0}^4{n_j}j-4pn=0
\end{split}\)
最尤推定値は \(\displaystyle \widehat{p}=\dfrac{1}{4n}\sum_{j=0}^4{n_j}j=\dfrac{1}{4}\sum_{j=0}^4\dfrac{n_j}{n}j\)
(2) 二項分布モデルのもとでの適合度カイ二乗統計量 は、
\(\displaystyle \chi_{(1)}^2=\sum_{j=0}^4\dfrac{(n_j-\widehat{q}_j)^2}{n\widehat{q}_j}\) 但し、\(\displaystyle \widehat{q}_j={}_4 C_j \widehat{p}^j(1-\widehat{p})^{4-j}\:\:,\:\:\widehat{p}=\dfrac{1}{4n}\sum_{j=0}^4{n_j}j\)
この統計量は、漸近的に自由度 \((5-r-1)\) のカイ二乗分布に従う。(ピアソンの定理)
𝑟 は期待度数を求めるために観測値から推定した未知母数の数である。
今、\(\widehat{p}\) 1個を推定しているので、自由度は \((5-1-1)=3\) である。
[参考]統計科学研究所 様 「適合度検定」
https://statistics.co.jp/reference/StatisticalDataScienceA/Chapter7nonpassword.pdf 参照
(3) 二項分布を仮定しない場合、多項分布の最尤推定量は \({\hat q_i} = \dfrac{n_j}{n}\) だから、
最大尤度は \(\displaystyle L=\dfrac{n!}{n_0!n_1!n_2!n_3!n_3!}\left(\frac{n_0}{n}\right)^{n_0}\left(\frac{n_1}{n}\right)^{n_1}\left(\frac{n_2}{n}\right)^{n_2}\left(\frac{n_3}{n}\right)^{n_3}\left(\frac{n_4}{n}\right)^{n_4}\)
二項分布を仮定した場合の最大尤度は、
\(\displaystyle L_0=\dfrac{n!}{n_0!n_1!n_2!n_3!n_3!}\prod_{j=0}^4\left({}_4 C_j \widehat{p}^j(1-\widehat{p})^{4-j}\right)^{n_j}\) 但し、\(\displaystyle\:\:\widehat{p}=\dfrac{1}{4n}\sum_{j=0}^4{n_j}j\)
尤度比は、 \(\displaystyle \lambda=\dfrac{L_0}{L}=\prod_{j=0}^4\left(\dfrac{n\cdot {}_4 C_j \widehat{p}^j(1-\widehat{p})^{4-j}}{n_j}\right)^{n_j}\:\:,\:\:\displaystyle\:\:\widehat{p}=\dfrac{1}{4n}\sum_{j=0}^4{n_j}j\) であり、
尤度比検定の理論によれば、\(-2\log\lambda\) は漸近的にカイ二乗分布に従う。
(当サイト「尤度比検定参照」)
尤度比統計量は、\(\chi_{(2)}^2=-2\log\lambda\) であり、自由度は 3 である。
[参考サイト] 多項分布の最尤推定については、次のサイトに説明がある。
michannel 様 「最尤法により多項分布のパラメータを推定するーラグランジュ未定乗数法」
https://mi-chan-nel.com/method-of-lagrange-multiplier/ 参照
(4) 解答参照