十分統計量

十分統計量の理解が大変難しいので、具体例を通して考えてみる。
[参考サイト]

 京都大学大学院医学研究科 土居正明 様
 「最尤法と十分統計」
     https://img.atwikiimg.com/www43.atwiki.jp/actuary-seminar/attach/13/11/sufficientstatistic.pdf
 nkoda’s studynote 様  https://nkoda-studynote.com/statistics/sufficient_statistics/

十分統計量

【十分統計量の定義】

     \(P(X=x|T(X)=t,\theta)=P(X=x|T(X)=t)\)

     十分統計量で条件付けるとパラメータに依存しなくなる。

【フィッシャー・ネイマンの分解定理】

標本 \(x\)(n次元ベクトル)の同時密度関数について

     \(f_n(x;\theta)=h(x)g(T(x);\theta)\) この形に分解できるとき十分統計量となる。

標本の同時密度関数をパラメータに依存しない関数とパラメータに依存する関数の積に分解した際に、パラメータを含む方の関数のみがを \(T(x)\) 含む分解が存在する。

(考え方)

離散的な例では次のように考えてもよいのではないかと思う。

・ \(T(X)=t\) (一定)である \(X\) の要素が同様に確からしいとき \(T(X)\) は十分統計量である。

・ \(T(x)=t\) のとき

     \(\begin{split}
P(X=x|\theta)&=P\left(T(X)=t|\theta\right)\cdot P\left(X=x|T(X)=t\right)\\
&=g(T(x);\theta)\cdot h(x)
\end{split}\)

このように、分解定理の背景には条件付き確率の乗法定理があるのではないかと考える。

     \(\begin{split}
P\left(X=x|T(X)=t,\theta\right)&=
\dfrac{P(X=x,T(X)=t|\theta)}{P(T(X)=t|\theta)}\\
&=\dfrac{P(T(X)=t|\theta)\cdot P(X=x|T(X)=t)}{P(T(X)=t|\theta)}
=P(X=x|T(X)=t)
\end{split}\)

      \(\theta\) の項が約分されることにより \(\theta\) に依存しなくなる。

次の例で考えてみよう。

[ベルヌーイ分布]

\(Ber(p)\) からの独立な標本を \(X=(X_1,X_2,X_3)\) とする。

\(X\) の同時分布は、\((X_1,X_2,X_3)=(0,0,0),(0,1,1),(1,0,1),(1,1,0),\cdots,(1,1,1)\)

\(T(X)=T(X_1, X_2,X_3)=X_1+X_2+X_3\) に対して

     \(P\left(X=(1,0,1)\right)=p(1-p)p=p^2(1-p)=1\cdot p^{T(1,0,1)}(1-p)^{3-T(1,0,1)}\)

     \(P\left(X=(1,0,0)\right)=p(1-p)(1-p)=1\cdot p^{T(1,0,0)}(1-p)^{3-T(1,0,0)}\)

\(f_3(x;p)=1\cdot\left[p^{T(X)}(1-p)^{3-T(X)}\right]\) : \(g(x)=p^x(1-p)^{3-x}\)  フィッシャー・ネイマンの分解ができる。

     \(P(X=(1,0,1)|T(x)=2,p)=\dfrac{P\left(X=(1,0,1)\right)}{P\left(X=(1,1,0)\right)+P\left(X=(1,0,1)\right)+P\left(X=(0,1,1)\right)}=\dfrac{1}{3}\)

     \(P(X=(1,0,1)|T(x)=1,p)=0\)

「 \(T(x)\) が一定のもとでの 標本同時確率が \(p\) に依存しない」という十分統計量の定義を満たす。

     \(\begin{split}
P(T(X)=2|p)&=\sum_{x;T(x)=2}P(X=x|p)\\&=P\left(X=(1,1,0)\right)+P\left(X=(1,0,1)\right)+P\left(X=(0,1,1)\right)
\end{split}
\)

 \(T(x)=2\) という事象は3つの事象に分解され、3つの事象は同様に確からしいことを意味する。

[ポアソン分布]


© hyoccori-toukei 2021