十分統計量についての出題です。いまだに理解が不十分なため、説明の不備なところはご容赦ください。

0.1 【十分統計量の定義】

   \(P(X=x|T(X)=t,\theta)=P(X=x|T(X)=t)\)
   十分統計量で条件付けるとパラメータに依存しなくなる。

というものです。

   \(\dfrac{P(X=x,T(X)=t|\theta)}{P(T(X)=t|\theta)} =P(X=x|T(X)=t)\)  から、

   \(P\left(X=x,T(X)=t|\theta\right) =P\left(T(X)=t|\theta\right)\cdot P\left(X=x|T(X)=t\right)\)

即ち、\(P(X=x|\theta) =P(X=x|T(X)=t)\cdot P(T(X)=t|\theta)\)

これは、\(f_n(x;\theta)=h(x)g(T(x);\theta)\) が成り立つことを意味します。

京都大学大学院医学研究科 土居正明 様 「最尤法と十分統計量」 によると、
左辺の同時確率を尤度と考えると十分統計量の価値が明確になるといいます。
実際、対数尤度は
   \(L=\log\left(f_n(x;\theta)\right) =\log\left(h(x)\right)+\log\left(g(T(x);\theta)\right)\)
    \(\theta\) で微分すると第1項は消え、第2項の微分を0とした式から
   \(\theta\)\(T(x)\) で表すことができるというのです。

もし \(f_n(x;\theta)=h(x)g(T(x);\theta)\) を  \(f_n(x;\theta)\sim g(T(x);\theta)\) という書き方が許されるなら、

確率密度関数が \(T(x)\)\(\theta\)で表された式と同等のとき、 \(T(x)\) は十分統計量ということになります。

具体的に尤度関数を見てみましょう。このような\(T(x)\)が式の中に散見され、十分統計量という考えは自然と発見されたのではないかと想像されます。

0.2 尤度関数 

ベルヌーイ分布
\(f(x;n,p)=p^x(1-p)^{1-x}\)のとき、
   \(P(x_1,\cdots,x_n ;n,p)=p^{\sum_{i=1}^n x_i}(1-p)^{n-\sum_{i=1}^n x_i}\)

ポアソン分布
\(f(x;\lambda)=\frac{e^{-\lambda} \lambda^x}{x!}\) のとき、
   \(P(x_1,\cdots,x_n ;n,\lambda)=\frac{e^{-n\lambda} \lambda^{\sum_{i=1}^n x_i}}{\prod_{i=1}^n x_i}\)

正規分布
\(f(x;\mu,\sigma)=\frac{1}{\sqrt{2 \pi \sigma^2}} exp(-\frac{(x-\mu)^2}{2\sigma^2})\) のとき、
   \(P(x_1,\cdots,x_n ;n,\mu,\sigma) = (2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n (x_i-\mu)^2}{2\sigma^2})=(2 \pi \sigma^2)^{\frac{-n}{2}} exp(-\frac{\sum_{i=1}^n x_i^2-2\mu \sum_{i=1}^n x_i+n\mu^2}{2\sigma^2})\)
 
\(\sum_{i=1}^n x_i^2~,~\sum_{i=1}^n x_i\) が散見され、これが十分統計量の候補ではないかと考えられます。

指数型分布族では共通して起こると考えられます。ところで、t分布、一様分布以外は、ほぼ指数型分布族なので、
   \(\sum_{i=1}^n x_i^2~,~\sum_{i=1}^n x_i\) を十分統計量とすると考えられます。
    AVILEN AI TREND 様「指数型分布族に分類される確率分布の一覧」 に導出も含めて説明されています。

さて、問題に入ります。
一様分布について十分統計量を構成する問題です。
一様分布は指数型分布族ではないので注意が必要です。

0.3 (1)(2)(3)

Yが十分統計量であること、Yの確率密度関数が \(g(y)=\dfrac{n}{\theta^n}y^{n-1}\) であることの説明は公式テキストを参照ください。

十分統計量である \(Y=\max(X_1,X_2,\cdots,X_n)\) の分布について、Rで確かめてみます。

簡単のため、\(\theta=1\) のとき、[0,1]での一様分布を考えます。

curve(dunif(x,0,1),xlim=c(0,2))

10個の一様乱数の最大値Yを10000回出力し、ヒストグラムを描きます。

X = c()
for (i in 1:10000) {
  x <- runif(10, min=0, max=1)
  s <- max(x)
  X <-c(X,s)
}
mean(X)
## [1] 0.908904
hist(X,prob=T)
curve(10*x^9,add=T)

0.4 (4)

期待値は 約 0.9 になるので \(E(Y)=\dfrac{10}{11}\)
一般には \(E(Y)=\dfrac{n}{n+1}\theta\) となることが確かめられます。
つまり、\(\theta=\dfrac{n+1}{n}E(Y)\)\(\theta\) が求められることになります。

mean(X)*11/10
## [1] 0.9997944

0.5 (5)(6)

土井先生のp9に、
「完備十分統計量の関数である不偏推定量が存在すれば、それは一意的であり UMVU である。」
このことを一様分布について確かめる問題のようです。 UMVUは、一様最小分散不偏推定量(uniform minimum variance unbiased estimator) 土井先生のレジメにも一般の証明はありません。
誘導があるとはいえ、難度も高いので説明はパスします。(今後検討)

全くわからなかった十分統計量、少しだけ進めたようです。
2019統計数理は受験していますが、十分統計量の問題はパスしました。