1 標本平均と母平均

母集団の平均を母平均といい、復元抽出による標本の平均を標本平均と言います。

母集団は有限集合とします。 復元抽出のとき、標本は無限回抽出可能であり、同じ条件で抽出ができるので、確率変数になります。 抽出した標本の平均は確率変数です。 標本抽出は母集団から標本を選ぶことです。 選ぶということは何の変哲もないことに思われます。
しかし、
復元抽出が確率変数を生み出すと気付いたとき、中心極限定理への道が開かれます。

標本抽出
母集団から復元抽出をn回繰り返すと、n個のデータを含む標本が得られます。この操作を標本抽出と呼びましょう。

この標本抽出は無限回繰り返すことができ、繰り返すたびにヒストグラムも標本平均も微妙に違います。n回繰り返して１セット、これを無限セット繰り返すことになります。

標本平均は確率変数
１セットごとの標本平均はセットごとに変動するので確率変数です。 手作業で行うことは困難ですが、繰り返しプログラムを利用すると数行のコードで実行することができます。
無限回の標本抽出によって得られる無限個の標本平均がどのような性質を持つか、シミュレーションで見てみましょう。

2 平均の推定

いきなり無限回と言わず、まず３回標本抽出してみます。
母集団Aは、平均３、標準偏差１の正規乱数を30000個出力したもの。
母集団Aからサンプル数25の標本を抽出する標本抽出を３セット行い、標本平均がどのように変動するかみてみます。

A=rnorm(30000,3,1)
X = c()
for (i in 1:3) {
  X <- sample(A, size = 25, replace = TRUE)
  print(mean(X))
}
## [1] 3.050388
## [1] 2.989661
## [1] 3.100436

標本平均は変動しているようです。

繰り返し回数を増やしてみましょう. 300セット繰り返します。

A=rnorm(30000,3,1)
M = c()
for (i in 1:300) {
  X <- sample(A, size = 25, replace = TRUE)
  M <-c(M,mean(X))
}
hist(M,prob=T,xlim=c(0,6))

300個の標本平均は３を中心にして狭い範囲で変動しています。
これはサンプル数２５の標本抽出を３００回行ったものですが、
サンプル数９の標本抽出、サンプル数４９の標本抽出をそれぞれ３００回行ったヒストグラムを並べ比べてみます。

A=rnorm(30000,3,1)
M = c();N= c()
for (i in 1:300) {
  X <- sample(A, size = 9, replace = TRUE)
  Y <- sample(A, size = 49, replace = TRUE)
  M <-c(M,mean(X))
  N <-c(N,mean(Y))
}
par(mfrow = c(1, 2))
hist(M,prob=T,xlim=c(1,5))
hist(N,prob=T,xlim=c(1,5))

母平均３を中心としている点は同じですが、ヒストグラムの幅が狭まっています。
サンプル数が大きくなるにつれ、標本平均は母平均３にどんどん集中していきます。この状態を「標本平均は母平均に確率収束する」と言います。
分布が違っても同じようなことが起きるのでしょうか？

2.1 ポアソン分布の標本平均

A=rpois(30000, 1)
M = c()
for (i in 1:300) {
  X <- sample(A, size = 25, replace = TRUE)
  M <-c(M,mean(X))
}
hist(M,prob=T,xlim=c(0,6))

2.2 離散分布の標本平均

A=sample(c(1,2,3), size = 1000, replace = TRUE)
M = c()
for (i in 1:300) {
  X <- sample(A, size = 25, replace = TRUE)
  M <-c(M,mean(X))
}
hist(M,prob=T,xlim=c(0,6))

母集団がどのような分布であっても、サンプル数が大きければ標本平均は同じ形状の分布になります。
ではその共通の形状は何でしょうか。 実は、それは正規分布と呼ばれる分布であり、標本平均が正規分布に近づくという事実は 中心極限定理 (Central Limit Theorem) と呼ばれています。

3 中心極限定理

サンプル数が大きくなれば、標本平均は正規分布に近くなります。
正規分布は、\(\phi \left( z\right) =\dfrac{1}{\sqrt{2\pi }}\exp \left( -\dfrac{z^{2}}{2}\right)\)　で表されガウス分布とも呼ばれます。

重要なのは, 母集団の分布がどのような分布であっても、標本平均の分布が正規分布に近づくということです。

私たちが標本平均を用いて統計的推定や検定を行うとき、正規分布を使ってもいいのは、この定理のおかげです。
「全ての分布は正規分布に通じる」と言っても良いのかもしれません。