第８章 母集団と標本
テキストのp51からは「推測統計序説」となっています。ここからは推測統計を扱うことになります。
当サイト 記述統計と推測統計 、 統計的推定と統計的仮説検定 参照.
山陽学園大学様 無作為標本 参照.
1 記述統計と推測統計.
統計学は、大きく記述統計、推測統計、ベイズ統計の３つに分類されます。
［参考］テクノロジストマガジン 記述統計と推測統計の違い
記述統計
データの平均や分散、標準偏差などを計算して分布を明らかにし、表やグラフによる可視化を用いてデータの性質をわかりやすく記述することを目的とします。分析するデータは母集団であり、それ以外にはデータがないという前提で考えます。
推測統計
推測統計は、得られたデータ(標本)が一部分であり、それらをもとに母集団（全体）の姿を予測することを目的とします。
限られたデータから全体像を推測する手段であり、標本の性質から母集団についての仮説を立てて分析を行います。
例えば、 分散の計算には２種類の式があります。記述統計では偏差平方和をnで割りますが、推測統計では標本データから母分散を予測するため (n-1)で割る式が用いられています。
ベイズ統計
標本のデータが不十分でも事前確率を想定し、情報が追加されるごとに事前確率を事後確率に更新することで真の確率に近づいていこうという方法です。新しい情報を取り込みながら結果を更新し続ける新しい手法です。
2 標本抽出.
推測統計では、母集団を知るために標本を抽出します。
例えば、ある病気について研究する場合、病院に来る人は罹患者全体の一部分ですから、すでに標本を調査していることになります。
しかも病院に来るかどうかは経済事情・地理的事情に影響を受けるので、病院に来た人のデータだけを見たのでは全体を見失うことになります。母集団全体の状況を捉えるには、標本抽出の数理について知っておく必要があるのです。
標本抽出の目的は、母集団の状況をできるだけ正確に復元推計することです。
平均・分散・分布の形状などが、少数の標本から正確に推定できれば、調査が大幅に省力化されます。
「標本というスモールデータから母集団というビッグデータを捉える」
これが標本抽出の目的といえます。
小寺先生のテキストを見ていくと、気になる表現があります。
p53では、
・標本は確率変数 ・標本値（データ）は実現値
となっています。
また、標本抽出の方法は、
・復元抽出（繰り返しを許す） ・非復元抽出（繰り返しを許さない）.
となっており同時に標本を取り出す調査は想定していません。
ところが実際の調査は、まとめて抽出することがほとんどです。、どういうことなのか整理しておきます。.
非復元抽出
母集団から1個抽出する試行を繰り返すとき、同じものを選ばない方法を非復元抽出と言います。母集団からまとめて標本を抽出する操作は、非復元抽出と同等です。
同じものを選ぶことができないため、抽出確率は前の抽出結果に影響されます。
また、母集団より要素の多い標本を作ることはできません。
同じ条件で選ぶことができないため、確率的扱いは難しくなります。
（分散の計算などで補正が必要になります）. \(V(\overline{x})=\dfrac{n-1}{N-1}\left(\dfrac{1}{n}\sigma^2\right)\)
復元抽出
母集団から1個抽出する試行を繰り返すとき、選んだものを元に戻して抽出を繰り返す方法を復元抽出と言います。
無限回の抽出が可能であり、同じ条件で抽出ができます。
復元抽出によって得られる値は確率変数であり、母集団と同等の確率分布を持ちます。
復元抽出は確率的に扱うことが容易です。
p56以降では復元抽出に絞り、標本から母集団の推計が可能かどうか説明がなされています。
海のたとえ.
非復元抽出は、海という母集団に網を投げ入れ、ｎ個のデータを取りだすことに喩えられます。
あなたの網にはデータがｎ個だけ入るようになっています。
（1個の標本抽出は、母集団というデータの海から確率変数という釣り竿によってデータを釣り上げることに喩えられます）
あなたは1回だけ網を投げることが許されています。得られた標本から母集団全体を言い当てなければなりません。
自販機の喩え
復元抽出は自販機に喩えられます。
目の前に自販機があります。この自販機を母集団と思ってください。
あなたは自販機に何が入っているか知りません。
ボタンが一つだけあり、押すと値がひとつ出てきます。
まとめ買いモードもあります。
１０個のまとめ買いモードでボタンを１回押すと、１０個の値が袋に入って出てきます。この１０個入った袋が標本です。
あなたは標本から、自販機の機械の中身という母集団を当てなければなりません。
あなたは（まとめ買いモードで）１回だけボタンを押すことが許されています。
これが標本調査です。
3 標本と母集団.
網を１回投げて得られた標本の平均・分散と、母集団の平均・分散との関係は、どうなっているでしょうか？
標本から母集団を推測するのが推測統計です。
標本数が大きければ、標本と母集団は似ていると考えるのが自然です。実は.
- 母集団から出力される確率変数を X.
- 標本から出力される確率変数を x.
とすると、
\(E(X)=E\left(E(x)\right)~~~~~V(X)=E\left(V(x)\times
\dfrac{n}{n-1}\right)\).
となることが知られています。
標本は抽出ごとに変化しますから、\(E(x),~~V(x)\) は確率変数です。
その期待値が母集団の平均・分散と一致していれば良いのですが、分散は母集団より小さくなる傾向があるので、\(\dfrac{n}{n-1}\)
を乗ずることで補正する必要があります。
結論としてまとめると、
「標本の偏差平方和を(n-1)で割った値の期待値が母分散になっている」.
だから、推測統計の分散は (n-1) で割って求めるのです。
ここは、あまり理論に深入りする必要はなく、
「標本の分散は小さめに出るので(n-1)で割る」.
と覚えておいてください。
4 標本平均と母集団.
標本平均を確率変数として理解することは難しいです。
１回網を投げて得られた標本はn個の集合で、その平均が標本平均です。
１個の標本平均しか得られませんから、分散を考えることは不可能です。
標本平均の確率分布を考えるには、複数回網を投げ、複数個の標本平均を得なければなりません。
例えば、全国から１万人を標本抽出して標本平均を1個得たとしても、標本平均の分散を得るにはその１万人抽出を無限回行わねければならなくなります。現実には不可能です。この解決のために考えられたのがt分布ですが、これは§９で学ぶことになります。
5 標本平均の確率分布.
テキストでは要素が4個の母集団で2個の標本を抽出したらどうなるか、数理的に調べています。ここでは、もっと簡略化して考えてみましょう。
5.1 x=2,-2.
平均0 を中心として ±2 で変動しています。
\(V=\dfrac{(2-0)^2+(-2-0)^2}{2}=4\).
分散は V=2 です。
母集団{-2,2} から大きさ２の標本を抽出すると、
library(tidyr)
library(dplyr)##
## Attaching package: 'dplyr'## The following objects are masked from 'package:stats':
##
## filter, lag## The following objects are masked from 'package:base':
##
## intersect, setdiff, setequal, unionx1 <- c(-2,2)
x2 <- c(-2,2)
data <- crossing(x1, x2)
mutate(data,標本平均=(x1+x2)/2)| x1 | x2 | 標本平均 |
|---|---|---|
| -2 | -2 | -2 |
| -2 | 2 | 0 |
| 2 | -2 | 0 |
| 2 | 2 | 2 |
標本平均 -2,0,0,2 の平均は０、分散は２になることが分かります。
標本平均を\(\bar{X}\)とすると、 \(E(\bar{X})=0~,~~V(\bar{X})=2\) であり、
\(E(\bar{X})=E(X)~,~~V(\bar{X})=\dfrac{V(X)}{2}\).
期待値は変わらず、大きさnの標本平均の分散は、ものの分散の 1/n
となることがポイントです。
このように、
母集団の分散、標本の分散、標本平均の分散、3つの分散
が混在していることが理解を難しくしています。
しかも多くの場合、既知であるのは標本の分散のみであり、あとは推定するしかないのです。
5.2 x=3,7.
平均が 5、 分散が 4 の例です。
library(tidyr)
library(dplyr)
x1 <- c(3,7)
x2 <- c(3,7)
data <- crossing(x1, x2)
mutate(data,標本平均=(x1+x2)/2)| x1 | x2 | 標本平均 |
|---|---|---|
| 3 | 3 | 3 |
| 3 | 7 | 5 |
| 7 | 3 | 5 |
| 7 | 7 | 7 |
標本平均 3,5,5,7 で、平均 5、分散 2 となっています。
5.3 x=1,3,7,9.
p56の例です.
x1 <- c(1,3,7,9)
x2 <- c(1,3,7,9)
data <- crossing(x1, x2)
dat <- mutate(data,標本平均=(x1+x2)/2)
dat| x1 | x2 | 標本平均 |
|---|---|---|
| 1 | 1 | 1 |
| 1 | 3 | 2 |
| 1 | 7 | 4 |
| 1 | 9 | 5 |
| 3 | 1 | 2 |
| 3 | 3 | 3 |
| 3 | 7 | 5 |
| 3 | 9 | 6 |
| 7 | 1 | 4 |
| 7 | 3 | 5 |
| 7 | 7 | 7 |
| 7 | 9 | 8 |
| 9 | 1 | 5 |
| 9 | 3 | 6 |
| 9 | 7 | 8 |
| 9 | 9 | 9 |
x <- dat$標本平均
mean(x)## [1] 5var(x)*15/16## [1] 5実際に抽出するには、関数sample を用います。
A <- c(1,3,7,9)
X <- c()
for (i in 1:10000) {
a= sample(A, size = 2, replace =TRUE)
x <- mean(a)
X <- c(X,x)
}
hist(X,xlim=c(0,10),breaks=seq(-0.5,9.5,by=1))
mean(X)## [1] 4.9815var(X)## [1] 4.8972476 例題8.
x1 <- c(1,3,3,9)
x2 <- c(1,3,3,9)
data <- expand.grid(x1, x2)
colnames(data) <- c("x1","x2")
dat <- mutate(data,標本平均=(x1+x2)/2)
dat| x1 | x2 | 標本平均 |
|---|---|---|
| 1 | 1 | 1 |
| 3 | 1 | 2 |
| 3 | 1 | 2 |
| 9 | 1 | 5 |
| 1 | 3 | 2 |
| 3 | 3 | 3 |
| 3 | 3 | 3 |
| 9 | 3 | 6 |
| 1 | 3 | 2 |
| 3 | 3 | 3 |
| 3 | 3 | 3 |
| 9 | 3 | 6 |
| 1 | 9 | 5 |
| 3 | 9 | 6 |
| 3 | 9 | 6 |
| 9 | 9 | 9 |
x <- dat$標本平均
mean(x)## [1] 4var(x)*15/16## [1] 4.56.1 標本抽出.
母集団.
A=c(1,3,3,9)
var(A)*3/4## [1] 9X <- c()
for (i in 1:10000) {
a= sample(A, size = 1, replace =TRUE)
x <- mean(a)
X <- c(X,x)
}
hist(X,xlim=c(0,10),breaks=seq(-0.5,9.5,by=1))
mean(X)## [1] 3.9948var(X)## [1] 8.940067X <- c()
for (i in 1:10000) {
a= sample(A, size = 2, replace =TRUE)
x <- mean(a)
X <- c(X,x)
}
hist(X,xlim=c(0,10),breaks=seq(-0.5,9.5,by=1))
mean(X)## [1] 4.0175var(X)## [1] 4.5412486.2 中心極限定理.
標本数が大きくなると、正規分布に近づきます。
X <- c()
for (i in 1:10000) {
a= sample(A, size = 10, replace =TRUE)
x <- mean(a)
X <- c(X,x)
}
hist(X,xlim=c(0,10))
mean(X)## [1] 3.98798var(X)## [1] 0.9042939