無作為抽出法（1回の抽出）.
標本に選ばれる確率をあらかじめ定めてから標本抽出.
確率分布によって抽出確率が定義される。確率分布は抽出確率と同等である。
\(y_i\) が抽出される確率を \(p_i\) とする。
（等確率で選ぶ場合、単純無作為抽出法という）.
復元無作為抽出法（複数回の抽出）.
復元抽出では、各回の抽出が独立なので、数理モデルとして扱いやすい。
今、
大きさ\(N\)
の母集団Uから、復元抽出によって大きさ\(n\) の標本 \(S\) を抽出する。
1回の抽出で、要素 \(y_i\)
が選ばれる確率を \(p_i\) とする。
抽出確率：\(\displaystyle \sum_{i\in U}p_i=1\) 確率変数：\(Y=\dfrac{y_i}{p_i}\) （\(y_i,p_i\) は定数）.
\(\widehat{T}=\displaystyle \dfrac{1}{n}\sum_{i\in S}\dfrac{y_i}{p_i}\) とおくと、\(\widehat{T}\) は \(T\) の不偏推定量である。
母集団の平均・分散.
\(\displaystyle
E(y_i)=\sum_{i=1}^{N}p_iy_i=\mu\) 、 \(\displaystyle
V(y_i)=\sum_{i=1}^{N}p_i(y_i-\mu)^2=\sigma^2\) とする。
標本平均について、
\(\displaystyle \overline{y}=\dfrac{1}{n}\sum_{i\in S}y_i\) の期待値は、\(E(\overline{y})=\dfrac{1}{n} (n\mu)=\mu\)
標本分散について
\(V(\overline{y})\) を求める。
特に、
単純無作為抽出のとき、
\(p_i=\dfrac{1}{N}\) \(Y=Ny_i\) \(\therefore~~V(Y)=N^2\sigma^2\).
\(\overline{y}\) との関係では、
\(\displaystyle \widehat{T}=\dfrac{N}{n}\sum_{i\in S}y_i=N\overline{y}\) 即ち、\(\overline{y}=\dfrac{\widehat{T}}{N}\) \(\therefore E(\overline{y})=\dfrac{T}{N}=\mu\).
\(V(\overline{y})=\dfrac{1}{N^2}V\left(\widehat{T}\right)=\dfrac{1}{N^2}\dfrac{N^2\sigma^2}{n} =\dfrac{\sigma^2}{n}\).
よく知られた \(V(\overline{y})=\dfrac{\sigma^2}{n}\)を導出するのに、まわりくどい説明だと思う人も多いと思う。
ここでは、
・\(Y=\dfrac{y_i}{p_i}\) ・\(\widehat{T}=\displaystyle \dfrac{1}{n}\sum_{i\in
S}\dfrac{y_i}{p_i}\).
の導入が重要で、後に大きな役割を果たすことになる。
\(U=U_1\cup U_2\cup\cdots\cup U_L\).
各集合の平均・分散を.
\(U\sim
(\mu,~\sigma^2)\) \(U_l\sim
(\mu_l,~\sigma_l^2)~~~(l=1,2,\cdots , L)\) とする。
\(U\) は\(U_l\) の混合分布であるから、
平均は、 \(\displaystyle \mu=\sum_{s=1}^M W_s\mu_s\) （群平均の加重平均）
分散は \(\displaystyle
\sigma^2=\sum_{s=1}^M W_s\sigma_s^2+
\sum_{s=1}^MW_s(\mu_s-\mu)^2\) で与えられる。
（群内分散の加重平均＋群間分散）
偏差平方和は、
\(\begin{split} \sum_{i\in
U}(y_i-\mu)^2&=\sum_{l=1}^L\sum_{i\in U_l}(y_i-\mu)^2=
\sum_{l=1}^L\sum_{i\in U_l}\left((y_i-\mu_l) -(\mu_l-\mu)\right)^2\\
&=\sum_{l=1}^L\sum_{i\in U_l}(y_i-\mu_l)^2+\sum_{l=1}^L\sum_{i\in
U_l}(\mu_l-\mu)^2-2\sum_{l=1}^L\sum_{i\in U_l}(y_i-\mu_l)(\mu_l-\mu)\\
&=\sum_{l=1}^L\sum_{i\in U_l}(y_i-\mu_l)^2+\sum_{l=1}^L\sum_{i\in
U_l}(\mu_l-\mu)^2-2\sum_{l=1}^L(\mu_l-\mu)\left(\sum_{i\in
U_l}(y_i-\mu_l)\right)\\ &=\sum_{l=1}^L
N_l\sigma_l^2+\sum_{l=1}^LN_l(\mu_l-\mu)^2\\ \end{split}\)
\(U=U_1\cup U_2\cup\cdots\cup U_L\)
からの層化抽出を、\(S=S_1\cup
S_2\cup\cdots\cup S_L\)
標本数：\(N=N_1+N_2+\cdots+N_L\).
抽出数：\(n=n_1+n_2+\cdots+n_L\). とする。
各層\(U_l\)
からの抽出は単純無作為抽出とすると、
\(U_l\) から選ばれた要素 \(y_i\) の抽出確率は \(p_i=\dfrac{1}{N_l}\) 。
各層の合計の推定値 \(\displaystyle \widehat{T_l}=\dfrac{1}{n_l}\sum_{i\in S_l}\dfrac{y_i}{1/N_l} =\dfrac{N_l}{n_l}\sum_{i \in S_l}y_i\).
各層からの抽出合計 \(\displaystyle \sum_{i \in S_l}y_i=\dfrac{n_l}{N_l}\cdot \widehat{T_l}\)
抽出合計 \(\displaystyle \sum_{i \in S}y_i=\displaystyle \sum_{l=1}^L\left(\sum_{i \in S_l}y_i\right)=\sum_{l=1}^L\dfrac{n_l}{N_l}\widehat{T_l}\)
抽出合計による平均 \(\displaystyle \widetilde{y}=\dfrac{1}{n}\sum_{i
\in S}y_i=\dfrac{1}{n}\sum_{l=1}^L\dfrac{n_l}{N_l}\widehat{T_l}
=\sum_{l=1}^L\dfrac{n_l}{n}\left(\dfrac{\widehat{T_l}}{N_l}\right)\).
（後の注意の通り、この式は母平均の不偏推定量ではない）.
実際、
抽出合計による平均の期待値は、母集団の平均とはならないことに注意する必要がある。
母集団の平均に一致するのは、抽出比率に偏りがない層化比例抽出の場合である。
ワークp187によれば、
\(n_l\)のとり方によらず、期待値が母平均となる推定量は、
\(\displaystyle
\widetilde{y}=\dfrac{1}{N}\sum_{l=1}^{L}\widehat{T_l}\) 各層の合計の推定値
\(\displaystyle \widehat{T_l}
=N_l\cdot\dfrac{1}{n_l}\sum_{i \in S_l}y_i\).
によらなければならない。このため、\(\widehat{T_l}\)
の導入が必要だったわけである。
層化抽出による標本平均 は次のように定める。
\(l\)群の標本平均を \(\displaystyle \overline
{y_l}=\dfrac{1}{n_l}\sum_{i \in S_l}y_i\) とすると、
\(\displaystyle
\widetilde{y}=\dfrac{1}{N}\sum_{l=1}^{L}\widehat{T_l}=\dfrac{1}{N}\sum_{l=1}^{L}
\left( N_l\cdot\dfrac{1}{n_l}\sum_{i \in S_l}y_i\right) =\sum_{l=1}^{L}
\left( \dfrac{N_l}{N}\right)\overline {y_l}\)
各群の標本平均の混合比による加重平均が層化抽出平均である。
特に、
比例抽出では、選択比率 \(\dfrac{n_l}{N_l}=\dfrac{n}{N}\)
であるから、
\(\displaystyle \sum_{i \in
S_l}y_i=\dfrac{n}{N}\cdot \widehat{T_l}\) \(\therefore \displaystyle \sum_{l=1}^L\sum_{i \in
S_l}y_i=\dfrac{n}{N}\sum_{l=1}^L\widehat{T_l}\).
即ち、\(\displaystyle \sum_{i \in
S}y_i=\dfrac{n}{N}\sum_{l=1}^{L}\widehat{T_l}\) だから、
\(\displaystyle
\widetilde{y}=\dfrac{1}{n}\sum_{i \in
S}y_i=\dfrac{1}{N}\sum_{l=1}^{L}\widehat{T_l}\) となり、
\(\displaystyle E(\widetilde{y})
=\dfrac{1}{N}\sum_{l=1}^{L}E\left(\widehat{T_l}\right)
=\dfrac{1}{N}\sum_{l=1}^{L}{T_l} =\dfrac{1}{N}T=\mu\).
層化抽出による標本分散について、
\(\displaystyle V(\widehat{T_l})=\dfrac{N_l^2}{n_l^2}\sum_{i\in S_l}V(y_i)=\dfrac{N_l^2}{n_l}\sigma_l^2\) だから、
\(\displaystyle V(\widetilde{y})=\dfrac{1}{N^2}\sum_{l=1}^{L}\dfrac{N_l^2}{n_l}\sigma_l^2 =\dfrac{1}{N^2}\sum_{l=1}^{L}\dfrac{N_lN}{n}\sigma_l^2 =\dfrac{1}{n}\sum_{l=1}^{L}\dfrac{N_l}{N}\sigma_l^2\)
単純復元無作為抽出の標本分散と層化抽出による標本分散が、どれくらい異なるかを考える。
偏差平方和の分解式から、
\(\displaystyle \sum_{i\in
U}(y_i-\mu)^2=\sum_{l=1}^L
N_l\sigma_l^2+\sum_{l=1}^LN_l(\mu_l-\mu)^2\)
\(\displaystyle \sigma^2=\dfrac{1}{N}\sum_{i\in U}(y_i-\mu)^2=\dfrac{1}{N}\sum_{l=1}^L N_l\sigma_l^2+\dfrac{1}{N}\sum_{l=1}^LN_l(\mu_l-\mu)^2\).
n個の標本平均 \(\overline{y}\) の分散は、
\(\displaystyle V(\overline{y})=\dfrac{\sigma^2}{n}=\dfrac{1}{n}\left[\dfrac{1}{N}\sum_{l=1}^L N_l\sigma_l^2+\dfrac{1}{N}\sum_{l=1}^LN_l(\mu_l-\mu)^2\right]\).
層化比例抽出の標本分散を \(\displaystyle V(\widetilde{y}) =\dfrac{1}{n}\left(\sum_{l=1}^{L}\dfrac{N_l}{N}\sigma_l^2\right)\) とすると、
\(\displaystyle V(\overline{y})=V(\widetilde{y})+\dfrac{1}{nN}\sum_{l=1}^LN_l(\mu_l-\mu)^2\) （第２項は群間変動に相当）
左辺は定数であるから、群間変動が大きくなるように層をとれば、層化抽出の分散 \(V(\widetilde{y})\) は小さくなる。（精度が上がる）.
「群内変動を小さく、群間変動が大きく」なるように層を構成し、
層化比例抽出による標本平均の分散を小さくし、母平均の推定精度を向上させようというのが層化抽出法の考え方である。
\(\displaystyle
\widetilde{y}=\dfrac{1}{N}\sum_{l=1}^{L}\widehat{T_l}=\dfrac{1}{N}\sum_{l=1}^{L}
\left( N_l\cdot\dfrac{1}{n_l}\sum_{i \in S_l}y_i\right) =\sum_{l=1}^{L}
\left( \dfrac{N_l}{N}\right)\overline {y_l}\)
は不偏推定量である。
\(\displaystyle E\left(\dfrac{1}{N}\sum_{l=1}^{L}\widehat{T_l}\right)=\dfrac{1}{N}\sum_{l=1}^{L}E(\widehat{T_l})=\dfrac{1}{N}\sum_{l=1}^{L}{T_l}=\dfrac{T}{N}=\mu\).
\(\displaystyle V\left(\dfrac{1}{N}\sum_{l=1}^{L}\widehat{T_l}\right)=\dfrac{1}{N^2}\sum_{l=1}^{L}V(\widehat{T_l})=\dfrac{1}{N^2}\sum_{l=1}^{L}\dfrac{N_l^2}{n_l}\sigma_l^2=\sum_{l=1}^{L}\left(\dfrac{N_l}{N}\right)^2\dfrac{\sigma_l^2}{n_l}\)
推定量を不偏推定量にすれば、あとは分散が小さい方が良い。
上記の不偏推定量は \(n_l\)に依存しないので、分散が最小となるように\(n_l\)を定める。
配分法には、
ネイマン配分は最適配分法と呼ばれ、有限修正を無視すると.
\(n_h=\dfrac{N_h\sigma_h}{\sum
N_h\sigma_h}\cdot n\)
\(N_h\sigma_h\)
による比例配分であり、分散の大きく、数の多い層から多く抽出される。
ネイマン配分法の導出はラグランジュの未定乗数法による。
次のサイト様に詳しい説明があるが、ここでは立ち入らない。
母集団の平均と分散が \((\mu,\sigma^2)\) であるとする。
母集団は \(M\) 個の群からなり、群 \(s\) の平均と分散は \((\mu_s,\sigma_s^2)\) とする。
\(U=U_1\cup U_2\cup\cdots\cup U_M\).
母集団と群の関係を考える。
学校\(U_s\)の大きさを\(N_s\)、生徒の得点を表す変数を \(x_s\) とする。
混合分布であるので、「1.2 層化抽出」で確認したのと同じ式が成立する。
母集団から1個を抽出したときの得点を \(x\) とすると \(x\) は確率変数であるが、２段抽出を表現するには次のようなモデルを構成する。
２段抽出のモデル.
２段抽出は、
群を抽出 → 群から標本を抽出.
と進む。
２段抽出で 1個のサンプルを抽出するとき、
1つの群を抽出 → 群から1つの標本を抽出.
と進むので、
群の抽出を表す補助確率変数 \(R_s\) を、
抽出されるとき \(R_s=1\) 、 抽出されないとき \(R_s=0\).
即ち、\(R_s\sim
Ber(W_s)\) （ベルヌーイ分布）に従うとし、
\(R_s:s=1,2,\cdots,M\)
のうち1つだけが１、残りは０であるとすると、
\(\displaystyle x=\sum_{s=1}^M R_sx_s\) （\(R_s:s=1,2,\cdots,M\) は独立ではない）
\(\displaystyle E(x)=\sum_{s=1}^M W_s\mu_s\), \(\displaystyle V(x)=\sum_{s=1}^M W_s\sigma_s^2+ \sum_{s=1}^MW_s(\mu_s-\mu)^2\).
即ち、\(\displaystyle x\sim \left(\mu\:,\:\:\sum_{s=1}^M W_s\sigma_s^2+ \sum_{s=1}^MW_s(\mu_s-\mu)^2\right)\).
導出は次のようになる。
１つの \(R_s\)
のみ１で、他は0だから、
\(\displaystyle \sum_{s=1}^M
R_s=1\), \(\displaystyle \sum_{s\neq
t}^M R_sR_tx_sx_t=0\).
\(R_s\:, x_s\) は独立だから、
\(\displaystyle E(x)=E\left(\sum_{s=1}^M
R_s\cdot x_s\right)=\sum_{s=1}^M E(R_s)\cdot E(x_s)=\sum_{s=1}^M
W_s\mu_s=\sum_{s=1}^M\dfrac{N_s}{N}\mu_s=\mu\).
また、
\(\displaystyle
E(x^2)=E\left(\sum_{s=1}^M R_s^2x_s^2+2\sum_{s\neq t}^M
R_sR_tx_sx_t\right)=\sum_{s=1}^M E(R_s)\cdot E(x_s^2)=\sum_{s=1}^M
W_s\cdot E(x_s^2)\).
\(\sigma_s^2=E(x_s^2)-\mu_s^2\)より、 \(E(x_s^2)=\sigma_s^2+\mu_s^2\)
だから、
\(\displaystyle E(x^2)=\sum_{s=1}^M
W_s\cdot (\sigma_s^2+\mu_s^2)=\sum_{s=1}^M
W_s\sigma_s^2+\sum_{s=1}^MW_s\mu_s^2\).
\(\displaystyle
V(x)=E(x^2)-\mu^2=\sum_{s=1}^M
W_s\sigma_s^2+\left(\sum_{s=1}^MW_s\mu_s^2-\mu^2\right)\).
\(\displaystyle \therefore
V(x)=\sum_{s=1}^M W_s\sigma_s^2+
\sum_{s=1}^MW_s(\mu_s-\mu)^2\) （１人を抽出するとき、母分散と層別分散の関係）.
これは、(全分散)=(郡内分散)+(群間分散) を意味する。
統計検定１級人文科学2016問題３では、
単純無作為抽出の分散と２段抽出の分散を数理的に比較している。
単純無作為抽出.
n個の単純無作為抽出による標本平均 \(\bar{x}\) の分散.
\(\displaystyle V(\bar{x})=\dfrac{V(x)}{n}=\dfrac{1}{n}\sum_{s=1}^M W_s\sigma_s^2+\dfrac{1}{n} \sum_{s=1}^MW_s(\mu_s-\mu)^2\).
２段抽出
１群を抽出 → １群からn人の標本を抽出.
\(x_s\sim (\mu_s,\sigma_s^2)\)
だから、 \(x_{si}\sim
(\mu_s,\sigma_s^2)~~~~(i=1:n)\).
\(\displaystyle
\overline{x_s}=\dfrac{1}{n}\sum_{i=1}^n x_{si}\)
は標本平均だから、\(\overline{x_s}\sim
\left(\mu_s,\dfrac{\sigma_s^2}{n}\right)\).
この２段抽出により \(x_{TS}\) を得るとする。
\(\displaystyle x_{TS}=\sum_{s=1}^M R_s\cdot \overline{x_s}\).
・２段抽出で 1個の標本平均を抽出するとき、
1つの群を抽出 → 群から1個の標本平均を抽出.
と解釈すれば、 \(x_{TS}\) の分散は、（2.1と同様）各群からの標本分散の加重平均と相関変動の合計となる。.
\(\displaystyle V(x_{TS}) =\sum_{s=1}^M W_s\dfrac{\sigma_s^2}{n}+\sum_{s=1}^MW_s(\mu_s-\mu)^2\).
\(V(\bar{x})\)と \(V(x_{TS})\) を比べると、
\(\displaystyle V(x_{TS}) > V(\bar{x})\) であることが分かる。
標本の抽出が復元抽出でない場合は、有限補正として、
\(\dfrac{\sigma_s^2}{n_s}\)のところを \(\dfrac{N_s-n_s}{N_s-1}\times\dfrac{\sigma_s^2}{n_s}\)
にすれば良い。.
２段抽出で mn 個の標本を抽出する手続きは、
m 個の群を抽出 → 各群から n 個の標本を抽出.
であるが、
m 個の群を抽出 → 各群における n個の標本から 1個の標本平均を算出.
さらに、m 個の群を抽出を、m回の群の復元抽出と解釈する。
つまり、「１群から n個の２段抽出」を m回復元で繰り返すことになる。
その分散は、
\(\displaystyle
V_{TS}=V(\overline{x_{TS}})=\dfrac{1}{m}V(x_{TS})=\dfrac{1}{mn}\sum_{s=1}^M
W_s\sigma_s^2+ \dfrac{1}{m}\sum_{s=1}^MW_s(\mu_s-\mu)^2\).
m群の抽出が復元抽出でない場合は、有限補正として、
\(\dfrac{V(x_{TS})}{m}\)のところを \(\dfrac{M-m}{M-1}\times\dfrac{V(x_{TS})}{m}\)
にすれば良い。
一方、
mn個の単純無作為抽出による標本平均 \(\bar{x}\) の分散\(V_{ST}\)は、
\(\displaystyle
V_{ST}=V(\bar{x})=\dfrac{V(x)}{mn}=\dfrac{1}{mn}\sum_{s=1}^M
W_s\sigma_s^2+\dfrac{1}{mn} \sum_{s=1}^MW_s(\mu_s-\mu)^2\).
であるので、
\(V_{TS}<V_{ST}\) 単純無作為抽出の方が精度はよい。
まとめ.
単純無作為抽出による分散\(V(\bar{x})\)、２段抽出による分散\(V(\overline{x_{TS}})\)、層化抽出による分散\(V(\widetilde{x})\)とすると、
\(V(\widetilde{x})~<~V(\bar{x})~<~V(\overline{x_{TS}})\)
層化抽出法の精度が最もよい。
参考.
当サイト標本抽出法
統計検定１級人文科学2013_3では、層化抽出を確率密度関数で扱っている。
層化抽出は高校数学Bでも扱われており、課題研究のテーマにもなりうる。
当サイト高校数学B「層化抽出法」 参照.
混合率 \(p_1,p_2\) の混合分布からの層化抽出について、まとめてみる。
\(U=U_1\cup U_2\) 混合率： \(p_1=\dfrac{N_1}{N},~~p_2=\dfrac{N_2}{N}\).
各集合の平均・分散を.
\(U\sim
(\mu,~\sigma^2)~\), \(U_1\sim
(\mu_1,~\sigma_1^2)~,~~U_2\sim
(\mu_2,~\sigma_2^2)\) とし、
混合分布の確率密度関数を.
\(f\left( x\right) =p_{1}f_{1}\left( x\right) +p_{2}f_{2}\left( x\right)\) とする。
1個を抽出した確率変数を \(X\) とすると、
\(\begin{split} V (X) &=\int _{-\infty }^{\infty }\left( x-\mu \right) ^{2}\left(p_1f_1\left( x\right) +p_{2}f_2\left( x\right) \right) dx\\ &=p_1\int _{-\infty }^{\infty }\left( x-\mu \right) ^{2}f_1(x) dx+ p_2\int _{-\infty }^{\infty }\left( x-\mu \right) ^{2}f_2(x) dx \end{split}\).
第１項は、
\(\begin{split} p_1\int _{-\infty
}^{\infty }\left( x-\mu \right) ^{2}f_1(x) dx&= p_1\int _{-\infty
}^{\infty }\left( x-\mu_1+\mu_1-\mu \right) ^{2}f_1(x) dx\\ &=
p_1\int _{-\infty }^{\infty }\left( x-\mu_1 \right) ^{2}f_1(x)
dx+2p_1(\mu_1-\mu)\int _{-\infty }^{\infty }(x-\mu_1)f_1(x)
dx+p_1(\mu_1-\mu)^2\\ &=p_1\int _{-\infty }^{\infty }\left( x-\mu_1
\right) ^{2}f_1(x) dx+p_1(\mu_1-\mu)^2\\
&=p_1\sigma_1^2+p_1(\mu_1-\mu)^2 \end{split}\).
第２項も同様だから、
\(V(X)=p_1\sigma_1^2+p_1(\mu_1-\mu)^2 +p_2\sigma_2^2+p_2(\mu_2-\mu)^2\).
\(\mu=p_1\mu_1+p_2\mu_2\)を用いると、
\(p_1(\mu_1-\mu)^2 =p_1(\mu_1-p_1\mu_1-p_2\mu_2)^2 =p_1(p_2\mu_1-p_2\mu_2)^2 =p_1p_2^2(\mu_1-\mu_2)^2\).
同様に.
\(p_2(\mu_2-\mu)^2
=p_1^2p_2(\mu_1-\mu_2)^2\).
\(\therefore
p_1(\mu_1-\mu)^2+p_2(\mu_2-\mu)^2 =p_1p_2^2(\mu_1-\mu_2)^2
+p_1^2p_2(\mu_1-\mu_2)^2 =p_1p_2(\mu_1-\mu_2)^2\).
即ち、
\(V(X)=p_1\sigma_1^2
+p_2\sigma_2^2+p_1p_2(\mu_1-\mu_2)^2\).
\(\widetilde{X}=p_{1}\overline{X_{1}}+p_{2}\overline{X_{2}}\) 各群からの平均の混合率による加重平均と定める。
層化抽出の場合は \(\overline{X_1},\overline{X_2}\)
は独立なので、
\(V(\widetilde{X})=p_{1}^2V(\overline{X_{1}})+p_{2}^2V(\overline{X_{2}})=
p_{1}^2\dfrac{\sigma_1^2}{m}+p_{2}^2\dfrac{\sigma_1^2}{n}\).
層化抽出の方が分散が小さくなる。