統計的推定と統計的仮説検定

総務省統計局の「なるほど統計学園」では、
統計的推定
　母集団の特性値（平均や分散など）を標本のデータから統計学的に推測すること。

統計的仮説検定
　母集団に関するある仮説が統計学的に成り立つか否かを、標本のデータを用いて判断すること。
このように説明されています。
標本から母集団の特性を推定・検定するには、母集団と標本との関係を整理しておく必要があります。
その基本となるのは、和の確率分布の分布、定数倍の確率分布であり、期待値と分散については次のようになります。

1 標本平均の分布

「確率変数と確率分布」では、正規乱数について次のような性質を確認しました。

　　　\(E(x_1+x_2)=E(x_1)+E(x_2)\) 、 \(V(x_1+x_2)=V(x_1)+V(x_2)\)

この性質は、一般の独立な確率変数 \(x_1,~x_2\) についても成立します。

さらに、独立なn個の確率変数 \(x_1,~x_2,~\cdots,x_n\) についても、

　　　\(E(x_1+x_2+\cdots +x_n)=E(x_1)+E(x_2)+\cdots +E(x_n)\)
　　　\(V(x_1+x_2+\cdots +x_n)=V(x_1)+V(x_2)+\cdots +E(x_n)\) 　　が成立します。
特に、独立なn個の確率変数が共通なひとつの確率分布に従うと、
共通確率分布の　平均 \(\mu\),　分散 \(\sigma^2\) とするとき、
　　　\(E(x_1+x_2+\cdots +x_n)=n\mu\)
　　　\(V(x_1+x_2+\cdots +x_n)=n\sigma^2\)
\(E(kX)=kE(X),~V(kX)=k^2V(X)\) であるので、
　　　\(E\left(\dfrac{x_1+x_2+\cdots +x_n}{n}\right)=\mu\)
　　　\(V\left(\dfrac{x_1+x_2+\cdots +x_n}{n}\right)= \dfrac{\sigma^2}{n}\)

1.1 確率変数と自販機

確率変数は自動販売機にたとえることができます。
ボタンを押せばデータが出てくる自動販売機です。

アイスクリーム
あるアイスクリーム屋さんのアイスの重さは、平均５０ｇ、標準偏差２ｇの正規分布に従います。
アイスクリーム屋さんの前に自販機があり、あなたは毎日買いに行っています。
ボタンを押すとアイスが出てくる自販機は確率変数です。
クリームのしぼり加減か、アイスの量は少し多めの時と少なめの時があるような気がします。
アイス好きのあなたは１年間アイスの重さを測ってみました。

x <- rnorm(365,50,2)
hist(x,prob=T)

平均50 を中心に左右に標準偏差3つ分の範囲にほぼ全てが収まっています。
（標準偏差3つ分の範囲に99%、2つ分の範囲に95%が収まっていると言われています）

この自販機が確率変数であり、\(X= N(50,2^2)\) と表すことができます。
この大文字のXから値を365個出力させたものが、x= rnorm(365,50,2) です。

1.2 標本確率変数

標本平均は確率変数であることを強調するため標本確率変数という言葉を用いました。
自販機Xをまとめ買いモードに設定します。まとめ買いモード４に設定すると、ボタン一つで４個のアイスが出てくる訳です。
　　　\((X_1,X_2,X_3,X_4)\) は同時分布を持つ確率変数です。（ここでは立ち入りません）
４個のアイスの重さの平均
　　　\(\overline{X}=\dfrac{X_1+X_2+X_3+X_4}{4}\) 　は確率変数です。
まとめ買いモード４の自販機でボタンを押すと、４個のアイスとレシートが出てきて、そのレシートには４個の重さと４個の重さの平均が記載されている。
この４個の重さの平均が標本平均と呼ばれる確率変数です。

今年はアイスクリームの年なので、毎日４個のアイスを買う許可が出ました。
あなたは毎日４個のアイスを自販機でまとめ買いし、重さの標本平均を集計しました。正規乱数を用いて、標本平均の確率分布を調べてみましょう。

X = c()
for (i in 1:365) {
  x <- mean(rnorm(4,50,2))
  X <-c(X,x)
}
mean(X)

## [1] 50.0702

sd(X)

## [1] 1.049677

hist(X,prob=T)

標本平均の期待値は 50
標本平均の標準偏差は 2 となっています。

xのヒストグラムと標本平均Xのヒストグラムを重ねて比較します。

data <- data.frame(x1 = rnorm(365,50,2),
                   x2 = X)
df <- melt(data) 

## No id variables; using all as measure variables

g <- ggplot(df, aes(x = value,y = ..density.., fill = variable))
g <- g + geom_histogram(position = "identity", alpha = 0.7)
g <- g + scale_fill_npg()
plot(g)

## Warning: The dot-dot notation (`..density..`) was deprecated in ggplot2 3.4.0.
## ℹ Please use `after_stat(density)` instead.

## `stat_bin()` using `bins = 30`. Pick better value with `binwidth`.

xの期待値とXの期待値は共通で 50
xの標準偏差は 2、Xの標準偏差はその半分の 1 となっています。

1.3 標本平均の分布

標本平均とは、サンプリングで得られた標本データ(確率変数)の平均です。
　　　\(\bar{X}　= \dfrac{x_{1}+x_{2}+...+x_{n}}{n}\)　　　各標本データ \(x_i\) は独立

各標本データ \(x_i\) の 平均を \(\mu\) 、分散を \(\sigma^2\) とすると、
標本平均 \(\bar{X}\) のとる値の平均は \(\mu\)、 \(\bar{X}\) の分散は \(\dfrac{\sigma^2}{n}\) になります。

上の例で、
アイスの重さ X は、 平均 50, 分散 \(2^2\)
4個の標本平均\(\bar{X}\)は、平均 50, 分散 \(\dfrac{1}{4}2^2=1\)
標準偏差は分散の平方根なので、
X の標準偏差は ２ 、４個の標本平均 \(\bar{X}\) の標準偏差は 1 、

山の広がりは半分になります。

理論上の確率密度関数は以下の通りです。

x <- rnorm(10000,0,1)
sum(x)

## [1] -38.61321

sum((x)^2)/10

## [1] 1012.48

var(x)

## [1] 1.012567

2 推定と検定

ヒストグラムや確率密度関数（確率分布のグラフ）は起こりやすさを表しています。
山の高いところは起こりやすく、山の低いところは起こりにくいところです。
・平均を中心に左右標準偏差 2つ分に95％が入ると考えるのが統計的推測、
・標準偏差 2つ分より中心から離れることはあり得ない（5％しかない）と考えるのが統計的検定です。

推定や検定は、数学モデルに当てはめることで可能になります。
ガウスは、平均 \(\mu\) 　分散 \(\sigma^2\) である確率変数 Xの確率密度関数が、
　　　\(X\sim N(\mu,\sigma^2):f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2}}\)
　　　に当てはることが多いことを発見しました。
特に、平均 0 　分散 1 であるとき標準正規分布といい、確率変数 Zの確率密度関数は、
　　　\(Z\sim N(0,1)~~:~f(z)=\dfrac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}\)
　　　となり、確率を求める数表「標準正規分布表」が与えられています。
　　　（平均 0 　分散 1 でないときは、変数変換すると標準正規分布表を利用できます）

2.1 統計的推定

アイスクリーム
　あるアイスクリーム屋さんのアイスの重さは、平均５０ｇ、標準偏差３ｇの正規分布に従います。
あなたは大のアイス好きで、毎日欠かさず買いに行っています。 今日あなたが買うアイスの重さを確率95%で推定しましょう。
ざっくり言えば、
　　　平均が５０だから予測値は５０（点推定といいます）
平均を中心に標準偏差2つの幅に収まる確率が95%なので、
　　　４４から５６の範囲（確率95%の区間推定といいます）

もう少し練習しましょう。

よく冷える冷蔵庫
　あるメーカーの冷蔵庫１００００台について冷蔵庫内の温度ｚを調査したところ、平均μ=0、標準偏差σ=1であった。今度、自分でそのメーカーの冷蔵庫を買うことになったが、自分の買う冷蔵庫の庫内温度ｚについて、次の確率を求めよ。(標準正規分布表を利用）

• \(P(z<0)\)

• \(P(z>2)\)

• \(P(|z|<1.96)\)

平均 0 、分散 1 でないときは、標準化という変数変換を行います。

2.2 標準化

\(z=\dfrac{x-\mu}{\sigma}\)　 はXの確率密度関数のグラフを、
　　平均が 0 になるように平行移動し、
　　x軸方向へ（0を中心に）\(\sigma\) 分の１に縮小する変換です。（標準化といいます）

例えば、

• 平均３ 標準偏差２ の正規分布 \(X\sim N(3,~2^2)\) （黒色グラフ）は、

• \((X-3)\)　で、　\((X-3)\sim N(0,~2^2)\)　平均０ 標準偏差 ２のグラフ（緑色グラフ）に移動し、
  

• \(Z=\dfrac{X-3}{2}\) で、　\(Z=\dfrac{X-3}{2}\sim N (0,1)\)　標準正規分布（赤色グラフ）に圧縮されます。

curve(dnorm(x, 0, 1),xlim=c(-6, 8.5),ylim=c(0, 0.4), col=2,xaxp=c(-6,7,13))
curve(dnorm(x, 3, 2),xlim=c(-2, 7.5), add=T) 
curve(dnorm(x, 0, 2),xlim=c(-5, 4.5),  col=3,add=T) 

緑のグラフが標準正規分布で、x軸方向に0.5倍に縮小しx軸方向に3平行移動することにより、黒のグラフに移っていることが分かります。

2.2.1 練習

タイ焼くんの体重
ある店のタイ焼の重さは、平均μ=102、標準偏差σ=4.6であるという。この店からタイ焼を１００個買ってきたとき、１０５ｇから１１０ｇのタイ焼は、何個ぐらいはいっているだろうか。

自動車の燃費
あるメーカーの自動車の燃費は、平均１２㎞／ℓ、標準偏差２㎞／ℓであった。こんどそのメーカーの自動車を購入することになったが、燃費が１５㎞／ℓ以上である確率を求めよ。

人数の推計
１００００人の学生について身長を調べたところ、平均１５２㎝、標準偏差４㎝であった。身長１４８〜１５５㎝の学生数を推計せよ。

2.3 統計的仮説検定

2.3.1 検定の考え

病院にあるかたが受診に来られました。

　　　「先生、どうも血圧が高いようなんですが。」　　

その患者さんはデーターを整理することが好きで、毎日自分の血圧を測っています。

「私の血圧（最高血圧）は、平均１２０、標準偏差８の正規分布なんですが。」
患者さんは、そのデーターとヒストグラムを見せてくれました。

先生はさっそく血圧を測ってみました。
血圧１４０です。
先生は、すぐ緊急入院するように勧めました。

しかし、その患者さんは、
　　　「血圧は、日によって変動するものです。少し高いからといって、なにも入院する必要はないのではありませんか。」

あなたなら、患者さんをどう説得するでしょうか？
患者さんが統計学を勉強していることを思い出した先生は、こんな説明を思いつきました。

　　　あなたの血圧が１４０を超える確率はどのくらいか知っていますか？
　　　それは、この図の赤の棒の部分で、確率２％なのですよ。
　　　確率２％でしか起こらないことが、今、あなたの身体に起きているのですよ。

患者さんは、事態の重大さに気がついて、入院することを納得しました。

2.3.2 有意差とP値

先生の説明を整理してみましょう。
患者さんの血圧は１４０でした。
だから、血圧が１４０である確率は１００％であるはずです。
だって、今、測ったのですから！
そもそも、起きてしまったことの確率を考えたって仕方のないことです。
先生は、ある仮説のうえで説明していることに気付いたでしょうか。

　　　【仮説】身体はいつもどおり健康だ。

この前提で血圧を測るとしたら、１４０を越える確率は２％だというのです。
この仮説のもとでは、真ん中の山の高い部分、血圧１２０前後がもっとも起こりやすいのです。
血圧１４０なんて、アンビリーバブル！
緊急事態と考えるべきです。

このとき、１４０という結果は、有意であるといいます。
つまり、ここまできたら偶然ではすまされない。
なんらかの原因が考えられる。
なんらかの意味のある結果だということです。

P値
中央の平均に近いところは起こりやすく、偶然差の範囲と考えます。
中央からはずれたところは起こりにくく、特別なことが起こっていると考えます。 偶然を越えた意味のある差ということで、有意差の範囲といいます。

確率分布は平均を中心に山型の形をしており、平均から離れるほど確率は小さくなります。
確率変数 Xがある値aを出力したとき、その値よりも平均から離れる確率をP値といいます。
P値が小さいほど、その値は平均から離れており、起こりにくいことが起きていることになります。
棄却域
平均から離れた、起こることがあり得ない（確率の小さい）範囲を棄却域といいます。
- 棄却域を平均の両側に取る場合、両側検定
- 棄却域を平均の片側に取る場合、片側検定
あり得ない確率を有意水準といい、通常は5%に取ります。
両側検定では左右に2.5%ずつ、
右側検定では右側に5%、左側検定では、左側に5%
棄却域を設けます。

2.3.3 標本平均の検定

血圧の高い患者さんが、再度来院しました。

　　　「毎日、血圧を測っていますが、やはり平均が１２０で標準偏差が８です。
　　　血圧が高いような気がするので、ここ４日間、血圧を測っています。
　　　平均血圧は、１３２でした。このあいだほどではないですよね。」
先生は、緊急入院を命じました。

「えっ、このあいだは１４０だったから仕方ないとしても、今回は１３０じゃありませんか。どうして入院なんですか？」

先生は、こう説明しました。

　　　一回の測定の標準偏差が８なら、
　　　４回測定して平均する場合の標準偏差は、\(\dfrac{8}{\sqrt{4}}=\dfrac{8}{2}=4\) なのです。
　　　何回かの測定の平均は、あまり動かないはずなのです。
　　　ですから、ほんのすこし右にずれても、有意差の範囲になるのです。

整理してみましょう。

データＸの平均がμ、標準偏差がσであるとき、
　　　\(z=\dfrac{x-\mu}{\sigma}\)　
は、平均が０、標準偏差が１になります。
ｚについては、詳しい表が用意されており、偶然差と有意差を隔てる境界は、
右側では、ｚ＝1.64485です。
検査の結果が偶然差の範囲か有意差の範囲かは、標準化してｚ値を求めてみればよいのです。

患者さんの血圧が、平均１２０標準偏差８の正規分布という仮説のもとで、
１回検査をするという確率変数Ｘを考えると、
　　　Ｘは平均１２０標準偏差８の正規分布に従い、
　　　\(z=\dfrac{x-120}{8}\)　は、平均０標準偏差１の標準正規分布に従います。

　　　１回の検査で X=132 ならば、ｚ＝1.5
　　　これは偶然差の範囲です。

４回検査をするという確率変数 \(\bar{X}\) を考えると、

　　　\(\bar{X}\)は、平均１２０標準偏差４の正規分布に従い、

　　　\(z=\dfrac{x-120}{4}\)　は、平均０標準偏差１の標準正規分布に従います。

　　　４回の検査で \(\bar{X}=132\)ならば、ｚ＝3
　　　これは有意差の範囲です。

［整理］
あなたがする検査は、確率変数です。
あなたが検査をするとき考えるべきことは次のことです。

• どんな確率分布をしますか？平均・標準偏差は何ですか？
  
• ｚ値は偶然差の範囲ですか、それとも有意差の範囲ですか？

どんな検定でも、この考え方に変わりはありません。
もし有意差の範囲まで行っていれば、なにかが起こっていると判断することになります。