ヒストグラムや確率密度関数(確率分布のグラフ)は起こりやすさを表しています。
山の高いところは起こりやすく、山の低いところは起こりにくいところです。
 ざっくりと表現すると、

・平均を中心に左右標準偏差 2つ分に95%が入ると考えるのが統計的推測、
・標準偏差 2つ分より中心から離れることはあり得ない(5%しかない)と考えるのが統計的検定です。
 (正確な数値は以下に記述します)

推定や検定は、数学モデルに当てはめることで可能になります。
ガウスは、平均 \(\mu\)  分散 \(\sigma^2\) である確率変数 Xの確率密度関数が、
   \(X\sim N(\mu,\sigma^2):f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2}}\)
   に当てはることが多いことを発見しました。
特に、平均 0  分散 1 であるとき標準正規分布といい、確率変数 Zの確率密度関数は、
   \(Z\sim N(0,1)~~:~f(z)=\dfrac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}\)
   となり、確率を求める数表「標準正規分布表」が与えられています。
   (平均 0  分散 1 でないときは、変数変換すると標準正規分布表を利用できます)

1 統計的推定

アイスクリーム
 あるアイスクリーム屋さんのアイスの重さは、平均50g、標準偏差3gの正規分布に従います。
あなたは大のアイス好きで、毎日欠かさず買いに行っています。 今日あなたが買うアイスの重さを確率95%で推定しましょう。
ざっくり言えば、
   平均が50だから予測値は50(点推定といいます)
平均を中心に標準偏差2つの幅に収まる確率が95%なので、
   44から56の範囲(確率95%の区間推定といいます)

もう少し練習しましょう。

(標準正規分布表はなるほど統計学園(統計的推定と統計的仮説検定)の下部にあります。)

よく冷える冷蔵庫
 あるメーカーの冷蔵庫10000台について冷蔵庫内の温度zを調査したところ、平均μ=0、標準偏差σ=1であった。今度、自分でそのメーカーの冷蔵庫を買うことになったが、自分の買う冷蔵庫の庫内温度zについて、次の確率を求めよ。(標準正規分布表を利用)

  • \(P(z<0)\)
     \(P(z<0)=P(z<0)=0.5\)

  • \(P(z>2)\)
     \(P(z>2)=0.5-P(0<z<2)=0.5-0.47725=0.02275\)

  • \(P(|z|<1.96)\)
     \(P(|z|<1.96)=2P(0<z<1.96)=2*0.475=0.95\)

1.0.1 注意

冒頭で「標準偏差2つ分」と書きましたが、正確には

・平均を中心に左右標準偏差 標準偏差 1.96個分に95%が入ると考えるのが統計的推測、
・標準偏差 標準偏差 1.96個分より中心から離れることはあり得ない(5%しかない)と考えるのが統計的検定です。

以降、95%の推定では「1.96個分」を用いてください。

平均 0 、分散 1 でないときは、標準化という変数変換を行います。

1.0.2 標準化

\(z=\dfrac{x-\mu}{\sigma}\)  はXの確率密度関数のグラフを、
  平均が 0 になるように平行移動し、
  x軸方向へ(0を中心に)\(\sigma\) 分の1に縮小する変換です。(標準化といいます)

例えば、

  • 平均3 標準偏差2 の正規分布 \(X\sim N(3,~2^2)\) (黒色グラフ)は、

  • \((X-3)\) で、 \((X-3)\sim N(0,~2^2)\) 平均0 標準偏差 2のグラフ(緑色グラフ)に移動し、

  • \(Z=\dfrac{X-3}{2}\) で、 \(Z=\dfrac{X-3}{2}\sim N (0,1)\) 標準正規分布(赤色グラフ)に圧縮されます。

curve(dnorm(x, 0, 1),xlim=c(-6, 8.5),ylim=c(0, 0.4), col=2,xaxp=c(-6,7,13))
curve(dnorm(x, 3, 2),xlim=c(-2, 7.5), add=T) 
curve(dnorm(x, 0, 2),xlim=c(-5, 4.5),  col=3,add=T) 

緑のグラフが標準正規分布で、x軸方向に0.5倍に縮小しx軸方向に3平行移動することにより、黒のグラフに移っていることが分かります。

タイ焼くんの体重
ある店のタイ焼の重さは、平均μ=102、標準偏差σ=4.6であるという。
この店からタイ焼を100個買ってきたとき、105gから110gのタイ焼は、何個ぐらいはいっているだろうか。
(解)

 \(105<x<110\) とすると、
   \(3<x-102<8\)  \(\therefore ~~\dfrac{3}{4.6}<\dfrac{x-102}{4.6}<\dfrac{8}{4.6}\)
 \(\begin{split}    P(0.652<Z<1.739)&=P(0<Z<1.739)-P(0<Z<0.652)\\    &=0.45907-0.24215\\&=0.21692    \end{split}\)
   よって、22個くらい入っている。

自動車の燃費
あるメーカーの自動車の燃費は、平均12㎞/ℓ、標準偏差2㎞/ℓであった。
こんどそのメーカーの自動車を購入することになったが、燃費が15㎞/ℓ以上である確率を求めよ。
(解)

 \(x>15\) とすると、

   \(x-12>3\)  \(\therefore \dfrac{x-12}{2}>1.5\)

   \(P(Z>1.5)=0.5-P(0<Z<1.5)=0.5-0.43319=0.0668\)
   確率は、約7%である。  

人数の推計
10000人の学生について身長を調べたところ、平均152㎝、標準偏差4㎝であった。
身長148〜155㎝の学生数を推計せよ。 (解)

 \(148<x<155\) とすると、

   \(-4<x-152<3\)  \(\therefore ~~\dfrac{-4}{4}<\dfrac{x-152}{4}<\dfrac{3}{4}\)
 \(\begin{split}    P(-1<Z<0.75)&=P(0<Z<0.75)+P(0<Z<1)\\    &=0.27337+0.34134\\&=0.61471    \end{split}\)
   10000人の中では、約6147人と推定される。

2 統計的仮説検定

2.1 検定の考え

病院にあるかたが受診に来られました。

   「先生、どうも血圧が高いようなんですが。」  

その患者さんはデーターを整理することが好きで、毎日自分の血圧を測っています。

「私の血圧(最高血圧)は、平均120、標準偏差8の正規分布なんですが。」
患者さんは、そのデーターとヒストグラムを見せてくれました。


先生はさっそく血圧を測ってみました。
血圧140です。
先生は、すぐ緊急入院するように勧めました。

しかし、その患者さんは、
   「血圧は、日によって変動するものです。少し高いからといって、なにも入院する必要はないのではありませんか。」

あなたなら、患者さんをどう説得するでしょうか?
患者さんが統計学を勉強していることを思い出した先生は、こんな説明を思いつきました。

   あなたの血圧が140を超える確率はどのくらいか知っていますか?
   それは、この図の赤の棒の部分で、確率2%なのですよ。
   確率2%でしか起こらないことが、今、あなたの身体に起きているのですよ。

患者さんは、事態の重大さに気がついて、入院することを納得しました。

2.2 有意差とP値

先生の説明を整理してみましょう。
患者さんの血圧は140でした。
だから、血圧が140である確率は100%であるはずです。
だって、今、測ったのですから!
そもそも、起きてしまったことの確率を考えたって仕方のないことです。
先生は、ある仮説のうえで説明していることに気付いたでしょうか。

   【仮説】身体はいつもどおり健康だ。

この前提で血圧を測るとしたら、140を越える確率は2%だというのです。
この仮説のもとでは、真ん中の山の高い部分、血圧120前後がもっとも起こりやすいのです。
血圧140なんて、アンビリーバブル!
緊急事態と考えるべきです。

このとき、140という結果は、有意であるといいます。
つまり、ここまできたら偶然ではすまされない。
なんらかの原因が考えられる。
なんらかの意味のある結果だということです。

P値
中央の平均に近いところは起こりやすく、偶然差の範囲と考えます。
中央からはずれたところは起こりにくく、特別なことが起こっていると考えます。 偶然を越えた意味のある差ということで、有意差の範囲といいます。

確率分布は平均を中心に山型の形をしており、平均から離れるほど確率は小さくなります。
確率変数 Xがある値aを出力したとき、その値よりも平均から離れる確率をP値といいます。
P値が小さいほど、その値は平均から離れており、起こりにくいことが起きていることになります。

棄却域
平均から離れた、起こることがあり得ない(確率の小さい)範囲を棄却域といいます。
- 棄却域を平均の両側に取る場合、両側検定
- 棄却域を平均の片側に取る場合、片側検定
あり得ない確率を有意水準といい、通常は5%に取ります。
両側検定では左右に2.5%ずつ、
右側検定では右側に5%、左側検定では、左側に5%
棄却域を設けます。

2.3 標本平均の検定

血圧の高い患者さんが、再度来院しました。

   「毎日、血圧を測っていますが、やはり平均が120で標準偏差が8です。
   血圧が高いような気がするので、ここ4日間、血圧を測っています。
   平均血圧は、132でした。このあいだほどではないですよね。」
先生は、緊急入院を命じました。

「えっ、このあいだは140だったから仕方ないとしても、今回は130じゃありませんか。どうして入院なんですか?」

先生は、こう説明しました。

   一回の測定の標準偏差が8なら、
   4回測定して平均する場合の標準偏差は、\(\dfrac{8}{\sqrt{4}}=\dfrac{8}{2}=4\) なのです。
   何回かの測定の平均は、あまり動かないはずなのです。
   ですから、ほんのすこし右にずれても、有意差の範囲になるのです。

整理してみましょう。

データXの平均がμ、標準偏差がσであるとき、
   \(z=\dfrac{x-\mu}{\sigma}\) 
は、平均が0、標準偏差が1になります。
zについては、詳しい表が用意されており、偶然差と有意差を隔てる境界は、
右側では、z=1.64485です。
検査の結果が偶然差の範囲か有意差の範囲かは、標準化してz値を求めてみればよいのです。

患者さんの血圧が、平均120標準偏差8の正規分布という仮説のもとで、
1回検査をするという確率変数Xを考えると、
   Xは平均120標準偏差8の正規分布に従い、
   \(z=\dfrac{x-120}{8}\) は、平均0標準偏差1の標準正規分布に従います。

   1回の検査で X=132 ならば、z=1.5
   これは偶然差の範囲です。

4回検査をするという確率変数 \(\bar{X}\) を考えると、

   \(\bar{X}\)は、平均120標準偏差4の正規分布に従い、

   \(z=\dfrac{x-120}{4}\) は、平均0標準偏差1の標準正規分布に従います。

   4回の検査で \(\bar{X}=132\)ならば、z=3
   これは有意差の範囲です。

[整理]
あなたがする検査は、確率変数です。
あなたが検査をするとき考えるべきことは次のことです。

  • どんな確率分布をしますか?平均・標準偏差は何ですか?
  • z値は偶然差の範囲ですか、それとも有意差の範囲ですか?

どんな検定でも、この考え方に変わりはありません。 もし有意差の範囲まで行っていれば、なにかが起こっていると判断することになります。

2.4 フライドポテトの重量

なるほど統計学園(統計的推定と統計的仮説検定) を参照しながら読んでください。

駅前のハンバーガー店のフライドポテトを買うと「135g」と表示されています。
家へ持ち帰ってデジタルはかりで計測すると 120g でした。 花子さんは「135g」という表示に疑問を持ち、調査のためさらに9個、合計10個を買って重さを調べたところ

120g 124g 126g 130g 130g 131g 132g 133g 134g 140g

となりました。
「135g」という表示は適性と言えるか、統計的仮説検定を行ってみましょう。

帰無仮説:駅前のハンバーガー店のフライドポテトの重量は公表値の「135g」である。

確率変数はフライドポテトの重さXです。
Xの分散 \(\sigma^2\) が分かっているかどうかで方法は変わります。

<Xの分散が分かっているとき>
\(\sigma^2=36\) とします。
平均 \(\mu=135\) と仮説を立てているので
   \(X\sim N(135,6^2)\)
10個のまとめ買いモードで得られる標本平均 \(\bar{X}=\dfrac{X_1+X_2+\cdots+X_{10}}{10}\)  は確率変数で
   \(\bar{X}\sim N\left(135,\dfrac{6^2}{10}\right)\)
今ボタンをまとめ買いモードで1回押しました。
袋に入って出てきたのが
   {120g 124g 126g 130g 130g 131g 132g 133g 134g 140g}
レシートには  \(\bar{X}=130\) と記載されています。
この値は、どれだけ平均から離れているでしょうか?
離れすぎていれば、帰無仮説は疑わしいと考えるのが検定です。
Z値は、平均から標準偏差いくつぶん離れているかを表す数値で、
   \(Z=\dfrac{130-135}{\frac{6}{\sqrt{10}}}=-2.64\)
平均から標準偏差2.64個分、左に離れていることになります。
両側検定では、左右に標準偏差2.64個以上離れる確率をP値と考えます。
(標準正規分布表はなるほど統計学園(統計的推定と統計的仮説検定)の下部にあります。)

標準正規分布表から検定統計量2.64に対応する値を確認すると(0.5-0.49585)=0.00415、
両側検定では2倍した値がP値となるので0.0083がP値となります。
この値は 0.05よりも小さいことから、起こり得ないことが起きたと考えます。
即ち、帰無仮説は疑わしいと考え、棄却します。

しかし、現実には母分散\(\sigma^2\) が分かっていることはありません。
そこで考えられたのが 母分散を標本の不偏分散で代用する方法です。

<Xの分散が分かっていないとき>
まとめ買いモードの自販機から得られた
   {120g 124g 126g 130g 130g 131g 132g 133g 134g 140g}
から計算した不偏分散は
  \(s^2=\dfrac{1}{n-1} \sum^{n}_{i=1}(x_{i}-\bar{x})^{2}= \dfrac{1}{10-1}\{ ( 120-135)^{2} + ( 124-135)^{2}+ \cdots + ( 140-135)^{2} \}=31.33\)

不偏分散の平方根は、\(s=\sqrt{31.33}=5.59\)  これを母標準偏差\(\sigma\)の推定値として用います。
(10で割って計算する標本分散は小さめに出てしまうので、不偏分散が用いられます)

 \(\bar{X}\sim N\left(\mu,\dfrac{\sigma^2}{n}\right)\) なので、標本平均 \(\bar{X}\) の母分散は\(\dfrac{\sigma^2}{n}\)   母標準偏差は \(\dfrac{\sigma}{\sqrt{n}}\)
   \(Z=\dfrac{\bar{X}-\mu}{\frac{\sigma}{\sqrt{n}}}\sim N(0,1)\) 標準正規分布に従います。
現実には \(\sigma\) は分からないので、標本の不偏分散から計算した \(s\) で代用したとき、
   \(t=\dfrac{\bar{X}-\mu}{\frac{s}{\sqrt{n}}}\) は標準正規分布に似た分布に従います。
これをt分布といいます。 \(\frac{s}{\sqrt{n}}\) は、\(\bar{X}\) の標準偏差の推定値で、標準誤差といいます。

t分布と標準誤差
X の標準偏差は \(\sigma\)\(\bar{X}\) の標準偏差は \(\frac{\sigma}{\sqrt{n}}\)
不偏分散で代用した\(\bar{X}\) の標準偏差
   \(SE=\dfrac{s }{\sqrt{n}}=\dfrac{\sqrt{ \dfrac{1}{n-1} \sum^{n}_{i=1}(x_{i}-\bar{x})^{2}} }{\sqrt{n}}\)    標準誤差(standard error)
  標準誤差は\(\bar{X}\) の標準偏差の推定値ということになります。

標準誤差は不偏分散で代用した標本平均\(\bar{X}\) の標準偏差であり、
標準誤差で標準化するとt値になり、その分布がt分布です。

n個の標本から求めた不偏分散は、(n-1)で割っているので自由度は(n-1)です。
(自由度については別の機会に説明します)
t値は自由度の影響を受け、自由度によって山型グラフの広がりかたが変わります。
t分布についても数表が用意されており、有意水準に対する境界値を調べることができます。

フライドポテトの例では、
   \(t=\dfrac{130-135}{\frac{5.59}{\sqrt{10}}}=-2.82\)
t分布表の自由度9の有意水準0.025の境界は2.262 であり、-2.82 は境界値より離れているので、
両側検定のP値は 0.05 より小さくなります。
よって、「フライドポテトの重さは135g」は棄却されます。
(t分布とt検定については「情報Ⅰ」問題解決の章で発展的な内容として取り上げられています。)

次に、r での検定の結果を示します。 標準誤差 SE は rでも計算でき、1.77 です。

library(plotrix) #計算のためのパッケージ
x <- c(120,124,126,130,130,131,132,133,134,140)
std.error(x) #標準誤差
## [1] 1.770122

平均が135かどうかのt検定は次のコードで実行されます。

x <- c(120,124,126,130,130,131,132,133,134,140)
t.test(x, mu=135)
## 
##  One Sample t-test
## 
## data:  x
## t = -2.8247, df = 9, p-value = 0.01989
## alternative hypothesis: true mean is not equal to 135
## 95 percent confidence interval:
##  125.9957 134.0043
## sample estimates:
## mean of x 
##       130

[結果の見方]
one sampleは、{120g 124g 126g 130g 130g 131g 132g 133g 134g 140g}
このサンプルの平均は130ですが、それをもとに「母集団平均が135と異なる」かどうか検定します。
仮説として「母集団平均が135のままである」とします。(帰無仮説)
本当に言いたいことは、 alternative hypothesis: true mean is not equal to 135(135と異なること)です。
まとめ買い自販機からの one sampleの平均130 は確率的に起こりうるものでしょうか?
one sampleの平均130が、135から標準偏差いくつ分離れているかで判断します。

\(\bar{X}\) の標準偏差は母標準偏差\(\sigma\)が既知ならば \(\frac{\sigma}{\sqrt{10}}\)ですが、分からないので標準誤差\(SE\)で代用します。
one sampleの平均が135から標準誤差\(SE\)いくつ分離れているか計算した値がt値です。
t = -2.8247より、標準誤差2.8247個分、左に離れており、それ以上離れる確率は両側で p-value = 0.01989です。
t分布の自由度9の段を見ると、右側0.025の有意点は 2.262 、即ち、SE 2.262個以上右に離れる確率は 0.025
平均から右にSE 2.262個の点を計算すると、\(130+2.262*SE=130+2.262*1.77\fallingdotseq134\)
平均から左にSE 2.262個の点を計算すると、\(130-2.262*SE=130-2.262*1.77\fallingdotseq126\)
95 percent confidence interval:(126 , 134)(区間推定と言います)
点推定値は、sample estimates: mean of x = 130

どうでしょうか。 計算はパソコンがやってくれますが、結果の解釈は簡単ではありません。
特に、標準誤差は難しい概念なので、練習を通してじっくり学んでください。

東北大学 池田郁男先生の資料を参考に上げておきます。
今は難しくても、将来きっと役に立つことと思います。

標準正規分布とt分布は、どのくらい違うのでしょうか?

par(family = "HiraKakuProN-W3") 
curve(dnorm(x, 0, 1),xlim=c(-5, 5),ylim=c(0, 0.4), col=2,xaxp=c(-6,7,13))
curve(dt(x, 9),xlim=c(-5, 5),col=3, add=T) 
legend( "topleft",legend=c("標準正規分布","t分布"), col=c("red","green"),lty=c(1,1))

t分布の方が少し広がった分布であることが分かります。
棄却域(有意差の範囲)はどうでしょうか。

自由度9のt分布の両側5%棄却域

#グラフ
xseq <- seq(-5, 5,length=100)
plot(xseq, dt(xseq, 9),type="l")
p <- seq(-5, -2.262, length=100)
y <- dt(p, 9)
polygon(c(p,rev(p)), c(rep(0,length(p)), rev(y)), col="skyblue")
p <- seq(2.262, 5, length=100)
y <- dt(p, 9)
polygon(c(p,rev(p)), c(rep(0,length(p)), rev(y)), col="skyblue")

境界点は 2.26 です。

標準正規分布の両側 5% 棄却域

#グラフ
xseq <- seq(-5, 5,length=100)
plot(xseq, dnorm(xseq, 0, 1),type="l")
  
p <- seq(-5, -1.96, length=100)
y <- dnorm(p, 0, 1)
polygon(c(p,rev(p)), c(rep(0,length(p)), rev(y)), col="skyblue")
p <- seq(1.96, 5, length=100)
y <- dnorm(p, 0, 1)
polygon(c(p,rev(p)), c(rep(0,length(p)), rev(y)), col="skyblue")

境界点は 1.96 です。