3_推測統計

高校生のための統計学習教材（総務省統計局） の解説です。
上記サイトの第１講をダウンロードし、テキストとしてください。テキスト にそって統計ソフト「RStudio」の適用例を提示します。必要に応じて「なるほど統計学園」の参考ページを参照してください。
Rについては、橋本 洸哉 様　「Rで統計解析」 を参考にさせていただきました。

1 確率変数と確率分布

理解の難しい概念なので、補足をしたいと思います。

1.1 確率変数

検定や推定の理解の上で、もっとも重要なのは確率変数の理解です。
調査によって集めたデーターは確率変数ではありません。
それは、確率変数が出力した値です。
確率変数とは、データーを生み出す何かなのです。

あなた自身は確率変数です。
あなたが何か試行をするとき、ひとつのデーターが生み出されます。
同じ状況、同じ条件ならば、結果はいつも同じでしょうか？

那須の与一
あなたは弓の名手です。
的の一点に向かって矢を射込みます。
いつも的のど真ん中に命中するでしょうか？

あなたが那須の与一のような弓の名手であったとしても、矢がいつも同じポイントに当たるとは限りません。
しかし、矢はそのポイントの近くに集中します。
その集中の仕方にその人の特徴が現れます。
その散らばり具合を分布といいます。

次の図はシュミュレーションです。 扇の的ではなく数直線を的に、原点を狙って５０回矢を射込みました。

ど真ん中に命中とまではいかなくても、ほぼその近くに集まっていることがわかります。
０を中心に左右一寸（いっすん）の幅に集まり、３寸（３すん）はずれることはないといえます。
これをヒストグラムにしたものが、次の図です。

矢が、原点とその左右に集中している様子がよく分かります。

この図を、面積が確率を表すように修正してみます。

無限回の試行を想定したとき、この図がある関数式であらわされることを発見したのがガウスでした。

その関数のグラフは、

このグラフで表される分布を正規分布といいます。

この関数は、　 　　\(\phi \left( z\right) =\dfrac{1}{\sqrt{2\pi }}\exp \left( -\dfrac{z^{2}}{2}\right)\)　　で表されます。
このグラフは、平均が０で標準偏差が１のもので、標準正規分布といいます。

1.2 母集団

さて、ここからの話は、すこし難しいものになります。
乱数発生を使うと、指定した平均と標準偏差を持つデータが、指定した個数だけ出力されます。
　　平均１０、標準偏差２の正規分布に従うデータを１００個出力したとしましょう。

12.1	8.2	9.9	9.0	9.5	10.4	12.0	14.4	8.9	12.9	9.4	9.6	9.4	7.4	13.4	9.0	8.5	12.0	9.5	9.3
10.5	10.2	13.2	7.8	11.6	9.6	9.4	10.6	6.6	8.3	9.5	9.7	13.7	8.5	8.1	8.1	7.0	11.6	11.2	9.3
9.1	10.8	7.7	7.5	13.6	11.9	13.6	11.2	9.3	14.6	8.7	8.0	7.8	8.6	8.5	11.8	9.9	9.2	14.1	10.1
11.9	12.6	11.3	7.6	10.6	15.9	10.0	10.6	10.6	9.9	10.6	8.4	9.5	10.8	11.5	8.0	9.4	8.9	7.2	12.6
6.7	13.0	8.4	8.8	13.3	9.1	9.6	9.1	11.8	13.0	12.4	10.7	9.8	9.5	10.7	9.1	7.5	13.2	9.5	14.1

これは実際に出力したデータですが、平均は10.23、標準偏差は2.02です。
１０でも２でもありません。これは、どうしたことなのでしょう。

それは、平均１０標準偏差２である無限個のデータの海があり、
その海から１００個のデータを取り出したということなのです。
たまたま取れたデータですから、その平均はきっちり１０にはならないのです。
この無限個のデータの海を母集団といいます。
母集団の無限個のデータをすべて計算すれば、その平均は１０、標準偏差は２になります。

この母集団というデータの海は次元を越えた世界にあり、
そこから私たちは確率変数という釣り竿によって、データを取りだしているのです。
その釣り竿を投げ入れるポイントに相当するものが、乱数発生におけるランダムシードなのです。

余談ですが、ユング心理学では意識を越えたところに広大な無意識の世界があり、そこに無限の可能性を秘めた自己という存在がある。今生きているあなたは、その無限の自己の投影にすぎないと言っています。そういう意味では、あなたという存在自身もまた確率変数なのです。

こんな例を考えてみましょう。

アイスクリーム
あるアイスクリーム屋さんのアイスの重さは、平均５０ｇ、標準偏差３ｇの正規分布に従います。
あなたは大のアイス好きで、毎日欠かさず買いに行っています。
でも、美容と健康のため、買うのは一日一個と決めています。

　　今日あなたが買うアイスの重さは、何ｇでしょうか？

この場合の母集団は、「今日アイスクリームを買う」ということを無限回繰り返せるとしたとき、
その無限個のアイスクリームの詰まった異次元の海です。
そのアイスクリームの海の平均と標準偏差が５０と３ということになります。

そのアイスクリームの海から、あなたは「今日のアイス」を一個、釣り上げます。
確率変数は、「あなたがアイスクリームを買う」という行為そのものになります。

母集団という考えを分かっていただけたでしょうか。
集めたすべてのデータが母集団という訳ではありません。
母集団とは、その瞬間の可能性のすべてなのです。

1.3 標本調査

なにか調査をするとき、あなたが考えるべきことは次のことでした。

あなたは、どんな検査をしますか？
その結果には、どんな可能性がありますか？
その可能性のすべてを集めたものが母集団の海です。

では、その母集団についてはどの程度分かっているのでしょうか。
実際には、母集団の海の平均や分散はよく分かっていないことが多く、
それで仮説を立てたり検定をしたりするのです。

　　今度は、釣り竿のかわりに網を用意しましょう。

あなたの網にはデータがｎ個だけ入るようになっています。 母集団の海に網を投げ入れ、ｎ個のデータを取りだします。 このように、一度にいくつものデータを得ることを標本調査といい、得られたデータを標本といいます。

１回の調査で得たデータによって、そのｎ個の平均\(\bar{X}\) 、分散 \(s^2\) 、標準偏差 \(s\) が計算可能です。

これらは確率変数です。
網を投げる度に違った値を出力します。

あなたが考えるべきことを確認しましょう。

• あなたがする検査は、網を投げるということです。
  
• 結果の可能性は、網を無限回投げることを想定したときのものです。
  
• 母集団の海は、無限個の網の詰まった海ということになります。

標本母集団の海は、もとの母集団の海とはまったく次元の異なる世界にあり、
もとの母集団との区別を理解することが大変難しいのです。

1.4 確率変数と自動販売機

確率変数を海に例えましたが、自動販売機に例えることもできます。
データを得るために実験をしたり調査をすることを釣り竿に喩えましたが、自販機ではデータを得るためにボタンを押します。
一番簡単で極端な例をあげます。
標本空間（確率変数Xの取りうる値の集合）が、\(S=\{1\}\) のときを考えます。
確率変数Xという自動販売機のボタンを押し続けると、どんどん１が出てきます。
(この自動販売機Xには、１が無限個入っていると考えてもよいでしょう）
どんな割合で出てくるかだけが問題なのです。

Xがサイコロをふるときの目であれば、\(S=\{1,2,3,4,5,6\}\) です。
この自販機のボタンを押し続ければ、1,2,3,4,5,6 が同じ割合で順不同で出てきます。
確率分布とは、出力される値の割合なのです。

まとめ買いのできる自販機
まとめ買いのできる自販機を考えましょう。 まとめ買いモードで４個を設定し購入ボタンを押すと、４個セットが袋に入って出てくる高性能自販機です。 袋にはレシートとして、４個の平均 \(\bar{X}\) が記載されています。
Xはサイコロを振るときの目で、\(S=\{1,2,3,4,5,6\}\) とします。

・４個まとめ買いでボタンを押すと、例えば
　　　標本：\(\{2,3,3,4\}\) 　 標本平均：\(\bar{X}=3\)
　４個は無作為に選ばれるので同じものが入ることもあります。
　復元無作為抽出と言います。

・まとめ買いでジュースを買う場合、同じものを入れたくない場合もあるでしょう。
　この場合は非復元無作為抽出と言い、
　　　標本：\(\{1,2,3,6\}\) 　 標本平均：\(\bar{X}=3\)
　のようになります。

１個買いの自販機 X は確率変数で、ボタンを押し続ければ無限個の X が得られます。
まとめ買いモードにした自販機 \(\bar{X}\) も確率変数で、ボタンを押し続ければ無限個の \(\bar{X}\) が得られます。

では、Xの分布と \(\bar{X}\) の分布の関係はどうなっているでしょうか。

標本平均
\(\bar{X}\)を標本平均といいます。
もとのXの平均を \(\mu\) 、分散を \(\sigma^2\) とすると、
標本平均 \(\bar{X}\) の取りうる値の平均は \(\mu\)、 \(\bar{X}\) の分散は \(\frac{\sigma^2}{n}\) になります。

Xが平均 0, 分散 1 とすると、４個の標本平均 \(\bar{X}\) は平均 0, 分散 \(\frac{1}{4}\) 、
標準偏差は分散の平方根ですから、X の標準偏差は 1 、４個の標本平均 \(\bar{X}\) の標準偏差は 0.5 、 山の広がりは半分になります。

標本分散
標本 \(S=\{x_1,x_2,\cdots,x_n\}\) から計算した分散を標本分散といいます。
　　　 \(s^{2}= \dfrac{1}{n}\displaystyle \sum^{n}_{i=1}(x_{i}-\bar{x})^{2}= \dfrac{1}{n}\{ ( x_{1}-\bar{x})^{2} + ( x_{2}-\bar{x})^{2}+ \cdots + (x_{n}-\bar{x})^{2} \}\)
　　　　ただし、\(\bar{x}= \frac{1}{n} \sum^{n}_{i=1}x_{i} = \frac{1}{n}( x_{1}+x_{2}+ \cdots + x_{n} )\)

標本分散は、まとめ買いした袋の中のデータから計算した分散で、X の分散 \(\sigma^2\) より小さめの値を取ります。
標本分散を、値が \(\sigma^2\) に近くなるよう修正したものが不偏分散です。

不偏分散
標本分散の分母を(n-1)にしたものを不偏分散といいます。
　　　\(\hat{\sigma}^{2} = \dfrac{1}{n-1} \sum^{n}_{i=1}(x_{i}-\bar{x})^{2}= \dfrac{1}{n-1}\{ ( x_{1}-\bar{x})^{2} + ( x_{2}-\bar{x})^{2}+ \cdots + (x_{n}-\bar{x})^{2} \}\)
不偏分散は、期待値が母分散 \(\sigma^2\)になることが知られており、母分散の代用として使われます。
不偏分散 \(\hat{\sigma}^{2}\) は 母分散 \(\sigma^2\) の推定値です。

標準誤差
X の標準偏差は \(\sigma\) 、\(\bar{X}\) の標準偏差は \(\frac{\sigma}{\sqrt{n}}\)
不偏分散で代用した\(\bar{X}\) の標準偏差
　　　\(SE=\dfrac{\hat{\sigma} }{\sqrt{n}}=\dfrac{\sqrt{ \dfrac{1}{n-1} \sum^{n}_{i=1}(x_{i}-\bar{x})^{2}} }{\sqrt{n}}\) 　　 を標準誤差（standard error)と言います。

関心がある人は次のサイトで確認してください。
［参考サイト］ biostatistics様「標本分散と不偏分散」

2 統計的推定と統計的仮説検定

ヒストグラムや確率密度関数（確率分布のグラフ）は起こりやすさを表しています。
山の高いところは起こりやすく、山の低いところは起こりにくいところです。
・平均を中心に左右標準偏差 2つ分に95％が入ると考えるのが統計的推測、
・標準偏差 2つ分より中心から離れることはあり得ない（5％しかない）と考えるのが統計的検定です。

推定や検定は、数学モデルに当てはめることで可能になります。 ガウスは、平均 \(\mu\) 、分散 \(\sigma^2\) である確率変数 Xの確率密度関数が、
　　　\(X\sim N(\mu,\sigma^2):f(x)=\dfrac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2}}\)
に当てはることが多いことを発見しました。
特に、平均 0 、分散 1 であるとき標準正規分布といい、確率変数 Zの確率密度関数は、
　　　\(Z\sim N(0,1)~~:~f(z)=\dfrac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}\)
となり、確率を求める数表「標準正規分布表」が与えられています。
（平均 0 、分散 1 でないときは、変数変換によっって標準正規分布表を利用することができます）

2.1 統計的推定

アイスクリーム
あるアイスクリーム屋さんのアイスの重さは、平均５０ｇ、標準偏差３ｇの正規分布に従います。
あなたは大のアイス好きで、毎日欠かさず買いに行っています。 今日あなたが買うアイスの重さを確率95%で推定しましょう。
ざっくり言えば、
　　　平均が５０だから予測値は５０（点推定といいます） 平均を中心に標準偏差2つの幅に収まる確率が95%なので、
　　　４４から５６の範囲（確率95%の区間推定といいます）

もう少し練習しましょう。

よく冷える冷蔵庫
あるメーカーの冷蔵庫１００００台について冷蔵庫内の温度ｚを調査したところ、平均μ=0、標準偏差σ=1であった。今度、自分でそのメーカーの冷蔵庫を買うことになったが、自分の買う冷蔵庫の庫内温度ｚについて、次の確率を求めよ。(標準正規分布表を利用）

• \(P(z<0)\)
  
• \(P(z>2)\)
  
• \(P(|z|<1.96)\)

平均 0 、分散 1 でないときは、標準化という変数変換を行います。

2.1.1 標準化

　　　\(z=\dfrac{x-\mu}{\sigma}\)　 はグラフをx軸方向へ \(\sigma\)倍の拡大縮小をし、x軸方向に\(\mu\) 平行移動する変換です。
　　　（標準化といいます）
例えば、\(z=\dfrac{x-3}{0.5}\) 　はグラフをx軸方向に0.5倍に縮小し、x軸方向に3平行移動します。

curve(dnorm(x, 0, 1),xlim=c(-2, 4.5),ylim=c(0, 0.8), col=3)
curve(dnorm(x, 3, 0.5),xlim=c(1.5, 4.5), add=T) 

緑のグラフが標準正規分布で、x軸方向に0.5倍に縮小しx軸方向に3平行移動することにより、黒のグラフに移っていることが分かります。

タイ焼くんの体重
ある店のタイ焼の重さは、平均μ=102、標準偏差σ=4.6であるという。この店からタイ焼を１００個買ってきたとき、１０５ｇから１１０ｇのタイ焼は、何個ぐらいはいっているだろうか。

自動車の燃費
あるメーカーの自動車の燃費は、平均１２㎞／ℓ、標準偏差２㎞／ℓであった。こんどそのメーカーの自動車を購入することになったが、燃費が１５㎞／ℓ以上である確率を求めよ。

人数の推計
１００００人の学生について身長を調べたところ、平均１５２㎝、標準偏差４㎝であった。身長１４８〜１５５㎝の学生数を推計せよ。

2.2 統計的仮説検定

検定の考え
病院にあるかたが受診に来られました。

　　　「先生、どうも血圧が高いようなんですが。」　　

その患者さんはデーターを整理することが好きで、毎日自分の血圧を測っています。

「私の血圧（最高血圧）は、平均１２０、標準偏差８の正規分布なんですが。」
患者さんは、そのデーターとヒストグラムを見せてくれました。

先生はさっそく血圧を測ってみました。
血圧１４０です。
先生は、すぐ緊急入院するように勧めました。

しかし、その患者さんは、
　　　「血圧は、日によって変動するものです。少し高いからといって、なにも入院する必要はないのではありませんか。」

あなたなら、患者さんをどう説得するでしょうか？
患者さんが統計学を勉強していることを思い出した先生は、こんな説明を思いつきました。

　　　あなたの血圧が１４０を超える確率はどのくらいか知っていますか？
　　　それは、この図の赤の棒の部分で、確率２％なのですよ。
　　　確率２％でしか起こらないことが、今、あなたの身体に起きているのですよ。

患者さんは、事態の重大さに気がついて、入院することを納得しました。

有意差
先生の説明を整理してみましょう。
患者さんの血圧は１４０でした。
だから、血圧が１４０である確率は１００％であるはずです。
だって、今、測ったのですから！
そもそも、起きてしまったことの確率を考えたって仕方のないことです。
先生は、ある仮説のうえで説明していることに気付いたでしょうか。

　　　【仮説】身体はいつもどおり健康だ。

この前提で血圧を測るとしたら、１４０を越える確率は２％だというのです。
この仮説のもとでは、真ん中の山の高い部分、血圧１２０前後がもっとも起こりやすいのです。
血圧１４０なんて、アンビリーバブル！
緊急事態と考えるべきです。

このとき、１４０という結果は、有意であるといいます。
つまり、ここまできたら偶然ではすまされない。
なんらかの原因が考えられる。
なんらかの意味のある結果だということです。

中央の平均に近いところは起こりやすく、偶然差の範囲と考えます。
中央からはずれたところは起こりにくく、特別なことが起こっていると考えます。 偶然を越えた意味のある差ということで、有意差の範囲といいます。

標本平均の検定
血圧の高い患者さんが、再度来院しました。

　　　「毎日、血圧を測っていますが、やはり平均が１２０で標準偏差が８です。
　　　血圧が高いような気がするので、ここ４日間、血圧を測っています。
　　　平均血圧は、１３２でした。このあいだほどではないですよね。」
先生は、緊急入院を命じました。

「えっ、このあいだは１４０だったから仕方ないとしても、今回は１３０じゃありませんか。どうして入院なんですか？」

先生は、こう説明しました。

　　　一回の測定の標準偏差が８なら、
　　　４回測定して平均する場合の標準偏差は、\(\dfrac{8}{\sqrt{4}}=\dfrac{8}{2}=4\) なのです。
　　　何回かの測定の平均は、あまり動かないはずなのです。
　　　ですから、ほんのすこし右にずれても、有意差の範囲になるのです。

整理してみましょう。

データＸの平均がμ、標準偏差がσであるとき、
　　　\(z=\dfrac{x-\mu}{\sigma}\)　
は、平均が０、標準偏差が１になります。
ｚについては、詳しい表が用意されており、偶然差と有意差を隔てる境界は、
右側では、ｚ＝1.64485です。
検査の結果が偶然差の範囲か有意差の範囲かは、標準化してｚ値を求めてみればよいのです。

患者さんの血圧が、平均１２０標準偏差８の正規分布という仮説のもとで、
１回検査をするという確率変数Ｘを考えると、
　　　Ｘは平均１２０標準偏差８の正規分布に従い、
　　　\(z=\dfrac{x-120}{8}\)　は、平均０標準偏差１の標準正規分布に従います。

　　　１回の検査で X=132 ならば、ｚ＝1.5
　　　これは偶然差の範囲です。

４回検査をするという確率変数 を考えると、

　　　\(\bar{X}\)は、平均１２０標準偏差４の正規分布に従い、

　　　\(z=\dfrac{x-120}{8}\)　は、平均０標準偏差１の標準正規分布に従います。

　　　４回の検査で \(\bar{X}=132\)ならば、ｚ＝3
　　　これは有意差の範囲です。