記述統計と推測統計

統計学は、大きく記述統計、推測統計、ベイズ統計の３つに分類されます。
［参考］テクノロジストマガジン　記述統計と推測統計の違い

記述統計
データの平均や分散、標準偏差などを計算して分布を明らかにし、表やグラフによる可視化を用いてデータの性質をわかりやすく記述することを目的とします。分析するデータは母集団であり、それ以外にはデータがないという前提で考えます。

推測統計
推測統計は、得られたデータ(標本)が一部分であり、それらをもとに母集団（全体）の姿を予測することを目的とします。
限られたデータから全体像を推測する手段であり、標本の性質から母集団についての仮説を立てて分析を行います。

例えば、 分散の計算には２種類の式があります。記述統計では偏差平方和をnで割りますが、推測統計では標本データから母分散を予測するため (n-1)で割る式が用いられています。

ベイズ統計
標本のデータが不十分でも事前確率を想定し、情報が追加されるごとに事前確率を事後確率に更新することで真の確率に近づいていこうという方法です。新しい情報を取り込みながら結果を更新し続ける新しい手法です。

1 記述統計

1.1 特性値

［参考］なるほど統計学園（上級）データの散らばりを見る

1.1.1 分散

ヒストグラムの広がりを数値で表したものが分散です。平均との差の２乗の平均で計算されます。

データが、\(X=x_1,x_2,\cdots ,x_n\) であれば、分散V(X)は、平均をmとして

　　　\(V(X)=\dfrac{1}{n} \left[(x_1-m)^2+(x_2-m)^2+\cdots+(x_n-m)^2\right]\)

例えばデータが　\(X=3,3,3\) であれば、平均　\(m=3\)　、散らばっていませんから
　　　\(V(X)=\dfrac{1}{3} \left[(3-3)^2+(3-3)^2+(3-3)^2\right]=0\)

\(Y=2,3,4\) であれば、平均　\(m=3\)で
　　　\(V(Y)=\dfrac{1}{3} \left[(2-3)^2+(3-3)^2+(4-3)^2\right]=\dfrac{2}{3}\)

\(Z=6,7,8\) であれば、平均　\(m=7\)ですが、散らばりは同じで
　　　\(V(Z)=\dfrac{1}{3} \left[(2-3)^2+(3-3)^2+(4-3)^2\right]=\dfrac{2}{3}\)

計算式を簡潔に表すには\(\sum\) (シグマ)という 記号が必要です。なるほど統計学園の説明も\(\sum\)を用いています。
\(\displaystyle \sum_1^n\) は、１番目からn番目までたしあわせるという意味です。
この記号を用いれば、
　　　\(\displaystyle V(X)=\dfrac{1}{n} \sum_1^n(x_i-m)^2\)　　簡潔に表現することができます。

1.1.2 注意

推測統計の世界では、nの代わりに(n-1)で割って
　　　\(\displaystyle V(X)=\dfrac{1}{n-1} \sum_1^n(x_i-m)^2\)　　　　 を分散として用います。（不偏分散といいます）
理由は、実際のデータ分析では全てのデータを入手することは不可能で分散が小さめに出てしまいます。
そこで、(n-1)で割り分散を大きめに見積もることで、より正確な分散の推定値としています。
下に示したRStudioでの分散計算も、(n-1)で割る不偏分散が用いられています。

A=c(3,3,3)
str(A)#データAの内容

##  num [1:3] 3 3 3

var(A)#データAの分散

## [1] 0

hist(A,right=FALSE,breaks=seq( 2,5,1 ))

B=c(1,2,3)
str(B)#データBの内容

##  num [1:3] 1 2 3

var(B)#データBの分散

## [1] 1

hist(B,right=FALSE,breaks=seq( 1,4,1 ))

1.1.3 標準偏差

分散は平均との差の平方の平均で、平方しているため値が大きくなりすぎます。
このため、分散の平方根である標準偏差が実際のイメージに合うでしょう。
実際のデータで調べてみると、
平均を中心にして
　　（平均）± 3（標準偏差）　の範囲にヒストグラムの山はおさまります。

平均が 3 標準偏差が 0.5 のとき、ガウスの正規分布
　　　\(f\left( x\right) =\dfrac{1}{\sqrt{2\pi }\cdot 0.5}\exp \left[ -\dfrac{1}{2}\left(\dfrac{x-3}{0.5}\right)^2\right]\) 　　をグラフで描画すると、

curve(dnorm(x, 3, 0.5),1.5,4.5) 

平均 3 を中心に、標準偏差0.5の3倍の幅にグラフがあることが分かります。

1.1.4 標準正規分布と標準化

　　　\(\dfrac{x-3}{0.5}\)　 という式に注意を向けた人もいるでしょう。

平均0,標準偏差1の正規分布を標準正規分布といい、
　　\(\phi \left( z\right) =\dfrac{1}{\sqrt{2\pi }}\exp \left( -\dfrac{z^{2}}{2}\right)\)　　で表されます。
\(z=\dfrac{x-3}{0.5}\)　 はグラフをx軸方向に0.5倍に縮小し、x軸方向に3平行移動する変換です。
（標準化といいます）

curve(dnorm(x, 0, 1),xlim=c(-2, 4.5),ylim=c(0, 0.8), col=3)
curve(dnorm(x, 3, 0.5),xlim=c(1.5, 4.5), add=T) 

緑のグラフが標準正規分布で、x軸方向に0.5倍に縮小しx軸方向に3平行移動することにより、黒のグラフに移っていることが分かります。

1.2 確率変数

検定や推定の理解の上で、もっとも重要なのは確率変数の理解です。
調査によって集めたデーターは確率変数ではありません。
それは、確率変数が出力した値です。
確率変数とは、データーを生み出す何かなのです。

あなた自身は確率変数です。
あなたが何か試行をするとき、ひとつのデーターが生み出されます。
同じ状況、同じ条件ならば、結果はいつも同じでしょうか？

那須の与一
あなたは弓の名手です。
的の一点に向かって矢を射込みます。
いつも的のど真ん中に命中するでしょうか？

あなたが那須の与一のような弓の名手であったとしても、矢がいつも同じポイントに当たるとは限りません。
しかし、矢はそのポイントの近くに集中します。
その集中の仕方にその人の特徴が現れます。
その散らばり具合を分布といいます。

次の図はシュミュレーションです。 扇の的ではなく数直線を的に、原点を狙って５０回矢を射込みました。

ど真ん中に命中とまではいかなくても、ほぼその近くに集まっていることがわかります。
０を中心に左右一寸（いっすん）の幅に集まり、３寸（３すん）はずれることはないといえます。
これをヒストグラムにしたものが、次の図です。

矢が、原点とその左右に集中している様子がよく分かります。

この図を、面積が確率を表すように修正してみます。

無限回の試行を想定したとき、この図がある関数式であらわされることを発見したのがガウスでした。

その関数のグラフは、

このグラフで表される分布を正規分布といいます。

この関数は、　 　　\(\phi \left( z\right) =\dfrac{1}{\sqrt{2\pi }}\exp \left( -\dfrac{z^{2}}{2}\right)\)　　で表されます。
このグラフは、平均が０で標準偏差が１のもので、標準正規分布といいます。

2 推測統計

2.1 母集団

さて、ここからの話は、すこし難しいものになります。
乱数発生を使うと、指定した平均と標準偏差を持つデータが、指定した個数だけ出力されます。
　　平均１０、標準偏差２の正規分布に従うデータを１００個出力したとしましょう。

12.1	8.2	9.9	9.0	9.5	10.4	12.0	14.4	8.9	12.9	9.4	9.6	9.4	7.4	13.4	9.0	8.5	12.0	9.5	9.3
10.5	10.2	13.2	7.8	11.6	9.6	9.4	10.6	6.6	8.3	9.5	9.7	13.7	8.5	8.1	8.1	7.0	11.6	11.2	9.3
9.1	10.8	7.7	7.5	13.6	11.9	13.6	11.2	9.3	14.6	8.7	8.0	7.8	8.6	8.5	11.8	9.9	9.2	14.1	10.1
11.9	12.6	11.3	7.6	10.6	15.9	10.0	10.6	10.6	9.9	10.6	8.4	9.5	10.8	11.5	8.0	9.4	8.9	7.2	12.6
6.7	13.0	8.4	8.8	13.3	9.1	9.6	9.1	11.8	13.0	12.4	10.7	9.8	9.5	10.7	9.1	7.5	13.2	9.5	14.1

これは実際に出力したデータですが、平均は10.23、標準偏差は2.02です。
１０でも２でもありません。これは、どうしたことなのでしょう。

それは、平均１０標準偏差２である無限個のデータの海があり、
その海から１００個のデータを取り出したということなのです。
たまたま取れたデータですから、その平均はきっちり１０にはならないのです。
この無限個のデータの海を母集団といいます。
母集団の無限個のデータをすべて計算すれば、その平均は１０、標準偏差は２になります。

この母集団というデータの海は次元を越えた世界にあり、
そこから私たちは確率変数という釣り竿によって、データを取りだしているのです。
その釣り竿を投げ入れるポイントに相当するものが、乱数発生におけるランダムシードなのです。

余談ですが、ユング心理学では意識を越えたところに広大な無意識の世界があり、そこに無限の可能性を秘めた自己という存在がある。今生きているあなたは、その無限の自己の投影にすぎないと言っています。そういう意味では、あなたという存在自身もまた確率変数なのです。

こんな例を考えてみましょう。

アイスクリーム
あるアイスクリーム屋さんのアイスの重さは、平均５０ｇ、標準偏差３ｇの正規分布に従います。
あなたは大のアイス好きで、毎日欠かさず買いに行っています。
でも、美容と健康のため、買うのは一日一個と決めています。

　　今日あなたが買うアイスの重さは、何ｇでしょうか？

この場合の母集団は、「今日アイスクリームを買う」ということを無限回繰り返せるとしたとき、
その無限個のアイスクリームの詰まった異次元の海です。
そのアイスクリームの海の平均が５０、標準偏差が３ということになります。

そのアイスクリームの海から、あなたは「今日のアイス」を一個、釣り上げます。
確率変数は、「あなたがアイスクリームを買う」という行為そのものになります。

母集団という考えを分かっていただけたでしょうか。
集めたすべてのデータが母集団という訳ではありません。
母集団とは、その瞬間の可能性のすべてなのです。

2.2 標本調査

なにか調査をするとき、あなたが考えるべきことは次のことでした。

あなたは、どんな検査をしますか？
その結果には、どんな可能性がありますか？
その可能性のすべてを集めたものが母集団の海です。

では、その母集団についてはどの程度分かっているのでしょうか。
実際には、母集団の海の平均や分散はよく分かっていないことが多く、
それで仮説を立てたり検定をしたりするのです。

　　今度は、釣り竿のかわりに網を用意しましょう。

あなたの網にはデータがｎ個だけ入るようになっています。 母集団の海に網を投げ入れ、ｎ個のデータを取りだします。 このように、一度にいくつものデータを得ることを標本調査といい、得られたデータを標本といいます。

１回の調査で得たデータによって、そのｎ個の平均\(\bar{X}\) 、分散 \(s^2\) 、標準偏差 \(s\) が計算可能です。

これらは確率変数です。
網を投げる度に違った値を出力します。

あなたが考えるべきことを確認しましょう。

• あなたがする検査は、網を投げるということです。
  
• 結果の可能性は、網を無限回投げることを想定したときのものです。
  
• 母集団の海は、無限個の網の詰まった海ということになります。

標本母集団の海は、もとの母集団の海とはまったく次元の異なる世界にあり、
もとの母集団との区別を理解することが大変難しいのです。

2.3 確率変数と自動販売機

確率変数を海に喩えましたが、自動販売機に喩えることもできます。
データを得るために実験をしたり調査をすることを釣り竿に喩えましたが、自販機ではデータを得るためにボタンを押します。
一番簡単で極端な例をあげます。
標本空間（確率変数Xの取りうる値の集合）が、\(S=\{1\}\) のときを考えます。
確率変数Xという自動販売機のボタンを押し続けると、どんどん１が出てきます。
(この自動販売機Xには、１が無限個入っていると考えてもよいでしょう）
どんな割合で出てくるかだけが問題なのです。

Xがサイコロをふるときの目であれば、\(S=\{1,2,3,4,5,6\}\) です。
この自販機のボタンを押し続ければ、1,2,3,4,5,6 が同じ割合で順不同で出てきます。
確率分布とは、出力される値の割合なのです。

2.3.1 乱数は自販機

Rで自動販売機の役割をするのが乱数です。
乱数は設定された平均・分散をもつ値を出力する機械で、確率変数と同じ働きをします。上の例は一様乱数 runif を用いて自販機を構成することができます。

X=1（一定）である自販機

as.integer(runif(10, min=1, max=2))

##  [1] 1 1 1 1 1 1 1 1 1 1

Xがサイコロをふるときの目である自販機

as.integer(runif(10, min=1, max=7))

##  [1] 3 4 1 5 6 2 1 6 5 3

まとめ買いのできる自販機
まとめ買いのできる自販機を考えましょう。 まとめ買いモードで４個を設定し購入ボタンを押すと、４個セットが袋に入って出てくる高性能自販機です。 袋にはレシートとして、４個の平均 \(\bar{X}\) が記載されています。
Xはサイコロを振るときの目で、\(S=\{1,2,3,4,5,6\}\) とします。

・４個まとめ買いでボタンを押すと、例えば
　　　標本：\(\{2,3,3,4\}\) 　 標本平均：\(\bar{X}=3\)
　４個は無作為に選ばれるので同じものが入ることもあります。
　復元無作為抽出と言います。

・まとめ買いでジュースを買う場合、同じものを入れたくない場合もあるでしょう。
　この場合は非復元無作為抽出と言い、
　　　標本：\(\{1,2,3,6\}\) 　 標本平均：\(\bar{X}=3\)
　のようになります。

１個買いの自販機 X は確率変数で、ボタンを押し続ければ無限個の X が得られます。
まとめ買いモードにした自販機 \(\bar{X}\) も確率変数で、ボタンを押し続ければ無限個の \(\bar{X}\) が得られます。

2.3.2 まとめ買いの乱数自販機

サイコロの目の自販機で数字を４個まとめ買いします。

as.integer(runif(4, min=1, max=7))

## [1] 5 3 4 2

４個の平均を関数 mean で計算すれば標本平均です。

mean(as.integer(runif(4, min=1, max=7)))

## [1] 3.75

では、Xの分布と \(\bar{X}\) の分布の関係はどうなっているでしょうか。

Xはサイコロの目の一様分布で、平均 3.5 、分散 35/12 です。 ４個の標本平均は、理論上 平均 3.5 、分散 35/48 となります。
同じ平均・分散を持つ正規分布曲線を記入して比べてみましょう。

X=c()
for (i in 1:1000) {
  x <- mean(as.integer(runif(4, min=1, max=7)))
  X <-c(X,x)
}
hist(X,prob=T)
curve(dnorm(x,3.5,sqrt(35/48)),add=TRUE)

たった4つの標本平均でも正規分布に近くなっているのは驚くべきことです。
標本平均が正規分布に近づくことは中心極限定理としてよく知られています。

100個の標本平均は、理論上 平均 3.5 、分散 35/1200 になるはずです。

X=c()
for (i in 1:1000) {
  x <- mean(as.integer(runif(100, min=1, max=7)))
  X <-c(X,x)
}
hist(X,prob=T)
curve(dnorm(x,3.5,sqrt(35/1200)),add=TRUE)

2.4 標本平均

\(\bar{X}\)を標本平均といいます。
もとのXの平均を \(\mu\) 、分散を \(\sigma^2\) とすると、
標本平均 \(\bar{X}\) の取りうる値の平均は \(\mu\)、 \(\bar{X}\) の分散は \(\frac{\sigma^2}{n}\) になります。

Xが平均 0, 分散 1 とすると、４個の標本平均 \(\bar{X}\) は平均 0, 分散 \(\frac{1}{4}\) 、
標準偏差は分散の平方根ですから、X の標準偏差は 1 、４個の標本平均 \(\bar{X}\) の標準偏差は 0.5 、 山の広がりは半分になります。

標本分散
標本 \(S=\{x_1,x_2,\cdots,x_n\}\) から計算した分散を標本分散といいます。
　　　 \(s^{2}= \dfrac{1}{n}\displaystyle \sum^{n}_{i=1}(x_{i}-\bar{x})^{2}= \dfrac{1}{n}\{ ( x_{1}-\bar{x})^{2} + ( x_{2}-\bar{x})^{2}+ \cdots + (x_{n}-\bar{x})^{2} \}\)
　　　　ただし、\(\bar{x}= \frac{1}{n} \sum^{n}_{i=1}x_{i} = \frac{1}{n}( x_{1}+x_{2}+ \cdots + x_{n} )\)

標本分散は、まとめ買いした袋の中のデータから計算した分散で、X の分散 \(\sigma^2\) より小さめの値を取ります。
標本分散を、値が \(\sigma^2\) に近くなるよう修正したものが不偏分散です。

不偏分散
標本分散の分母を(n-1)にしたものを不偏分散といいます。
　　　\(\hat{\sigma}^{2} = \dfrac{1}{n-1} \sum^{n}_{i=1}(x_{i}-\bar{x})^{2}= \dfrac{1}{n-1}\{ ( x_{1}-\bar{x})^{2} + ( x_{2}-\bar{x})^{2}+ \cdots + (x_{n}-\bar{x})^{2} \}\)
不偏分散は、期待値が母分散 \(\sigma^2\)になることが知られており、母分散の代用として使われます。
不偏分散 \(\hat{\sigma}^{2}\) は 母分散 \(\sigma^2\) の推定値です。

標準誤差
X の標準偏差は \(\sigma\) 、\(\bar{X}\) の標準偏差は \(\frac{\sigma}{\sqrt{n}}\)
不偏分散で代用した\(\bar{X}\) の標準偏差
　　　\(SE=\dfrac{\hat{\sigma} }{\sqrt{n}}=\dfrac{\sqrt{ \dfrac{1}{n-1} \sum^{n}_{i=1}(x_{i}-\bar{x})^{2}} }{\sqrt{n}}\) 　　 を標準誤差（standard error)と言います。

少し難しいですが、詳しく知りたい人は次のサイトで確認してください。
［参考サイト］ biostatistics様「標本分散と不偏分散」