統計学は、大きく記述統計、推測統計、ベイズ統計の3つに分類されます。
[参考]テクノロジストマガジン 記述統計と推測統計の違い
記述統計
データの平均や分散、標準偏差などを計算して分布を明らかにし、表やグラフによる可視化を用いてデータの性質をわかりやすく記述することを目的とします。分析するデータは母集団であり、それ以外にはデータがないという前提で考えます。
推測統計
推測統計は、得られたデータ(標本)が一部分であり、それらをもとに母集団(全体)の姿を予測することを目的とします。
限られたデータから全体像を推測する手段であり、標本の性質から母集団についての仮説を立てて分析を行います。
例えば、 分散の計算には2種類の式があります。記述統計では偏差平方和をnで割りますが、推測統計では標本データから母分散を予測するため (n-1)で割る式が用いられています。
ベイズ統計
標本のデータが不十分でも事前確率を想定し、情報が追加されるごとに事前確率を事後確率に更新することで真の確率に近づいていこうという方法です。新しい情報を取り込みながら結果を更新し続ける新しい手法です。
ヒストグラムの広がりを数値で表したものが分散です。平均との差の2乗の平均で計算されます。
データが、\(X=x_1,x_2,\cdots ,x_n\) であれば、分散V(X)は、平均をmとして
\(V(X)=\dfrac{1}{n} \left[(x_1-m)^2+(x_2-m)^2+\cdots+(x_n-m)^2\right]\)
例えばデータが \(X=3,3,3\)
であれば、平均 \(m=3\) 、散らばっていませんから
\(V(X)=\dfrac{1}{3}
\left[(3-3)^2+(3-3)^2+(3-3)^2\right]=0\)
\(Y=2,3,4\) であれば、平均 \(m=3\)で
\(V(Y)=\dfrac{1}{3}
\left[(2-3)^2+(3-3)^2+(4-3)^2\right]=\dfrac{2}{3}\)
\(Z=6,7,8\) であれば、平均 \(m=7\)ですが、散らばりは同じで
\(V(Z)=\dfrac{1}{3}
\left[(2-3)^2+(3-3)^2+(4-3)^2\right]=\dfrac{2}{3}\)
計算式を簡潔に表すには\(\sum\)
(シグマ)という 記号が必要です。なるほど統計学園の説明も\(\sum\)を用いています。
\(\displaystyle \sum_1^n\)
は、1番目からn番目までたしあわせるという意味です。
この記号を用いれば、
\(\displaystyle V(X)=\dfrac{1}{n}
\sum_1^n(x_i-m)^2\) 簡潔に表現することができます。
推測統計の世界では、nの代わりに(n-1)で割って
\(\displaystyle V(X)=\dfrac{1}{n-1}
\sum_1^n(x_i-m)^2\)
を分散として用います。(不偏分散といいます)
理由は、実際のデータ分析では全てのデータを入手することは不可能で分散が小さめに出てしまいます。
そこで、(n-1)で割り分散を大きめに見積もることで、より正確な分散の推定値としています。
下に示したRStudioでの分散計算も、(n-1)で割る不偏分散が用いられています。
A=c(3,3,3)
str(A)#データAの内容
## num [1:3] 3 3 3
var(A)#データAの分散
## [1] 0
hist(A,right=FALSE,breaks=seq( 2,5,1 ))
B=c(1,2,3)
str(B)#データBの内容
## num [1:3] 1 2 3
var(B)#データBの分散
## [1] 1
hist(B,right=FALSE,breaks=seq( 1,4,1 ))
分散は平均との差の平方の平均で、平方しているため値が大きくなりすぎます。
このため、分散の平方根である標準偏差が実際のイメージに合うでしょう。
実際のデータで調べてみると、
平均を中心にして
(平均)±
3(標準偏差) の範囲にヒストグラムの山はおさまります。
平均が 3 標準偏差が 0.5 のとき、ガウスの正規分布
\(f\left( x\right) =\dfrac{1}{\sqrt{2\pi
}\cdot 0.5}\exp \left[
-\dfrac{1}{2}\left(\dfrac{x-3}{0.5}\right)^2\right]\)
をグラフで描画すると、
curve(dnorm(x, 3, 0.5),1.5,4.5)