1 ベイズの発見.

ベイズの発見を紐解いてみましょう。（想像です）.
ベイズは牧師だったそうです。ベイズはLost Coinの寓話が好きで、いつもお気に入りのコインを投げて遊んでいました。
でも、ベイズお気に入りのコインは表が出やすいような気がします。
　　４回投げてみると、表が３回出ました。
弟のコインを借りて４回投げてみると、表が２回出ました。
弟のコインは、表の出る確率 \(p\) は1/2のような気がします。

1.1 尤度.

高校で学ぶ二項分布では、表の出る確率 \(p\) としたとき、

表が２回出る確率は \({}_{4} C_{2}\:p^2\:(1-p)^2\).
この式を \(p\) の関数と見ることができるのではないか、というのがベイズの発見です。

これは４次関数です。
微積分の好きなベイズは微分してグラフを描くことにしました。

1.1.1 弟のコイン.

curve(choose(4,2)*x^2*(1-x)^2,from=0 ,to=1)

\(p=0.5\) のとき表が２回出る確率は最大なので、 \(p=0.5\)が最もありそうな値として推定されることになります。
このような推定法を最尤法といいます。
ベイズの弟のコインで表の出る確率は、0.5 と判断して良さようです。

1.1.2 ベイズのコイン.

４回投げて３回表が出る確率は \({}_{4} C_{3}\:p^3\:(1-p)\).

curve(choose(4,3)*x^3*(1-x)^1,from=0 ,to=1)

\(L(p)={}_{4} C_{3}\:p^3\:(1-p)\) として、
　　　\(L'(p)={}_{4} C_{3}\:(3p^2-4p^3)=0\) から、 \(p=3/4=0.75\). 最尤推定値は微分を利用して求めることができます。

上のグラフは、\(X=p\) を確率変数と考えたときの確率密度関数と同等であり、尤度関数は\(p\) の確率分布を表していると考えることができます。
つまり、尤度関数を \(p\) の確率分布と考えるのが尤度の考え方です。

1.2 事前分布.

４回のうち３回表が出たからといって、\(p=3/4=0.75\)と判断するのでは、相対度数を考えることと変りありません。
表と裏は同様に確からしいのですから、\(p=0.5\)というのが事前の予想としてあります。例えば、\(p\sim N\left( 0.5 ,0.1 ^{2}\right)\).

curve(dnorm(x,0.5,0.1),0,1)

これを事前の予測と考えます。pの確率密度関数で、pの事前分布といいます。
予測を確率分布で考えるところがポイントです。

1.3 事後分布.

情報が入ると確率判断が変化します。

乗法定理　\(P(H\cap D)=P(H)\cdot P(D|H)=P(D)\cdot P(H|D)\)から.
　　　\(P(H|D)=\dfrac{P(H)\cdot P(D|H)}{P(D)}\)　（分母は正規化定数で確率を１にする）

データD取得のもとでの条件確率の最大を考えるには、
　　　\(P(H|D) \propto P(H) \cdot P(D|H)\)　の最大を考えればよいことになります。

ベイズコインの事前分布の例では、

  • \(P(H)\)は表が出る確率がpである確率を意味し、
    　　　\(P(H) = \dfrac{1}{\sqrt{2 \pi}\cdot0.1} \exp \left[ -\dfrac{(p-0.5)^2}{2 (0.1)^2} \right]\)
  • \(P(D|H)\)は表が出る確率がpであるときDが起きる確率ということになり、
    　　　\(P(D|H)={}_{4} C_{3}\:p^3\:(1-p)\)

従って、ベイズの定理は、定数倍を無視すると.

　　　\(P(H|D) \propto \frac{1}{\sqrt{2 \pi}\cdot0.1}\exp \left[ -\frac{(p-0.5)^2}{2 (0.1)^2} \right] \cdot p^3(1-p)\)　　

curve(dnorm(x, mean=0.5,sd=0.1)*x^3*(1-x)^1,0,1,ylab="P(D|H)",xlab="p")

事後分布が最大となるpは、尤度関数をかけた影響で少し右へよっていることが分かります。これがベイズ推定による推定値で、データD取得により、pの推定値が更新されたことになります。
導関数が０となるpを求めればよいのですが、逐次近似法で近似計算するのがよいでしょう。

数理統計では、事前分布として共役分布を用いると計算が簡単になることが知られています。

このように、得られた情報を推定値に反映させる方法がベイズ推定です。

2 ［ベイズ推定のまとめ］.

  • 予測は確率分布で表される。(確率密度関数).
  • 情報がない段階での予測を 事前分布 という.
  • 情報が入ると予測は変化する.
    （勝負に勝てば次も勝つのではないかと考える）.

　これを予測のベイズ更新という。更新された予測を 事後分布 という。