ベルヌーイ分布
\(X\sim Ber(p)\) のとき
\(E(X)=p~~,~~V(X)=pq\)
\(G_X(t)=E(t^X)=t^0q+t^1p=q+pt\)
\(M_X(t)=E(e^{tX})=e^{t\cdot 0}q+e^{t\cdot1}p=q+pe^t\)
\(\phi_X(t)=E(e^{itX})=q+pe^{it}\)
\(X\sim Ber(p)=Bin(1,p)\) ：１回しか行わない二項分布と考えることもできる。
二項分布
\(X_1,X_2,\cdots,X_n\sim Ber(p):i.i.d\) ：起こった回数をカウントする確率変数
\(X=X_1+X_2+\cdots+X_n\sim Bin(n,p)\) ：n回の試行で起こった回数
独立な確率変数の和で表されるので応用がしやすい。
\(E(X)=np~~,~~V(X)=npq\)
\(G_X(t)=E(t^{X_1+\cdots+X_n})=(t^0q+t^1p)^n=(q+pt)^n\)
\(M_X(t)=E(e^{t({X_1+\cdots+X_n})})=(e^{t\cdot 0}q+e^{t\cdot 1}p)^n=(q+pe^t)^n\)
\(\phi_X(t)=E(e^{itX})=(q+pe^{it})^n\)
多次元ベルヌーイ分布
\(X=(X^{(1)},~X^{(2)},~\cdots X^{(k)})\sim M(1;p_1,\cdots ,p_k)\) ：k種の事柄 \(A_1,\cdots,A_k\) について起こった回数をカウント
\(E(X)=(p_1,\cdots ,p_k)~~,~~\Sigma=
\begin{pmatrix}
p_1q_1&-p_1p_2&\cdots &-p_1p_k\\
\vdots&\vdots& &\vdots\\
-p_kp_1& -p_kp_2&\cdots &p_kq_k
\end{pmatrix}\)
\(G_X(t_1,\cdots t_k)=E(t_1^{X^{(1)}}\cdots t_k^{X^{(k)}})=t_1^1p_1+\cdots +t_k^1p_k=t_1p_1+\cdots +t_kp_k\)
多項分布
\(X_1,X_2,\cdots,X_n\sim M(1;p_1,\cdots ,p_k):i.i.d\) ： \(A_1,\cdots,A_k\) について起こった回数をn回カウント
\(E(X)=(np_1,\cdots ,np_k)~~,~~\Sigma=
\begin{pmatrix}
np_1q_1&-np_1p_2&\cdots &-np_1p_k\\
\vdots&\vdots& &\vdots\\
-np_kp_1& -np_kp_2&\cdots &np_kq_k
\end{pmatrix}\)
\(G_X(t_1,\cdots t_k)=G_{X_1+\cdots+X_n}(t_1,\cdots t_k)=(t_1p_1+\cdots +t_kp_k)^n\)
幾何分布（定義１）
あつまれ統計の森 様 「統計検定準1級問題解説 ～2019年6月実施 問2 幾何分布～」
https://www.hello-statisticians.com/toukei-kentei-semi1-kakomon-cat/kakomon-semi1-2019/201906-02.html
「離散型確率分布の数式まとめ」（ベルヌーイ分布、二項分布、ポアソン分布、幾何分布 etc）
https://www.hello-statisticians.com/explain-terms-cat/probdist1.html#i-3
［基本］
成功確率 p の独立なベルヌーイ試行を繰り返したとき、はじめて成功するまでの試行回数
Xの分布を幾何分布 \(Ge(p)\) という。初めて成功するのが x 回目であり、
\(P(X=n)=p(1-p)^{n-1}\) \(E(X)=\dfrac{1}{p}~~,~~V(X)=\dfrac{1-p}{p^2}=\dfrac{q}{p^2}\)
期待値は、\(\displaystyle \frac{1}{(1-x)^2} = \sum_{n=1}^{\infty} nx^{n-1}\) を用いて計算。 また、
\(\displaystyle \frac{2}{(1-x)^3} = \sum_{n=2}^{\infty} n(n-1)x^{n-2}\)
\(\displaystyle \begin{align}
E[X(X-1)] &= \sum_{x=2}^{\infty} x(x-1)p(1-p)^{x-1}=p(1-p) \sum_{x=2}^{\infty} x(x-1)(1-p)^{x-2}=p(1-p) \frac{2}{(1-(1-p))^3}=\frac{2(1-p)}{p^2}
\end{align}\) に注意
\(q=1-p\) とおくと、
確率母関数 \(\displaystyle G_X(t)=E(t^X)=\sum t^x\cdot pq^{x-1}=\sum pt(qt)^{x-1}=\dfrac{pt}{1-qt}\) （等比級数の和）
モーメント母関数 \(\displaystyle M_X(t)=E(e^{tX})=\sum e^{tx}\cdot p(1-p)^{x-1}=\sum pe^t\cdot (qe^t)^{x-1}=\dfrac{pe^t}{1-qe^t}\)
期待値、分散も確率母関数を用いると
\(G_X'(t)=\dfrac{p(1-qt)-pt(-q)}{(1-qt)^2}=\dfrac{p}{(1-qt)^2}\) から \(E(X)=G_X'(1)=\dfrac{p}{p^2}=\dfrac{1}{p}\)
\(G_X''(t)=\dfrac{2pq(1-qt)}{(1-qt)^4}=\dfrac{2pq}{(1-qt)^3}\) から \(E\left(X(X-1)\right)=\dfrac{2q}{p^2}\) 、 \(V(X)=\dfrac{2q}{p^2}+\dfrac{1}{p}-\dfrac{1}{p^2}=\dfrac{q}{p^2}=\dfrac{1-p}{p^2}\)
（負の二項分布も確率母関数を使ったほうがよい）
もう１つの定義
はじめて成功するまでの失敗回数 の分布と定義するとどう変わるか整理しよう。
成功するまでの試行回数 \(X\) は \(X=Y+1\) であり
\(E(Y+1)=\dfrac{1}{p}~~,~~V(Y+1)=\dfrac{1-p}{p^2}=\dfrac{q}{p^2}\)
\(E(Y)=\dfrac{1}{p}-1=\dfrac{q}{p}~~,~~V(Y)=\dfrac{1-p}{p^2}=\dfrac{q}{p^2}\)
このほうがまとまりがよいように思う。
\(\displaystyle G_Y(t)=E(t^{X-1})=\sum t^{x-1}\cdot pq^{x-1}=\dfrac{p}{1-qt}\)
\(\displaystyle M_Y(t)=E(e^{t(X-1)})=\sum e^{t(x-1)}\cdot p(1-p)^{x-1}=\dfrac{p}{1-qe^t}\)
ワークは「もう一つの定義」によっているので整理しておこう。
幾何分布（定義２）
成功確率 p の独立なベルヌーイ試行を繰り返したとき、
はじめて成功するまでの失敗回数 Xの分布を幾何分布\(Ge(p)\) という。
\(P(X=k)=pq^{k}\) モーメント母関数から求めよう。
\(\displaystyle M_X(t)=E(e^{tX})=\sum_k e^{tk}\cdot pq^{k}=\dfrac{p}{1-qe^t}\)
\(\displaystyle G_X(t)=E(t^X)=\sum_k t^{k}\cdot pq^{k}=\dfrac{p}{1-qt}\)
\(G'_X(t)=\dfrac{pq}{(1-qt)^2}\) から、 \(E(X)=G'_X(1)=\dfrac{pq}{(1-q)^2}=\dfrac{q}{p}\)
\(G''_X(t)=\dfrac{2pq^2}{(1-qt)^3}\) から、 \(E\left(X(X-1)\right)=G''_X(1)=\dfrac{2pq^2}{(1-q)^3}=\dfrac{2q^2}{p}\)
\(V(X)=E\left(X(X-1)\right)+E(X)-E(X)^2=\dfrac{q}{p^2}\)
負の二項分布
幾何分布を一般化したもので、ベルヌーイ試行を繰り返し行ったとき
r 回目の事象 Aが起こったときまでに 、事象 \(\overline{A}\) が起こった回数を確率変数 X とする。
r 回のA（ \(A_1,A_2,\cdots,A_r\) とかく）に \(x\) 回の \(\overline{A}\) が挟まれている。
\(\overline{A}\cdots A_1,\overline{A}\cdots A_2,\cdots ,\overline{A}\cdots A_r\)
\(\overline{A}\) の場所の決め方は、\({}_{x+r-1}C_{x}\) 通り。
\(A_1,A_2,\cdots,A_r\) から繰り返しを許して \(x\) 回選び、選んだ \(A_i\) の左に \(\overline{A}\) を入れる方法と考えると、
\({}_rH_x={}_{r+x-1}C_x\) 通り
\(P(X=x)={}_{x+r-1}C_x p^{r}(1-p)^{x}
={}_rH_xq^x p^r\)
これを負の二項分布という。
幾何分布の定義をもう１つの定義にしておけば、\(X_i\sim Ge(p):i.i.d.\) （\(i=1,2,\cdots ,r\) ）
\(X=X_1+X_2+\cdots +X_r\sim NB(r,p)\) （ negative binomial dist. ）
\(\overline{A}\cdots A_1,\overline{A}\cdots A_2,\cdots ,\overline{A}\cdots A_r\) の各ブロックの中の \(\overline{A}\) の個数が \(X_1,X_2,\cdots ,X_r\) であり、
\(x=X_1+X_2+\cdots +X_r\) を満たす のパターン数は、
重複組合せ \({}_rH_y={}_{r+y-1}C_{y}\) 通り。
各パターンの確率は \(q^y p^r\) だから
\(P(X=x)={}_rH_xq^x p^r\) \(P(X=x)={}_rH_xq^x p^r\)
\(\displaystyle E\left(X\right)=\sum_{k=1}^r E\left(X_k\right)= r\dfrac{q}{p}\) \(V(X)=r\dfrac{q}{p^2}\)
\(\displaystyle G_X(t)=E(t^{X_1+\cdots+X_n})=\prod_{k=1}^rE(t^{X_k})=\left(\dfrac{p}{1-qt}\right)^r\)
高知工科大学 井上 昌昭 様 基礎数学ワークブック番外編「確率分布」
http://www.core.kochi-tech.ac.jp/m_inoue/work/pdf/2005/bangai01/03.pdf
統計科学研究所 様 確率変数と確率分布
https://statistics.co.jp/reference/Toukeidatakaiseki_Nyumon/datakaiseki_nyumon3.pdf
\(r\) 回成功するまでの回数 Y は、独立な \(r\) 個の幾何分布の和で表され、負の二項分布という。
パラメーターは p のみであることに注意する。
\(\begin{align}
P(Y=y|r,p) = {}_r H_{y} p^{r} (1-p)^{y}, \quad y=0,1,2,…
\end{align}\)
\(\begin{align}
P(X=k|r,p) = {}_{r+k-1} C_k (1-p)^{k} p^{r}
\end{align}\)
負の二項分布のNB(r,p)は、表が出る確率がpのコイン投げを考える際に、
r回表が出るまでにX=k回裏が出る確率P(X=k|r,p)について考える分布である。
超幾何分布
N個からn個を非復元で取り出すとき、M個の種族 からの個数が従う分布
\(Y\sim HG(N,M,n)\)
\(P(Y=y)=\dfrac{{}_M C_y\times {}_{N-M} C_{n-y}}{{}_N C_n}\)
［復元で取り出す場合］
\(Z\sim Bin\left(n,\dfrac{M}{N}\right)\) \(E(Z)=n\cdot \dfrac{M}{N}~~~,~~~V(Z)=n\cdot \dfrac{M}{N}\left(1-\dfrac{M}{N}\right)\)
二項分布に従う。
［非復元で取り出す場合］
\(Y\sim HG(N,M,n)\) \(E(Y)=n\cdot \dfrac{M}{N}~~~,~~~V(Y)=n\cdot
\dfrac{M}{N}\left(1-\dfrac{M}{N}\right)
\times \dfrac{N-n}{N-1}\)
有限母集団修正という。（期待値は変わらず、分散は小さくなる）
ポアソン分布
単位時間中にある事象が発生する平均回数をλとする。
単位時間中にその事象が発生する回数をXとするとき、X はポアソン分布に従う。
\(p\left( x| \lambda \right) =\dfrac{\lambda ^{x}}{x!}\ e^{-\lambda }\)
［前提条件］
・独立性：次に起きる確率は、これまでの経過に関係しない。
・定常性：確率は、対象とする期間中は一定である。
・希少性：微小時間内では２回起こらない。
\(X\sim Po(\lambda)\) ： ポアソン分布に従うとき、\(E(X)=\lambda\) 、\(V(X)=\lambda\)