極限定理
［収束の種類］
| 収束の種類 | 関連する定理 | 略号 |
| 概(強)収束 | 大数強法則 | \(\displaystyle P\left(\lim_{n\rightarrow\infty}X_n=Y\right)=1\) |
| 確率(弱)収束 | 大数弱法則 | \(\displaystyle \lim_{n\rightarrow\infty}P\left(|X_n-Y|>\varepsilon \right)=0\) |
| 分布(法則)収束 | 中心極限定理 | \(\displaystyle \lim_{n\rightarrow\infty}P\left(X_n\leq x \right)=P\left(X\leq x \right)\) |
| L2収束 | 確率収束する | \(\displaystyle \lim_{n\rightarrow\infty}E\left((X_n-X)^2\right)=0\) |
| L1収束 | 確率収束する | \(\displaystyle\lim_{n\rightarrow\infty}E\left((X_n-X)^1\right)=0\) |
収束関係の導出にチェビシェフの不等式などが使われる。
［マルコフの不等式］
\(Y\geq 0~,~E(Y)<+\infty\) のとき
\(\forall c>0\) に対し \(P(Y\geq c)\leq \dfrac{E(Y)}{c}\)
∵ \(\displaystyle E(Y)= \int _{Y\geq c}+\int _{Y< c} \geq \int _{Y\geq c}Y\geq c\int _{Y\geq c}1=c\cdot P(Y\geq c)\)
［チェビシェフの不等式］
\(P\left(|X-\mu|\geq K\right)\leq \dfrac{\sigma^2}{K^2}\)
∵ \(\displaystyle \sigma^2=E((X-\mu)^2)= \int _{|X-\mu|\geq K}+\int _{|X-\mu|< K} \geq \int _{|X-\mu|\geq K} \geq K^2\int _{{|X-\mu|\geq K}}1=K^2\cdot P({|X-\mu|\geq K})\)
階段関数による近似イメージによる略証で示すと、
（マルコフ） \(c\cdot P(Y\geq c)\leq E(Y)\)
∵ \(\displaystyle c\cdot P(Y\geq c)\fallingdotseq \sum_{c_i>c} c\cdot P(Y= c_i)<\sum_{c_i>c} c_i\cdot P(Y= c_i)\leq E(Y)\)
（チェビシェフ） \(K^2\cdot P\left(|X-\mu|\geq K\right)\leq \sigma^2\)
∵ \(\displaystyle K^2\cdot P\left(|X-\mu|\geq K\right)\fallingdotseq
\sum_{K_i>K} K^2\cdot P\left(|X-\mu|=K_i\right)
<\sum_{K_i>K} K_i^2\cdot P\left(|X-\mu|=K_i\right)\leq V(X)\)
［大数弱法則］
確率変数 \(X_1,X_2,\cdots,X_n\) が独立で同じ平均 \(\mu\) と分散 \(\sigma^2\) を持つとき、
標本平均 \(\overline{X}\) は \(\mu\) に確率収束し、かつ \(N \left(\mu,\dfrac{\sigma^2}{n}\right)\) に分布収束する。
即ち、 \(X_1,X_2,\cdots,X_n;i.i.d.\sim (\mu,\sigma^2):\sigma^2<+\infty\) のとき、 \(\overline{X}\rightarrow \mu\) （確率収束）
（証明） \(\varepsilon^2 P\left(|\overline{X}-\mu|\geq \varepsilon \right)\leq
\dfrac{\sigma^2}{n}
\) より、 \( P\left(|\overline{X}-\mu|\geq \varepsilon \right)\leq \dfrac{\sigma^2}{n\varepsilon^2}~\rightarrow
~0
\)
これは、 \(V(\overline{X})=\dfrac{\sigma^2}{n}\) であることによると考えられる。
「L2収束 ⇨ 確率収束」もチェビシェフの不等式により確かめられる。
\(\displaystyle \lim_{n\rightarrow\infty}E\left((X_n-X)^2\right)=0~\Longrightarrow~ \lim_{n\rightarrow\infty}P\left(|X_n-X|>\varepsilon \right)=0\)
∵ \(\varepsilon ^2\cdot P\left(|X_n-X|\geq \varepsilon \right)\leq E\left((X_n-X)^2\right)~\rightarrow~0\)
「L1収束 ⇨ 確率収束」についてもマルコフの不等式により確かめられる。
\(\displaystyle \lim_{n\rightarrow\infty}E\left(|X_n-X|\right)=0~\Longrightarrow~\lim_{n\rightarrow\infty}P\left(|X_n-X|>\varepsilon \right)=0\)
∵ \(\varepsilon \cdot P\left(|X_n-X|\geq \varepsilon \right)\leq E\left(|X_n-X|\right)~\rightarrow~0\)
マルコフの不等式もチェビシェフの不等式も本質は同じである。
［分布(法則)収束］
\(\displaystyle X_n\xrightarrow[~d~~]{}X~~\iff~~\lim_{n\rightarrow\infty}P\left(X_n\leq x \right)=P\left(X\leq x \right)\) （ \(at~F(x)=P\left(X\leq x \right)\) の連続点)
［連続写像定理］
\(X_n\xrightarrow[~d~~]{}X\) のとき、連続関数 \(f\) に対し \( f(X_n)\xrightarrow[~d~~]{} f(X)\)
（分布収束する確率変数の、連続関数による像は分布収束する）
［レヴィの連続性定理］
\(X_n\xrightarrow[~d~~]{}X\) である必要十分条件は、特性関数が特性関数に各点収束することである。
詳しい証明は、
東京大学大学院准教授 鈴木 大慈 様
http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2017/probth/Supplementary1.pdf
レヴィの連続性定理を見ると、特性関数がいかに重要な役割を果たしているかが分かる。
レヴィの連続性定理を用いて中心極限定理を示そう。
［中心極限定理］
\(X_1,X_2,\cdots,X_n;i.i.d.\sim (\mu,\sigma^2):\sigma^2<+\infty\) のとき、
\(\sqrt{n}(\overline{X}-\mu)\xrightarrow[~d~~]{} N\left(0,~\sigma^2\right)\) （ワークp55の形）
（注意）
\(\overline{X}\xrightarrow[~d~~]{} N \left(\mu,\dfrac{\sigma^2}{n}\right)\)
としたいところであるが、
収束先の確率分布に変数nが残っているのは数理的に問題があり、変数nのない形にするために \(\sqrt{n}\) 倍をした。
このほかの形としては、次のものがある。
\(\sqrt{n}\overline{X}\xrightarrow[~d~~]{} N\left(\mu,~\sigma^2\right)~\iff~\displaystyle \lim_{n \to \infty}P\left(\sqrt{n}\overline{X}\leq x\right)=\int_{-\infty}^{x} \dfrac{1}{\sqrt{2\pi}\sigma}\exp\left[-\dfrac{1}{2}\left(\dfrac{y-\mu}{\sigma}\right)^2\right]dy\)
\(\displaystyle \left. \left(\overline{X}-\mu\right) \right/ \dfrac{\sigma}{\sqrt{n}}\xrightarrow[~d~~]{}
N\left(0,~1\right)~\iff~\lim_{n \to \infty}P\left(\left. \left(\overline{X}-\mu\right)
\right/ \dfrac{\sigma}{\sqrt{n}}\leq x\right)
=\int_{-\infty}^{x} \dfrac{1}{\sqrt{2\pi}}\exp\left(-\dfrac{1}{2}y^2\right)dy\)
（証明）
簡単のため、\(X_1,X_2,\cdots,X_n\) を標準化した \(Z_1,Z_2,\cdots,Z_n;i.i.d.\sim (0,~1)\) に対して、
\(\overline{Z}=\dfrac{Z_1}{n}+\dfrac{Z_2}{n}+\cdots+\dfrac{Z_n}{n}\) より \(\sqrt{n}\overline{Z}=\dfrac{Z_1}{\sqrt{n}}+\dfrac{Z_2}{\sqrt{n}}+\cdots+\dfrac{Z_n}{\sqrt{n}}\sim (0,~1^2)\)
特性関数 \(\varphi_{\sqrt{n}\overline{Z}}(t)=E\left(\exp \left(it\left[\dfrac{Z_1}{\sqrt{n}}+\dfrac{Z_2}{\sqrt{n}}+\cdots+\dfrac{Z_n}{\sqrt{n}}\right]\right)\right)\)
\(Z_i\) の特性関数は同一であるから、\(\varphi(\theta)=E\left(e^{i\theta Z_1}\right)\) とすると、\(E\left(\exp\dfrac{it Z_1}{\sqrt{n}}\right)=\varphi\left(\dfrac{t}{\sqrt{n}}\right)\)
故に、 \(\displaystyle \varphi_{\sqrt{n}\overline{Z}}(t)=\prod_{i=1}^nE\left(\exp\dfrac{it Z_i}{\sqrt{n}}\right)=\varphi\left(\dfrac{t}{\sqrt{n}}\right)^n\)
マクローリン展開から
\(e^{i\theta Z_1}=1+i\theta Z_1+\dfrac{(i\theta Z_1)^2}{2}+\cdots\dfrac{(i\theta Z_1)^n}{n!}+\cdots\) であるので、
\(\varphi(\theta)=E\left(e^{i\theta Z_1}\right)=1+i\theta E(Z_1)+\dfrac{(i\theta)^2E( Z_1^2)}{2}+\cdots\dfrac{(i\theta)^nE( Z_1^n)}{n!}+\cdots\)
\(\varphi(0)=1\) 、\(\varphi'(0)=iE\left(Z_1\right)=0\) 、\(\varphi''(0)=i^2E\left(Z_1^2\right)=i^2V(Z_1)=-1\)
故に、 \(\varphi\left(\dfrac{t}{\sqrt{n}}\right)
=\varphi(0)+\dfrac{t}{\sqrt{n}}\varphi'(0)+\dfrac{t^2}{n}\dfrac{\varphi''(0)}{2}+o\left(\dfrac{1}{n}\right)
=1-\dfrac{t^2}{2n}+o\left(\dfrac{1}{n}\right)\)
\(\varphi_{\sqrt{n}\overline{Z}}(t)=\left(1-\dfrac{t^2}{2n}+o\left(\dfrac{1}{n}\right)\right)^n
\fallingdotseq \left(1-\dfrac{t^2}{2n}\right)^n
=\left[\left(1-\dfrac{t^2}{2n}\right)^{-\dfrac{2n}{t^2}}\right]^{-\dfrac{t^2}{2}}
\longrightarrow \exp\left({-\dfrac{t^2}{2}}\right)
\)
標準正規分布 \(Z\sim \phi \left( z\right) =\dfrac{1}{\sqrt{2\pi }}\exp \left( -\dfrac{z^{2}}{2}\right) \) のモーメント母関数は、
\(\begin{split}
M_{z}\left( t\right) =E\left( e^{tz}\right) &=\int ^{\infty }_{-\infty }e^{tz}\dfrac{1}{\sqrt{2\pi }}e^{-\dfrac{z^{2}}{2}}dz=\dfrac{1}{\sqrt{2\pi }}\int _{-\infty }^{\infty }e^{tz-\dfrac{z^{2}}{2}}dz\\
&=\dfrac{1}{\sqrt{2\pi }}\int ^{\infty }_{-\infty }\exp \left[ -\dfrac{\left( z-t\right) ^{2}}{2}+\dfrac{t^{2}}{2}\right] dz\\&=
e^{\dfrac{t^{2}}{2}}\int _{-\infty }^{\infty }\dfrac{1}{\sqrt{2\pi }}e^{-\dfrac{\left( z-t\right) ^{2}}{2}}dz=\exp\left({\dfrac{t^{2}}{2}}\right)
\end{split}\)
特性関数は、\(\varphi_Z(t)=E(e^{itZ})=\exp\left({-\dfrac{t^2}{2}}\right)\) であるから、 \(\varphi_{\sqrt{n}\overline{Z}}(t)\longrightarrow \varphi_Z(t)\)
特性関数が特性関数に各点収束するので、 \(\sqrt{n}\overline{Z}\xrightarrow[~d~~]{}Z\sim N(0,1)\)
一般の \(X_1,X_2,\cdots,X_n;i.i.d.\sim (\mu,\sigma^2):\sigma^2<+\infty\) に対しては、
\(X_i=\sigma Z_i+\mu\) より \(\overline{X}=\sigma \overline{Z}+\mu\)
\(E\left(\overline{X}\right)=\mu~,~V\left(\overline{X}\right)=\dfrac{\sigma^2}{n}\) となり、 （分布収束）がいえる。
（参考サイト）
お気持ち統計学 様 「中心極限定理とは」
https://sugaku-okimoti.com/archives/1270#fracsqrtnbarX-musigma