極限定理と漸近理論


漸近理論

極限定理


[収束の種類]

収束の種類 関連する定理 略号
概(強)収束 大数強法則 \(\displaystyle P\left(\lim_{n\rightarrow\infty}X_n=Y\right)=1\)
確率(弱)収束 大数弱法則 \(\displaystyle \lim_{n\rightarrow\infty}P\left(|X_n-Y|>\varepsilon \right)=0\)
分布(法則)収束 中心極限定理 \(\displaystyle \lim_{n\rightarrow\infty}P\left(X_n\leq x \right)=P\left(X\leq x \right)\)
L2収束 確率収束する \(\displaystyle \lim_{n\rightarrow\infty}E\left((X_n-X)^2\right)=0\)
L1収束 確率収束する \(\displaystyle\lim_{n\rightarrow\infty}E\left((X_n-X)^1\right)=0\)

収束関係の導出にチェビシェフの不等式などが使われる。

[マルコフの不等式]

\(Y\geq 0~,~E(Y)<+\infty\) のとき

      \(\forall c>0\) に対し \(P(Y\geq c)\leq \dfrac{E(Y)}{c}\)

     ∵ \(\displaystyle E(Y)= \int _{Y\geq c}+\int _{Y< c} \geq \int _{Y\geq c}Y\geq c\int _{Y\geq c}1=c\cdot P(Y\geq c)\)

[チェビシェフの不等式]

     \(P\left(|X-\mu|\geq K\right)\leq \dfrac{\sigma^2}{K^2}\)

     ∵ \(\displaystyle \sigma^2=E((X-\mu)^2)= \int _{|X-\mu|\geq K}+\int _{|X-\mu|< K} \geq \int _{|X-\mu|\geq K} \geq K^2\int _{{|X-\mu|\geq K}}1=K^2\cdot P({|X-\mu|\geq K})\)

階段関数による近似イメージによる略証で示すと、

 (マルコフ)   \(c\cdot P(Y\geq c)\leq E(Y)\)

     ∵ \(\displaystyle c\cdot P(Y\geq c)\fallingdotseq \sum_{c_i>c} c\cdot P(Y= c_i)<\sum_{c_i>c} c_i\cdot P(Y= c_i)\leq E(Y)\)

 (チェビシェフ) \(K^2\cdot P\left(|X-\mu|\geq K\right)\leq \sigma^2\)

     ∵ \(\displaystyle K^2\cdot P\left(|X-\mu|\geq K\right)\fallingdotseq \sum_{K_i>K} K^2\cdot P\left(|X-\mu|=K_i\right)
<\sum_{K_i>K} K_i^2\cdot P\left(|X-\mu|=K_i\right)\leq V(X)\)

[大数弱法則]

確率変数 \(X_1,X_2,\cdots,X_n\) が独立で同じ平均 \(\mu\) と分散 \(\sigma^2\) を持つとき、

     標本平均 \(\overline{X}\) は \(\mu\) に確率収束し、かつ \(N \left(\mu,\dfrac{\sigma^2}{n}\right)\) に分布収束する。

即ち、 \(X_1,X_2,\cdots,X_n;i.i.d.\sim (\mu,\sigma^2):\sigma^2<+\infty\) のとき、 \(\overline{X}\rightarrow \mu\) (確率収束)

(証明)  \(\varepsilon^2 P\left(|\overline{X}-\mu|\geq \varepsilon \right)\leq \dfrac{\sigma^2}{n}
\) より、 \( P\left(|\overline{X}-\mu|\geq \varepsilon \right)\leq \dfrac{\sigma^2}{n\varepsilon^2}~\rightarrow ~0
\)

     これは、 \(V(\overline{X})=\dfrac{\sigma^2}{n}\) であることによると考えられる。

「L2収束 ⇨ 確率収束」もチェビシェフの不等式により確かめられる。

     \(\displaystyle \lim_{n\rightarrow\infty}E\left((X_n-X)^2\right)=0~\Longrightarrow~ \lim_{n\rightarrow\infty}P\left(|X_n-X|>\varepsilon \right)=0\)

     ∵ \(\varepsilon ^2\cdot P\left(|X_n-X|\geq \varepsilon \right)\leq E\left((X_n-X)^2\right)~\rightarrow~0\)

「L1収束 ⇨ 確率収束」についてもマルコフの不等式により確かめられる。

     \(\displaystyle \lim_{n\rightarrow\infty}E\left(|X_n-X|\right)=0~\Longrightarrow~\lim_{n\rightarrow\infty}P\left(|X_n-X|>\varepsilon \right)=0\)

     ∵ \(\varepsilon \cdot P\left(|X_n-X|\geq \varepsilon \right)\leq E\left(|X_n-X|\right)~\rightarrow~0\)

マルコフの不等式もチェビシェフの不等式も本質は同じである。

[分布(法則)収束]

     \(\displaystyle X_n\xrightarrow[~d~~]{}X~~\iff~~\lim_{n\rightarrow\infty}P\left(X_n\leq x \right)=P\left(X\leq x \right)\)  ( \(at~F(x)=P\left(X\leq x \right)\) の連続点)

[連続写像定理]

\(X_n\xrightarrow[~d~~]{}X\) のとき、連続関数 \(f\) に対し \( f(X_n)\xrightarrow[~d~~]{} f(X)\)

(分布収束する確率変数の、連続関数による像は分布収束する)

[レヴィの連続性定理]

\(X_n\xrightarrow[~d~~]{}X\) である必要十分条件は、特性関数が特性関数に各点収束することである。

詳しい証明は、
東京大学大学院准教授 鈴木 大慈 様
      http://ibis.t.u-tokyo.ac.jp/suzuki/lecture/2017/probth/Supplementary1.pdf

レヴィの連続性定理を見ると、特性関数がいかに重要な役割を果たしているかが分かる。

レヴィの連続性定理を用いて中心極限定理を示そう。

[中心極限定理]

\(X_1,X_2,\cdots,X_n;i.i.d.\sim (\mu,\sigma^2):\sigma^2<+\infty\) のとき、

     \(\sqrt{n}(\overline{X}-\mu)\xrightarrow[~d~~]{} N\left(0,~\sigma^2\right)\)  (ワークp55の形)

(注意)

\(\overline{X}\xrightarrow[~d~~]{} N \left(\mu,\dfrac{\sigma^2}{n}\right)\) としたいところであるが、
収束先の確率分布に変数nが残っているのは数理的に問題があり、変数nのない形にするために \(\sqrt{n}\) 倍をした。

このほかの形としては、次のものがある。

     \(\sqrt{n}\overline{X}\xrightarrow[~d~~]{} N\left(\mu,~\sigma^2\right)~\iff~\displaystyle \lim_{n \to \infty}P\left(\sqrt{n}\overline{X}\leq x\right)=\int_{-\infty}^{x} \dfrac{1}{\sqrt{2\pi}\sigma}\exp\left[-\dfrac{1}{2}\left(\dfrac{y-\mu}{\sigma}\right)^2\right]dy\)

     \(\displaystyle \left. \left(\overline{X}-\mu\right) \right/ \dfrac{\sigma}{\sqrt{n}}\xrightarrow[~d~~]{} N\left(0,~1\right)~\iff~\lim_{n \to \infty}P\left(\left. \left(\overline{X}-\mu\right) \right/ \dfrac{\sigma}{\sqrt{n}}\leq x\right)
=\int_{-\infty}^{x} \dfrac{1}{\sqrt{2\pi}}\exp\left(-\dfrac{1}{2}y^2\right)dy\)

(証明)

簡単のため、\(X_1,X_2,\cdots,X_n\) を標準化した \(Z_1,Z_2,\cdots,Z_n;i.i.d.\sim (0,~1)\) に対して、

\(\overline{Z}=\dfrac{Z_1}{n}+\dfrac{Z_2}{n}+\cdots+\dfrac{Z_n}{n}\) より \(\sqrt{n}\overline{Z}=\dfrac{Z_1}{\sqrt{n}}+\dfrac{Z_2}{\sqrt{n}}+\cdots+\dfrac{Z_n}{\sqrt{n}}\sim (0,~1^2)\)

特性関数 \(\varphi_{\sqrt{n}\overline{Z}}(t)=E\left(\exp \left(it\left[\dfrac{Z_1}{\sqrt{n}}+\dfrac{Z_2}{\sqrt{n}}+\cdots+\dfrac{Z_n}{\sqrt{n}}\right]\right)\right)\)

\(Z_i\) の特性関数は同一であるから、\(\varphi(\theta)=E\left(e^{i\theta Z_1}\right)\) とすると、\(E\left(\exp\dfrac{it Z_1}{\sqrt{n}}\right)=\varphi\left(\dfrac{t}{\sqrt{n}}\right)\)

故に、 \(\displaystyle \varphi_{\sqrt{n}\overline{Z}}(t)=\prod_{i=1}^nE\left(\exp\dfrac{it Z_i}{\sqrt{n}}\right)=\varphi\left(\dfrac{t}{\sqrt{n}}\right)^n\)

マクローリン展開から

\(e^{i\theta Z_1}=1+i\theta Z_1+\dfrac{(i\theta Z_1)^2}{2}+\cdots\dfrac{(i\theta Z_1)^n}{n!}+\cdots\) であるので、

     \(\varphi(\theta)=E\left(e^{i\theta Z_1}\right)=1+i\theta E(Z_1)+\dfrac{(i\theta)^2E( Z_1^2)}{2}+\cdots\dfrac{(i\theta)^nE( Z_1^n)}{n!}+\cdots\)

     \(\varphi(0)=1\) 、\(\varphi'(0)=iE\left(Z_1\right)=0\) 、\(\varphi''(0)=i^2E\left(Z_1^2\right)=i^2V(Z_1)=-1\)

故に、 \(\varphi\left(\dfrac{t}{\sqrt{n}}\right)
=\varphi(0)+\dfrac{t}{\sqrt{n}}\varphi'(0)+\dfrac{t^2}{n}\dfrac{\varphi''(0)}{2}+o\left(\dfrac{1}{n}\right)
=1-\dfrac{t^2}{2n}+o\left(\dfrac{1}{n}\right)\)

\(\varphi_{\sqrt{n}\overline{Z}}(t)=\left(1-\dfrac{t^2}{2n}+o\left(\dfrac{1}{n}\right)\right)^n
\fallingdotseq \left(1-\dfrac{t^2}{2n}\right)^n
=\left[\left(1-\dfrac{t^2}{2n}\right)^{-\dfrac{2n}{t^2}}\right]^{-\dfrac{t^2}{2}}
\longrightarrow \exp\left({-\dfrac{t^2}{2}}\right)
\)

標準正規分布  \(Z\sim \phi \left( z\right) =\dfrac{1}{\sqrt{2\pi }}\exp \left( -\dfrac{z^{2}}{2}\right) \) のモーメント母関数は、

     \(\begin{split}
M_{z}\left( t\right) =E\left( e^{tz}\right) &=\int ^{\infty }_{-\infty }e^{tz}\dfrac{1}{\sqrt{2\pi }}e^{-\dfrac{z^{2}}{2}}dz=\dfrac{1}{\sqrt{2\pi }}\int _{-\infty }^{\infty }e^{tz-\dfrac{z^{2}}{2}}dz\\
&=\dfrac{1}{\sqrt{2\pi }}\int ^{\infty }_{-\infty }\exp \left[ -\dfrac{\left( z-t\right) ^{2}}{2}+\dfrac{t^{2}}{2}\right] dz\\&=
e^{\dfrac{t^{2}}{2}}\int _{-\infty }^{\infty }\dfrac{1}{\sqrt{2\pi }}e^{-\dfrac{\left( z-t\right) ^{2}}{2}}dz=\exp\left({\dfrac{t^{2}}{2}}\right)
\end{split}\)

特性関数は、\(\varphi_Z(t)=E(e^{itZ})=\exp\left({-\dfrac{t^2}{2}}\right)\) であるから、 \(\varphi_{\sqrt{n}\overline{Z}}(t)\longrightarrow \varphi_Z(t)\)

特性関数が特性関数に各点収束するので、 \(\sqrt{n}\overline{Z}\xrightarrow[~d~~]{}Z\sim N(0,1)\)

一般の \(X_1,X_2,\cdots,X_n;i.i.d.\sim (\mu,\sigma^2):\sigma^2<+\infty\) に対しては、

\(X_i=\sigma Z_i+\mu\) より   \(\overline{X}=\sigma \overline{Z}+\mu\)   

\(E\left(\overline{X}\right)=\mu~,~V\left(\overline{X}\right)=\dfrac{\sigma^2}{n}\) となり、 (分布収束)がいえる。

(参考サイト)

お気持ち統計学 様 「中心極限定理とは」

     https://sugaku-okimoti.com/archives/1270#fracsqrtnbarX-musigma


© hyoccori-toukei 2021