[条件付期待値] (大学生の確率統計 p130参照)
Xの確率密度関数が、\(f_{X}( x) \) であるとき、
\(a\leq X\leq b\) における条件付き期待値は、 \(\displaystyle E\left( X| a\leq X\leq b\right) =\int _{a}^{b}x\cdot \dfrac{f_{X}\left( x\right) dx}{P\left( a\leq X\leq b\right) }\)
条件付き確率密度関数は、 \(f_{X| a\leq x\leq b}\left( x\right) =\dfrac{f_{X}\left( x\right) }{P\left( a\leq X\leq b\right) }\)
積分を \(P\left( a\leq X\leq b\right)\) で割っているだけなので、期待値や分散の線型性は成立する。
[参考]
連続の \(E\left( Y| X\right) \) のとき、\(\displaystyle E\left(Y| X=x\right) =\int ^{\infty }_{-\infty }yf_{Y|X}\left(y| x\right) dy=\int ^{\infty }_{-\infty }y\dfrac{f_{(X,Y)}\left( x,y\right) }{f_{X}\left( x\right) }dy\)
ただし、\(\displaystyle f_X(x)=\int ^{\infty }_{-\infty }f_{(X,Y)}\left(x,y\right) dy\) (周辺分布)
条件付き期待値も線型性を持つ。標準正規分布に直して計算するとよい。
\(X=\sigma Z+\mu\) \(X\geq a\) のとき \(Z\geq c\) とすると、
\(\begin{split}
E(X|X\geq a)&=E(\sigma Z+\mu|Z\geq c)\\&=\sigma E(Z|Z\geq c)+E(\mu|Z\geq c)\\
&=\sigma E(Z|Z\geq c)+\mu
\end{split}\)
問6.1 条件付期待値(類題2015④)
(1) \(X\sim N(65,10^2)\) より、\(Z=\dfrac{X-65}{10}\sim N(0,1)\)
\(X=85\) のとき、\(Z=\dfrac{85-65}{10}=2\)
偏差値は \(N(50,10)\) に変換した点数だから、\(50+2\cdot 10=70\)
(2) \(60\leq X\leq 85 \iff -0.5\leq Z\leq 2\)
\(P(-0.5\leq Z\leq 2)=F(2)-F(-0.5)\)
付表1. 標準正規分布の上側確率の表から、
\(P(-0.5\leq Z\leq 2)=1-Q(2)-Q(0.5)=1-0.0228-0.3085=0.669\)
よって、1000人のうち 669人。
(3) 四分位範囲=(第3四分位点)ー(第1四分位点)
第3四分位点は上側25%点だから、0.67
第1四分位点は上側75%点だから、-0.67
よって、\(Z\) の四分位範囲は、\(2\cdot (0.67)\)
\(X\) の四分位範囲は、標準偏差をかけて \(2\cdot (0.67)\cdot 10=13.4\)
(4) 本問では、\(X\sim N(65,~10^2)\)
\(X\geq 65\iff Z\geq 0\)
\(\begin{split}
E(X|X\geq 65)&=E(10 Z+65|Z\geq 0)\\&=10 E(Z|Z\geq 0)+E(65|Z\geq 0)\\
\end{split}\)
\(\displaystyle E(Z|Z\geq0)
=\int ^{\infty }_{0}z\frac{\varphi\left(z\right)}{P(Z\geq 0)}dz
=2\int ^{\infty }_{0}z\varphi\left(z\right)dz\) ただし、\(\varphi\left(z\right)=\dfrac{1}{\sqrt{2\pi
}}\exp \left( -\dfrac{z^{2}}{2}\right) \)
ここで、 \(\left(\exp\left({-\dfrac{z^{2}}{2}}\right)\right)'=-z\cdot \exp \left({-\dfrac{z^{2}}{2}}\right)\) より 、\(\displaystyle \{-\varphi \left( z\right)\}' = z\varphi\left( z\right) \)
\(\displaystyle E(Z|Z\geq0)=2\left[-\varphi \left( z\right) \right]_{0}^{\infty}
=2\varphi(0)=2\frac{1}{\sqrt{2\pi}}=\sqrt{\frac{2}{\pi}}\)
\(\begin{split}
E(X|X\geq 60)&=10 E(Z|Z\geq 0)+E(65|Z\geq 0)\\
&=10\sqrt{\frac{2}{\pi}}+65=10\cdot (0.798)+65=72.98
\end{split}\)
問6.2 二変量正規分布(類題2015⑧)
[基本] 和の分散
\(V(X+Y)=Cov(X+Y,~X+Y)=Cov(X,X)+Cov(Y,Y)+2Cov(X,Y)\) より
\(V(X+Y)=V(X)+V(Y)+2Cov(X,Y)\)
(1) Listeningを X 、Readingを Y とする。
\(E(X)=305~,~E(Y)=250~,~V(X)=80^2~,~V(Y)=90^2~,~V(X+Y)=150^2\)
\(150^2=80^2+90^2+2Cov(X,Y)\) から \(Cov(X,Y)=4000\) だから、
\(\rho(X,Y)=\dfrac{Cov(X,Y)}{\sqrt{V(X)}\sqrt{V(Y)}}=\dfrac{4000}{80\cdot90}=0.5556\)
(3) 条件付き期待値
2変量正規分布の確率密度関数は 平均と分散共分散行列によって決まる。
\(
\begin{pmatrix}
x \\
y
\end{pmatrix}
\sim
N_2\left( \begin{pmatrix}
\mu_x \\
\mu_y
\end{pmatrix},\begin{pmatrix}
\sigma_x^2 & \sigma_{xy}\\
\sigma_{xy} & \sigma_y^2
\end{pmatrix}\right)
=
N_2\left( \begin{pmatrix}
\mu_x \\
\mu_y
\end{pmatrix},\begin{pmatrix}
\sigma_x^2 & \rho\sigma_x \sigma_y \\
\rho\sigma_x \sigma_y & \sigma_y^2
\end{pmatrix}\right)
\) のとき、
\(\Sigma^{-1}=
\dfrac{1}{\sigma_x^2\sigma_y^2(1-\rho^2)}
\begin{pmatrix}
\sigma_y^2 & -\sigma_{xy}\\
-\sigma_{xy} & \sigma_x^2
\end{pmatrix}\) であり、 \(f(x,y)=\dfrac{1}{\left(\sqrt{2\pi}\right)^2\sqrt{|\Sigma|}}\exp\left[{-\dfrac{1}{2}(X-\mu)'\
\Sigma^{-1}(X-\mu)}\right]\)
\(f(x,y)=\dfrac{1}{2\pi\sigma_x\sigma_y\sqrt{1-\rho^2}}
\exp\left[-\dfrac{1}{2}\dfrac{1}{(1-\rho^2)}
\left[\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2-2\rho\left(\dfrac{x-\mu_x}{\sigma_x}\right)\left(\dfrac{y-\mu_y}{\sigma_y}\right)+\left(\dfrac{y-\mu_y}{\sigma_y}\right)^2\right]
\right]\)
\(f(x)=\dfrac{1}{\sqrt{2\pi}\sigma_x}\exp\left[-\dfrac{1}{2}\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2\right]\) 、\(f(y|x)=\dfrac{f(x,y)}{f(x)}\) から
\(f(y|x)\sim N\left(\mu_y+\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right)~,~(1-\rho^2)\sigma_y^2\right)\) を得る。
よって、 \(E(y|x)=\mu_y+\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right)\) \(V(y|x)=(1-\rho^2)\sigma_y^2\)
\(x\) を固定したときの条件付き期待値は \(y\) の \(x\) による回帰直線に等しいことが分かる。
以下、ノートに基づいて計算してみる。(証明は略する)
(一般の計算は、当サイト「2変量正規分布と線形回帰」参照)
本問では、
\(E(y|x)=\mu_y+\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right)=250+\left(\dfrac{5}{9}\right)90\left(\dfrac{x-305}{80}\right)=0.625x+59.375\)
\(x=335\) のとき、\(E(y|x)=268.75\)
問6.3 生存関数(類題2015⑧)
[基本事項]
\(T\) は生存時間(死亡時刻・イベントが起きる時刻)を表す確率変数とすると、
分布関数 \(\displaystyle F(t)=P(T<t)=\int_0^t f(u) du\)
生存関数 \(\displaystyle S(t)=P(T\geq t)=1-F(t)=\int_t^{\infty}f(u) du\)
ハザード関数 \(h(t)= \dfrac{F'(t)}{1-F(t)} =\dfrac{-S'(t)}{S(t)}\)
理想的な状態として、瞬間故障率(ハザード関数)が一定の場合を考える。
\(\dfrac{F'(t)}{1-F(t)} =\lambda\) この微分方程式を解く。( 初期条件: \(F(0)=0\) )
\(\dfrac{1}{1-F}\cdot\dfrac{dF}{dt} =\lambda\) より、 \(\dfrac{dF}{1-F}=\lambda dt\) よって \(\displaystyle\int\dfrac{dF}{1-F}=\int\lambda dt\)
\(-\log(1-F)=\lambda t+C\) \(1-F=e^{-\lambda t}\cdot e^{-C}\)
初期条件 \(F(0)=0\) から、 \(e^{-C}=1\) \(\therefore 1-F=e^{-\lambda t}\)
\(F(t)=1-e^{-\lambda t}\) \(S(t)=1-F(t)=e^{-\lambda t}\)
確率密度関数:\(f(t)=\lambda e^{-\lambda t}\) 生存関数: \(S(t)=e^{-\lambda t}\)
これは指数分布である。つまり、指数分布は瞬間故障率が一定であるような分布である。
(1) \(S(t)=e^{-\lambda t}\) となるのは指数分布であるから、確率密度関数は \(f(t)=\lambda e^{-\lambda t}\) である。
(2)上側25%点は \(F(t)=0.75\) \(\therefore S(t)=0.25\)
\(S(t)=e^{-\lambda t}=0.25=\dfrac{1}{4}\) \(\lambda t=\log4\) よって \(t=\dfrac{\log4}{\lambda }\)
参考までに、中央値は、 \(F(t)=\dfrac{1}{2}\) より \(S(t)=\dfrac{1}{2}\) \(\therefore e^{-\lambda t}=\dfrac{1}{2}\)
\(e^{\lambda t}=2\) \(\lambda t=\log2\) よって中央値は \(t=\dfrac{\log2}{\lambda }\) (類題2015⑧)
(3) 標本平均を期待値の推定値と考え、パラメーター \(\lambda\) を推定する。
本問では、生存時間 \(T\) は、指数分布 \(f(t)=\lambda e^{-\lambda t}\) に従っており、
\(\displaystyle E(T)=\int_0^{\infty}t\lambda e^{-\lambda t}dt=\left[-t e^{-\lambda t}\right]_0^{\infty}+\int_0^{\infty} e^{-\lambda t}=\left[-\dfrac{1}{\lambda} e^{-\lambda t}\right]_0^{\infty}=\dfrac{1}{\lambda}\)
\(\dfrac{1}{\lambda}=3\) と考えると、
上側25%点は \(t=3{\log4}=4.2\)
問6.4 混合正規分布(類題2018⑥)
[基本]混合正規分布
\(p(x)=\displaystyle\pi_1N(x\mid\mu_1,\Sigma_1)+\pi_2N(x\mid\mu_2,\Sigma_2)\) ( \(\pi_1,\pi_2\) は混合率:\(\pi_1+\pi_2=1\) )
本問では、
混合率 \(\pi_1=\dfrac{3}{5}\:,\:\pi_2=\dfrac{2}{5}\) 、ガウス分布 \(N(x\mid 65,~4^2)\:, N(x\mid 85,~3^2)\)
\(p(x)=\displaystyle \dfrac{3}{5} N(x\mid 65,~4^2)+\dfrac{2}{5}N(x\mid 85,~3^2)\)
(1) Aさんについては、
\(X\sim N(65,4^2)\) より、\(Z=\dfrac{X-65}{4}\sim N(0,1)\)
\(X=67\) のとき、\(Z=\dfrac{67-65}{4}=0.5\)
偏差値は \(N(50,10^2)\) に変換した点数だから、\(50+(0.5)\cdot 10=55\)
(2) \(P(x\geq 60)\) を求める。
\(P(x\geq 60)=\displaystyle \dfrac{3}{5} N(x\geq 60\mid 65,~4^2)+\dfrac{2}{5}N(x\geq 60\mid 85,~3^2)\)
\(N(x\geq 60\mid 65,~4^2)=N\left(\dfrac{x-65}{4}\geq -1.25\mid 65,~4^2\right)=1-0.1056=0.8944\)
\(N(x\geq 60\mid 85,~3^2)=N\left(\dfrac{x-85}{3}\geq -8.3\mid 85,~3^2\right)=1\)
よって、\(\dfrac{3}{5}\cdot (0.8944)+\dfrac{2}{5}\cdot 1=0.9366\) と考えられる。
(参考)
人文2018⑤に混合正規分布が2峰となる条件についての問題がある。
混合率が同じで等分散のとき、2群の平均の差が \(2\sigma\) より大きくなると、分布は2峰。