2015 準1級 （統計検定準1級 過去問の解説です）
2015準1級① 原因の確率
| 女0.6 | 男0.4 | |
| 合格 | 0.24 | 0.12 |
| (0.6・0.4) | (0.4・0.3) | |
| 不合格 | 0.36 | 0.28 |
(1) \((0.6)\cdot (0.4)+(0.4)\cdot (0.3)=0.24+0.12=0.36\)
(2) \(\dfrac{0.24}{0.36}=0.66\)
2015準1級② 生産者危険と消費者危険
［基本］
・生産者危険とは、第１種の過誤の確率 （有意水準）
（帰無仮説が真であるとき、帰無仮説を棄却してしまう確率）
・消費者危険とは、第２種の過誤の確率 （検出力＝１ー消費者危険）
（対立仮説が真であるとき、帰無仮説を棄却しない確率）
(1)二項分布の確率を計算する。\(p=0.4\)
\(\displaystyle r=0: {}_5 C_0 (1-p)^5=0.6^5=0.0776\)
\(\displaystyle r=1: {}_5 C_1 p(1-p)^4=5\times 0.4\times 0.6^4=0.259\)
\(\displaystyle r=2: {}_5 C_2 p^2(1-p)^3=10\times 0.4^2\times 0.6^3=0.3456\)~~~\(V(X)=5\cdot (0.2)\cdot (0.8)=0.8\)
(2)
＜不量品率が 0.2 のときの生産者危険＞
帰無仮説は p=0.2 である。
パラメーター p=0.2 のもとで、５個のうちの不良品の個数を X とすると、
平均が \(E(X)=1\) 、分散 \(V(X)=5\cdot (0.2)\cdot (0.8)=0.8\) の分布となる。
帰無仮説を棄却する確率は、
正規近似と半整数値補正をすれば、 \(P(X\geq2)\fallingdotseq P(X\geq 1.5)=0.28\)
直接確率を計算すれば、\(P(X\geq2)=P(X=2)+P(X=3)+P(X=4)+P(X=5)=0.26\)
（ \(P(X<2)=P(X=0)+P(X=1)={}_5 C_0 (0.8)^5+{}_5 C_1 (0.2)(0.8)^4=0.32768+0.4096=0.73728\) から）
本問では nが小さいので、直接確率計算がよい。
＜不量品率が 0.5 のときの消費者危険＞
対立仮説は p=0.5 である。
パラメーター p=0.5 のもとで、５個のうちの不良品の個数を X とすると、
平均が \(E(X)=2.5\) の分布となる。
帰無仮説を棄却しない確率は、
\(P(X\leq1)=P(X=0)+P(X=1)={}_5 C_0 (0.5)^5+{}_5 C_1 (0.5)(0.5)^4=0.1875\)
2015準1級③信頼区間
［基本］
\(X\sim B(n,p)\) のとき 漸近的に \(X\sim N(np,~npq)\) だから、
\(\dfrac{X}{n}\sim N\left(p,~\dfrac{npq}{n^2}\right)=N\left(p,~\dfrac{p(1-p)}{n}\right)\) \(\therefore~~\left. \left(\dfrac{X}{n}-p\right) \right/ \sqrt{\dfrac{p(1-p)}{n}}\sim N\left(0,~1\right)\)
よって、95%の確率で \(-1.96\leq~\left. \left(\dfrac{X}{n}-p\right) \right/ \sqrt{\dfrac{p(1-p)}{n}}~\leq1.96\)
(1)
\(\dfrac{X}{n}=0.54\) 、\(\sqrt{\dfrac{p(1-p)}{n}}\fallingdotseq \sqrt{\dfrac{0.54(0.46)}{978}}=0.016\) を用いて（\(p\fallingdotseq\hat{p}=0.54\)で代用する）
\(-1.96\leq~\left. \left(0.54-p\right) \right/ 0.016~\leq1.96\) \(\therefore ~0.54-1.96(0.016)\leq p\leq0.54+1.96(0.016)\)
(2)
95%の確率で \(p-1.96\sqrt{\dfrac{p(1-p)}{n}}\leq~\dfrac{X}{n}~\leq p+1.96\sqrt{\dfrac{p(1-p)}{n}}\) より
信頼区間の幅 \(2\cdot 1.96\sqrt{\dfrac{p(1-p)}{n}}=0.02\) \(\sqrt{n}=196\sqrt{p(1-p)}\)
よって、\(n=196^2\cdot p(1-p)\) （ \(p\) は母比率）
\(p\) を \(\hat{p}=0.5\) で近似し、\(n=196^2\cdot \hat{p}(1-\hat{p})\) から求めればよい。
\(n=196^2\cdot (0.5)\cdot (0.5)=9604\)
2015準1級④条件付き期待値
［条件付期待値］ （大学生の確率統計 p130参照)
Xの確率密度関数が、 \(f_{X}( x) \) であるとき、
\(a\leq X\leq b\) における条件付き期待値は、 \(\displaystyle E\left( X| a\leq X\leq b\right) =\int _{a}^{b}x\cdot \dfrac{f_{X}\left( x\right) dx}{P\left( a\leq X\leq b\right) }\)
条件付き確率密度関数は、 \(f_{X| a\leq x\leq b}\left( x\right) =\dfrac{f_{X}\left( x\right) }{P\left( a\leq X\leq b\right) }\)
積分を \(P\left( a\leq X\leq b\right)\) で割っているだけなので、期待値や分散の線型性は成立する。
［参考］
連続の \(E\left( Y| X\right) \) のとき、\(\displaystyle E\left(Y| X=x\right) =\int ^{\infty }_{-\infty }yf_{Y|X}\left(y| x\right)dy =\int ^{\infty }_{-\infty }y\dfrac{f_{(X,Y)}\left( x,y\right) }{f_{X}\left( x\right) }dy\)
条件付き期待値も線型性を持つ。
標準正規分布に直して計算するとよい。
\(X=\sigma Z+\mu\) \(X\geq a\) のとき \(Z\geq c\) とすると、
\(\begin{split}
E(X|X\geq a)&=E(\sigma Z+\mu|Z\geq c)\\&=\sigma E(Z|Z\geq c)+E(\mu|Z\geq c)\\
\end{split}\)
(1)(2)略
(3)標準正規分布の四分位範囲は、 z_{0.25}-z_{(-0.25)}=2\cdot z_{0.25}=2\cdot (0.67)=1.34
標準偏差は 20 だから、\(1.34\times 20=26.8\)
(4) 本問では、\(X\sim N(60,~20^2)\)
\(X\geq 60\iff Z\geq 0\)
\(\begin{split}
E(X|X\geq 60)&=E(20 Z+60|Z\geq 0)\\&=20 E(Z|Z\geq 0)+E(60|Z\geq 0)\\
\end{split}\)
\(\displaystyle E(Z|Z\geq0)
=\int ^{\infty }_{0}z\frac{\varphi\left(z\right)}{P(Z\geq 0)}dz
=2\int ^{\infty }_{0}z\varphi\left(z\right)dz\)
ここで、\(\left(\exp\left({-\dfrac{z^{2}}{2}}\right)\right)'=-z\cdot \exp \left({-\dfrac{z^{2}}{2}}\right)\) より、\(\displaystyle \int z\varphi\left( z\right) =-\varphi \left( z\right) \)
\(\displaystyle E(Z|Z\geq0)=2\left[-\varphi \left( z\right) \right]_{0}^{\infty}
=2\varphi(0)=2\frac{1}{\sqrt{2\pi}}=\sqrt{\frac{2}{\pi}}\)
\(\begin{split}
E(X|X\geq 60)&=20 E(Z|Z\geq 0)+E(60|Z\geq 0)\\
&=20\sqrt{\frac{2}{\pi}}+60=20\cdot (0.798)+60=75.96
\end{split}\)
2015準1級⑤抽出法（ワーク21章参照）
集落抽出法などについて
［基本］ 抽出法により得られるデータがどんな分布になりどんな分散になるか。
2015準1級⑥欠測値の推定
平均によって分割された図を考える。
| (１回目 底 , ２回目 高) | (１回目 高 , ２回目 高) |
| (１回目 底 , ２回目 底) | (１回目 高 , ２回目 底) |
1回目の点数が低い人が2回目に受験しない傾向にあると考えると、表の左下が薄くなる。
(1) \(\mu_Y\) は過大評価となり、 \(\rho\) は過小評価になる。
(2) 回帰直線は \((\mu_X~,~\mu_Y)\) を通る直線である。
欠測値の予測値を \((\mu_X~,~\mu_Y)\) を通る直線上に配置すると考える。
\(\mu_Y\) の偏りは変化しない。 \(\rho\) は過大評価になる。
MAR(missing at random)については、
村山 航様 https://koumurayama.com/koujapanese/missing_data.pdf
ワーク２９章を参照
2015準1級⑦ t 検定
「t分布は、[標準正規分布]／[カイ二乗分布の平方根] の分布である」
・ \(Z\sim N(0,1)\) ：標準正規分布 、 \(W\sim \chi^2(m)\) ：自由度 \(m\) のカイ二乗分布 、 \(Z,W\) は独立のとき
\(t=\dfrac{Z}{\sqrt{\left. W \right/ m}} \sim t(m)\) ：自由度 \(m\) のt分布に従う。
［説明］
\(X_1,X_2,\cdots,X_n\sim N(\mu,\sigma^2):i.i.d\) （独立に正規分布に従う）とき
標本平均 \(\overline{X}\sim N\left(\mu,\dfrac{\sigma^2}{n}\right)\) 標準化 \(Z=\dfrac{\overline{X}-\mu}{\left. \sigma \right/ \sqrt{n}} \sim N(0,1)\)
・ 標本分散 \(S^2\) に対し、\((n-1)S^2\) は偏差平方和である。これに標準化に近い操作を施す。
\(\begin{split}
U=\dfrac{n-1}{\sigma^2}S^2&=\dfrac{1}{\sigma^2}\sum_{i=1}^n(X_i-\overline{X})^2\\
&=\sum_{i=1}^n\left(\dfrac{X_i-\overline{X}}{\sigma}\right)^2
\sim \chi^2(n-1)
\end{split}\)
「標準化に近い操作」と言った意味は、
\(\overline{X}\) のところを \(\mu\) にすれば完全な標準化となり、独立な標準正規分布の平方和は
カイ二乗分布 \(\displaystyle \sum_{i=1}^n\left(\dfrac{X_i-\mu}{\sigma}\right)^2
\sim \chi^2(n)\) が成立する。
今、母平均を \(\overline{X}\) で代用しているので、自由度が１減じていることになる。
（この証明はヘルマート行列などの線形代数を用いる難しい証明になる）
上の２つの定理を用いれば、
\(t=\dfrac{\overline{X}-\mu}{\left. S \right/ \sqrt{n}}
=\dfrac{\overline{X}-\mu}{S\cdot \frac{1}{\sqrt{n}}}
=\dfrac{\left. (\overline{X}-\mu) \right/ \dfrac{\sigma}{\sqrt{n}}}{\left. S \right/ \sigma}
=\dfrac{Z}{\sqrt{\left. S^2 \right/ \sigma^2}}
=\dfrac{Z}{\sqrt{\left. U \right/ (n-1)}}
\sim t(n-1)\)
標本平均 \(\overline{X}\) の標準化を標本分散で代用したものは、t分布に従う。
本問では、\(\overline{X}=132.0~,~\mu=135~,~S=8.0~,~n=10\) だから、\(t=\dfrac{\overline{X}-135}{\left. 8 \right/ \sqrt{10}} \sim t(9)\)
\(t=\dfrac{132-135}{\left. 8 \right/ \sqrt{10}}=-1.186\) 、 \(t_{0.10}(9)=1.383~,~~t_{0.05}(9)=1.833\)
有意水準を5%としても、1%としても有意とは言えない。
(2) X\sim N(\mu,4^2) と仮定する。
\(X<135\iff Z=\dfrac{X-\mu}{4}<\dfrac{135-\mu}{4}\) より
\(P(X<135)=P\left(Z<\dfrac{135-\mu}{4}\right)=0.05\)
よって、 \(\dfrac{135-\mu}{4}=-1.645\) \(\therefore \mu=141.58\)
2015準1級⑧ ２変量正規分布
［基本］和の分散
\(V(X+Y)=Cov(X+Y,~X+Y)=Cov(X,X)+Cov(Y,Y)+2Cov(X,Y)\) より
\(V(X+Y)=V(X)+V(Y)+2Cov(X,Y)\)
(1) \(170^2=85^2+95^2+2Cov(X,Y)\) から \(Cov(X,Y)=\dfrac{12650}{2}=6325\) だから、
\(\rho(X,Y)=\dfrac{Cov(X,Y)}{\sqrt{V(X)}\sqrt{V(Y)}}=\dfrac{12650}{2\cdot85\cdot95}=\dfrac{6325}{8075}=0.78\)
(2) \(V(X-Y)=V(X)+V(Y)-2Cov(X,Y)=85^2+95^2-2\cdot 6325=3600 \)
標準偏差は、\(\sqrt{3600}=60\)
(3) 条件付き期待値
2変量正規分布の確率密度関数は 平均と分散共分散行列によって決まる。
\(
\begin{pmatrix}
x \\
y
\end{pmatrix}
\sim
N_2\left( \begin{pmatrix}
\mu_x \\
\mu_y
\end{pmatrix},\begin{pmatrix}
\sigma_x^2 & \sigma_{xy}\\
\sigma_{xy} & \sigma_y^2
\end{pmatrix}\right)
=
N_2\left( \begin{pmatrix}
\mu_x \\
\mu_y
\end{pmatrix},\begin{pmatrix}
\sigma_x^2 & \rho\sigma_x \sigma_y \\
\rho\sigma_x \sigma_y & \sigma_y^2
\end{pmatrix}\right)
\) のとき、
\(\Sigma^{-1}=
\dfrac{1}{\sigma_x^2\sigma_y^2(1-\rho^2)}
\begin{pmatrix}
\sigma_y^2 & -\sigma_{xy}\\
-\sigma_{xy} & \sigma_x^2
\end{pmatrix}\) であり、 \(f(x,y)=\dfrac{1}{\left(\sqrt{2\pi}\right)^2\sqrt{|\Sigma|}}\exp\left[{-\dfrac{1}{2}(X-\mu)'\
\Sigma^{-1}(X-\mu)}\right]\)
\(f(x,y)=\dfrac{1}{2\pi\sigma_x\sigma_y\sqrt{1-\rho^2}}
\exp\left[-\dfrac{1}{2}\dfrac{1}{(1-\rho^2)}
\left[\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2-2\rho\left(\dfrac{x-\mu_x}{\sigma_x}\right)\left(\dfrac{y-\mu_y}{\sigma_y}\right)+\left(\dfrac{y-\mu_y}{\sigma_y}\right)^2\right]
\right]\)
\(f(x)=\dfrac{1}{\sqrt{2\pi}\sigma_x}\exp\left[-\dfrac{1}{2}\left(\dfrac{x-\mu_x}{\sigma_x}\right)^2\right]\) 、\(f(y|x)=\dfrac{f(x,y)}{f(x)}\) から
\(f(y|x)\sim N\left(\mu_y+\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right)~,~(1-\rho^2)\sigma_y^2\right)\) を得る。
よって、 \(E(y|x)=\mu_y+\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right)\) \(V(y|x)=(1-\rho^2)\sigma_y^2\)
\(x\) を固定したときの条件付き期待値は の による回帰直線に等しいことが分かる。
（一般の計算は、当サイト「２変量正規分布と線形回帰」参照）
本問では、
\(E(y|x)=\mu_y+\rho \sigma_y\left(\dfrac{x-\mu_x}{\sigma_x}\right)=260+\left(\dfrac{6325}{8075}\right)95\left(\dfrac{x-310}{85}\right)=0.875x-11.4\)
\(x=350\) のとき、\(E(y|x)=294.85\)
2015準1級⑨ 対数回帰
(1) \(\log Y=\alpha+\beta x+\varepsilon\) より \(Y=e^{\alpha+\beta x+\varepsilon}\simeq e^{\alpha+\beta x}\)
(2)条件付き期待値
\(x\) を固定すると
\(E(Y|x)=E\left(e^{\alpha+\beta x+\varepsilon}|x\right)=E\left(e^{\alpha+\beta x}\right)\cdot E(e^\varepsilon|x)=e^{\alpha+\beta x}\cdot E(e^\varepsilon)\)
\(\varepsilon\sim N(0,~\sigma^2)\) より、\(E(e^{t\varepsilon})=\exp\left(0\cdot t+\dfrac{1}{2}\sigma^2 t^2\right)\) ：（モーメント母関数より）
\(\therefore ~~E(e^{\varepsilon})=\exp\left(\dfrac{1}{2}\sigma^2 \right)\)
条件付き期待値は、\(E(Y|x)=e^{\alpha+\beta x}\cdot \exp\left(\dfrac{1}{2}\sigma^2 \right)=\exp\left(\alpha+\beta x+\dfrac{1}{2}\sigma^2 \right)\)
2015準1級⑩ 時系列 AR(1)モデル
ホワイトノイズとiidの違い
「無粋な日々に」 様 https://messefor.hatenablog.com/entry/2020/08/10/161657
・ホワイトノイズはノイズの性質なので平均が0。
iidは独立同分布といっているだけなので、平均値は必ずしも0とは限らない。
・ホワイトノイズは独立であればいいが、iidの系列は独立かつ同分布の必要がある。
（注：ワークp240によれば、ホワイトノイズは独立でなくとも無相関であればよい）
・iidは同一分布に従うことを仮定し、ホワイトノイズは同一分布を仮定しない。
ホワイトノイズは弱定常、iidは強定常。
・平均０の共分散定常過程で、すべての自己共分散が０（無相関）であるとき、ホワイトノイズ
自己回帰過程(AR過程)
\(y_{t}=c+\phi y_{t-1}+\varepsilon _{t}\)
のように \(y_t\) が決定される時、\(y_t\) は自己回帰過程(AR過程)という。
\(Cov(y_t,~\varepsilon_t)=Cov(c+\phi y_{t-1}+\varepsilon _{t},~\varepsilon_t)=\sigma^2\) よって \(y_t,~\varepsilon_t\) は相関あり
\(Cov(y_{t-1},~\varepsilon_t)=0\)
\(\left| \phi \right| <1\) のとき、AR(1)過程は定常となる。
［注意］もし、 \(y_{t}=c+\phi y_{t-1}+\varepsilon _{t-1}\) （撹乱項が t-1） となったら、どこが変わるだろうか？
\(Cov(y_t,~\varepsilon_t)=Cov(c+\phi y_{t-1}+\varepsilon _{t-1},~\varepsilon_t)=0\) よって \(y_t,~\varepsilon_t\) は相関なし
定常性に変わりはない。
期待値は \(E(y_{t})=c+\phi E(y_{t-1})+E(\varepsilon _{t-1})\) から、 \(\mu=c+\phi\mu+0\) \(\therefore \mu =\dfrac{c}{1-\phi }\)
分散は \(V(y_{t})=V(\phi y_{t-1})+V(\varepsilon _{t-1})=\phi^2V(y_{t-1})+\sigma^2\) \(\therefore V(y_t) =\dfrac{\sigma^2}{1-\phi^2 }\)
変わりはないようであるが、‥？
自己相関はどうか？
\(\begin{split}
Cov(y_t,y_t)&= Cov(\phi y_{t-1}+\varepsilon _{t-1},~\phi y_{t-1}+\varepsilon _{t-1})\\&=
\phi^2 Cov(y_{t-1},y_{t-1})+2\phi Cov(y_{t-1},\varepsilon_{t-1})+Cov(\varepsilon_{t-1},\varepsilon_{t-1})\\
&=\phi^2V(y_{t-1})+\sigma^2
\end{split}\)
\(\gamma _{0}=\phi^2\gamma _{0}+\sigma^2\) よって、\(\gamma _{0}=\dfrac{\sigma ^{2}}{1-\phi ^{2}}\) としてもよい。
自己共分散についてはどうだろうか？
\(y_{t}=c+\phi y_{t-1}+\varepsilon _{t-1}\) （ \(t\) を下げて \(\phi\) をかける操作を繰り返す）
\(\phi y_{t-1}=c\phi +\phi ^{2}y_{t-2}+\phi\varepsilon _{t-2}\)
\(\phi ^{2}y_{t-2}=c\phi ^{2}+\phi ^{3}y_{t-3}+\phi ^{2}\varepsilon _{t-3}\)
\(\phi ^{3}y_{t-3}=c\phi ^{3}+\phi ^{4}y_{t-4}+\phi ^{3}\varepsilon _{t-4}\)
‥‥‥
\(\phi ^{n}y_{t-n}=c\phi ^{n}+\phi ^{n+1}y_{t-(n+1)}+\phi ^{n}\varepsilon _{t-(n+1)}\)
辺々たすと
\(y_{t}=c\left( 1+\phi +\phi^{2}+\phi^{3}+\dots\phi ^{n}\right) +\phi
^{n+1}y_{t-\left( n+1\right) }\
+\left(\varepsilon _{t-1}+\phi\varepsilon _{t-2}+\phi ^{2}\varepsilon _{t-3}+\ldots +\phi ^{n}\varepsilon _{t-(n+1)}\right)\)
\(\left| \phi \right| <1\) のとき、\(n \rightarrow +\infty\) とすると \(y_{t}\) は有界だから、\(\phi ^{n+1}y_{t-\left( n+1\right) }\rightarrow 0\)
故に、 A\(\displaystyle y_{t}=\dfrac{c}{1-\phi }+\sum ^{\infty }_{i=0}\phi ^{i}\varepsilon _{t-(i+1)}\) R(1)のMA(∞)表現という。
このとき \(y_t\) は定常である。何故なら、
\(\displaystyle E(y_t)=\dfrac{c}{1-\phi }+\sum ^{\infty }_{i=0}\phi ^{i}E\left(\varepsilon _{t-(i+1)}\right)=\dfrac{c}{1-\phi }\)
\(\displaystyle Cov(y_t,y_{t-k})=Cov\left(\sum ^{\infty }_{i=0}\phi ^{i}\varepsilon _{t-i}\:\:,\sum ^{\infty }_{j=0}\phi ^{j}\varepsilon _{t-k-j}\right)\) については、
\(t-i\neq t-k-j\) のとき、\(Cov(\varepsilon _{t-i}\:\:,\:\varepsilon _{t-k-j})=0\)
\(t-i= t-k-j\) のとき \(i=j+k\) で \(Cov(\varepsilon _{t-i}\:\:,\:\varepsilon _{t-k-j})=\sigma^2\) だから、
\(\displaystyle Cov(y_t,y_{t-k})=\sum ^{\infty }_{j=0}\left(\phi ^{2j+k}\cdot \sigma^2\right)=\dfrac{\phi^k}{1-\phi^2}\sigma^2\)
期待値と自己共分散が t に依存しないので定常である。
自己共分散 \(\gamma _{h}=cov\left( y_{t},y_{t-h}\right) =\dfrac{\sigma ^{2}\phi ^{h}}{1-\phi ^{2}}\) は、\(\displaystyle Cov(y_t,y_{t-k})=Cov\left(\sum ^{\infty }_{i=0}\phi ^{i}\varepsilon _{t-i}\:\:,\sum ^{\infty }_{j=0}\phi ^{j}\varepsilon _{t-k-j}\right)\) から。
自己共分散や自己相関にも変わりはないようである。
(2)最小二乗法による回帰係数の推定量は、最小分散線形不偏推定量である。
これを保証するのがガウス・マルコスの定理（当サイト「2_5_最小分散線形不偏推定量」参照）
これは、大阪大学 谷崎久志先生のサイトに詳しい。http://www2.econ.osaka-u.ac.jp/~tanizaki/class/2018/basic_econome/02.pdf
2015準1級⑩自己相関の検定
漸近的に \(\widehat{\rho}_{h}=\dfrac{\widehat{\gamma}_{h}}{\widehat{\gamma}_{0}}\sim N\left(0~,~\dfrac{1}{T}\right)\) であることにより検定する。
検定は 各 \(\widehat{\rho}_{h}\) に対して行われるが、全ての \(\widehat{\rho}_{h}\)に対して一括して行う検定を、かばん検定という。
［代表的なかばん検定統計量］
Ljung – Box 統計量
系列相関のもとでの回帰モデルの推定（コクラン・オーカット法）
Goodな生活 様 https://www.goodnalife.com/entry/2020/05/16/150006
ダービンワトソン統計量
自己相関がないことを検定する方法として、ダービン・ワトソン統計量がある。
系列相関とは自己相関ともいい、時系列データを用いた回帰分析で問題になる。
誤差項の間に相関関係があることを意味する。
通常の回帰分析においては、誤差項には系列相関がないことが仮定されている。
pukiwiki 様 https://tokyox.sakura.ne.jp/wiki/index.php?ダービンワトソン比
「誤差項の系列の符号がプラスもしくはマイナスが連続で続く場合は正の系列相関がある、プラスとマイナスが交互で続く場合は負の系列相関がある」という。
ダービン・ワトソン比とは、回帰モデルと誤差項を仮定し、
\(Y_i = α + β X_{i} + u_i\) \(u_i = ρ u_{i-1} + ε_i \)
\(H_0 : ρ=0 \ vs \ H_1 : |ρ| < 1\)
\(DW= \frac{\sum_{i=2}^{n} ( \hat{u}_i - \hat{u}_{i-1} )^2}{\sum_{i=1}^{n} \hat{u}^2_i}\) \(\hat{u_i}\) は(1)の推定結果を使って導出した残差
\(\begin{split}DW &=\frac{\sum_{i=2}^{n} \hat{u}^2_i + \sum_{i=2}^{n}
\hat{u}^2_{i-1} - 2\sum_{i=2}^{n} \hat{u}^2_i \hat{u}^2_{i-1} }{\sum_{i=1}^{n}
\hat{u}^2_i} \\
\end{split}\)
\(\displaystyle \sum_{i=1}^{n} \hat{u}^2_i \simeq \sum_{i=2}^{n} \hat{u}^2_i
\simeq \sum_{i=2}^{n} \hat{u}^2_{i-1}\) 、 \(\hat{ρ} = \frac{\sum_{i=2}^{n}
\hat{u}^2_i \hat{u}^2_{i-1}}{\sum_{i=1}^{n} \hat{u}^2_i}
\) を用いると
\(\begin{split}DW
&\simeq \frac{2 \sum_{i=2}^{n} \hat{u}^2_i - 2\sum_{i=2}^{n} \hat{u}^2_i \hat{u}^2_{i-1} }{\sum_{i=1}^{n} \hat{u}^2_i}
= 2(1-\hat{ρ})
\end{split}\)
\(-1<\hat{\rho}<1\) より \(0<DW<4\) 判断は次のようになる。
・ \(DW \fallingdotseq 2\) のとき、\(\hat{\rho}\fallingdotseq 0\) （系列相関なし）
\(DW \fallingdotseq 0\) のとき、\(\hat{\rho}>0\) （正の相関）、 \(DW \fallingdotseq 4\) のとき、\(\hat{\rho}\fallingdotseq -1\)（負の相関）
・ \(0<DW < 2\) のとき、\(\hat{\rho}>0\) （正の系列相関）
・ \(2<DW < 4\) のとき、\(\hat{\rho}<0\) （負の系列相関）
2015準1級⑪直交計画
［アダマール行列］
簡単のため、２要因２水準の分散分析で説明する。
分析の目的は、その要因に効果があるかどうかを判定することである。
要因Aについて、「A1（あり）、A2（なし）」とし、
要因Aの有無によって効果に差が現れるかどうか分析する。
要因Bについて、B1,B2を考えると、２要因の有無の組合せは４通りである。
\(\begin{split}
y_{1}=\bar{y}+p_{A}+p_{B}+\epsilon_{1}\\
y_{2}=\bar{y}+p_{A}-p_{B}+\epsilon_{2}\\
y_{3}=\bar{y}-p_{A}+p_{B}+\epsilon_{3}\\
y_{4}=\bar{y}-p_{A}-p_{B}+\epsilon_{4}
\end{split}\) 誤差項を除いた係数は、 \(\begin{pmatrix}
1 & 1 & 1\\
1 & 1 &-1\\
1 &-1 &1\\
1 &-1 &-1\\
\end{pmatrix}\)
２列目が要因Aの有無、３列目が要因Bの有無を表す。それぞれ、(A列) (B列)とする。
A,Bの交互作用（相乗作用）として(A列) (B列)の積を4列目に追加し \(A\times B\) 列とすると、
\(L_4=
\begin{pmatrix}
1 & 1 & 1&1\\
1 & 1 &-1&-1\\
1 &-1 &1&-1\\
1 &-1 &-1&1\\
\end{pmatrix}
\) これはアダマール行列と呼ばれる直交行列である。
通常は1列目を除いて、\(L_4=
\begin{pmatrix}
1 & 1&1\\
1 &-1&-1\\
-1 &1&-1\\
-1 &-1&1\\
\end{pmatrix}
\) を \(L_4\) 直交表という。（各列同士は直交している）
交互作用がないときのモデルは \(\begin{pmatrix}
y_1\\
y_2\\
y_3\\
y_4
\end{pmatrix}= \bar{y}+
\begin{pmatrix}
1 & 1\\
1 &-1\\
-1 &1\\
-1 &-1\\
\end{pmatrix}
\begin{pmatrix}
p_{A}\\
p_{B}
\end{pmatrix}
+\bf{\epsilon}\)
| 要因 | \(B_1\) | \(B_2\) |
| \(A_1\) | \(y_1\) | \(y_2\) |
| \(A_2\) | \(y_3\) | \(y_4\) |
つまり、直交表の行数が実験から得られるデータの総数（種類）であり、２要因の場合は分割表でも表されるということである。
要因数が多い場合は分割表が困難になるので、直交表という行列が利用されていると思われる。
このように、データモデルを明確にしておくと、データから効果を算出することが容易になる。
例えば、\(p_A=\dfrac{1}{2}\left(\dfrac{y_1+y_2}{2}-\dfrac{y_3+y_4}{2}\right)\) がAの効果と考えられる。
［ \(L_4\) 直交表の作り方］
行数は２要因だから４。
列数は、要因数が２、要因をかけて得られる交互作用が１で、合計３列になる。
［ \(L_8\) 直交表の作り方］
行数は３要因だから \(2^3=8\)
列数は、要因数3、2要因の交互作用が \( {}_3 C_2=3 \) 、３要因の交互作用が１で計７列になる。
（参考サイト）
川崎 秀二 様 「直交表 超入門(1)」 https://www.zipc.com/jp/assets/download/whitepaper/02.pdf
交互作用が小さい場合、誤差として扱うことになる。
(2)は難かしいのでとばします。
2015準1⑫オッズ比とカイ二乗統計量
三重大学 奥村春彦 様 - 「２×２の表、オッズ比、相対危険度」
https://oku.edu.mie-u.ac.jp/~okumura/stat/2by2.html
| 肺ガンあり | 肺ガンなし | オッズ | リスク | |
| 喫煙あり | a | b | \(\dfrac{a}{b}\) | \(\dfrac{a}{a+b}\) |
| 喫煙なし | c | d | \(\dfrac{c}{d}\) | \(\dfrac{c}{c+d}\) |
オッズ比：\(\dfrac{a/b}{c/d}\) 相対リスク：\(\dfrac{a/(a+b)}{c/(c+d)}\)
オッズ比が1とは、対象とする条件あるいは事象の起こりやすさが両群で同じということであり、
1より大きい（小さい）とは、条件あるいは事象が第1群（第2群）でより起こりやすいということである。
（参考サイト）
知識のサラダボウル様 「対数オッズ比の分散」
https://omedstu.jimdofree.com/2018/09/16/対数オッズ比の分散/
@takayaan 様 https://qiita.com/takayaan/items/38d4a17a5bd415d05a79
オッズ 比の対数（ロジット）の分布を考える。（ORに基づく母集団オッズ比）
ワーク28章（p262）に母集団オッズ比の推定が説明されている。
（当サイト「オッズ 比」も参照）
喫煙ありの人で、肺ガンがある確率を \(p_1\) とする。
\(n_1=a+b\) 人の中で肺ガンの人が \(X_1\) 人とすると、\(X_1\sim B(n_1,~p_1)\)
標本比率 \(\hat{p_1}=\dfrac{X_1}{n_1}\) とすると \(E(X_1)=n_1p_1~,~~V(X_1)=n_1p_1(1-p_1)\) だから
\(E(\hat{p_1})=p_1\) \(V(\hat{p_1})=\dfrac{p_1(1-p_1)}{n_1}\)
\(\hat{p_1}=\dfrac{a}{n_1}\) は \(p_1\) の推定値と考えることができる。
\(n_1\)が大きければ正規近似により、\(\hat{p_1}\sim N\left(p_1,~\dfrac{p_1(1-p_1)}{n_1}\right)\)
\(f(x)=logit(x)=\log \dfrac{x}{1-x}\) とする。 \(logit(\hat{p}_1)=f(\hat{p}_1)\) の確率分布を考えよう。
\(f'(x)=\dfrac{1}{x(1-x)}\) \(V(\hat{p_1})=\dfrac{p_1(1-p_1)}{n_1}\)
\(x\fallingdotseq p_1\) のとき \(f(x)\fallingdotseq f(p_1)+f'(p_1)(x-p_1)\)
\(\hat{p}_1\fallingdotseq p_1\) だから \(f(\hat{p}_1)\fallingdotseq f(p_1)+f'(p_1)(\hat{p}_1-p_1)\)
\(E\left(f(\hat{p}_1)\right)\fallingdotseq E\left(f(p_1)\right)+f'(p_1)E\left((\hat{p}_1-p_1)\right)=E\left(f(p_1)\right)=f(p_1)\)
\(V\left(f(\hat{p}_1)\right)\fallingdotseq f'(p_1)^2\cdot V\left(\hat{p}_1-p_1\right)=f'(p_1)^2\cdot\dfrac{p_1(1-p_1)}{n_1}\) （デルタ法）
\(p_1\) は未知だから \(\hat{p}_1\) で代用すると
\(\displaystyle V\left(f(\hat{p}_1)\right)\fallingdotseq \left[\frac{1}{\hat{p_1}(1-\hat{p_1})}\right]^2
V[\hat{p_1}]
=\left[\frac{1}{\hat{p}_1(1-\hat{p}_1)}\right]^2\frac{\hat{p}_1(1-\hat{p}_1)}{n_1}
=\frac{1}{n_1\hat{p}_1(1-\hat{p}_1)}\)
故に、対数オッズ（ロジット）の分散は
\(\displaystyle V\left(\log \dfrac{\hat{p}_1}{1-\hat{p}_1}\right)=\frac{1}{n_1\hat{p}_1(1-\hat{p}_1)}=\frac{1}{n_1\hat{p}_1}+\frac{1}{n_1(1-\hat{p}_1)}=\frac{1}{a}+\frac{1}{b}\)
オッズ比 \(OR=\dfrac{a/b}{c/d}\) の対数は
\(\log(OR)=\log\left(\dfrac{a/b}{c/d}\right)=\log (a/b)-\log (c/d)=\log \dfrac{\hat{p}_1}{1-\hat{p}_1}-\log \dfrac{\hat{p}_2}{1-\hat{p}_2}\)
\(\displaystyle V\left(\log(OR)\right)=V\left(\log \dfrac{\hat{p}_1}{1-\hat{p}_1}\right)+V\left(\log \dfrac{\hat{p}_2}{1-\hat{p}_2}\right)=\frac{1}{a}+\frac{1}{b}+\frac{1}{c}+\frac{1}{d}\)
\(E\left(\log(OR)\right)=\log\left(\dfrac{a/b}{c/d}\right)\)
標本対数オッズ比は、正規分布で近似される。
立命館大学寺脇拓 様 http://www.ritsumei.ac.jp/~ttt20009/classes/0809/sc7.pdf
区間推定は、ワーク p261 母集団オッズ比の推定 を参照
問題は28.2 (p274)参照
\(\begin{align*} V[\log \textrm{OR}]&=V\left[\log \frac{a/b}{c/d}\right]\\
&=V\left[\log
\frac{a}{b}\right]+V\left[\log \frac{c}{d}\right]\\ &=\frac{1}{a}+\frac{1}{b}+\frac{1}{c}+\frac{1}{d} \end{align*}\)
(1)本問では、
\(E\left(\log(OR)\right)=\log\left(\dfrac{a/b}{c/d}\right)=\log\left(\dfrac{32/8}{12/8}\right)=\log(2.66)=0.98\)
\(\displaystyle V\left(\log(OR)\right)=\frac{1}{a}+\frac{1}{b}+\frac{1}{c}+\frac{1}{d}=0.3645\)
正規近似すると、95%信頼区間は
\(0.98\pm 1.96\sqrt{0.3645}=0.98\pm1.18\) より、\(-0.2~<\log(OR)<~2.16\)
故に、 \(e^{-0.2}<OR<e^{2.16}\) \(\therefore ~0.818<OR<8.671\)
信頼区間は１を含み、オッズ比が1とは事象の起こりやすさが両群で同じということであるから
帰無仮説は棄却されない。
(2)分割表におけるカイ二乗統計量とオッズ比の関係
AVILEN-AI-Trend 様 - 「カイ２乗独立検定」
https://ai-trend.jp/basic-study/hypothesis-testing/chi2-test/
\(r\times c\) 分割表におけるカイ二乗値は、近似的に
\(\displaystyle \chi^2 = \sum^{r}_{i=1}\sum^{c}_{j=1}\frac{(n_{ij}-E_{ij})^2}{E_{ij}}\sim\chi^2((r-1)(c-1))\) で与えられる。（分布収束）
(株)アイスタット 様 -「 リスク比とオッズ比 」
https://istat.co.jp/sk_commentary/risk_odds_02
２×２の表において、オッズ比は、 \(OR=\dfrac{a/b}{c/d}\) （偏りがなければ１）
カイ二乗値 \(\chi^2=\dfrac{(ad-bc)^2N}{(a+b)(c+d)(a+c)(b+d)}\) （偏りがなければ０）
ファイ係数 \(\phi=\dfrac{(ad-bc)}{\sqrt{(a+b)(c+d)(a+c)(b+d)}}\) （名義尺度の相関係数）
偏りがなければ、ファイ係数は０に近い。
オッズ比とファイ係数はNに依存しない。
本問では、すべての値を 1.5 倍にすると \(\chi^2\) 統計量の値は 1.5 倍になる。
\(\chi^2=2.73\times 1.5=4.095>3.84=\chi^2_{0.05}(1)\)
よって、カイ二乗統計量は有意である。
しかし、オッズ比は変わらないので、\(0.818<OR<8.671\)
信頼区間が１を含むので帰無仮説は棄却されない。即ち、有意ではない。
（注意）
\(\displaystyle V\left(\log(OR)\right)=\frac{1}{a}+\frac{1}{b}+\frac{1}{c}+\frac{1}{d}\) であるので、度数が1.5 倍になれば
\(\displaystyle V\left(\log(OR)\right)=\dfrac{1}{1.5}\left(\frac{1}{a}+\frac{1}{b}+\frac{1}{c}+\frac{1}{d}\right)\)
分散は \(\dfrac{1}{1.5}\) 倍、標準偏差は \(\sqrt{\dfrac{1}{1.5}}\) 倍になる。
よって、対数オッズ比の信頼区間の幅は \(\sqrt{\dfrac{1}{1.5}}\) 倍になる。