hyoccori-toukei

統計検定1級過去問　2014人文2

---

重回帰分析

データはn 個、説明変数は２個とする。（説明変数がp個の場合も同様に考える）

$Y=\beta_1\ 1+\beta_2X_2+\beta_3X_3+u$ 　　　を成分で表現すると、（ $u\sim N(0,I_3)$ は誤差項 ）

　　　　　$\begin{pmatrix} Y_{1} \\ \vdots \\ Y_{n} \end{pmatrix}=\begin{pmatrix} 1 & x_{21} & x_{31} \\ \vdots & \vdots & \vdots \\ 1 & x_{2n} & x_{3n} \end{pmatrix}\ \begin{pmatrix} \beta_{1} \\ \beta_{2} \\ \beta_{3} \end{pmatrix}+\begin{pmatrix} u_{1} \\ \vdots \\ u_{n} \end{pmatrix}$　　　　行列表現では　$Y=X\beta+u$

$X=\begin{pmatrix} 1 & X_{2} & X_{3} \end{pmatrix} =\begin{pmatrix} 1 & x_{21} & x_{31} \\ \vdots & \vdots & \vdots \\ 1 & x_{2n} & x_{3n} \end{pmatrix}$　　　$rank(X)=3$　とする。　　　(full rank)

ただし、$1=\begin{pmatrix} 1\\ \vdots\\ 1 \end{pmatrix}, X_{2}=\begin{pmatrix} x_{21} \\ \vdots \\ x_{2n} \end{pmatrix}, X_{3}=\begin{pmatrix} x_{31} \\ \vdots \\ x_{3n} \end{pmatrix}, Y=\begin{pmatrix} Y_1\\ \vdots\\ Y_n \end{pmatrix}$

$X'X$ は３次正方行列で正則とする。 　　$rank(X'X)=3$

［参考］

rank(A) = min(m, n) のとき、A は最大階数(full rank)を持つといいフルランク行列という。

　

回帰係数の推定

　　　　　$Q=\sum _{i}u_i^2= \sum _{i}\left\{ Y_{i}-\left( \beta _{1}\cdot 1+\beta _{2} x_{2i}+\beta _{3}x_{3i}\right) \right\} ^{2}$　　　

平方和は行列の積で表すことができる。

　　　　　$\begin{split} Q&=(Y-X\beta)'(Y-X\beta) =\left( Y'-\beta 'X'\right)\left( Y-X\beta \right) \\ &=Y'Y-Y'X\beta-\beta 'X'Y+\beta 'X'X\beta \end{split}$

$Y'X\beta,\ \beta 'X'Y$ はスカラーだから、$Y'X\beta=\beta 'X'Y$

　　　　　$\begin{split} Q&=(Y-X\beta)'(Y-X\beta) =Y'Y-2\beta 'X'Y+\beta 'X'X\beta \end{split}$

行列の微分では、 $\displaystyle{ \frac{\partial}{\partial \mathbf{x}} \mathbf{x}^T\mathbf{A}\mathbf{x} = (\mathbf{A}+\mathbf{A}^T)\mathbf{x} }$ 　　　Aが対称行列の場合は、$\displaystyle{ \frac{\partial}{\partial \mathbf{x}} \mathbf{x}^T\mathbf{A}\mathbf{x} = 2\mathbf{A}\mathbf{x} }$

$X'X$ は対称行列なので、$\dfrac{\partial Q}{d\beta}=-2X'Y+2X'X\beta$

ここで、 $\dfrac{\partial Q}{d\beta}=0$ とすると、　 $X'X\beta=X'Y$　　（正規方程式）

$Q$ を最小にするβ を $\widehat\beta$ とすると、 $\widehat{\beta }=\left( X'X\right) ^{-1}X'Y$　　　　を得る。

　

残差と誤差

$\beta=\widehat \beta$ のとき、 $e=Y-X\widehat\beta$ を残差という。

誤差と残差の違いは、

　　　　　 誤差は、真の $\beta$ による値と実測値の差、 $u=Y-X\beta$

　　　　　残差は、推定値 $\widehat{\beta }$　による値と実測値の差、$e=Y-X\widehat\beta$

残差の性質としては、 $\widehat Y=X\widehat\beta$ とすると、

　　　　　 $X'(Y-X\widehat\beta)=0$ より、 $X'e=0$　　　$\widehat Y'e=\widehat\beta' X'e=0$

$\widehat Y'e=\left(\widehat Y,e\right)$ は内積を意味するから、 $\widehat Y$ と残差 $e$ は無相関。

同様に、 $X$ と残差 $e$ は無相関。よって、

残差 $e$ は、 $1=\begin{pmatrix} 1\\ \vdots\\ 1 \end{pmatrix}, X_{2}=\begin{pmatrix} x_{21} \\ \vdots \\ x_{2n} \end{pmatrix}, X_{3}=\begin{pmatrix} x_{31} \\ \vdots \\ x_{3n} \end{pmatrix}$ とも無相関となる。

即ち、$1'e=0\ ,\ X_2'e=0\ ,\ X_3'e=0$

［注意］

誤差の平方和 $u'u$ はn個の正規分布の平方和であるから、 　$\frac{u'u}{\sigma^2} \sim \chi^2(n)$

残差の平方和はどのような分布に従うかが、次に考えるべき問題になる。

　

（全変動）=（回帰変動）+（残差変動）

予測値 　　　　　$\widehat Y=X\widehat\beta$

実測値 　　　　　$Y=X\widehat \beta+e$　　　$\therefore Y=\widehat Y+e$

残差 　　　　　　 $e=Y-X\widehat \beta$

残差平方和 　　$e'e=(Y-X\widehat\beta)'(Y-X\widehat\beta)$

全変動

　　　　　$\begin{split} (Y-\overline Y\cdot 1)'(Y-\overline Y\cdot 1) &=(\widehat Y+e-\overline Y\cdot 1)'(\widehat Y+e-\overline Y\cdot 1)\\ &=(\widehat Y-\overline Y\cdot 1+e)'(\widehat Y-\overline Y\cdot 1+e)\\ &=(\widehat Y-\overline Y\cdot 1)'(\widehat Y-\overline Y\cdot 1)+e'e+e'(\widehat Y-\overline Y\cdot 1)+(\widehat Y-\overline Y\cdot 1)'e \end{split}$

ここで、 $X'X\widehat\beta=X'Y$ より、 $X'(Y-X\widehat\beta)=0$　　$\therefore X'e=0$ また、$1'e=0$ だから、

　　　　　$\begin{split} (\widehat Y-\overline Y\cdot 1)'e &=\widehat Y'e-\overline Y\cdot 1'e=\widehat Y'e-\overline Y\cdot 0\\ &=(X\widehat\beta)'e=\widehat\beta'X'e=0 \end{split}$

同様に、 $e'(\widehat Y-\overline Y\cdot 1)=0$　よって、

　　　　　$\begin{split} (Y-\overline Y\cdot 1)'(Y-\overline Y\cdot 1) &=(\widehat Y-\overline Y\cdot 1)'(\widehat Y-\overline Y\cdot 1)+e'e \end{split}$

これは、（全変動）=（回帰変動）+（残差変動） を意味する。

　

冪等行列

$I=I_n$　（n次正方行列）とする。

　　　　　$\begin{split} e&=Y-X\widehat \beta= Y-X\left( X'X\right) ^{-1}X'Y\\ &=\left[I-X\left( X'X\right) ^{-1}X'\right]Y \end{split}$

　　　　　$\begin{split} \left[I-X\left( X'X\right) ^{-1}X'\right]Y &=\left[I-X\left( X'X\right) ^{-1}X'\right](X\beta+u)\\ &=\left[I-X\left( X'X\right) ^{-1}X'\right](X\beta)+\left[I-X\left( X'X\right) ^{-1}X'\right]u\\ &=X\beta-X\beta+\left[I-X\left( X'X\right) ^{-1}X'\right]u\\ &=\left[I-X\left( X'X\right) ^{-1}X'\right]u \end{split}$

　　　　　$\therefore e=\left[I-X\left( X'X\right) ^{-1}X'\right]u$

と表される。

ここに登場する行列は興味深い性質を持つ。

　　　　　 ・　 $X\left( X'X\right) ^{-1}X'$ は対称な冪等行列で階数は3である。

　　　 　　・　 $I-X\left( X'X\right) ^{-1}X'$ は対称な冪等行列で階数はn-3である。

冪等行列では、階数はトレースに等しい。

また、$tr(AB)=tr(BA)$ 、$tr(A+B)=tr(A)+tr(B)$ という性質を用いると、

　　　　　$tr(X\left( X'X\right) ^{-1}\cdot X')=tr(X'X\left( X'X\right) ^{-1})=tr(I_3)=3$

　　　　　$tr(I-X\left( X'X\right) ^{-1}\cdot X')=n-3$ 　　　これが階数になる。

　

残差平方和の分布

$M=I-X\left( X'X\right) ^{-1}X'$ とおけば、$M'=M$ 、$M^2=M$　 対称冪等行列となる。（$rank(M)=n-3$ ）

残差は、 $e=Mu$ を満たすので、

　　　　　$e'e=u'M'Mu=u'MMu=u'M^2u=u'Mu$

よって、残差平方和 $SSE$ は、

　　　　　 $SSE=e'e=u'Mu$ と表される。 （残差は誤差の二次形式）

理論上、 $u_{i}\sim N\left( 0,\sigma ^{2}\right)$ で、各 $u_i$ どうしは独立である。

　　　　　 $z=\dfrac{1}{\sigma }u$ とおくと、$z\sim N\left( 0,I_{n}\right)$　　$z$ はn次元標準正規分布に従うことになり、

　　　　　$\dfrac{SSE}{\sigma ^{2}} =\dfrac{e'e}{\sigma ^{2}} =z'Mz$ 　　　と表される。

Mは対称行列だから直交行列Pで対角化でき、Mは冪等行列でもあるので固有値は 0 か 1。

固有値１に対する固有ベクトルを左から並べてPを構成すれば、$P^{-1}MP=\begin{pmatrix} I_{n-3} & 0 \\ 0 & 0 \end{pmatrix}$

　　　　　$\dfrac{e'e}{\sigma ^{2}} =z'Mz=z'P(P^{-1}MP)P^{-1}z$　　　 において　 $v=P^{-1}z$　とすると、

　　　　　$\dfrac{e'e}{\sigma ^{2}}=v'\begin{pmatrix} I_{n-3} & 0 \\ 0 & 0 \end{pmatrix}v$

ここで、 $z\sim N\left( 0,I_{n}\right)$ であり、 $E(vv')=P^{-1}E(zz')P=P^{-1}I_nP=I_n$ だから、 $v\sim N\left( 0,I_{n}\right)$

よって、

　　　　　$\dfrac{e'e}{\sigma ^{2}}=v_1^2+v_2^2+\cdots +v_{n-3}^2$　　　$v_i\sim N(0,1)$　は互いに独立

独立な $(n-3)$ 個の標準正規分布の平方和で表されたので、

　　　　　$\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-3\right)$ 　　　が成立する。

［参考］

対称な冪等行列の対角化については、

　　　　　甲南大学　村澤 康友 様　『対称行列の固有値分解」

　　　　　 https://ymurasawa.web.fc2.com/ue-ln10.pdf を参照

　

回帰係数の分布

回帰係数の推定値は、$\widehat{\beta }=\left( X'X\right) ^{-1}X'Y$

　　　　　$\begin{split} \widehat{\beta }-\beta &=\left( X'X\right) ^{-1}X'Y-\left( X'X\right) ^{-1}\ \left( X'X\right) \beta \\ &=\left( X'X\right) ^{-1}X'\left( Y-X\beta\right) \\ &=\left( X'X\right) ^{-1}X'u \end{split}$

$\widehat{\beta } =\beta+ \left( X'X\right) ^{-1}X'u$ より、 $\widehat \beta$ は $u_1,u_2,\cdots,u_n$ の線型結合。

よって、 $\widehat \beta$ はn次元正規分布に従う。

　　　　　$\begin{split} \begin{aligned}Cov\left( \widehat{\beta }\right)=E\left( \left( \widehat{\beta }-\beta \right) \ \left( \widehat{\beta }-\beta \right) '\right) &=\left( X'X\right) ^{-1}X'E\left( uu'\right) X\left( X'X\right) ^{-1}\\ &=\left( X'X\right) ^{-1}X'\sigma^2 IX\left( X'X\right) ^{-1}=\sigma ^{2}\left( X'X\right) ^{-1} \ \end{aligned}\\ \end{split}$

　　　　　$\widehat{\beta }\sim N\left(\beta,\sigma ^{2}\left( X'X\right) ^{-1}\right)$ 　　　　　$\widehat{\beta }-\beta\sim N\left(0\ ,\ \sigma ^{2}\left( X'X\right) ^{-1}\right)$

$\widehat \beta$ の成分 $\widehat \beta_i$ については、

$(X'X)^{-1}$ の$ij$ 成分を $q_{ij}$ とすると、

　　　　　$\sigma ^{2}\left( X'X\right) ^{-1}$ の$ii$ 成分は $\sigma^2q_{ii}$ 　だから、　$\widehat \beta_i\sim N(\beta_i,\sigma^2q_{ii})$

よって、　$Z=\dfrac{\widehat{\beta}_i-\beta_i}{\sigma\sqrt{q_{ii}}}$　 は、 $N(0,1)$ に従う。

　

回帰係数のt検定

$\sigma^2$ が未知のときは、OLS推定量 $s^2=\frac{1}{n-3} e'e$ を用いて t 検定量を構成する。

定理

$Z,Y$ が独立で　 $Z \sim N(0,1)$ 、　$Y\sim \chi^2(m)$　のとき、 $T=\dfrac{Z}{\sqrt{Y/m}}$ は、自由度mのt分布に従う。

Zについては、上述のものを用い、

　　　　　$Z=\dfrac{\widehat{\beta}_i-\beta_i}{\sigma\sqrt{q_{ii}}}\sim N(0,1)$

Yについては、カイ二乗分布に従う統計量として、

　　　　　$Y=\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-3\right)$

このとき、 $Y/m$ に対応する部分は、

　　　　　$Y/m=\dfrac{SSE}{\sigma ^{2}(n-3)}=\dfrac{s^2}{\sigma ^{2}}$

よって、 　$T=\dfrac{\widehat{\beta}_i-\beta_i}{\sigma\sqrt{q_{ii}}} \div \dfrac{s}{\sigma } =\dfrac{\widehat{\beta}_i-\beta_i}{s\sqrt{q_{ii}}} \sim t(n-3)$

$Z,Y$ の独立性をいうには、 $\widehat{\beta }-\beta$ と $e'e$ の独立をいえばよいが難しい。

　　　　　u の二次形式 　　$e'e=u'Mu$

　　　　　uの一次変換 　　$\widehat{\beta }-\beta =\left( X'X\right) ^{-1}X'u$

慶應大学 長倉先生の資料p5「正規分布に従う確率変数の一次関数と二次形式の独立」によれば

　　　　　補題　　　$x\sim N(\mu,\sigma^2I_n)$ 、Bは(q,n)行列、Aは(n,n)対称行列とするとき、

　　　　　　　　　　　BA=0 ならば、$Bx$ と $x'Ax$　は独立であるという。

今、$B=\left( X'X\right) ^{-1}X'$ 、$A=I-X\left( X'X\right) ^{-1}X'$ であり、

　　　　　$BA=\left( X'X\right) ^{-1}X' (I-X\left( X'X\right) ^{-1}X') =\left( X'X\right) ^{-1}X'-\left( X'X\right) ^{-1}X'X\left( X'X\right) ^{-1}X'=0$

よって、 $\widehat{\beta }-\beta$ と $e'e$ の独立はいえる。補題の証明については、ここでは立ち入らない。

［参考］

京都産業大学　岩城秀樹 先生　「統計学のレビュー」のp10に

『 $\widehat \beta$ と $e$ は独立 』であることの説明がある。

慶應大学　麻生良文 先生の解説がもっとも詳しいが、独立の証明は省かれている。

やはり、線形代数の知識が必要ということである。

http://fs1.law.keio.ac.jp/~aso/ecnm/pp/reg2.pdf

　

回帰係数のF検定

慶應大学 長倉大輔 様

http://user.keio.ac.jp/~nagakura/zemi/F_test.pdf　による。

$Z=\dfrac{\widehat{\beta}_i-\beta_i}{\sigma\sqrt{q_{ii}}}\sim N(0,1)$ 、 $Y=\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-3\right)$ のとき、

t検定量を 　　$T=\dfrac{Z}{\sqrt{Y/(n-3)}}$　とすることで、 $\widehat \beta_i$ を検定することができた。

この検定量を拡張し、いくつかの係数を同時に検定できるようにしよう。

　　　　　 $T^2=\dfrac{Z^2}{Y/(n-3)}$ とおくと、$Z^2\sim \chi ^{2}\left( 1\right)$ 、$Y=\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-3\right)$

独立なカイ二乗分布の商は、F分布に従うので、

$Z^2\sim \chi ^{2}\left( 1\right)$ 、$Y=\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-3\right)$ のとき、

　　　　　F検定量 　　　　$F=\dfrac{Z^2/1}{Y/(n-3)}\sim F(1,n-3)$ 　　　　自由度 $(1,n-3)$ のF分布に従う。

つまり、（F検定量）=（t検定量の2乗）　であり、これを用いて回帰係数 $\widehat \beta_i$ を検定することができる。

これを一般の $\widehat\beta$ の検定に拡張できないだろうか？

分子が係数の差の成分の平方であるから、係数の差の二次形式を考える。

長倉先生の「t 統計量とF統計量の分布」ノート版　p4　に的確な解説がある。
　　　　　 http://user.keio.ac.jp/~nagakura/zemi/t_and_F_test.pdf

『正規分布の分散共分散行列の逆行列による２次形式の分布』

　　　　　xはq行1列、$x\sim N(0,\Sigma)$ 、$rank(\Sigma)=q$ とするとき、 $x'\Sigma^{-1}x\sim \chi^2(q)$

これを用いると、

$\widehat{\beta }-\beta\sim N\left(0\ ,\sigma ^{2}\left( X'X\right) ^{-1}\right)$ 、$rank(\sigma ^{2}\left( X'X\right) ^{-1})=3$ 、$\widehat{\beta }-\beta=\left( X'X\right) ^{-1}X'u$ だから、

　　　　　$\begin{split} W&=(\widehat{\beta }-\beta)'\sigma ^{-2}\left( X'X\right)(\widehat{\beta }-\beta)\\ &=u'X(X'X)^{-1}\left( X'X\right)\left( X'X\right) ^{-1}X'u\\ &=u'X\left( X'X\right) ^{-1}X'u \end{split}$

$M=X\left( X'X\right) ^{-1}X'$ は対称な冪等行列で、階数は３（冪等行列の項を参照）

よって、uの３個の平方和で表されるので、 $W\sim\chi^2(3)$ 　自由度３のカイ二乗分布に従う。

もし、帰無仮説 $H_0:\beta=0$ が真とすると、$\widehat{\beta }\sim N\left(0\ ,\sigma ^{2}\left( X'X\right) ^{-1}\right)$ だから、

　　　　　$W=\widehat{\beta }'\sigma ^{-2}\left( X'X\right)\widehat{\beta }$　　　　 の値は小さくなる。

よって、 $F=\dfrac{W/3}{Y/(n-3)}\sim F(3,n-3)$ 　における $F$ 検定量の値は小さくなる。

反対に、$F$ の値が大きければ、帰無仮説が偽である可能性が高い。

このように、 $F$ の値によって 回帰係数 $\widehat\beta$ の検定を行うことができる。

［注意］

$F$ 値は、分散分析の場合とは意味合いが異なる。

分散分析では、 $F$ 値は全変動の中での回帰変動の割合であるが、

回帰分析では、カイ二乗分布に従う独立な確率変数の商の分布を考えている。

F統計量と決定係数の関係については「統計学のレビュー」（岩城先生）p12 を参照

富山大学 唐渡広志 先生のサイトにも、F検定の解説がある。
http://www3.u-toyama.ac.jp/kkarato/2017/econometrics/handout/Econometrics-2017-14-1117.pdf