hyoccori-toukei

統計検定1級過去問　2014人文2

---

重回帰分析

データはn 個、説明変数は２個とする。（説明変数がp個の場合も同様に考える）

\(Y=\beta_1\ 1+\beta_2X_2+\beta_3X_3+u\) 　　　を成分で表現すると、（ \(u\sim N(0,I_3)\) は誤差項 ）

　　　　　\(\begin{pmatrix}
Y_{1} \\
\vdots \\
Y_{n}
\end{pmatrix}=\begin{pmatrix}
1 & x_{21} & x_{31} \\
\vdots & \vdots & \vdots \\
1 & x_{2n} & x_{3n}
\end{pmatrix}\ \begin{pmatrix}
\beta_{1} \\
\beta_{2} \\
\beta_{3}
\end{pmatrix}+\begin{pmatrix}
u_{1} \\
\vdots \\
u_{n}
\end{pmatrix}\)　　　　行列表現では　\(Y=X\beta+u\)

\(X=\begin{pmatrix}
1 & X_{2} & X_{3}
\end{pmatrix}
=\begin{pmatrix}
1 & x_{21} & x_{31} \\
\vdots & \vdots & \vdots \\
1 & x_{2n} & x_{3n}
\end{pmatrix}\)　　　\(rank(X)=3\)　とする。　　　(full rank)

ただし、\(1=\begin{pmatrix}
1\\
\vdots\\
1
\end{pmatrix},
X_{2}=\begin{pmatrix}
x_{21} \\
\vdots \\
x_{2n}
\end{pmatrix},
X_{3}=\begin{pmatrix}
x_{31} \\
\vdots \\
x_{3n}
\end{pmatrix},
Y=\begin{pmatrix}
Y_1\\
\vdots\\
Y_n
\end{pmatrix}\)

\(X'X\) は３次正方行列で正則とする。 　　\(rank(X'X)=3\)

［参考］

rank(A) = min(m, n) のとき、A は最大階数(full rank)を持つといいフルランク行列という。

　

回帰係数の推定

　　　　　\(Q=\sum _{i}u_i^2=
\sum _{i}\left\{ Y_{i}-\left( \beta _{1}\cdot 1+\beta _{2} x_{2i}+\beta _{3}x_{3i}\right) \right\} ^{2}
\)　　　

平方和は行列の積で表すことができる。

　　　　　\(\begin{split}
Q&=(Y-X\beta)'(Y-X\beta)
=\left( Y'-\beta 'X'\right)\left( Y-X\beta \right) \\
&=Y'Y-Y'X\beta-\beta 'X'Y+\beta 'X'X\beta
\end{split}\)

\(Y'X\beta,\ \beta 'X'Y\) はスカラーだから、\(Y'X\beta=\beta 'X'Y\)

　　　　　\(\begin{split}
Q&=(Y-X\beta)'(Y-X\beta)
=Y'Y-2\beta 'X'Y+\beta 'X'X\beta
\end{split}\)

行列の微分では、 \(\displaystyle{
\frac{\partial}{\partial \mathbf{x}} \mathbf{x}^T\mathbf{A}\mathbf{x} = (\mathbf{A}+\mathbf{A}^T)\mathbf{x}
}\) 　　　Aが対称行列の場合は、\(\displaystyle{
\frac{\partial}{\partial \mathbf{x}} \mathbf{x}^T\mathbf{A}\mathbf{x} = 2\mathbf{A}\mathbf{x}
}\)

\(X'X\) は対称行列なので、\(\dfrac{\partial Q}{d\beta}=-2X'Y+2X'X\beta\)

ここで、 \(\dfrac{\partial Q}{d\beta}=0\) とすると、　 \(X'X\beta=X'Y\)　　（正規方程式）

\(Q\) を最小にするβ を \(\widehat\beta\) とすると、 \(\widehat{\beta }=\left( X'X\right) ^{-1}X'Y\)　　　　を得る。

　

残差と誤差

\(\beta=\widehat \beta\) のとき、 \(e=Y-X\widehat\beta\) を残差という。

誤差と残差の違いは、

　　　　　 誤差は、真の \(\beta\) による値と実測値の差、 \(u=Y-X\beta\)

　　　　　残差は、推定値 \(\widehat{\beta }\)　による値と実測値の差、\(e=Y-X\widehat\beta\)

残差の性質としては、 \(\widehat Y=X\widehat\beta\) とすると、

　　　　　 \(X'(Y-X\widehat\beta)=0\) より、 \(X'e=0\)　　　\(\widehat Y'e=\widehat\beta' X'e=0\)

\(\widehat Y'e=\left(\widehat Y,e\right)\) は内積を意味するから、 \(\widehat Y\) と残差 \(e\) は無相関。

同様に、 \(X\) と残差 \(e\) は無相関。よって、

残差 \(e\) は、 \(1=\begin{pmatrix}
1\\
\vdots\\
1
\end{pmatrix},
X_{2}=\begin{pmatrix}
x_{21} \\
\vdots \\
x_{2n}
\end{pmatrix},
X_{3}=\begin{pmatrix}
x_{31} \\
\vdots \\
x_{3n}
\end{pmatrix}\) とも無相関となる。

即ち、\(1'e=0\ ,\ X_2'e=0\ ,\ X_3'e=0\)

［注意］

誤差の平方和 \(u'u\) はn個の正規分布の平方和であるから、 　\(\frac{u'u}{\sigma^2} \sim \chi^2(n)\)

残差の平方和はどのような分布に従うかが、次に考えるべき問題になる。

　

（全変動）=（回帰変動）+（残差変動）

予測値 　　　　　\(\widehat Y=X\widehat\beta\)

実測値 　　　　　\(Y=X\widehat \beta+e\)　　　\(\therefore Y=\widehat Y+e\)

残差 　　　　　　 \(e=Y-X\widehat \beta\)

残差平方和 　　\(e'e=(Y-X\widehat\beta)'(Y-X\widehat\beta)\)

全変動

　　　　　\(\begin{split}
(Y-\overline Y\cdot 1)'(Y-\overline Y\cdot 1)
&=(\widehat Y+e-\overline Y\cdot 1)'(\widehat Y+e-\overline Y\cdot 1)\\
&=(\widehat Y-\overline Y\cdot 1+e)'(\widehat Y-\overline Y\cdot 1+e)\\
&=(\widehat Y-\overline Y\cdot 1)'(\widehat Y-\overline Y\cdot 1)+e'e+e'(\widehat Y-\overline Y\cdot 1)+(\widehat Y-\overline Y\cdot 1)'e
\end{split}\)

ここで、 \(X'X\widehat\beta=X'Y\) より、 \(X'(Y-X\widehat\beta)=0\)　　\(\therefore X'e=0\) また、\(1'e=0\) だから、

　　　　　\(\begin{split}
(\widehat Y-\overline Y\cdot 1)'e
&=\widehat Y'e-\overline Y\cdot 1'e=\widehat Y'e-\overline Y\cdot 0\\
&=(X\widehat\beta)'e=\widehat\beta'X'e=0
\end{split}\)

同様に、 \(e'(\widehat Y-\overline Y\cdot 1)=0\)　よって、

　　　　　\(\begin{split}
(Y-\overline Y\cdot 1)'(Y-\overline Y\cdot 1)
&=(\widehat Y-\overline Y\cdot 1)'(\widehat Y-\overline Y\cdot 1)+e'e
\end{split}\)

これは、（全変動）=（回帰変動）+（残差変動） を意味する。

　

冪等行列

\(I=I_n\)　（n次正方行列）とする。

　　　　　\(\begin{split}
e&=Y-X\widehat \beta=
Y-X\left( X'X\right) ^{-1}X'Y\\
&=\left[I-X\left( X'X\right) ^{-1}X'\right]Y
\end{split}\)

　　　　　\(\begin{split}
\left[I-X\left( X'X\right) ^{-1}X'\right]Y
&=\left[I-X\left( X'X\right) ^{-1}X'\right](X\beta+u)\\

&=\left[I-X\left( X'X\right) ^{-1}X'\right](X\beta)+\left[I-X\left( X'X\right) ^{-1}X'\right]u\\
&=X\beta-X\beta+\left[I-X\left( X'X\right) ^{-1}X'\right]u\\
&=\left[I-X\left( X'X\right) ^{-1}X'\right]u
\end{split}\)

　　　　　\(\therefore e=\left[I-X\left( X'X\right) ^{-1}X'\right]u\)

と表される。

ここに登場する行列は興味深い性質を持つ。

　　　　　 ・　 \(X\left( X'X\right) ^{-1}X'\) は対称な冪等行列で階数は3である。

　　　 　　・　 \(I-X\left( X'X\right) ^{-1}X'\) は対称な冪等行列で階数はn-3である。

冪等行列では、階数はトレースに等しい。

また、\(tr(AB)=tr(BA)\) 、\(tr(A+B)=tr(A)+tr(B)\) という性質を用いると、

　　　　　\(tr(X\left( X'X\right) ^{-1}\cdot X')=tr(X'X\left( X'X\right) ^{-1})=tr(I_3)=3\)

　　　　　\(tr(I-X\left( X'X\right) ^{-1}\cdot X')=n-3\) 　　　これが階数になる。

　

残差平方和の分布

\(M=I-X\left( X'X\right) ^{-1}X'\) とおけば、\(M'=M\) 、\(M^2=M\)　 対称冪等行列となる。（\(rank(M)=n-3\) ）

残差は、 \(e=Mu\) を満たすので、

　　　　　\(e'e=u'M'Mu=u'MMu=u'M^2u=u'Mu\)

よって、残差平方和 \(SSE\) は、

　　　　　 \(SSE=e'e=u'Mu\) と表される。 （残差は誤差の二次形式）

理論上、 \(u_{i}\sim N\left( 0,\sigma ^{2}\right) \) で、各 \(u_i\) どうしは独立である。

　　　　　 \(z=\dfrac{1}{\sigma }u\) とおくと、\(z\sim N\left( 0,I_{n}\right) \)　　\(z\) はn次元標準正規分布に従うことになり、

　　　　　\(\dfrac{SSE}{\sigma ^{2}}
=\dfrac{e'e}{\sigma ^{2}}
=z'Mz\) 　　　と表される。

Mは対称行列だから直交行列Pで対角化でき、Mは冪等行列でもあるので固有値は 0 か 1。

固有値１に対する固有ベクトルを左から並べてPを構成すれば、\(P^{-1}MP=\begin{pmatrix}
I_{n-3} & 0 \\
0 & 0
\end{pmatrix}\)

　　　　　\(\dfrac{e'e}{\sigma ^{2}}
=z'Mz=z'P(P^{-1}MP)P^{-1}z\)　　　 において　 \(v=P^{-1}z\)　とすると、

　　　　　\(\dfrac{e'e}{\sigma ^{2}}=v'\begin{pmatrix}
I_{n-3} & 0 \\
0 & 0
\end{pmatrix}v\)

ここで、 \(z\sim N\left( 0,I_{n}\right) \) であり、 \(E(vv')=P^{-1}E(zz')P=P^{-1}I_nP=I_n\) だから、 \(v\sim N\left( 0,I_{n}\right) \)

よって、

　　　　　\(\dfrac{e'e}{\sigma ^{2}}=v_1^2+v_2^2+\cdots +v_{n-3}^2\)　　　\(v_i\sim N(0,1)\)　は互いに独立

独立な \((n-3)\) 個の標準正規分布の平方和で表されたので、

　　　　　\(\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-3\right) \) 　　　が成立する。

［参考］

対称な冪等行列の対角化については、

　　　　　甲南大学　村澤 康友 様　『対称行列の固有値分解」

　　　　　 https://ymurasawa.web.fc2.com/ue-ln10.pdf を参照

　

回帰係数の分布

回帰係数の推定値は、\(\widehat{\beta }=\left( X'X\right) ^{-1}X'Y\)

　　　　　\(\begin{split}
\widehat{\beta }-\beta
&=\left( X'X\right) ^{-1}X'Y-\left( X'X\right) ^{-1}\ \left( X'X\right) \beta \\
&=\left( X'X\right) ^{-1}X'\left( Y-X\beta\right) \\
&=\left( X'X\right) ^{-1}X'u
\end{split}\)

\(\widehat{\beta }
=\beta+ \left( X'X\right) ^{-1}X'u
\) より、 \(\widehat \beta\) は \(u_1,u_2,\cdots,u_n\) の線型結合。

よって、 \(\widehat \beta\) はn次元正規分布に従う。

　　　　　\(\begin{split}
\begin{aligned}Cov\left( \widehat{\beta }\right)=E\left( \left( \widehat{\beta }-\beta \right) \ \left( \widehat{\beta }-\beta \right) '\right)
&=\left( X'X\right) ^{-1}X'E\left( uu'\right) X\left( X'X\right) ^{-1}\\
&=\left( X'X\right) ^{-1}X'\sigma^2 IX\left( X'X\right) ^{-1}=\sigma ^{2}\left( X'X\right) ^{-1}
\ \end{aligned}\\
\end{split}\)

　　　　　\(\widehat{\beta }\sim N\left(\beta,\sigma ^{2}\left( X'X\right) ^{-1}\right)\) 　　　　　\(\widehat{\beta }-\beta\sim N\left(0\ ,\ \sigma ^{2}\left( X'X\right) ^{-1}\right)\)

\(\widehat \beta\) の成分 \(\widehat \beta_i\) については、

\((X'X)^{-1}\) の\(ij\) 成分を \(q_{ij}\) とすると、

　　　　　\(\sigma ^{2}\left( X'X\right) ^{-1}\) の\(ii\) 成分は \(\sigma^2q_{ii}\) 　だから、　\(\widehat \beta_i\sim N(\beta_i,\sigma^2q_{ii})\)

よって、　\(Z=\dfrac{\widehat{\beta}_i-\beta_i}{\sigma\sqrt{q_{ii}}}\)　 は、 \(N(0,1)\) に従う。

　

回帰係数のt検定

\(\sigma^2\) が未知のときは、OLS推定量 \(s^2=\frac{1}{n-3} e'e\) を用いて t 検定量を構成する。

定理

\(Z,Y\) が独立で　 \(Z \sim N(0,1)\) 、　\(Y\sim \chi^2(m)\)　のとき、 \(T=\dfrac{Z}{\sqrt{Y/m}}\) は、自由度mのt分布に従う。

Zについては、上述のものを用い、

　　　　　\(Z=\dfrac{\widehat{\beta}_i-\beta_i}{\sigma\sqrt{q_{ii}}}\sim N(0,1)\)

Yについては、カイ二乗分布に従う統計量として、

　　　　　\(Y=\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-3\right) \)

このとき、 \(Y/m\) に対応する部分は、

　　　　　\(Y/m=\dfrac{SSE}{\sigma ^{2}(n-3)}=\dfrac{s^2}{\sigma ^{2}}\)

よって、 　\(T=\dfrac{\widehat{\beta}_i-\beta_i}{\sigma\sqrt{q_{ii}}} \div \dfrac{s}{\sigma }
=\dfrac{\widehat{\beta}_i-\beta_i}{s\sqrt{q_{ii}}}
\sim t(n-3)\)

\(Z,Y\) の独立性をいうには、 \(\widehat{\beta }-\beta \) と \(e'e\) の独立をいえばよいが難しい。

　　　　　u の二次形式 　　\(e'e=u'Mu\)

　　　　　uの一次変換 　　\(\widehat{\beta }-\beta
=\left( X'X\right) ^{-1}X'u\)

慶應大学 長倉先生の資料p5「正規分布に従う確率変数の一次関数と二次形式の独立」によれば

　　　　　補題　　　\(x\sim N(\mu,\sigma^2I_n)\) 、Bは(q,n)行列、Aは(n,n)対称行列とするとき、

　　　　　　　　　　　BA=0 ならば、\(Bx\) と \(x'Ax\)　は独立であるという。

今、\(B=\left( X'X\right) ^{-1}X'\) 、\(A=I-X\left( X'X\right) ^{-1}X'\) であり、

　　　　　\(BA=\left( X'X\right) ^{-1}X'
(I-X\left( X'X\right) ^{-1}X')
=\left( X'X\right) ^{-1}X'-\left( X'X\right) ^{-1}X'X\left( X'X\right) ^{-1}X'=0\)

よって、 \(\widehat{\beta }-\beta \) と \(e'e\) の独立はいえる。補題の証明については、ここでは立ち入らない。

［参考］

京都産業大学　岩城秀樹 先生　「統計学のレビュー」のp10に

『 \(\widehat \beta\) と \(e\) は独立 』であることの説明がある。

慶應大学　麻生良文 先生の解説がもっとも詳しいが、独立の証明は省かれている。

やはり、線形代数の知識が必要ということである。

http://fs1.law.keio.ac.jp/~aso/ecnm/pp/reg2.pdf

　

回帰係数のF検定

慶應大学 長倉大輔 様

http://user.keio.ac.jp/~nagakura/zemi/F_test.pdf　による。

\(Z=\dfrac{\widehat{\beta}_i-\beta_i}{\sigma\sqrt{q_{ii}}}\sim N(0,1)\) 、 \(Y=\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-3\right) \) のとき、

t検定量を 　　\(T=\dfrac{Z}{\sqrt{Y/(n-3)}}\)　とすることで、 \(\widehat \beta_i\) を検定することができた。

この検定量を拡張し、いくつかの係数を同時に検定できるようにしよう。

　　　　　 \(T^2=\dfrac{Z^2}{Y/(n-3)}\) とおくと、\(Z^2\sim \chi ^{2}\left( 1\right) \) 、\(Y=\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-3\right) \)

独立なカイ二乗分布の商は、F分布に従うので、

\(Z^2\sim \chi ^{2}\left( 1\right) \) 、\(Y=\dfrac{SSE}{\sigma ^{2}}\sim \chi ^{2}\left( n-3\right) \) のとき、

　　　　　F検定量 　　　　\(F=\dfrac{Z^2/1}{Y/(n-3)}\sim F(1,n-3)\) 　　　　自由度 \((1,n-3)\) のF分布に従う。

つまり、（F検定量）=（t検定量の2乗）　であり、これを用いて回帰係数 \(\widehat \beta_i\) を検定することができる。

これを一般の \(\widehat\beta\) の検定に拡張できないだろうか？

分子が係数の差の成分の平方であるから、係数の差の二次形式を考える。

長倉先生の「t 統計量とF統計量の分布」ノート版　p4　に的確な解説がある。
　　　　　 http://user.keio.ac.jp/~nagakura/zemi/t_and_F_test.pdf

『正規分布の分散共分散行列の逆行列による２次形式の分布』

　　　　　xはq行1列、\(x\sim N(0,\Sigma)\) 、\(rank(\Sigma)=q\) とするとき、 \(x'\Sigma^{-1}x\sim \chi^2(q)\)

これを用いると、

\(\widehat{\beta }-\beta\sim N\left(0\ ,\sigma ^{2}\left( X'X\right) ^{-1}\right)
\) 、\(rank(\sigma ^{2}\left( X'X\right) ^{-1})=3\) 、\(\widehat{\beta }-\beta=\left( X'X\right) ^{-1}X'u\) だから、

　　　　　\(\begin{split}
W&=(\widehat{\beta }-\beta)'\sigma ^{-2}\left( X'X\right)(\widehat{\beta }-\beta)\\
&=u'X(X'X)^{-1}\left( X'X\right)\left( X'X\right) ^{-1}X'u\\
&=u'X\left( X'X\right) ^{-1}X'u
\end{split}\)

\(M=X\left( X'X\right) ^{-1}X'\) は対称な冪等行列で、階数は３（冪等行列の項を参照）

よって、uの３個の平方和で表されるので、 \(W\sim\chi^2(3)\) 　自由度３のカイ二乗分布に従う。

もし、帰無仮説 \(H_0:\beta=0\) が真とすると、\(\widehat{\beta }\sim N\left(0\ ,\sigma ^{2}\left( X'X\right) ^{-1}\right)
\) だから、

　　　　　\(W=\widehat{\beta }'\sigma ^{-2}\left( X'X\right)\widehat{\beta }
\)　　　　 の値は小さくなる。

よって、 \(F=\dfrac{W/3}{Y/(n-3)}\sim F(3,n-3)\) 　における \(F\) 検定量の値は小さくなる。

反対に、\(F\) の値が大きければ、帰無仮説が偽である可能性が高い。

このように、 \(F\) の値によって 回帰係数 \(\widehat\beta\) の検定を行うことができる。

［注意］

\(F\) 値は、分散分析の場合とは意味合いが異なる。

分散分析では、 \(F\) 値は全変動の中での回帰変動の割合であるが、

回帰分析では、カイ二乗分布に従う独立な確率変数の商の分布を考えている。

F統計量と決定係数の関係については「統計学のレビュー」（岩城先生）p12 を参照

富山大学 唐渡広志 先生のサイトにも、F検定の解説がある。
http://www3.u-toyama.ac.jp/kkarato/2017/econometrics/handout/Econometrics-2017-14-1117.pdf