重回帰分析

　　　　　\(Y=\beta_1\ 1+\beta_2X_2+\beta_3X_3+u\)

統計検定1級過去問　2014人文2

---

２変数 重回帰分析

n 個のデータを、

　　　　　\(1=\begin{pmatrix}
1\\
\vdots\\
1
\end{pmatrix},
X_{2}=\begin{pmatrix}
x_{21} \\
\vdots \\
x_{2n}
\end{pmatrix},
X_{3}=\begin{pmatrix}
x_{31} \\
\vdots \\
x_{3n}
\end{pmatrix},
Y=\begin{pmatrix}
Y_1\\
\vdots\\
Y_n
\end{pmatrix}\)、\(X=\begin{pmatrix}
1 & X_{2} & X_{3}
\end{pmatrix}\)

\(Y=\beta_1\ 1+\beta_2X_2+\beta_3X_3+u\)　 を成分で表現すると、

　　　　　\(\begin{pmatrix}
Y_{1} \\
\vdots \\
Y_{n}
\end{pmatrix}=\begin{pmatrix}
1 & x_{21} & x_{31} \\
\vdots & \vdots & \vdots \\
1 & x_{2n} & x_{3n}
\end{pmatrix}\ \begin{pmatrix}
\beta_{1} \\
\beta_{2} \\
\beta_{3}
\end{pmatrix}+\begin{pmatrix}
u_{1} \\
\vdots \\
u_{n}
\end{pmatrix}\)

　　　　　\(Q=\sum _{i}\left\{ Y_{i}-\left( \beta _{1}\cdot 1+\beta _{2}\cdot x_{2i}+\beta _{3}x_{3i}\right) \right\} ^{2}\)　　を最小にするβを求める。

\(Y'\) は \(Y\) の転置行列を表す。例えば、 \(Y'Y=Y_1^2+Y_2^2+\cdots +Y_n^2\) であり、平方和は転置行列との積で表すことができる。そこで、

　　　　　\(h\left( \beta\right) =Q=\left( Y-X\beta\right) '\left( Y-X\beta\right) \)　　　とおいてβで微分する。

一般に、 \(\dfrac{\partial }{\partial x}\ \left\| Ax-b\right\| ^{2}=\dfrac{\partial }{\partial x}\ \left( Ax-b\right)'\times \left( Ax-b\right) =2A'\left( Ax-b\right) \)だから、

　　　　　\(h'\left( \beta\right) =2X'\left( X\beta-Y\right) \)

\(h'( \widehat\beta ) =0\)　とすると、\(X'X\widehat\beta=X'Y\)　 これを正規方程式という。

回帰係数の推定値は、

　　　　　\(\widehat{\beta }=\left( X'X\right) ^{-1}X'Y\)

推定値との差は、

　　　　　\(\begin{split}
\widehat{\beta }-\beta
&=\left( X'X\right) ^{-1}X'Y-\left( X'X\right) ^{-1}\ \left( X'X\right) \beta \\
&=\left( X'X\right) ^{-1}X'\left( Y-X\beta\right) \\
&=\left( X'X\right) ^{-1}X'u
\end{split}\)

　　　　　\(E\left( \widehat{\beta}-\beta\right) =0\)　より\(E\left( \widehat{\beta }\right) =\beta\)　 よって、 \(\widehat{\beta}\)　は \(\beta\)　の不偏推定量になる。

尚、 \(
\widehat{\beta }-\beta
=\left( X'X\right) ^{-1}X'\cdot u
\)　は、誤差が \(u_1,u_2,\cdots,u_n\)　の線型結合であることを意味する。

\(\widehat{\beta}\)　の分散共分散行列は

　　　　　\(\left( \widehat{\beta }-\beta \right) \ \left( \widehat{\beta }-\beta \right) '=\left( X'X\right) ^{-1}X'uu'X\left( X'X\right) ^{-1}\)　より

　　　　　\(\begin{split}
\begin{aligned}Cov\left( \widehat{\beta }\right)=E\left( \left( \widehat{\beta }-\beta \right) \ \left( \widehat{\beta }-\beta \right) '\right)
&=\left( X'X\right) ^{-1}X'E\left( uu'\right) X\left( X'X\right) ^{-1}\\
&=\left( X'X\right) ^{-1}X'\sigma^2 IX\left( X'X\right) ^{-1}=\sigma ^{2}\left( X'X\right) ^{-1}
\ \end{aligned}\\
\end{split}\)

よって、\(\begin{split}
Cov\left( \widehat{\beta }\right) =\sigma ^{2}\left( X'X\right) ^{-1}
\end{split}\)

あとは、 \(\left( X'X\right) ^{-1}\)　を求めればよいことになるが、それには線形代数の知識が必要である。

偏差平方和、偏差積和を、

　　　　　\(S_{22}=n\cdot cov(X_{2},X_{2})\)　、\(S_{33}=n\cdot cov(X_{3},X_{3})\)　、\(S_{23}=n\cdot cov(X_{2},X_{3})\)

　　　　　\(S_{2y}=n\cdot cov(X_{2},y)\)　　、\(S_{3y}=n\cdot cov(X_{3},y)\)　　　　とおくと、

　　　　　\(X'X=\begin{pmatrix}
1' \\
X_{2}' \\
X_{3}'
\end{pmatrix}\ \begin{pmatrix}
1 & X_{2} & X_{3}
\end{pmatrix}=
\begin{pmatrix}
1'1 & 1'X_{2} & 1'X_{3}\\
X_{2}'1 & X_{2}'X_{2} & X_{2}'X_{3}\\
X_{3}'1 & X_{3}'X_{2} & X_{3}'X_{3}\end{pmatrix}
=\begin{pmatrix}
n & n\overline{X_{2}} & n\overline{X_{3}}\\
n\overline{X_{2}} & S_{22}+n\overline{X_{2}}^2 & S_{23}+n\overline{X_{2}}\overline{X_{3}}\\
n\overline{X_{3}} & S_{23}+n\overline{X_{2}}\overline{X_{3}} & S_{33}+n\overline{X_{3}}^2\end{pmatrix}\)

\(X'X=A=\left( a_{ij}\right) \)　とおくと余因子は、

　　　　　\(\begin{aligned}\sim \\
a_{11}\end{aligned}=
\begin{vmatrix}
& S_{22}+n\overline{X_{2}}^2 & S_{23}+n\overline{X_{2}}\overline{X_{3}}\\
& S_{23}+n\overline{X_{2}}\overline{X_{3}} & S_{33}+n\overline{X_{3}}^2\end{vmatrix}
=S_{22}S_{33}-S_{23}^{2}+
n\left( \overline{X}_{2}^{2}S_{33}-2\overline{X}_{2}\overline{X_{3}}S_{23}+\overline{X_{3}}^{2}S_{22}\right) \)

　　　　　\(\begin{aligned}\sim \\
a_{22}\end{aligned}
=\begin{vmatrix}
n & n\overline{X_{3}}\\
n\overline{X_{3}}& S_{33}+n\overline{X_{3}}^2\end{vmatrix}
=n S_{33}\)　　　　　　　　　　\(\begin{aligned}\sim \\
a_{33}\end{aligned}
=\begin{vmatrix}
n & n\overline{X_{2}}\\
n\overline{X_{2}} & S_{22}+n\overline{X_{2}}^2\
\end{vmatrix}=nS_{22}\)

　　　　　\(\begin{aligned}\sim \\
a_{12}\end{aligned}
=(-1)^3\begin{vmatrix}
n\overline{X_{2}} & S_{23}+n\overline{X_{2}}\ \overline{X_{3}}\\
n\overline{X_{3}}& S_{33}+n\overline{X_{3}}^2\end{vmatrix}
=-n (\overline{X_{2}}S_{33}-\overline{X_{3}}S_{23})\)

　　　　　\(\begin{aligned}\sim \\
a_{13}\end{aligned}
=\begin{vmatrix}
n\overline{X_{2}} & S_{22}+n\overline{X_{2}}^2\\
n\overline{X_{3}}& S_{23}+n\overline{X_{2}}\ \overline{X_{3}}\end{vmatrix}
=n (\overline{X_{2}}S_{23}-\overline{X_{3}}S_{22})\)

　　　　　\(\begin{aligned}\sim \\
a_{23}\end{aligned}
=(-1)^5\begin{vmatrix}
n & n\overline{X_{2}}\\
n\overline{X_{3}}& S_{23}+n\overline{X_{2}}\overline{X_{3}}\end{vmatrix}
=-n S_{23}\)

　　　　　\(\left| A\right| =\begin{vmatrix}
n & n\overline{X}_{2} & n\overline{X}_{3} \\
0 & S_{22} & S_{23} \\
0 & S_{23} & S_{33}
\end{vmatrix}=n\begin{vmatrix}
S_{22} & S_{23} \\
S_{23} & S_{33}
\end{vmatrix}=n\left( S_{22}S_{33}-S_{23}^{2}\right) \)

余因子を用いると逆行列は、

\(A^{-1}=\dfrac{1}{\left| A\right| }
\begin{pmatrix}
S_{22}S_{33}-S_{23}^{2}+
n\left( \overline{X}_{2}^{2}S_{33}-2\overline{X}_{2}\overline{X_{3}}S_{23}+\overline{X_{3}}^{2}S_{22}\right) & -n (\overline{X_{2}}S_{33}-\overline{X_{3}}S_{23}) & n (\overline{X_{2}}S_{23}-\overline{X_{3}}S_{22})\\

-n (\overline{X_{2}}S_{33}-\overline{X_{3}}S_{23}) & n S_{33} & -n S_{23}\\

n (\overline{X_{2}}S_{23}-\overline{X_{3}}S_{22}) & -n S_{23} & nS_{22}\end{pmatrix}\)

ただし、　\(\left| A\right| =n\left( S_{22}S_{33}-S_{23}^{2}\right) \)

\(cov\left( \widehat{\beta }\right) =\sigma ^{2}\left( X'X\right) ^{-1}=\sigma ^{2}A^{-1}\) 、 \(cov\left( \widehat{\beta }\right) \) の対角成分は、\(V\left( \widehat{\beta }_{1}\right) \)　、\(V\left( \widehat{\beta }_{2}\right) \)　、\(V\left( \widehat{\beta }_{3}\right) \)　 だから、

　　　　　\(V\left( \widehat{\beta }_{1}\right) =\sigma ^{2}\left( \dfrac{1}{n}+\dfrac{{\overline{X}_{2}^{2}S_{33}-2\overline{X_{2}}\overline{X_{3}}S_{23}+\overline{X_{3}}^{2}S_{22}}}{S_{22}S_{33}-S_{23}}
\right) \)

　　　　　\(V\left( \widehat{\beta }_{2}\right) =\dfrac{\sigma ^{2}S_{33}}{S_{22}S_{33}-S_{23}^{2}}\)　　　　　\(V\left( \widehat{\beta }_{3}\right) =\dfrac{\sigma ^{2}S_{22}}{S_{22}S_{33}-S_{23}^{2}}\)　　　となる。

ここで、

　　　　　\(\dfrac{S_{22}S_{33}-S_{23}^{2}}{S_{33}}=S_{22}\left( 1-\dfrac{S_{23}^{2}}{S_{22}S_{33}}\right) =S_{22}\left( 1-R_{2}^{2}\right) \)なので、

　　　　　\(V\left( \widehat{\beta }_{2}\right) =\dfrac{\sigma ^{2}}{S_{22}\left( 1-R_{2}^{2}\right) }\)　　　　\(V\left( \widehat{\beta }_{3}\right) =\dfrac{\sigma ^{2}}{S_{33}\left( 1-R_{2}^{2}\right) }\)

\(R_{2}^{2}\) は、\(X_{2}\) を\(X_{3}\) で回帰したときの決定係数である。 （\(X_{2}\) と\(X_{3}\) の相関係数の二乗といってもよい）