回帰係数を求めるプロセスで正規方程式が登場します。
重回帰分析と重複する説明もありますが、整理してみたいと思います。
（参考資料）藤田岳彦 著「大学生の確率・統計」 ７１、７２（単回帰分析）
\(X'X\widehat\beta=X'y\) 推定値 \(\widehat{\beta }=\left( X'X\right) ^{-1}X'y\)
（ 単回帰でも重回帰でも構造は同じです ）
統計検定1級 関連問題
単回帰モデル
\(\begin{pmatrix}
y_{1} \\
\vdots \\
y_{n}
\end{pmatrix}
=
\begin{pmatrix}
1 & x_{1}\\
\vdots & \vdots \\
1 & x_{n}
\end{pmatrix}
\ \begin{pmatrix}
\beta_{1} \\
\beta_{2}
\end{pmatrix}+\begin{pmatrix}
u_{1} \\
\vdots \\
u_{n}
\end{pmatrix}\)
\(X=\begin{pmatrix}
1 & x_{1}\\
\vdots & \vdots \\
1 & x_{n}
\end{pmatrix}
\)、\(x=
\begin{pmatrix}
x_{1}\\
\vdots\\
x_{n}
\end{pmatrix}\)、\(y=
\begin{pmatrix}
y_{1}\\
\vdots\\
y_{n}
\end{pmatrix}\)、\(1=
\begin{pmatrix}
1\\
\vdots\\
1
\end{pmatrix}\) とすると、
\(X'X=\begin{pmatrix}
1' \\
x'
\end{pmatrix}
\begin{pmatrix}
1 & x
\end{pmatrix}=
\begin{pmatrix}
1'\cdot 1 & 1'\cdot x \\
x'\cdot1 & x'\cdot x
\end{pmatrix}
=
\begin{pmatrix}
n & n\overline x \\
n\overline x & n\overline {x^2}
\end{pmatrix}
\)
\(X'y=\begin{pmatrix}
1' \\
x'\end{pmatrix}\left( y\right)
=\begin{pmatrix}
1'\cdot y \\
x'\cdot y
\end{pmatrix}
=
\begin{pmatrix}
n\overline{y} \\
n\overline{xy}
\end{pmatrix}
\)
\(\widehat\beta =\begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2}
\end{pmatrix}\) とすると、\(\begin{pmatrix}
n & n\overline x \\
n\overline x & n\overline {x^2}
\end{pmatrix}
\begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2}
\end{pmatrix}
=\begin{pmatrix}
n\overline{y} \\
n\overline{xy}
\end{pmatrix}\)
よって、 \(\begin{pmatrix}
1 & \overline{x} \\
\overline{x} & \overline{x^2}
\end{pmatrix}
\begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2}
\end{pmatrix}
=
\begin{pmatrix}
\overline{y} \\
\overline{xy}
\end{pmatrix}\)
\(\begin{pmatrix}
1 & \overline{x} \\
\overline{x} & \overline{x^2}
\end{pmatrix}^{-1}
=
\dfrac{1}{s_{x}^2}
\begin{pmatrix}
\overline{x^2} & \ \ -\overline{x} \\
-\overline{x} & \ \ \ \ 1
\end{pmatrix}
\) より \(\begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2}
\end{pmatrix}
=\dfrac{1}{s_{x}^2}
\begin{pmatrix}
\overline{x^2} & \ \ -\overline{x} \\
-\overline{x} & \ \ \ \ 1
\end{pmatrix}
\begin{pmatrix}
\overline{y} \\
\overline{xy}
\end{pmatrix}\)
\(\begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2}
\end{pmatrix}
=
\dfrac{1}{s_{x}^2}
\begin{pmatrix}
\overline{x^2}\overline{y}-\overline{x}\cdot \overline{xy} \\
-\overline{x}\overline{y}+\overline{xy}
\end{pmatrix}
=
\dfrac{1}{s_{x}^2}
\begin{pmatrix}
(s_x^2+\overline{x}^2)\overline{y}-\overline{x}\cdot (s_{xy}+\overline{x}\overline{y})\\
-\overline{x}\overline{y}+\overline{xy}
\end{pmatrix}
=
\dfrac{1}{s_{x}^2}
\begin{pmatrix}
s_x^2\overline{y}-s_{xy}\cdot \overline{x}\\
s_{xy}
\end{pmatrix}
\)
\(\therefore \begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2}
\end{pmatrix}
=
\begin{pmatrix}
\overline{y}-\dfrac{s_{xy}}{s_{x}^{2}}\overline{x} \\
\dfrac{s_{xy}}{s_{x}^2}
\end{pmatrix}
=
\begin{pmatrix}
\overline{y}-\dfrac{s_{xy}}{s_{x}s_{y}}\dfrac{s_{y}}{s_{x}}\overline{x} \\
\dfrac{s_{xy}}{s_{x}s_{y}}\dfrac{s_{y}}{s_{x}}
\end{pmatrix}
=
\begin{pmatrix}
\overline{y}-r_{xy}\dfrac{s_{y}}{s_{x}}\overline{x} \\
r_{xy}\dfrac{s_{y}}{s_{x}}
\end{pmatrix}\)
（ \(\overline{xy}\) は積の平均、 \(s_{xy}\) は共分散、 \(s_x^2\) は分散を表す）
特に、x,yが標準化されていれば、
\(\widehat\beta_{2}=r_{xy}\) （回帰係数は相関係数と一致）
\(\widehat{\beta }\) の分散共分散行列は、
\(\begin{split}
Cov\left(\widehat\beta \right)
&=\sigma ^{2}\left( X'X\right) ^{-1}
=
\sigma ^{2}\begin{pmatrix}
1'\cdot1 & \ \ 1'\cdot x \\
x'\cdot1 & \ \ x'\cdot x
\end{pmatrix}
^{-1}
=\sigma ^{2}
\begin{pmatrix}
n & \ \ n\overline{x} \\
n\overline{x} &\ \ n\overline{x^2}
\end{pmatrix}^{-1}\\
&=
\dfrac{\sigma ^{2}}{n}
\begin{pmatrix}
1 & \ \ \overline{x} \\
\overline{x} & \ \ \overline{x^2}
\end{pmatrix}^{-1}
=
\dfrac{\sigma ^{2}}{ns_{x}^2}
\begin{pmatrix}
\overline{x^2} & \ \ -\overline{x} \\
-\overline{x} & \ \ \ \ 1
\end{pmatrix}
\end{split}\)
重回帰分析（２変数）
回帰係数の推定値 \(X'X\widehat\beta=X'y\) より \(\widehat{\beta }=\left( X'X\right) ^{-1}X'y\)
\(X=\begin{pmatrix}
1 & X_{2}& X_{3}
\end{pmatrix}\) は n×3 行列、 \(\left( y\right) \) はn×1 行列。
\(X'X=\begin{pmatrix}
1' \\
X_{2}'\\
X_{3}'
\end{pmatrix}
\begin{pmatrix}
1 & X_{2}& X_{3}
\end{pmatrix}
=
\begin{pmatrix}
1'\cdot 1 & 1'\cdot X_{2} & 1'\cdot X_{3}\\
X_{2}'\cdot 1 & X_{2}'\cdot X_{2} & X_{2}'\cdot X_{3}\\
X_{3}'\cdot 1& X_{3}'\cdot X_{2} & X_{3}'\cdot X_{3}
\end{pmatrix}\)
\(X'y
=\begin{pmatrix}
1' \\
X_{2}'\\
X_{3}'
\end{pmatrix}\left( y\right)
=\begin{pmatrix}
1'\cdot y \\
X_{2}'\cdot y\\
X_{3}'\cdot y
\end{pmatrix}\)
正規方程式は \(\begin{pmatrix}
1'\cdot 1 & 1'\cdot X_{2} & 1'\cdot X_{3}\\
X_{2}'\cdot 1 & X_{2}'\cdot X_{2} & X_{2}'\cdot X_{3}\\
X_{3}'\cdot 1& X_{3}'\cdot X_{2} & X_{3}'\cdot X_{3}
\end{pmatrix}
\begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=\begin{pmatrix}
1'\cdot y \\
X_{2}'\cdot y\\
X_{3}'\cdot y
\end{pmatrix}\) 、即ち
\(\begin{pmatrix}
n & n\overline{X_{2}} & n\overline{X_{3}}\\
n\overline{X_{2}} &n\overline{X_{2}^2} & n\overline{X_{2}X_{3}}\\
n\overline{X_{3}}& n\overline{X_{2}X_{3}} & n\overline{X_{3}^2}
\end{pmatrix}
\begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=
\begin{pmatrix}
n\overline{y} \\
n\overline{X_{2}y}\\
n\overline{X_{3}y}
\end{pmatrix}\) \(\therefore
\begin{pmatrix}
1& \overline{X_{2}} & \overline{X_{3}}\\
\overline{X_{2}} &\overline{X_{2}^2} & \overline{X_{2}X_{3}}\\
\overline{X_{3}}& \overline{X_{2}X_{3}} & \overline{X_{3}^2}
\end{pmatrix}
\begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=
\begin{pmatrix}
\overline{y} \\
\overline{X_{2}y}\\
\overline{X_{3}y}
\end{pmatrix}\)
基本変形を行い、\(
\begin{pmatrix}
1& \overline{X_{2}} & \overline{X_{3}}\\
0 &\overline{X_{2}^2}-\overline{X_{2}}^2 & \overline{X_{2}X_{3}}-\overline{X_{2}}\overline{X_{3}}\\
0& \overline{X_{2}X_{3}}-\overline{X_{2}}\overline{X_{3}} & \overline{X_{3}^2}-\overline{X_{3}}^2
\end{pmatrix}
\begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=
\begin{pmatrix}
\overline{y} \\
\overline{X_{2}y}-\overline{X_{2}}\overline{y}\\
\overline{X_{3}y}-\overline{X_{3}}\overline{y}
\end{pmatrix}\)
\(\gamma_{22}=\overline{X_{2}^2}-\overline{X_{2}}^2 \)、\(\gamma_{33}=\overline{X_{3}^2}-\overline{X_{3}}^2 \)、\(\gamma_{23}=cov(X_{2},X_{3})\)、\(\gamma_{2y}=cov(X_{2},y)\)、\(\gamma_{3y}=cov(X_{3},y)\)
により、分散および共分散 \(\gamma\) を用いて表すと、
\(\begin{pmatrix}
1 & \overline{X_{2}} & \overline{X_{3}}\\
0&\gamma_{22} & \gamma_{23}\\
0& \gamma_{23}& \gamma_{33}
\end{pmatrix}
\begin{pmatrix}
\widehat\beta_{1} \\
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=
\begin{pmatrix}
\overline{y} \\
\gamma_{2y}\\
\gamma_{3y}
\end{pmatrix}\) \(\therefore
\begin{pmatrix}
\gamma_{22} & \gamma_{23}\\
\gamma_{23}& \gamma_{33}
\end{pmatrix}
\begin{pmatrix}
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=
\begin{pmatrix}
\gamma_{2y}\\
\gamma_{3y}
\end{pmatrix}\)
\(
\begin{pmatrix}
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=
\begin{pmatrix}
\gamma_{22} & \gamma_{23}\\
\gamma_{23}& \gamma_{33}
\end{pmatrix}^{-1}
\begin{pmatrix}
\gamma_{2y}\\
\gamma_{3y}
\end{pmatrix}
=\dfrac{1}{\gamma_{22}\gamma_{33}-\gamma_{23}^2}
\begin{pmatrix}
\gamma_{33} & -\gamma_{23}\\
-\gamma_{23}& \gamma_{22}
\end{pmatrix}
\begin{pmatrix}
\gamma_{2y}\\
\gamma_{3y}
\end{pmatrix}
\)
回帰係数の推定値は、
\(
\begin{pmatrix}
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=
\dfrac{1}{\gamma_{22}\gamma_{33}-\gamma_{23}^2}
\begin{pmatrix}
\gamma_{2y}\gamma_{33}-\gamma_{3y}\gamma_{23}\\
-\gamma_{2y}\gamma_{23}+\gamma_{3y}\gamma_{22}
\end{pmatrix}
\) \(\widehat\beta_{1}=
\overline{y}-\widehat\beta_{2}\overline{X_{2}}-\widehat\beta_{3}\overline{X_{3}}\)
標準化されて分散が１であれば、
\(
\begin{pmatrix}
1 & r_{23}\\
r_{23}& 1
\end{pmatrix}
\begin{pmatrix}
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=
\begin{pmatrix}
r_{2y}\\
r_{3y}
\end{pmatrix}\) \(
\therefore
\begin{pmatrix}
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=
\dfrac{1}{1-r_{23}^{2}}
\begin{pmatrix}
1 & -r_{23}\\
-r_{23}& 1
\end{pmatrix}
\begin{pmatrix}
r_{2y}\\
r_{3y}
\end{pmatrix}\)
\(\widehat{\beta }\) の分散共分散行列は
\(\begin{split}
Cov\left(\widehat\beta \right)
&=\sigma ^{2}\left( X'X\right) ^{-1}
=\sigma ^{2}
\begin{pmatrix}
n \ \ \ & n\overline{X_{2}} & \ \ \ n\overline{X_{3}}\\
n\overline{X_{2}} \ \ \ &n\overline{X_{2}^2} & \ \ \ n\overline{X_{2}X_{3}}\\
n\overline{X_{3}} \ \ \ & n\overline{X_{2}X_{3}} & \ \ \ n\overline{X_{3}^2}
\end{pmatrix}
^{-1}
=
\dfrac{\sigma ^{2}}{n}
\begin{pmatrix}
1 \ \ \ & \overline{X_{2}} & \ \ \ \overline{X_{3}}\\
\overline{X_{2}} \ \ \ &\overline{X_{2}^2} & \ \ \ \overline{X_{2}X_{3}}\\
\overline{X_{3}} \ \ \ & \overline{X_{2}X_{3}} & \ \ \ \overline{X_{3}^2}
\end{pmatrix}
^{-1}
\end{split}\)
標準化されていれば、 \(r=cor(X_{2},X_{3})\) を相関係数とすると
\(Cov\left(\widehat\beta \right)
=\sigma ^{2}\left( X'X\right) ^{-1}
=\sigma ^{2}
\begin{pmatrix}
n \ \ \ & 0 & \ \ \ 0\\
0 \ \ \ &n & \ \ \ nr\\
0 \ \ \ & nr & \ \ \ n\
\end{pmatrix}
^{-1}
=\dfrac{\sigma ^{2}}{n}
\begin{pmatrix}
1 \ \ \ & 0 & \ \ \ 0\\
0 \ \ \ &1 & \ \ \ r\\
0 \ \ \ & r & \ \ \ 1\
\end{pmatrix}
^{-1}
\)
逆行列は基本変形によって求めることができるので、
\(\widehat\beta_{2},
\widehat\beta_{3}
\) の分散共分散行列は、
\(\dfrac{\sigma ^{2}}{n}
\begin{pmatrix}
1 & \ \ \ r\\
r & \ \ \ 1\
\end{pmatrix}
^{-1}
=
\dfrac{\sigma ^{2}}{n(1-r^2)}
\begin{pmatrix}
1 & \ \ \ -r\\
-r & \ \ \ 1\
\end{pmatrix}
\)
［参考］
富山大学 唐渡広志 様 「44の例題で学ぶ計量経済学」（Ohmsha) p127 によれば、
偏差平方和、偏差積和により表現することもできる。
\(S_{22}=n\cdot cov(X_{2},X_{2})\)、\(S_{33}=n\cdot cov(X_{3},X_{3})\)、\(S_{23}=n\cdot cov(X_{2},X_{3})\)
\(S_{2y}=n\cdot cov(X_{2},y)\) 、\(S_{3y}=n\cdot cov(X_{3},y)\) により、偏差平方和、偏差積和を表すと、
\(\begin{pmatrix}
n & n\overline{X_{2}} & n\overline{X_{3}}\\
n\overline{X_{2}} &S_{22}+n\overline{X_{2}}^2 & S_{23}+n\overline{X_{2}}\overline{X_{3}}\\
n\overline{X_{3}}& S_{23}+n\overline{X_{2}}\overline{X_{3}} & S_{33}+n\overline{X_{3}}^2
\end{pmatrix}
\begin{pmatrix}
\widehat \beta_{1} \\
\widehat \beta_{2} \\
\widehat \beta_{3}
\end{pmatrix}
=
\begin{pmatrix}
n\overline{y} \\
S_{2y}+n\overline{X_{2}}\overline{y}\\
S_{3y}+n\overline{X_{3}}\overline{y}
\end{pmatrix}\)
\(\begin{pmatrix}
1 & \overline{X_{2}} & \overline{X_{3}}\\
0&S_{22} & S_{23}\\
0& S_{23}& S_{33}
\end{pmatrix}
\begin{pmatrix}
\widehat \beta_{1} \\
\widehat \beta_{2} \\
\widehat \beta_{3}
\end{pmatrix}
=
\begin{pmatrix}
\overline{y} \\
S_{2y}\\
S_{3y}
\end{pmatrix}\) \(\therefore
\begin{pmatrix}
S_{22} & S_{23}\\
S_{23}& S_{33}
\end{pmatrix}
\begin{pmatrix}
\widehat \beta_{2} \\
\widehat \beta_{3}
\end{pmatrix}
=
\begin{pmatrix}
S_{2y}\\
S_{3y}
\end{pmatrix}\)
\(\therefore
\begin{pmatrix}
\widehat \beta_{2} \\
\widehat \beta_{3}
\end{pmatrix}
=
\dfrac{1}{S_{22}S_{33}-S_{23}^{2}}
\begin{pmatrix}
S_{33} & -S_{23}\\
-S_{23}& S_{22}
\end{pmatrix}
\begin{pmatrix}
S_{2y}\\
S_{3y}
\end{pmatrix}\)
このように、偏差平方和、偏差積和で表すこともできる。
\(S_{22}=n\gamma_{22}\) 、\(S_{33}=n\gamma_{33}\) 、\(S_{23}=n\gamma_{23}\) 、\(S_{2y}=n\gamma_{2y}\) 、\(S_{3y}=n\gamma_{3y}\) に注意すると、
\(
\begin{pmatrix}
\widehat\beta_{2} \\
\widehat\beta_{3}
\end{pmatrix}
=
\dfrac{1}{\gamma_{22}\gamma_{33}-\gamma_{23}^2}
\begin{pmatrix}
\gamma_{33} & -\gamma_{23}\\
-\gamma_{23}& \gamma_{22}
\end{pmatrix}
\begin{pmatrix}
\gamma_{2y}\\
\gamma_{3y}
\end{pmatrix}
\) と一致することがわかる。
［更新日］