hyoccori-toukei

　　　　　$X'X\widehat\beta=X'y$ 　　　推定値 　$\widehat{\beta }=\left( X'X\right) ^{-1}X'y$

　　　　　　　（ 単回帰でも重回帰でも構造は同じです ）

統計検定1級　関連問題

---

単回帰モデル

　　　　　$\begin{pmatrix} y_{1} \\ \vdots \\ y_{n} \end{pmatrix} = \begin{pmatrix} 1 & x_{1}\\ \vdots & \vdots \\ 1 & x_{n} \end{pmatrix} \ \begin{pmatrix} \beta_{1} \\ \beta_{2} \end{pmatrix}+\begin{pmatrix} u_{1} \\ \vdots \\ u_{n} \end{pmatrix}$

$X=\begin{pmatrix} 1 & x_{1}\\ \vdots & \vdots \\ 1 & x_{n} \end{pmatrix}$、$x= \begin{pmatrix} x_{1}\\ \vdots\\ x_{n} \end{pmatrix}$、$y= \begin{pmatrix} y_{1}\\ \vdots\\ y_{n} \end{pmatrix}$、$1= \begin{pmatrix} 1\\ \vdots\\ 1 \end{pmatrix}$ とすると、

　　　　　$X'X=\begin{pmatrix} 1' \\ x' \end{pmatrix} \begin{pmatrix} 1 & x \end{pmatrix}= \begin{pmatrix} 1'\cdot 1 & 1'\cdot x \\ x'\cdot1 & x'\cdot x \end{pmatrix} = \begin{pmatrix} n & n\overline x \\ n\overline x & n\overline {x^2} \end{pmatrix}$

　　　　　$X'y=\begin{pmatrix} 1' \\ x'\end{pmatrix}\left( y\right) =\begin{pmatrix} 1'\cdot y \\ x'\cdot y \end{pmatrix} = \begin{pmatrix} n\overline{y} \\ n\overline{xy} \end{pmatrix}$

$\widehat\beta =\begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \end{pmatrix}$ とすると、$\begin{pmatrix} n & n\overline x \\ n\overline x & n\overline {x^2} \end{pmatrix} \begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \end{pmatrix} =\begin{pmatrix} n\overline{y} \\ n\overline{xy} \end{pmatrix}$

よって、 　　　$\begin{pmatrix} 1 & \overline{x} \\ \overline{x} & \overline{x^2} \end{pmatrix} \begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \end{pmatrix} = \begin{pmatrix} \overline{y} \\ \overline{xy} \end{pmatrix}$

$\begin{pmatrix} 1 & \overline{x} \\ \overline{x} & \overline{x^2} \end{pmatrix}^{-1} = \dfrac{1}{s_{x}^2} \begin{pmatrix} \overline{x^2} & \ \ -\overline{x} \\ -\overline{x} & \ \ \ \ 1 \end{pmatrix}$ より 　　　$\begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \end{pmatrix} =\dfrac{1}{s_{x}^2} \begin{pmatrix} \overline{x^2} & \ \ -\overline{x} \\ -\overline{x} & \ \ \ \ 1 \end{pmatrix} \begin{pmatrix} \overline{y} \\ \overline{xy} \end{pmatrix}$

$\begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \end{pmatrix} = \dfrac{1}{s_{x}^2} \begin{pmatrix} \overline{x^2}\overline{y}-\overline{x}\cdot \overline{xy} \\ -\overline{x}\overline{y}+\overline{xy} \end{pmatrix} = \dfrac{1}{s_{x}^2} \begin{pmatrix} (s_x^2+\overline{x}^2)\overline{y}-\overline{x}\cdot (s_{xy}+\overline{x}\overline{y})\\ -\overline{x}\overline{y}+\overline{xy} \end{pmatrix} = \dfrac{1}{s_{x}^2} \begin{pmatrix} s_x^2\overline{y}-s_{xy}\cdot \overline{x}\\ s_{xy} \end{pmatrix}$

　　　　　$\therefore \begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \end{pmatrix} = \begin{pmatrix} \overline{y}-\dfrac{s_{xy}}{s_{x}^{2}}\overline{x} \\ \dfrac{s_{xy}}{s_{x}^2} \end{pmatrix} = \begin{pmatrix} \overline{y}-\dfrac{s_{xy}}{s_{x}s_{y}}\dfrac{s_{y}}{s_{x}}\overline{x} \\ \dfrac{s_{xy}}{s_{x}s_{y}}\dfrac{s_{y}}{s_{x}} \end{pmatrix} = \begin{pmatrix} \overline{y}-r_{xy}\dfrac{s_{y}}{s_{x}}\overline{x} \\ r_{xy}\dfrac{s_{y}}{s_{x}} \end{pmatrix}$

（ $\overline{xy}$ は積の平均、 $s_{xy}$ は共分散、 $s_x^2$ は分散を表す）

特に、x,yが標準化されていれば、

$\widehat\beta_{2}=r_{xy}$ （回帰係数は相関係数と一致）

$\widehat{\beta }$ の分散共分散行列は、

　　　　　$\begin{split} Cov\left(\widehat\beta \right) &=\sigma ^{2}\left( X'X\right) ^{-1} = \sigma ^{2}\begin{pmatrix} 1'\cdot1 & \ \ 1'\cdot x \\ x'\cdot1 & \ \ x'\cdot x \end{pmatrix} ^{-1} =\sigma ^{2} \begin{pmatrix} n & \ \ n\overline{x} \\ n\overline{x} &\ \ n\overline{x^2} \end{pmatrix}^{-1}\\ &= \dfrac{\sigma ^{2}}{n} \begin{pmatrix} 1 & \ \ \overline{x} \\ \overline{x} & \ \ \overline{x^2} \end{pmatrix}^{-1} = \dfrac{\sigma ^{2}}{ns_{x}^2} \begin{pmatrix} \overline{x^2} & \ \ -\overline{x} \\ -\overline{x} & \ \ \ \ 1 \end{pmatrix} \end{split}$

重回帰分析（２変数）

回帰係数の推定値 　　$X'X\widehat\beta=X'y$ 　　より　$\widehat{\beta }=\left( X'X\right) ^{-1}X'y$

$X=\begin{pmatrix} 1 & X_{2}& X_{3} \end{pmatrix}$ は n×3 行列、 $\left( y\right)$ はn×1 行列。

　　　　　$X'X=\begin{pmatrix} 1' \\ X_{2}'\\ X_{3}' \end{pmatrix} \begin{pmatrix} 1 & X_{2}& X_{3} \end{pmatrix} = \begin{pmatrix} 1'\cdot 1 & 1'\cdot X_{2} & 1'\cdot X_{3}\\ X_{2}'\cdot 1 & X_{2}'\cdot X_{2} & X_{2}'\cdot X_{3}\\ X_{3}'\cdot 1& X_{3}'\cdot X_{2} & X_{3}'\cdot X_{3} \end{pmatrix}$

　　　　　$X'y =\begin{pmatrix} 1' \\ X_{2}'\\ X_{3}' \end{pmatrix}\left( y\right) =\begin{pmatrix} 1'\cdot y \\ X_{2}'\cdot y\\ X_{3}'\cdot y \end{pmatrix}$

正規方程式は $\begin{pmatrix} 1'\cdot 1 & 1'\cdot X_{2} & 1'\cdot X_{3}\\ X_{2}'\cdot 1 & X_{2}'\cdot X_{2} & X_{2}'\cdot X_{3}\\ X_{3}'\cdot 1& X_{3}'\cdot X_{2} & X_{3}'\cdot X_{3} \end{pmatrix} \begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} =\begin{pmatrix} 1'\cdot y \\ X_{2}'\cdot y\\ X_{3}'\cdot y \end{pmatrix}$ 、即ち

　　　　　$\begin{pmatrix} n & n\overline{X_{2}} & n\overline{X_{3}}\\ n\overline{X_{2}} &n\overline{X_{2}^2} & n\overline{X_{2}X_{3}}\\ n\overline{X_{3}}& n\overline{X_{2}X_{3}} & n\overline{X_{3}^2} \end{pmatrix} \begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} = \begin{pmatrix} n\overline{y} \\ n\overline{X_{2}y}\\ n\overline{X_{3}y} \end{pmatrix}$　　　$\therefore \begin{pmatrix} 1& \overline{X_{2}} & \overline{X_{3}}\\ \overline{X_{2}} &\overline{X_{2}^2} & \overline{X_{2}X_{3}}\\ \overline{X_{3}}& \overline{X_{2}X_{3}} & \overline{X_{3}^2} \end{pmatrix} \begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} = \begin{pmatrix} \overline{y} \\ \overline{X_{2}y}\\ \overline{X_{3}y} \end{pmatrix}$

基本変形を行い、$\begin{pmatrix} 1& \overline{X_{2}} & \overline{X_{3}}\\ 0 &\overline{X_{2}^2}-\overline{X_{2}}^2 & \overline{X_{2}X_{3}}-\overline{X_{2}}\overline{X_{3}}\\ 0& \overline{X_{2}X_{3}}-\overline{X_{2}}\overline{X_{3}} & \overline{X_{3}^2}-\overline{X_{3}}^2 \end{pmatrix} \begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} = \begin{pmatrix} \overline{y} \\ \overline{X_{2}y}-\overline{X_{2}}\overline{y}\\ \overline{X_{3}y}-\overline{X_{3}}\overline{y} \end{pmatrix}$

$\gamma_{22}=\overline{X_{2}^2}-\overline{X_{2}}^2$、$\gamma_{33}=\overline{X_{3}^2}-\overline{X_{3}}^2$、$\gamma_{23}=cov(X_{2},X_{3})$、$\gamma_{2y}=cov(X_{2},y)$、$\gamma_{3y}=cov(X_{3},y)$

により、分散および共分散 $\gamma$ を用いて表すと、

　　　　　$\begin{pmatrix} 1 & \overline{X_{2}} & \overline{X_{3}}\\ 0&\gamma_{22} & \gamma_{23}\\ 0& \gamma_{23}& \gamma_{33} \end{pmatrix} \begin{pmatrix} \widehat\beta_{1} \\ \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} = \begin{pmatrix} \overline{y} \\ \gamma_{2y}\\ \gamma_{3y} \end{pmatrix}$　　　$\therefore \begin{pmatrix} \gamma_{22} & \gamma_{23}\\ \gamma_{23}& \gamma_{33} \end{pmatrix} \begin{pmatrix} \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} = \begin{pmatrix} \gamma_{2y}\\ \gamma_{3y} \end{pmatrix}$

　　　　　$\begin{pmatrix} \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} = \begin{pmatrix} \gamma_{22} & \gamma_{23}\\ \gamma_{23}& \gamma_{33} \end{pmatrix}^{-1} \begin{pmatrix} \gamma_{2y}\\ \gamma_{3y} \end{pmatrix} =\dfrac{1}{\gamma_{22}\gamma_{33}-\gamma_{23}^2} \begin{pmatrix} \gamma_{33} & -\gamma_{23}\\ -\gamma_{23}& \gamma_{22} \end{pmatrix} \begin{pmatrix} \gamma_{2y}\\ \gamma_{3y} \end{pmatrix}$

回帰係数の推定値は、

　　　　　$\begin{pmatrix} \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} = \dfrac{1}{\gamma_{22}\gamma_{33}-\gamma_{23}^2} \begin{pmatrix} \gamma_{2y}\gamma_{33}-\gamma_{3y}\gamma_{23}\\ -\gamma_{2y}\gamma_{23}+\gamma_{3y}\gamma_{22} \end{pmatrix}$　　　　$\widehat\beta_{1}= \overline{y}-\widehat\beta_{2}\overline{X_{2}}-\widehat\beta_{3}\overline{X_{3}}$

標準化されて分散が１であれば、

　　　　　$\begin{pmatrix} 1 & r_{23}\\ r_{23}& 1 \end{pmatrix} \begin{pmatrix} \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} = \begin{pmatrix} r_{2y}\\ r_{3y} \end{pmatrix}$ 　　　$\therefore \begin{pmatrix} \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} = \dfrac{1}{1-r_{23}^{2}} \begin{pmatrix} 1 & -r_{23}\\ -r_{23}& 1 \end{pmatrix} \begin{pmatrix} r_{2y}\\ r_{3y} \end{pmatrix}$

$\widehat{\beta }$ の分散共分散行列は

　　　　　$\begin{split} Cov\left(\widehat\beta \right) &=\sigma ^{2}\left( X'X\right) ^{-1} =\sigma ^{2} \begin{pmatrix} n \ \ \ & n\overline{X_{2}} & \ \ \ n\overline{X_{3}}\\ n\overline{X_{2}} \ \ \ &n\overline{X_{2}^2} & \ \ \ n\overline{X_{2}X_{3}}\\ n\overline{X_{3}} \ \ \ & n\overline{X_{2}X_{3}} & \ \ \ n\overline{X_{3}^2} \end{pmatrix} ^{-1} = \dfrac{\sigma ^{2}}{n} \begin{pmatrix} 1 \ \ \ & \overline{X_{2}} & \ \ \ \overline{X_{3}}\\ \overline{X_{2}} \ \ \ &\overline{X_{2}^2} & \ \ \ \overline{X_{2}X_{3}}\\ \overline{X_{3}} \ \ \ & \overline{X_{2}X_{3}} & \ \ \ \overline{X_{3}^2} \end{pmatrix} ^{-1} \end{split}$

標準化されていれば、 $r=cor(X_{2},X_{3})$ を相関係数とすると

　　　　　$Cov\left(\widehat\beta \right) =\sigma ^{2}\left( X'X\right) ^{-1} =\sigma ^{2} \begin{pmatrix} n \ \ \ & 0 & \ \ \ 0\\ 0 \ \ \ &n & \ \ \ nr\\ 0 \ \ \ & nr & \ \ \ n\ \end{pmatrix} ^{-1} =\dfrac{\sigma ^{2}}{n} \begin{pmatrix} 1 \ \ \ & 0 & \ \ \ 0\\ 0 \ \ \ &1 & \ \ \ r\\ 0 \ \ \ & r & \ \ \ 1\ \end{pmatrix} ^{-1}$

逆行列は基本変形によって求めることができるので、

$\widehat\beta_{2}, \widehat\beta_{3}$ の分散共分散行列は、

　　　　　$\dfrac{\sigma ^{2}}{n} \begin{pmatrix} 1 & \ \ \ r\\ r & \ \ \ 1\ \end{pmatrix} ^{-1} = \dfrac{\sigma ^{2}}{n(1-r^2)} \begin{pmatrix} 1 & \ \ \ -r\\ -r & \ \ \ 1\ \end{pmatrix}$

　

［参考］

富山大学 唐渡広志 様　「44の例題で学ぶ計量経済学」（Ohmsha) p127 によれば、

偏差平方和、偏差積和により表現することもできる。

$S_{22}=n\cdot cov(X_{2},X_{2})$、$S_{33}=n\cdot cov(X_{3},X_{3})$、$S_{23}=n\cdot cov(X_{2},X_{3})$

$S_{2y}=n\cdot cov(X_{2},y)$ 、$S_{3y}=n\cdot cov(X_{3},y)$ により、偏差平方和、偏差積和を表すと、

　　　　　$\begin{pmatrix} n & n\overline{X_{2}} & n\overline{X_{3}}\\ n\overline{X_{2}} &S_{22}+n\overline{X_{2}}^2 & S_{23}+n\overline{X_{2}}\overline{X_{3}}\\ n\overline{X_{3}}& S_{23}+n\overline{X_{2}}\overline{X_{3}} & S_{33}+n\overline{X_{3}}^2 \end{pmatrix} \begin{pmatrix} \widehat \beta_{1} \\ \widehat \beta_{2} \\ \widehat \beta_{3} \end{pmatrix} = \begin{pmatrix} n\overline{y} \\ S_{2y}+n\overline{X_{2}}\overline{y}\\ S_{3y}+n\overline{X_{3}}\overline{y} \end{pmatrix}$　　　

　　　　　$\begin{pmatrix} 1 & \overline{X_{2}} & \overline{X_{3}}\\ 0&S_{22} & S_{23}\\ 0& S_{23}& S_{33} \end{pmatrix} \begin{pmatrix} \widehat \beta_{1} \\ \widehat \beta_{2} \\ \widehat \beta_{3} \end{pmatrix} = \begin{pmatrix} \overline{y} \\ S_{2y}\\ S_{3y} \end{pmatrix}$ 　　　$\therefore \begin{pmatrix} S_{22} & S_{23}\\ S_{23}& S_{33} \end{pmatrix} \begin{pmatrix} \widehat \beta_{2} \\ \widehat \beta_{3} \end{pmatrix} = \begin{pmatrix} S_{2y}\\ S_{3y} \end{pmatrix}$

　　　　　$\therefore \begin{pmatrix} \widehat \beta_{2} \\ \widehat \beta_{3} \end{pmatrix} = \dfrac{1}{S_{22}S_{33}-S_{23}^{2}} \begin{pmatrix} S_{33} & -S_{23}\\ -S_{23}& S_{22} \end{pmatrix} \begin{pmatrix} S_{2y}\\ S_{3y} \end{pmatrix}$

このように、偏差平方和、偏差積和で表すこともできる。

$S_{22}=n\gamma_{22}$ 、$S_{33}=n\gamma_{33}$ 、$S_{23}=n\gamma_{23}$ 、$S_{2y}=n\gamma_{2y}$ 、$S_{3y}=n\gamma_{3y}$ に注意すると、

　　　　　$\begin{pmatrix} \widehat\beta_{2} \\ \widehat\beta_{3} \end{pmatrix} = \dfrac{1}{\gamma_{22}\gamma_{33}-\gamma_{23}^2} \begin{pmatrix} \gamma_{33} & -\gamma_{23}\\ -\gamma_{23}& \gamma_{22} \end{pmatrix} \begin{pmatrix} \gamma_{2y}\\ \gamma_{3y} \end{pmatrix}$　　　と一致することがわかる。