計算の見通しをよくするため、まず「定数項のない単回帰モデル」を扱います。
続いて、「定数項のある単回帰モデル」を扱います。双方とも原理は同じです。
（参考資料） 甲南大学 村澤康友 様 「第24回 回帰分析」 https://ymurasawa.web.fc2.com/st-ln24.pdf
\(Y=X\beta+u\)
統計検定1級 関連問題 2014人文2
定数項のない単回帰モデル \(y=\beta x+u\) （uは誤差）
データ \((x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)\) に対し、\(\beta\) の推定値を \(b\)
残差 \(e_i=y_i-bx_i\) と定め、
残差平方和 \(Q=\sum ^{n}_{i=1}\left( y_{i}-\beta x_{i}\right) ^{2}\) を最小にする\(\beta=b\) を最小二乗法OLS(Ordinary Least Squares)によって求める。
\(Q'=\sum_{i=1} ^{n} \left( -2x_{i}\right) \times \left( y_{i}-\beta x_{i}\right) =-2\sum ^{n}_{i=1}x_{i} y_i +2\beta \sum ^{n}_{i=1}x_{i}^2\)
\(Q'=0\) とすると、
\(b=\dfrac{\sum ^{n}_{i=1}x_{i}y_{i}}{\sum ^{n}_{i=1}x_{i}^{2}}\)
ところで、これは一般公式 \(b=\dfrac{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) \left( y_{i}-\overline{y}\right) }{
\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}\)、 と矛盾しないだろうか？
定数項のないモデル \(b=\dfrac{\overline{xy}}{\overline{x^2}}\)
一般モデル \(b=\dfrac{\overline{xy}-\overline{x}\overline{y}}{\overline{x^{2}}-\left( \overline{x}\right) ^{2}}\)
これらが一致するのは、\(\overline{x^{2}}\left( \overline{xy}-\overline{x}\overline{y}\right) =\left( \overline{x^2}-\left( \overline{x}\right) ^{2}\right) \overline{xy}\) のとき。
即ち、 \(\overline{x^{2}}\overline{x}\overline{y}=\left( \overline{x}\right) ^{2}\overline{xy}\) より、 \(\overline{x^{2}}\overline{y}=\left( \overline{x}\right) \overline{xy}\) ‥‥① のとき。
\(y=bx\) のもとでは、 \(\overline{y}=b\overline{x}\) より、 \(\overline{x^{2}}\overline{y}=\overline{x^{2}}b\overline{x}\)
\(\overline{xy}=b\overline{x^2}\) より、\(\left( \overline{x}\right) \overline{xy}=\overline{x}b\overline{x^2}\)
①の両辺は一致する。
従って、回帰係数の推定値は、見かけは違っても一致している。
OLS推定量の分布
回帰係数の真の値と推定値の差は、誤差の線型結合で表される。
定数項のないモデルは計算の見通しがよい。実際、
\(\displaystyle \overline{xy}=\overline{x\left( \beta x+u\right) }=\overline{\beta x^{2}+xu}=\beta \overline{x^{2}}+\overline{xu}\)
\(\displaystyle b=\dfrac{\beta \overline{x^{2}}+\overline{xu}}{\overline{x^2}}
=\beta+\dfrac{\overline{xu}}{\overline{x^2}}\)
\(\overline{xu}=\frac{1}{n}\sum ^{n}_{i=1}x_{i}u_{i}\) だから、
\(b=\beta+\dfrac{1}{n\overline{x^2}}
\sum ^{n}_{i=1}x_{i}u_{i}
=\beta+\sum ^{n}_{i=1}\left(\frac{x_{i}}{n\overline{x^2}}\right)u_{i}\)
\(\displaystyle \omega_i=\frac{x_{i}}{n\overline{x^2}}\) とおくと、
\(b=\beta+\sum ^{n}_{i=1}\omega_iu_{i}\)（ \(\omega_i\) は定数）
誤差の線型結合で表される。
これによってb の期待値と分散が容易にわかる。
実際、
\(E(u_i)=0\)であることから、\(E(b)=\beta\)
\(V(u_i)=\sigma^2\) であることから、\(V(b)=\sigma^2 \sum ^{n}_{i=1}\omega_i^2 \)
\(\sum ^{n}_{i=1}\omega_i^2
=\frac{1}{(n\overline{x^2})^2}\sum ^{n}_{i=1}x_i^2
=\frac{1}{(n\overline{x^2})^2}(n\overline{x^2})
=\frac{1}{n\overline{x^2}}\)
\(V(b)=\sigma^2 \sum ^{n}_{i=1}\omega_i^2
=\frac{\sigma^2}{n\overline{x^2}}
=\frac{\sigma^2}{\sum ^{n}_{i=1}x_i^2}\)
［参考］
\(\overline{x^2}\) などを使わないで表現すると、
\(\displaystyle b=\dfrac{\sum ^{n}_{i=1}x_{i}y_i}{\sum ^{n}_{i=1}x_{i}^2}
=\dfrac{\sum ^{n}_{i=1}x_{i}\left( \beta x_{i}+u_{i}\right) }{\sum ^{n}_{i=1}x_{i}^2}
=\dfrac{\beta \sum ^{n}_{i=1}x_i^{2}+\sum ^{n}_{i=1}x_{i}u_{i}}{\sum ^{n}_{i=1}x_{i}^2}
=\beta+\dfrac{\sum ^{n}_{i=1}x_{i}u_{i}}{\sum ^{n}_{i=1}x_{i}^2}\)
\(b=\beta+\sum ^{n}_{i=1}\left( \dfrac{x_{i}}{\sum ^{n}_{i=1}x_{i}^2}\right)u_{i}\)
将来のため、行列を用いて表記しておくので、後々の参考にして欲しい。
回帰係数の分散共分散行列は、 \(\sigma ^{2}\left( X'X\right) ^{-1}\) である。
定数項のないモデルでは、\(X=\begin{pmatrix}
x_{1} \\
\vdots \\
x_{n}
\end{pmatrix}\)
\(X'X=
\sum_{i=1}^{n} x_{i}^2\) だから、\(\sigma ^{2}\left( X'X\right) ^{-1}=\dfrac{\sigma^2}{\sum_{i=1}^{n}
x_{i}^2}\)
あらゆる場合について、 \(\sigma ^{2}\left( X'X\right) ^{-1}\) とまとめることができる。
このように行列で表すと一般化がしやすい。
定数項のある単回帰モデル \(y=\alpha+ \beta x+u\) （uは誤差）
データ \(\displaystyle (x_1,y_1),(x_2,y_2),\cdots ,(x_n,y_n)\) に対し、 \(\alpha\) の推定値を\(a\) 、 \(\beta\) の推定値を\(b\) とする。
残差 \(e_i=y_i-(a+bx_i)\) と定め、
残差平方和 \(Q=\sum ^{n}_{i=1}\left( y_i-(\alpha +\beta x_i)\right) ^{2}\)を最小にする \(\alpha,\beta\) をOLS(Ordinary Least Squares)によって求める。
\(\dfrac{\partial Q}{\partial \alpha }=\sum ^{n}_{i=1}\left( -2\right)
\left( y_{i}-\alpha -\beta x_{i}\right)
=-2\sum ^{n}_{i=1}y_i +2n\alpha +2\beta \sum ^{n}_{i=1}x_{i}=0\)
\(\dfrac{\partial Q}{\partial \beta}=\sum ^{n}_{i=1}\left( -2x_{i}\right)
\left( y_{i}-\alpha -\beta x_{i}\right)
=-2\sum ^{n}_{i=1}x_{i} y_i +2\alpha \sum ^{n}_{i=1}x_{i}+2\beta \sum ^{n}_{i=1}x_{i}^2=0\)
よって、 \( na+b\sum ^{n}_{i=1}x_{i}=\sum ^{n}_{i=1}y_i\) \( a\sum ^{n}_{i=1}x_{i}+b\sum ^{n}_{i=1}x_{i}^2=\sum ^{n}_{i=1}x_{i} y_i\) （正規方程式）
nで割ると、 \(a+b\overline{x}=\overline{y}\) \(a\overline{x}+b\overline{x^2}=\overline{xy}\)
よって、 \(a\overline{x}+b\overline{x}^2=\overline{x}\ \overline{y}\) \(a\overline{x}+b\overline{x^2}=\overline{xy}\)
辺々引くと、 \(b(\overline{x^2}-\overline{x}^2)=\overline{xy}-\overline{x}\ \overline{y}\) \(\displaystyle \therefore b=\dfrac{\overline{xy}-\overline{x}\ \overline{y}}{\overline{x^2}-\overline{x}^2}\)
分母は分散、分子は共分散だから、 \(\displaystyle b=\frac{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right)
\left( y_{i}-\overline{y}\right) }{
\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}\) となる。
少し計算が長くなるが、定数項のない場合と同様に、
\(\displaystyle b=\frac{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right)
\left( y_{i}-\overline{y}\right) }{
\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}
=\frac{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right)y_{i}-\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) \overline{y}}{
\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}
=\frac{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right)y_i}{
\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}\)
（b は Yの線型結合で表される）
\(\begin{split}
\displaystyle b&=\frac{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) \left( y_{i}-\overline{y}\right) }{
\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}
=\frac{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right)\left(\beta x_{i}+u_i-\beta\overline{x}-\overline{u}\right)}{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}\\
&=\frac{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right)\left(\beta x_{i}-\beta\overline{x}+u_i-\overline{u}\right)}{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}
=\frac{\sum ^{n}_{i=1}\beta \left( x_{i}-\overline{x}\right)^2+\sum ^{n}_{i=1}\left(x_{i}-\overline{x}\right)\left(u_i-\overline{u}\right)}{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}\\
&=\beta+\frac{\sum ^{n}_{i=1}\left(x_{i}-\overline{x}\right)u_i+\sum ^{n}_{i=1}\left(x_{i}-\overline{x}\right)\overline u}{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}
=\beta+\frac{\sum ^{n}_{i=1}\left(x_{i}-\overline{x}\right)u_i}{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}
\end{split}\)
（b-β は u の線型結合で表される）
よって、\(E(b)=\beta\) さらに、 \(\displaystyle V(b)=\frac{\sigma^2\sum ^{n}_{i=1}\left(x_{i}-\overline{x}\right)^2}{\left[\sum
^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}\right]^2}
=
\frac{\sigma^2}{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right) ^{2}}\)
を得る。
\(\displaystyle \omega_i=
\frac{x_{i}-\overline{x}}{\sum ^{n}_{i=1}\left( x_{i}-\overline{x}\right)
^{2}}\) とおけば、 \(b=\beta+\sum ^{n}_{i=1}\omega_iu_i\) が成り立つ。
［参考］
行列を用いると、\(X=\begin{pmatrix}
1 & x_{1} \\
\vdots & \vdots \\
1 & x_{n}
\end{pmatrix}\) として、
\(X'X=\begin{pmatrix}
1' \\
x'
\end{pmatrix}
\begin{pmatrix}
1 & x
\end{pmatrix}=
\begin{pmatrix}
1'\cdot 1 & 1'\cdot x \\
x'\cdot1 & x'\cdot x
\end{pmatrix}
=
\begin{pmatrix}
n & \ \ n\overline{x} \\
n\overline{x} &\ \ n\overline{x^2}
\end{pmatrix}\)
\(
\begin{pmatrix}
n & \ \ n\overline{x} \\
n\overline{x} &\ \ n\overline{x^2}
\end{pmatrix}^{-1}
=
\dfrac{1}{n}
\begin{pmatrix}
1 & \ \ \overline{x} \\
\overline{x} & \ \ \overline{x^2}
\end{pmatrix}^{-1}
=
\dfrac{1}{ns_{x}^2}
\begin{pmatrix}
\overline{x^2} & \ \ -\overline{x} \\
-\overline{x} & \ \ \ \ 1
\end{pmatrix}
\) より
\(\sigma ^{2}\left( X'X\right) ^{-1}=
\frac{\sigma^2}{\sum_{i=1}^{n}( x_{i}-\overline{x})^2}
\begin{pmatrix}
\overline {x^2} & -\overline x \\
-\overline x & 1
\end{pmatrix}
\) とまとめることができる。
とまとめることができる。
［更新日］