推定量が不偏であるとは、推定量の分布の中心(平均)が母数となっていることであり、推定量が最小分散であるとは、最も精度のよい推定であることです。説明の鍵は、推定量をYの線型結合で表すことにあります。
（参考資料） 大阪大学 谷崎久志 様 『統計学の回帰分析への応用』
http://www2.econ.osaka-u.ac.jp/~tanizaki/class/2018/basic_econome/02.pdf
http://www2.econ.osaka-u.ac.jp/~tanizaki/class/1999/econome/econ99.pdf
統計検定1級 関連問題
回帰係数の分布
回帰係数の推定値は、Y の線型結合で表される。
このことは、行列を用いると自然に導かれる。
回帰モデル \(Y=X\beta+u\) において、 \(Y=X\beta+u\) の最小二乗推定量は、
\(\widehat{\beta }=\left( X'X\right) ^{-1}X'Y\)
単回帰の場合 \(\widehat\beta=\begin{pmatrix}
\widehat\alpha\\
\widehat\beta
\end{pmatrix}\) とすると、
\(X'=\begin{pmatrix}
1 &\cdots & 1 \\
x_{1}&\cdots & x_{n}
\end{pmatrix}\) \(X=\begin{pmatrix}
1 & x_{1} \\
\vdots & \vdots \\
1 & x_{n}
\end{pmatrix}\)
\(\therefore X'X=\begin{pmatrix}
n & \sum_{i=1}^{n} x_{i} \\
\sum_{i=1}^{n} x_{i} & \sum_{i=1}^{n} x_{i}^2
\end{pmatrix}\)
\(\Delta=n\sum_{i=1}^{n} x_{i}^2-\left(\sum_{i=1}^{n} x_{i}\right)^2
=n^2 \left[(\overline{x^2})-(\overline{x})^2\right]\) より、
\((X'X)^{-1}=\frac{1}{n^2 \left[(\overline{x^2})-(\overline{x})^2\right]}
\begin{pmatrix}
\sum_{i=1}^{n} x_{i}^2
& -\sum_{i=1}^{n} x_{i} \\
-\sum_{i=1}^{n} x_{i} & n \end{pmatrix}
=
\frac{1}{n \left[(\overline{x^2})-(\overline{x_i})^2\right]}
\begin{pmatrix}
\overline {x^2} & -\overline x \\
-\overline x & 1
\end{pmatrix}
\)
\(\therefore (X'X)^{-1}X'
=
\frac{1}{n \left[(\overline{x^2})-(\overline{x_i})^2\right]}
\begin{pmatrix}
\overline {x^2} & -\overline x \\
-\overline x & 1
\end{pmatrix}
\begin{pmatrix}
1 &\cdots & 1 \\
x_{1}&\cdots & x_{n}
\end{pmatrix}
\)
\((X'X)^{-1}X'
=
\frac{1}{n \left[(\overline{x^2})-(\overline{x_i})^2\right]}
\begin{pmatrix}
\overline {x^2}-x_1\overline x
&\cdots & \overline {x^2}-x_n\overline x
\\
x_1-\overline x &\cdots & x_n-\overline x
\end{pmatrix}
\)
\(\widehat \beta=\frac{x_1-\overline x}{n \left[(\overline{x^2})-(\overline{x})^2\right]}y_1+\cdots+
\frac{x_n-\overline x}{n \left[(\overline{x^2})-(\overline{x})^2\right]}y_n\)
\(\widehat \alpha=\frac{\overline {x^2}-x_1\overline x
}{n \left[(\overline{x^2})-(\overline{x})^2\right]}y_1+\cdots+
\frac{\overline {x^2}-x_n\overline x
}{n \left[(\overline{x^2})-(\overline{x})^2\right]}y_n\)
さらに、回帰係数の推定値の誤差は、u の線型結合で表される。
\(\widehat{\beta }=\left( X'X\right) ^{-1}X'Y
=\left( X'X\right) ^{-1}X'(X\beta+u)
=\beta+\left( X'X\right) ^{-1}X'u\) より、
\(\widehat\beta-\beta=\left( X'X\right) ^{-1}X'u\) よって、
\(\widehat \beta-\beta=\frac{x_1-\overline x}{n \left[(\overline{x^2})-(\overline{x})^2\right]}u_1+\cdots+
\frac{x_n-\overline x}{n \left[(\overline{x^2})-(\overline{x})^2\right]}u_n\)
\(\widehat \alpha-\alpha=\frac{\overline {x^2}-x_1\overline x
}{n \left[(\overline{x^2})-(\overline{x})^2\right]}u_1+\cdots+
\frac{\overline {x^2}-x_n\overline x
}{n \left[(\overline{x^2})-(\overline{x})^2\right]}u_n\)
\(E(\widehat \beta-\beta)=0\ ,\ E(\widehat \alpha-\alpha)=0\) より不偏性がわかる。
また、 \(u\sim N(0,I_n)\) より、 \(u_i\) は独立だから、
\(\begin{split}
V(\widehat \beta-\beta)&=
\frac{(x_1-\overline x)^2}{n^2 \left[(\overline{x^2})-(\overline{x})^2\right]^2}\ \sigma^2+\cdots+
\frac{(x_n-\overline x)^2}{n^2 \left[(\overline{x^2})-(\overline{x})^2\right]^2}\ \sigma^2\\
&=\frac{n\left[(\overline{x^2})-(\overline{x})^2\right]}{n^2 \left[(\overline{x^2})-(\overline{x})^2\right]^2}\ \sigma^2=\frac{1}{n \left[(\overline{x^2})-(\overline{x})^2\right]}\ \sigma^2
\end{split}\)
しかし、行列を使えば
\(\begin{split}
\begin{aligned}Cov\left( \widehat{\beta }\right)=E\left( \left( \widehat{\beta }-\beta \right) \ \left( \widehat{\beta }-\beta \right) '\right)
&=\left( X'X\right) ^{-1}X'E\left( uu'\right) X\left( X'X\right) ^{-1}\\
&=\left( X'X\right) ^{-1}X'\sigma^2 IX\left( X'X\right) ^{-1}=\sigma ^{2}\left( X'X\right) ^{-1}
\ \end{aligned}\\
\end{split}\)
\((X'X)^{-1}=
\frac{1}{n \left[(\overline{x^2})-(\overline{x_i})^2\right]}
\begin{pmatrix}
\overline {x^2} & -\overline x \\
-\overline x & 1
\end{pmatrix}
\) だから、
\(\sigma ^{2}\left( X'X\right) ^{-1}=
\frac{\sigma^2}{n \left[(\overline{x^2})-(\overline{x_i})^2\right]}
\begin{pmatrix}
\overline {x^2} & -\overline x \\
-\overline x & 1
\end{pmatrix}
\)
\(\widehat\alpha\) の分散や \(\widehat\alpha,\widehat\beta\) の共分散まで出てしまう。行列はすごい。
やはり、早い段階から線形代数を学ぶべきだと思う。
ガウス・マルコフの定理
\(\widehat\alpha,\widehat\beta\) は、Yの線型結合で表される不偏推定値である。
しかし、不偏推定量は１通りではない。 \(\widehat\alpha,\widehat\beta\) は最もよい推定量と言えるのだろうか？
これを保証するのが、ガウス・マルコフの定理である。普遍性は真の値を中心に分布することを意味するが、その散らばり即ち分散が最小であることを主張する。
\(\widehat\alpha,\widehat\beta\) が最小分散線形不偏推定量であることを保証するのがガウス・マルコフの定理である。
また、nが無限大になると分散がゼロに収束することから、一致推定量であることもいえる。
チェビシェフの不等式から、確率収束することが言えるのである。
［続く］
［更新日］