回帰係数が推定できる前提条件としては、誤差と説明変数が無相関でなければならない。
(これはRの残差プロットで視覚的に確認できる)
前提条件が満たされなければ回帰係数は正しく推定されず、歪み(バイアス)が伴う。
これは回帰モデルが正しくないためであると考えられる。
バイアスを修正し、正しい回帰係数を求めるには、どのようにすればよいだろうか。
操作変数法は、その方法を提供してくれる。
(参考サイト)
浅野 正彦 様 「重回帰分析13」
http://www.ner.takushoku-u.ac.jp/masano/class_material/waseda/keiryo/R31_reg14_IV_basic.html
矢内 勇生 様 「Topic 9 操作変数法」
https://yukiyanai.github.io/econometrics2/instrumental-variable.html
重回帰モデル
行列を用いると、次元に関わらず簡潔に表現できる。
回帰モデル \(Y=X\beta+u\) において、
\(h\left( \beta\right) =Q=\left( Y-X\beta\right) '\left( Y-X\beta\right) \) とおいてβで微分。
\(h'\left( \beta\right) =2X'\left( X\beta-Y\right) \)
\(h'( \widehat\beta ) =0\) とすると、 \(X'X\widehat\beta=X'Y\) これを正規方程式という。
\(\beta\) の最小二乗推定量は、
\(\widehat{\beta }=\left( X'X\right) ^{-1}X'Y\)
推定値との差は、
\(\begin{split}
\widehat{\beta }-\beta
&=\left( X'X\right) ^{-1}X'Y-\left( X'X\right) ^{-1}\ \left( X'X\right) \beta \\
&=\left( X'X\right) ^{-1}X'\left( Y-X\beta\right) \\
&=\left( X'X\right) ^{-1}X'u
\end{split}\)
説明変数と誤差が無相関ならば、\(E(X'u)=0\)
\(E\left( \widehat{\beta}-\beta\right) =0\) より \(E\left( \widehat{\beta }\right) =\beta\) よって、 \(\widehat{\beta}\) は \(\beta\) の不偏推定量になる。
尚、 \(
\widehat{\beta }-\beta
=\left( X'X\right) ^{-1}X'\cdot u
\) は、誤差が \(u_1,u_2,\cdots,u_n\) の線型結合であることを意味する。
真のモデルが2変量であるのに、単回帰分析を行うと推定値にバイアスが生じる。
このことを確認しよう。
2変量回帰モデル \(Y=\beta_1\ 1+\beta_2X_2+\beta_3X_3+u\) を成分で表わすと、
\(\begin{pmatrix}
Y_{1} \\
\vdots \\
Y_{n}
\end{pmatrix}=\begin{pmatrix}
1 & x_{21} & x_{31} \\
\vdots & \vdots & \vdots \\
1 & x_{2n} & x_{3n}
\end{pmatrix}\ \begin{pmatrix}
\beta_{1} \\
\beta_{2} \\
\beta_{3}
\end{pmatrix}+\begin{pmatrix}
u_{1} \\
\vdots \\
u_{n}
\end{pmatrix}\)
\(Q=\sum _{i}\left\{ Y_{i}-\left( \beta _{1}\cdot 1+\beta _{2}\cdot x_{2i}+\beta _{3}x_{3i}\right) \right\} ^{2}\) を最小にするβを求める
単回帰モデル \(Y=\beta_1\ 1+\beta_2X+u\) を成分で表わす。
\(X'=\begin{pmatrix}
1 &\cdots & 1 \\
x_{1}&\cdots & x_{n}
\end{pmatrix}
~,~
X=\begin{pmatrix}
1 & x_{1} \\
\vdots & \vdots \\
1 & x_{n}
\end{pmatrix}\) とすると、
\((X'X)^{-1}=
\dfrac{1}{n V(x)}
\begin{pmatrix}
\overline {x^2} & -\overline x \\
-\overline x & 1
\end{pmatrix}
~,~
X'u=n
\begin{pmatrix}
\overline{u}\\\overline{xu}
\end{pmatrix}\)
\(
\widehat{\beta }-\beta
=\left( X'X\right) ^{-1}X'u
=\dfrac{1}{V(x)}
\begin{pmatrix}
\overline {x^2} & -\overline x \\
-\overline x & 1
\end{pmatrix}
\begin{pmatrix}
\overline{u}\\\overline{xu}
\end{pmatrix}\)
\(\beta=\begin{pmatrix}
\beta_1\\\beta_2
\end{pmatrix}\) の推定量を \(\widehat{\beta}=\begin{pmatrix}
\widehat{\beta_1}\\\widehat{\beta_2}
\end{pmatrix}\) とすると、
\(\widehat{\beta_2}-\beta_2=\dfrac{1}{V(x)}\left(\overline{xu}-\overline{x}\overline{u}\right)=\dfrac{Cov(x,u)}{V(x)}\)
\(x,u\) が無相関ならば \(Cov(x,u)=0\) で、 \(\widehat{\beta}\) は \(\beta\) の不偏推定量となる。
では、無相関でない場合にはどのようなことが起こるのだろうか?
説明変数と誤差項が互いに無相関にならない場合、
どのような理由が考えられるだろうか?
それは、
未観測の共変量 \(X_3\) が誤差に含まれており、 \(X_2,X_3\) の間に相関がある場合である。
即ち、
\(Y=\beta_1\ 1+\beta_2X_2+\beta_3X_3+u\) であるのに
\(Y=\beta_1\ 1+\beta_2X_2+v\) によって分析した場合である。
この場合、
誤差項 \(v=\beta_3X_3+u\) と \(X_2\) は無相関ではないので回帰係数 \(\beta_2\) は正しく推定できない。
\(X_3\) が見つからない場合、操作変数 Z を付け加えることで \(\beta_2\) は推定できる。
Z について、
\(X_2=\gamma_0+Z\gamma_1+\varepsilon~~,~~Cov(Z,~v)=0~~,~~Cov(Z,~\varepsilon)=0\)
\(Cov(Z,~X_2)\not=0\)
\(Cov(Z,~Y)=Cov(Z,~\beta_1\ 1+\beta_2X_2+v)=\beta_2Cov(Z,X_2)\) より
\(\beta_2=\dfrac{Cov(Z,Y)}{Cov(Z,X_2)}\)
操作変数 Z が満たすべき条件を整理すると、
・ \(Z\) は \(v\) と無相関である。
( \(v=\beta_3X_3+u\) であるから、\(Z\) は \(X_3\) と無相関である)
・ \(Z\) は \(X_2\) と相関があり \(Cov(Z,X_2)\not=0\) である。
( \(Z\) は \(X_2\) に直接影響を及ぼすが、 \(Y\) に対して直接影響を及ぼさない)
この条件を満たす操作変数が見つけられれば、
回帰係数 \(\beta_2\) を \(\beta_2=\dfrac{Cov(Z,Y)}{Cov(Z,X_2)}\) によって推定することができる。
しかし、適切な操作変数を見つけることは簡単ではない。