慶應大学 長倉大輔 様 「時系列分析 2」
http://user.keio.ac.jp/~nagakura/zemi/ts2_slide_2015.pdf
[内容]ユールウォーカー方程式、自己相関、コレログラム
以下は、長倉先生の資料をもとに学習したノートです。
時系列モデル
時系列モデルは、時系列データを生み出す数式であるが、実際には未知である。
私たちは観測された時系列データから、時系列モデルの数式を推測する。
観測された時系列データから(定常性を仮定すれば)分散、自己共分散が得られる。
一方で、モデルの数式からも分散、自己共分散が得られる。
ユールウォーカー方程式は分散・自己共分散の関係式であり、標本から得られた分散・自己共分散をユールウォーカー方程式に代入し、方程式を解くことでモデルの係数を推測できる。
AR(1)モデル
\(y_{t}=c+\phi y_{t-1}+\varepsilon _{t}\)
定常である条件は \(\left| \phi \right| <1\) である。
以下、定常を仮定し、期待値、分散、自己共分散を求める。
定常であるので、自己共分散、自己相関係数は t に依存せず、次の式で表される。
\(\gamma _{k}=cov\left( y_{t},y_{t-k}\right) \) \(\rho _{k}=\dfrac{cov\left( y_{t}y_{t-k}\right) }{\sqrt{V \left( y_{t}\right) V\left( y_{t-k}\right) }}\) また、\(\gamma _{0}=V\left( y_{t}\right) \)
期待値 \(\mu =\dfrac{c}{1-\phi }\) 分散 \(\gamma _{0}=\dfrac{\sigma ^{2}}{1-\phi ^{2}}\) 自己共分散 \(\gamma _{h}=cov\left( y_{t},y_{t-h}\right) =\dfrac{\sigma ^{2}\phi ^{h}}{1-\phi ^{2}}\)
(導出)
期待値は \(E(y_{t})=c+\phi E(y_{t-1})+E(\varepsilon _{t})\) から、\(\mu=c+\phi\mu+0\) \(\therefore \mu =\dfrac{c}{1-\phi }\)
分散は \(V(y_{t})=V(\phi y_{t-1})+V(\varepsilon _{t})=\phi^2V(y_{t-1})+\sigma^2\) より、
\(\gamma _{0}=\phi^2\gamma _{0}+\sigma^2\) よって、\(\gamma _{0}=\dfrac{\sigma ^{2}}{1-\phi ^{2}}\)
自己共分散 \(\gamma _{h}=cov\left( y_{t},y_{t-h}\right) =\dfrac{\sigma ^{2}\phi ^{h}}{1-\phi ^{2}}\) は、 \(\displaystyle Cov(y_t,y_{t-k})=Cov\left(\sum ^{\infty }_{i=0}\phi ^{i}\varepsilon _{t-i}\:\:,\sum ^{\infty }_{j=0}\phi ^{j}\varepsilon _{t-k-j}\right)\) から導かれる。(詳細は、当サイト「時系列分析の基礎」ARモデルとMAモデルの関係を参照)
これらが、モデルから得られる期待値、分散、自己共分散である。
AR(1)のユール ウォーカー方程式
データとモデルをつなぐユール ウォーカー方程式は、
第1式は、
\(\begin{split}
\gamma _{0}&=cov\left( y_{t},y_{t}\right)
=cov\left( c+\phi y_{t-1}+\varepsilon _{t},y_{t}\right)\\
&=cov\left(\phi y_{t-1}+\varepsilon _{t},y_{t}\right)
=\phi cov\left( y_{t-1},y_{t}\right)+cov\left( \epsilon_{t},y_{t}\right)\\
&=\phi \gamma_{h-1}+cov\left(\varepsilon _{t},c+\phi y_{t-1}+\varepsilon _{t}\right)\\
&=\phi \gamma_{h-1}+\sigma^2
\end{split}\)
第2式は、
\(\begin{split}
\gamma _{h}
&=cov\left( y_{t},y_{t-h}\right)
=cov\left( c+\phi y_{t-1}+\varepsilon _{t},y_{t-h}\right)\\
&=cov\left( c,y_{t-h}\right) +\phi cov\left( y_{t-1},y_{t-h}\right)+cov\left( \epsilon_{t},y_{t-h}\right)\\
&=0+\phi \gamma_{h-1}+0
=\phi \gamma_{h-1}
\end{split}\)
\(\therefore \gamma _{h}=\phi \gamma_{h-1}\) \(h=1\) とすれば \(\gamma _{1}=\phi \gamma_{0}\) が得られる。
ユール ウォーカー方程式を \(\gamma_0\:,\:\gamma_1\) について解けば、
\(\gamma_0=\dfrac{\sigma^2}{1-\phi_1^2}\:,\:\gamma_1=\dfrac{\sigma^2}{1-\phi_1^2}\) 分散、自己共分散が分かる。
逆に、標本から \(\gamma_0\:,\:\gamma_1\) が分かれば、
\(\phi=\dfrac{\gamma_1}{\gamma_0}\:\:,\:\:\sigma^2=\gamma _{0}-\phi \gamma _{1}\) さらに \(c=\mu(1-\phi)\) でモデルが確定する。
AR(1)のコレログラム
自己相関係数 \(\rho_{h}=\dfrac{\gamma_{h}}{\gamma_{0}}\) が分かれば、コレログラムを描くことができる。
AR(1)では、 \(\gamma _{1}=\phi \gamma_{0}\) より、
\(\phi =\dfrac{\gamma_{1}}{\gamma_{0}}=\rho_{1}\) 1次自己相関係数 \(\rho_{1}\) は係数φと一致する。
\(\gamma _{h}=\phi \gamma_{h-1}\) より、 \(\dfrac{\gamma_{h}}{\gamma_{0}}=\phi \times \dfrac{\gamma_{h-1}}{\gamma_{0}}\)
よって、 \(\rho _{h}=\phi \rho_{h-1}\) 自己相関係数は等比数列となり、 \(\rho _{h}=\phi ^h\)
特性方程式 \(1-\phi L=0\) の解 \(L=\dfrac{1}{\phi}\) の逆数を公比とする等比数列となる。
( \(y_{t}=c+\phi y_{t-1}+\varepsilon _{t}\) は \((1-\phi L)y_{t}=c+\varepsilon _{t}\) だから、特性方程式は \(1-\phi L=0\))
AR(2)モデル
\(Y_{t}=\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t}\)
定常である条件は、「大学生の確率・統計」の問題74 より
\(\left( \phi _{1},\phi _{2}\right) \) の存在範囲が、\((0,1),(-2,-1),(2,-1)\) を頂点とする三角形の内部領域となること。
AR(2)のユール ウォーカー方程式
\(\begin{split}
\gamma _{0}&=cov\left( Y_{t},Y_{t}\right)
=cov\left(\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t}\right)\\
&=cov\left(\phi_{1} Y_{t-1}+\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t}\right)\\
&=\phi_{1} cov\left( Y_{t-1},Y_{t}\right)+\phi_{2} cov\left( Y_{t-2},Y_{t}\right)+cov\left( \epsilon_{t},Y_{t}\right)\\
&=\phi_{1} \gamma_{1}+\phi_{2} \gamma_{2}+
cov\left(\varepsilon _{t},\phi_{0}+\phi_{1} Y_{t-1}+\phi_{2} Y_{t-2}+\varepsilon _{t}\right)\\
&=\phi_{1} \gamma_{1}+\phi_{2}\gamma_{2}+\sigma^2
\end{split}\)
\(\begin{split}
\gamma _{1}&=cov\left( Y_{t},Y_{t-1}\right)
=cov\left(\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-1}\right)\\
&=cov\left(\phi_{1} Y_{t-1}+\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-1}\right)\\
&=\phi_{1} cov\left( Y_{t-1},Y_{t-1}\right)+\phi_{2} cov\left( Y_{t-2},Y_{t-1}\right)+cov\left( \epsilon_{t},Y_{t-1}\right)\\
&=\phi_{1} \gamma_{0}+\phi_{2} \gamma_{1}+0\\
&=\phi_{1} \gamma_{0}+\phi_{2}\gamma_{1}
\end{split}\)
\(\begin{split}
\gamma _{2}&=cov\left( Y_{t},Y_{t-2}\right)
=cov\left(\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-2}\right)\\
&=cov\left(\phi_{1} Y_{t-1}+\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-2}\right)\\
&=\phi_{1} cov\left( Y_{t-1},Y_{t-2}\right)+\phi_{2} cov\left( Y_{t-2},Y_{t-2}\right)+cov\left( \epsilon_{t},Y_{t-2}\right)\\
&=\phi_{1} \gamma_{1}+\phi_{2} \gamma_{0}+0\\
&=\phi_{1} \gamma_{1}+\phi_{2}\gamma_{0}
\end{split}\)
2式と3式を連立させたものをユール・ウォーカー方程式という。
\(\begin{cases}
\gamma_{1}=\phi _{1}\gamma_{0}+\phi _{2}\gamma_{1}\\
\gamma_{2}=\phi _{1}\gamma _{1}+\phi _{2}\gamma_{0}
\end{cases}\) 行列では、\(\begin{pmatrix}
\gamma_{1} \\
\gamma_{2}
\end{pmatrix}=
\begin{pmatrix}
\gamma_{0} & \gamma_{1} \\
\gamma_{1} & \gamma_{0}
\end{pmatrix}
\begin{pmatrix}
\phi _{1} \\
\phi _{2}
\end{pmatrix}\)
観測データから自己共分散が推定できれば、係数 \(\phi_{1},\phi_{2}\) を推定することができる。
[参考]
AR(3)のユール・ウォーカー方程式
\(\begin{pmatrix}
\gamma_{1} \\
\gamma_{2}\\
\gamma_{3}
\end{pmatrix}=
\begin{pmatrix}
\gamma_{0} & \gamma_{1} & \gamma_{2}\\
\gamma_{1} & \gamma_{0}& \gamma_{1}\\
\gamma_{2} & \gamma_{1}& \gamma_{0}
\end{pmatrix}
\begin{pmatrix}
\phi _{1} \\
\phi _{2}\\
\phi _{3}
\end{pmatrix}\) 係数行列は対称行列である。
自己相関係数を用いたユール・ウォーカー方程式は
\(\begin{pmatrix}
\rho_{1} \\
\rho_{2}
\end{pmatrix}=
\begin{pmatrix}
1& \rho_{1} \\
\rho_{1} &1
\end{pmatrix}
\begin{pmatrix}
\phi _{1} \\
\phi _{2}
\end{pmatrix}\) となり、簡明に表現される。
AR(2)のコレログラム
\(Y_{t}=\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t}\)
自己相関係数 を\(\rho_{h}=\dfrac{\gamma_{h}}{\gamma_{0}}\)求めることによってコレログラムを描くことができる。
\(\begin{split}
\gamma _{h}&=cov\left( Y_{t},Y_{t-h}\right)
=cov\left(\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-h}\right)\\
&=cov\left(\phi_{1} Y_{t-1}+\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-h}\right)\\
&=\phi_{1} cov\left( Y_{t-1},Y_{t-h}\right)+\phi_{2} cov\left( Y_{t-2},Y_{t-h}\right)+cov\left( \epsilon_{t},Y_{t-h}\right)\\
&=\phi_{1} \gamma_{h-1}+\phi_{2} \gamma_{h-2}+0\\
&=\phi_{1} \gamma_{h-1}+\phi_{2}\gamma_{h-2}
\end{split}\)
よって、\(\begin{split}
\gamma _{h}
&=\phi_{1} \gamma_{h-1}+\phi_{2}\gamma_{h-2}
\end{split}\)
両辺を、 \(\gamma_{0}\) で割れば、
\(\begin{split}
\rho _{h}
&=\phi_{1} \rho_{h-1}+\phi_{2}\rho_{h-2}
\end{split}\)
\(\gamma_{h}=\gamma_{-h}\) 、\(\rho_{h}=\rho_{-h}\) 、\(\rho_{0}=1\) に注意すれば、
\(\begin{split}
\rho _{1}
&=\phi_{1} \rho_{0}+\phi_{2}\rho_{1}
\end{split}\)
よって、 \(\rho_{1}=\dfrac{\phi _{1}}{1-\phi _{2}}\)
\(\begin{split}
\rho_{2}&=\phi_{1} \rho_{1}+\phi_{2}\rho_{0}=\phi_{1} \rho_{1}+\phi_{2}=\dfrac{\phi _{1}^2}{1-\phi _{2}}+\phi _{2}
\end{split}\)
漸化式の考えにより逐次 \(\rho_{h}\) を求めればコレログラムを描くことができる。
AR(2)の期待値、分散を係数で表すと(大学生の確率・統計p171)
期待値 \(\mu =\dfrac{\phi_{0}}{1-\phi_{1}- \phi_{2}}\)
分散は \(\gamma _{0}=\dfrac{\sigma ^{2}}{1-\phi_{1}\rho_{1}-\phi_{2}\rho_{2}}=\dfrac{1-\phi_{2}}{1+\phi _{2}}\cdot \dfrac{\sigma^2}{(1-\phi_{2})^2-\phi _{1}^2}\)
∵ \(\phi_{1}\rho_{1}=\dfrac{\phi _{1}^2}{1-\phi _{2}}\) 、\(\phi_{2}\rho_{2}=\dfrac{\phi
_{1}^2\phi_{2}}{1-\phi _{2}}+\phi _{2}^2
\) より
\(\begin{split}
1-\phi_{1}\rho_{1}-\phi_{2}\rho_{2}&=1-\phi_{2}^2-\dfrac{\phi _{1}^2(1+\phi_{2})}{1-\phi _{2}}
=(1+\phi_{2})\left(1-\phi_{2}-\dfrac{\phi _{1}^2}{1-\phi _{2}}\right)\\
&=(1+\phi_{2})\dfrac{(1-\phi_{2})^2-\phi _{1}^2}{1-\phi _{2}}
=\dfrac{1+\phi_{2}}{1-\phi _{2}}\left[(1-\phi_{2})^2-\phi _{1}^2\right]
\end{split}\)
自己共分散 \(\gamma_{h}\) は隣接3項間の漸化式 \(\begin{split}
\gamma _{h}
&=\phi_{1} \gamma_{h-1}+\phi_{2}\gamma_{h-2}
\end{split}\) から得られる、
\(\gamma_{h}\) は、特性方程式の解の逆数を公比とする等比数列の一次結合となる。
(AR(2)のMA(∞)表現 大学生の確率・統計74)
MA(1)モデル
\(y_{t}=\mu+\varepsilon _{t}+\theta_{1} \varepsilon _{t-1}\) \(\varepsilon _{t}\sim N\left( 0,\sigma ^{2}\right) \)
期待値 \(E(y_{t}) =\mu\) 分散 \(\gamma _{0}=(1+\theta_{1}^2)\sigma^2\)
\(\gamma _{1}=cov\left( y_{t-1},y_{t}\right)
=cov\left(\varepsilon _{t-1}+\theta_{1} \varepsilon _{t-2},\varepsilon _{t}+\theta_{1} \varepsilon _{t-1}\right)
=cov\left(\varepsilon _{t-1},\theta_{1} \varepsilon _{t-1}\right)=\theta_{1} \sigma^2
\)
\(\gamma _{2}=cov\left( y_{t-2},y_{t}\right)
=cov\left(\varepsilon _{t-2}+\theta_{1} \varepsilon _{t-3}\,,\varepsilon _{t}+\theta_{1} \varepsilon _{t-1}\right)=0
\)
\(\rho_{1}=\dfrac{\theta_{1}^{2}}{1+\theta _{1}^2}\) 、\(\rho_{2}=0\) 、‥
MA(1)モデルにおいては、次数が1より大きい自己相関は0 、
MA(2)モデルにおいては、次数が2より大きい自己相関は0 となる。
コレログラム
ARモデルのコレログラムは等比数列
MAモデルのコレログラムは定数で、次数より大きい自己相関は0となる。
ARMAモデルのコレログラムは、次数より大きい部分では、ARと一致。
ARMAモデル
\(\begin{split}
y_{t}=
c+\phi_{1} y_{t-1}+\phi_{2} y_{t-2}+
\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}
\end{split}\)
\(\begin{split}
y_{t}-\phi_{1} y_{t-1}-\phi_{2} y_{t-2}=
c+
\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}
\end{split}\)
\(\begin{split}
(1-\phi_{1}L-\phi_{2}L^2)y_{t}=
c+(1+\theta_{1}L+\theta_{2}L^2)\varepsilon _{t}
\end{split}\)
q + 1 次以降の自己共分散と自己相関はMAの影響を受けないので、ARのユールウォーカー方程式に一致。
q 次までの自己共分散、自己相関はARとMAが混在し、一般的な表現は難しい。
ARMAモデルの定常性の条件は、ARの部分が定常であることである。