時系列モデルの性質

慶應大学 長倉大輔 様 「時系列分析 2」
     http://user.keio.ac.jp/~nagakura/zemi/ts2_slide_2015.pdf
[内容]ユールウォーカー方程式、自己相関、コレログラム
以下は、長倉先生の資料をもとに学習したノートです。

時系列モデル
時系列モデルは、時系列データを生み出す数式であるが、実際には未知である。
私たちは観測された時系列データから、時系列モデルの数式を推測する。

観測された時系列データから(定常性を仮定すれば)分散、自己共分散が得られる。
一方で、モデルの数式からも分散、自己共分散が得られる。

ユールウォーカー方程式は分散・自己共分散の関係式であり、標本から得られた分散・自己共分散をユールウォーカー方程式に代入し、方程式を解くことでモデルの係数を推測できる。

時系列モデル

AR(1)モデル

     \(y_{t}=c+\phi y_{t-1}+\varepsilon _{t}\)

定常である条件は \(\left| \phi \right| <1\) である。

以下、定常を仮定し、期待値、分散、自己共分散を求める。

定常であるので、自己共分散、自己相関係数は t に依存せず、次の式で表される。

     \(\gamma _{k}=cov\left( y_{t},y_{t-k}\right) \)     \(\rho _{k}=\dfrac{cov\left( y_{t}y_{t-k}\right) }{\sqrt{V \left( y_{t}\right) V\left( y_{t-k}\right) }}\)     また、\(\gamma _{0}=V\left( y_{t}\right) \)

     期待値 \(\mu =\dfrac{c}{1-\phi }\)    分散 \(\gamma _{0}=\dfrac{\sigma ^{2}}{1-\phi ^{2}}\)     自己共分散 \(\gamma _{h}=cov\left( y_{t},y_{t-h}\right) =\dfrac{\sigma ^{2}\phi ^{h}}{1-\phi ^{2}}\)

(導出)

期待値は \(E(y_{t})=c+\phi E(y_{t-1})+E(\varepsilon _{t})\) から、\(\mu=c+\phi\mu+0\)   \(\therefore \mu =\dfrac{c}{1-\phi }\)

分散は \(V(y_{t})=V(\phi y_{t-1})+V(\varepsilon _{t})=\phi^2V(y_{t-1})+\sigma^2\) より、

     \(\gamma _{0}=\phi^2\gamma _{0}+\sigma^2\)   よって、\(\gamma _{0}=\dfrac{\sigma ^{2}}{1-\phi ^{2}}\)

自己共分散 \(\gamma _{h}=cov\left( y_{t},y_{t-h}\right) =\dfrac{\sigma ^{2}\phi ^{h}}{1-\phi ^{2}}\)  は、 \(\displaystyle Cov(y_t,y_{t-k})=Cov\left(\sum ^{\infty }_{i=0}\phi ^{i}\varepsilon _{t-i}\:\:,\sum ^{\infty }_{j=0}\phi ^{j}\varepsilon _{t-k-j}\right)\)  から導かれる。(詳細は、当サイト「時系列分析の基礎」ARモデルとMAモデルの関係を参照)

これらが、モデルから得られる期待値、分散、自己共分散である。

AR(1)のユール ウォーカー方程式

データとモデルをつなぐユール ウォーカー方程式は、

第1式は、

     \(\begin{split}
\gamma _{0}&=cov\left( y_{t},y_{t}\right)
=cov\left( c+\phi y_{t-1}+\varepsilon _{t},y_{t}\right)\\
&=cov\left(\phi y_{t-1}+\varepsilon _{t},y_{t}\right)
=\phi cov\left( y_{t-1},y_{t}\right)+cov\left( \epsilon_{t},y_{t}\right)\\
&=\phi \gamma_{h-1}+cov\left(\varepsilon _{t},c+\phi y_{t-1}+\varepsilon _{t}\right)\\
&=\phi \gamma_{h-1}+\sigma^2
\end{split}\)

第2式は、

     \(\begin{split}
\gamma _{h}
&=cov\left( y_{t},y_{t-h}\right)
=cov\left( c+\phi y_{t-1}+\varepsilon _{t},y_{t-h}\right)\\
&=cov\left( c,y_{t-h}\right) +\phi cov\left( y_{t-1},y_{t-h}\right)+cov\left( \epsilon_{t},y_{t-h}\right)\\
&=0+\phi \gamma_{h-1}+0
=\phi \gamma_{h-1}
\end{split}\)

     \(\therefore \gamma _{h}=\phi \gamma_{h-1}\)     \(h=1\) とすれば \(\gamma _{1}=\phi \gamma_{0}\) が得られる。

ユール ウォーカー方程式を \(\gamma_0\:,\:\gamma_1\) について解けば、

     \(\gamma_0=\dfrac{\sigma^2}{1-\phi_1^2}\:,\:\gamma_1=\dfrac{\sigma^2}{1-\phi_1^2}\)  分散、自己共分散が分かる。

逆に、標本から \(\gamma_0\:,\:\gamma_1\) が分かれば、

     \(\phi=\dfrac{\gamma_1}{\gamma_0}\:\:,\:\:\sigma^2=\gamma _{0}-\phi \gamma _{1}\)  さらに \(c=\mu(1-\phi)\) でモデルが確定する。

AR(1)のコレログラム

自己相関係数 \(\rho_{h}=\dfrac{\gamma_{h}}{\gamma_{0}}\) が分かれば、コレログラムを描くことができる。

AR(1)では、 \(\gamma _{1}=\phi \gamma_{0}\) より、

     \(\phi =\dfrac{\gamma_{1}}{\gamma_{0}}=\rho_{1}\)     1次自己相関係数 \(\rho_{1}\) は係数φと一致する。

\(\gamma _{h}=\phi \gamma_{h-1}\)  より、 \(\dfrac{\gamma_{h}}{\gamma_{0}}=\phi \times \dfrac{\gamma_{h-1}}{\gamma_{0}}\)

よって、 \(\rho _{h}=\phi \rho_{h-1}\)  自己相関係数は等比数列となり、 \(\rho _{h}=\phi ^h\)

特性方程式 \(1-\phi L=0\) の解 \(L=\dfrac{1}{\phi}\) の逆数を公比とする等比数列となる。

( \(y_{t}=c+\phi y_{t-1}+\varepsilon _{t}\) は \((1-\phi L)y_{t}=c+\varepsilon _{t}\) だから、特性方程式は \(1-\phi L=0\))

AR(2)モデル

\(Y_{t}=\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t}\)

定常である条件は、「大学生の確率・統計」の問題74 より

\(\left( \phi _{1},\phi _{2}\right) \) の存在範囲が、\((0,1),(-2,-1),(2,-1)\) を頂点とする三角形の内部領域となること。

AR(2)のユール ウォーカー方程式

\(\begin{split}
\gamma _{0}&=cov\left( Y_{t},Y_{t}\right)
=cov\left(\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t}\right)\\

&=cov\left(\phi_{1} Y_{t-1}+\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t}\right)\\

&=\phi_{1} cov\left( Y_{t-1},Y_{t}\right)+\phi_{2} cov\left( Y_{t-2},Y_{t}\right)+cov\left( \epsilon_{t},Y_{t}\right)\\

&=\phi_{1} \gamma_{1}+\phi_{2} \gamma_{2}+
cov\left(\varepsilon _{t},\phi_{0}+\phi_{1} Y_{t-1}+\phi_{2} Y_{t-2}+\varepsilon _{t}\right)\\

&=\phi_{1} \gamma_{1}+\phi_{2}\gamma_{2}+\sigma^2
\end{split}\)

\(\begin{split}
\gamma _{1}&=cov\left( Y_{t},Y_{t-1}\right)
=cov\left(\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-1}\right)\\

&=cov\left(\phi_{1} Y_{t-1}+\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-1}\right)\\

&=\phi_{1} cov\left( Y_{t-1},Y_{t-1}\right)+\phi_{2} cov\left( Y_{t-2},Y_{t-1}\right)+cov\left( \epsilon_{t},Y_{t-1}\right)\\

&=\phi_{1} \gamma_{0}+\phi_{2} \gamma_{1}+0\\

&=\phi_{1} \gamma_{0}+\phi_{2}\gamma_{1}
\end{split}\)

\(\begin{split}
\gamma _{2}&=cov\left( Y_{t},Y_{t-2}\right)
=cov\left(\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-2}\right)\\

&=cov\left(\phi_{1} Y_{t-1}+\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-2}\right)\\

&=\phi_{1} cov\left( Y_{t-1},Y_{t-2}\right)+\phi_{2} cov\left( Y_{t-2},Y_{t-2}\right)+cov\left( \epsilon_{t},Y_{t-2}\right)\\

&=\phi_{1} \gamma_{1}+\phi_{2} \gamma_{0}+0\\

&=\phi_{1} \gamma_{1}+\phi_{2}\gamma_{0}
\end{split}\)

2式と3式を連立させたものをユール・ウォーカー方程式という。

     \(\begin{cases}

\gamma_{1}=\phi _{1}\gamma_{0}+\phi _{2}\gamma_{1}\\
\gamma_{2}=\phi _{1}\gamma _{1}+\phi _{2}\gamma_{0}

\end{cases}\)    行列では、\(\begin{pmatrix}
\gamma_{1} \\
\gamma_{2}
\end{pmatrix}=

\begin{pmatrix}
\gamma_{0} & \gamma_{1} \\
\gamma_{1} & \gamma_{0}
\end{pmatrix}

\begin{pmatrix}
\phi _{1} \\
\phi _{2}
\end{pmatrix}\)

観測データから自己共分散が推定できれば、係数 \(\phi_{1},\phi_{2}\) を推定することができる。

[参考]

AR(3)のユール・ウォーカー方程式

     \(\begin{pmatrix}
\gamma_{1} \\
\gamma_{2}\\
\gamma_{3}
\end{pmatrix}=

\begin{pmatrix}
\gamma_{0} & \gamma_{1} & \gamma_{2}\\
\gamma_{1} & \gamma_{0}& \gamma_{1}\\
\gamma_{2} & \gamma_{1}& \gamma_{0}
\end{pmatrix}

\begin{pmatrix}
\phi _{1} \\
\phi _{2}\\
\phi _{3}
\end{pmatrix}\)   係数行列は対称行列である。

自己相関係数を用いたユール・ウォーカー方程式は

     \(\begin{pmatrix}
\rho_{1} \\
\rho_{2}
\end{pmatrix}=

\begin{pmatrix}
1& \rho_{1} \\
\rho_{1} &1
\end{pmatrix}

\begin{pmatrix}
\phi _{1} \\
\phi _{2}
\end{pmatrix}\)   となり、簡明に表現される。

AR(2)のコレログラム

     \(Y_{t}=\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t}\)

自己相関係数 を\(\rho_{h}=\dfrac{\gamma_{h}}{\gamma_{0}}\)求めることによってコレログラムを描くことができる。

\(\begin{split}
\gamma _{h}&=cov\left( Y_{t},Y_{t-h}\right)
=cov\left(\phi_{0}+\phi_{1} Y_{t-1}+
\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-h}\right)\\

&=cov\left(\phi_{1} Y_{t-1}+\phi_{2} Y_{t-2}+\varepsilon _{t},Y_{t-h}\right)\\

&=\phi_{1} cov\left( Y_{t-1},Y_{t-h}\right)+\phi_{2} cov\left( Y_{t-2},Y_{t-h}\right)+cov\left( \epsilon_{t},Y_{t-h}\right)\\

&=\phi_{1} \gamma_{h-1}+\phi_{2} \gamma_{h-2}+0\\

&=\phi_{1} \gamma_{h-1}+\phi_{2}\gamma_{h-2}
\end{split}\)

よって、\(\begin{split}
\gamma _{h}
&=\phi_{1} \gamma_{h-1}+\phi_{2}\gamma_{h-2}
\end{split}\)

両辺を、 \(\gamma_{0}\) で割れば、

     \(\begin{split}
\rho _{h}
&=\phi_{1} \rho_{h-1}+\phi_{2}\rho_{h-2}
\end{split}\)

\(\gamma_{h}=\gamma_{-h}\) 、\(\rho_{h}=\rho_{-h}\) 、\(\rho_{0}=1\) に注意すれば、 \(\begin{split}
\rho _{1}
&=\phi_{1} \rho_{0}+\phi_{2}\rho_{1}
\end{split}\)

よって、  \(\rho_{1}=\dfrac{\phi _{1}}{1-\phi _{2}}\)

      \(\begin{split}
\rho_{2}&=\phi_{1} \rho_{1}+\phi_{2}\rho_{0}=\phi_{1} \rho_{1}+\phi_{2}=\dfrac{\phi _{1}^2}{1-\phi _{2}}+\phi _{2}
\end{split}\)

漸化式の考えにより逐次 \(\rho_{h}\) を求めればコレログラムを描くことができる。

AR(2)の期待値、分散を係数で表すと(大学生の確率・統計p171)

期待値     \(\mu =\dfrac{\phi_{0}}{1-\phi_{1}- \phi_{2}}\)

分散は     \(\gamma _{0}=\dfrac{\sigma ^{2}}{1-\phi_{1}\rho_{1}-\phi_{2}\rho_{2}}=\dfrac{1-\phi_{2}}{1+\phi _{2}}\cdot \dfrac{\sigma^2}{(1-\phi_{2})^2-\phi _{1}^2}\)

∵      \(\phi_{1}\rho_{1}=\dfrac{\phi _{1}^2}{1-\phi _{2}}\) 、\(\phi_{2}\rho_{2}=\dfrac{\phi _{1}^2\phi_{2}}{1-\phi _{2}}+\phi _{2}^2
\) より

     \(\begin{split}
1-\phi_{1}\rho_{1}-\phi_{2}\rho_{2}&=1-\phi_{2}^2-\dfrac{\phi _{1}^2(1+\phi_{2})}{1-\phi _{2}}
=(1+\phi_{2})\left(1-\phi_{2}-\dfrac{\phi _{1}^2}{1-\phi _{2}}\right)\\
&=(1+\phi_{2})\dfrac{(1-\phi_{2})^2-\phi _{1}^2}{1-\phi _{2}}
=\dfrac{1+\phi_{2}}{1-\phi _{2}}\left[(1-\phi_{2})^2-\phi _{1}^2\right]
\end{split}\)

     自己共分散 \(\gamma_{h}\) は隣接3項間の漸化式  \(\begin{split}
\gamma _{h}
&=\phi_{1} \gamma_{h-1}+\phi_{2}\gamma_{h-2}
\end{split}\) から得られる、

     \(\gamma_{h}\) は、特性方程式の解の逆数を公比とする等比数列の一次結合となる。

     (AR(2)のMA(∞)表現 大学生の確率・統計74)

MA(1)モデル

     \(y_{t}=\mu+\varepsilon _{t}+\theta_{1} \varepsilon _{t-1}\)    \(\varepsilon _{t}\sim N\left( 0,\sigma ^{2}\right) \)

期待値 \(E(y_{t}) =\mu\)     分散 \(\gamma _{0}=(1+\theta_{1}^2)\sigma^2\)

     \(\gamma _{1}=cov\left( y_{t-1},y_{t}\right)
=cov\left(\varepsilon _{t-1}+\theta_{1} \varepsilon _{t-2},\varepsilon _{t}+\theta_{1} \varepsilon _{t-1}\right)
=cov\left(\varepsilon _{t-1},\theta_{1} \varepsilon _{t-1}\right)=\theta_{1} \sigma^2
\)

     \(\gamma _{2}=cov\left( y_{t-2},y_{t}\right)
=cov\left(\varepsilon _{t-2}+\theta_{1} \varepsilon _{t-3}\,,\varepsilon _{t}+\theta_{1} \varepsilon _{t-1}\right)=0
\)

     \(\rho_{1}=\dfrac{\theta_{1}^{2}}{1+\theta _{1}^2}\) 、\(\rho_{2}=0\) 、‥

MA(1)モデルにおいては、次数が1より大きい自己相関は0 、

MA(2)モデルにおいては、次数が2より大きい自己相関は0 となる。

コレログラム

ARモデルのコレログラムは等比数列

MAモデルのコレログラムは定数で、次数より大きい自己相関は0となる。

ARMAモデルのコレログラムは、次数より大きい部分では、ARと一致。

ARMAモデル

     \(\begin{split}
y_{t}=
c+\phi_{1} y_{t-1}+\phi_{2} y_{t-2}+
\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}
\end{split}\)

     \(\begin{split}
y_{t}-\phi_{1} y_{t-1}-\phi_{2} y_{t-2}=
c+
\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}
\end{split}\)

     \(\begin{split}
(1-\phi_{1}L-\phi_{2}L^2)y_{t}=
c+(1+\theta_{1}L+\theta_{2}L^2)\varepsilon _{t}
\end{split}\)

q + 1 次以降の自己共分散と自己相関はMAの影響を受けないので、ARのユールウォーカー方程式に一致。

q 次までの自己共分散、自己相関はARとMAが混在し、一般的な表現は難しい。

ARMAモデルの定常性の条件は、ARの部分が定常であることである。




© hyoccori-toukei 2021