慶應大学 長倉大輔 様「時系列分析 1、2」
http://user.keio.ac.jp/~nagakura/zemi/ts1_slide_2015.pdf
http://user.keio.ac.jp/~nagakura/zemi/ts2_slide_2015.pdf
[内容]ARモデル、MAモデル、特性方程式、ラグオペレーター、自己相関の検定
以下は、長倉先生の資料をもとに学習したノートです。
自己共分散
時点 t における k 次の自己共分散 、自己相関係数は次のように定義される。
\(\gamma _{kt}=cov\left( y_{t},y_{t-k}\right) \) \(\rho _{kt}=\dfrac{cov\left( y_{t},y_{t-k}\right) }{\sqrt{V \left( y_{t}\right) V\left( y_{t-k}\right) }}\)
定常性
すべての t について \(E\left( y_{t}\right) =\mu\) 、\(\gamma _{kt}=\gamma _{k}\) が成り立つとき定常であるという。
これは、平均と自己共分散が t に依存しないことを意味する。
定常性は、データからモデルを推定する場合に前提となる条件である。
定常性の仮定をおくことにより、推定に \(y_{t},y_{t-1},\) ... を用いる事ができるようになる。
定常のもとでは、自己共分散、自己相関係数は t に依存せず、次の式で表される。
\(\gamma _{k}=cov\left( y_{t},y_{t-k}\right) \) \(\rho _{k}=\dfrac{cov\left( y_{t},y_{t-k}\right) }{\sqrt{V \left( y_{t}\right) V\left( y_{t-k}\right) }}\) 特に \(\gamma _{0}=V\left( y_{t}\right) \)
平均、分散、自己共分散、自己相関の推定 (標本による)
時点 \(t=1,2,\cdots,T\) までのデータの集合 \(\left(y_1,y_2,\cdots,y_T\right)\) に対し、
(標本平均) \(\displaystyle \overline{y}=\dfrac{1}{T}\sum ^{T}_{t=1}y_{t}\) (これらは定常性があって初めて意味を持つ)
(標本自己共分散) \(\widehat{\gamma }_{k}=\dfrac{1}{T}\sum ^{T}_{t=k+1}\left( y_{t}-\overline{y}\right) \times \left( y_{t-k}-\overline{y}\right) \)
(標本自己相関) \(\widehat{\rho}_{k}=\dfrac{\widehat{\gamma}_{k}}{\widehat{\gamma}_{0}}\)
[注意]
標本自己共分散について、「個数は(T-k)だが、自由度はTである」
この点を疑問に思ったのは筆者だけではないようで、次のサイト様にも記事がありました。
@brln様 https://qiita.com/brln/items/3088f893aeca67725c77
理由は、
「右辺には \(T\) 個のデータが含まれるため、自由度としては \(T\) と考える」
ということだと思います。
つまり、自由度 \(T\) で割ることによって、不偏推定値になっていると思いますが、ここでは立ち入らないことにします。
自己回帰過程 (auto regressive (AR) process)
\(y_{t}=c+\phi y_{t-1}+\varepsilon _{t}\)
のように \(y_t\) が決定される時、\(y_t\) は自己回帰過程(AR過程)という。
\(\left| \phi \right| <1\) のとき、AR(1)過程は定常となる。
理由は、MA(∞)モデルに変形することにより、 \(\forall t\) について \(E\left( y_{t}\right) =\mu\) 、 \(\gamma _{kt}=\gamma _{k}\) が示されるからである。後ほど詳しく述べる。
移動平均過程(moving average (MA) process)
\(y_{t}=c+\varepsilon _{t}+\theta \varepsilon _{t-1}\) ( \(\varepsilon_i\sim N(0,\sigma^2)\:\:i.i.d.\) )
のように \(y_t\) が決定される時、 \(y_t\) を移動平均過程といい、 MA(1) で表す。
一般の \(MA(q)\) モデルは、
\(y_{t}=c+\varepsilon _{t}+\theta_1 \varepsilon _{t-1}+\theta_2 \varepsilon _{t-2}+\cdots+\theta_q\varepsilon _{t-q}\) であるので、 \(E(y_t)=c\)
また、 \(y_{t-k}=c+\varepsilon _{t-k}+\theta_1 \varepsilon _{t-k-1}+\theta_2 \varepsilon _{t-k-2}+\cdots+\theta_q\varepsilon _{t-k-q}\) だから
\(\gamma _{k}=cov\left( y_{t},y_{t-k}\right)
=V(\theta_k\varepsilon _{t-k}+\theta_{k+1}\theta_1\varepsilon _{t-k-1}+\cdots+\theta_{q}\theta_{q-k}\varepsilon _{t-q})
=\sigma^2(\theta_k^2+\cdots+\theta_{q}^2\theta_{q-k}^2) \)
(大学生の確率・統計p172 参照)
\(E(y_t)\:,\:\ cov\left( y_{t},y_{t-k}\right) \) は \(t\) の値によらないので定常である。
MAモデルは発散せず、必ず収束する良いモデルと言える。
MAモデルをもとにARモデルの収束を考えよう。
ARモデルとMAモデルの関係
\(y_{t}=c+\phi y_{t-1}+\varepsilon _{t}\) ( \(t\) を下げて \(\phi\) をかける操作を繰り返す)
\(\phi y_{t-1}=c\phi +\phi ^{2}y_{t-2}+\phi\varepsilon _{t-1}\)
\(\phi ^{2}y_{t-2}=c\phi ^{2}+\phi ^{3}y_{t-3}+\phi ^{2}\varepsilon _{t-2}\)
\(\phi ^{3}y_{t-3}=c\phi ^{3}+\phi ^{4}y_{t-4}+\phi ^{3}\varepsilon _{t-3}\)
‥‥‥
\(\phi ^{n}y_{t-n}=c\phi ^{n}+\phi ^{n+1}y_{t-(n+1)}+\phi ^{n}\varepsilon _{t-n}\)
辺々たすと
\(\begin{aligned}y_{t}=c\left( 1+\phi +\phi^{2}+\phi^{3}+\dots\phi
^{n}\right) +\phi ^{n+1}y_{t-\left( n+1\right) }\
+(\varepsilon _{t}+\phi\varepsilon _{t-1}+\phi ^{2}\varepsilon _{t-2}+\ldots +\phi ^{n}\varepsilon _{t-n}\end{aligned})\)
\(\left| \phi \right| <1\) のとき、\(n \rightarrow +\infty\) とすると \(y_{t}\) は有界だから、 \(\phi ^{n+1}y_{t-\left( n+1\right) }\rightarrow 0\)
故に、 \(\displaystyle y_{t}=\dfrac{c}{1-\phi }+\sum ^{\infty }_{i=0}\phi ^{i}\varepsilon _{t-i}\) AR(1)のMA(∞)表現という。
このとき \(y_t\) は定常である。何故なら、
\(\displaystyle E(y_t)=\dfrac{c}{1-\phi }+\sum ^{\infty }_{i=0}\phi ^{i}E(\varepsilon _{t-i})=\dfrac{c}{1-\phi }\)
\(\displaystyle Cov(y_t,y_{t-k})=Cov\left(\sum ^{\infty }_{i=0}\phi ^{i}\varepsilon _{t-i}\:\:,\sum ^{\infty }_{j=0}\phi ^{j}\varepsilon _{t-k-j}\right)\) については、
\(t-i\neq t-k-j\) のとき、\(Cov(\varepsilon _{t-i}\:\:,\:\varepsilon _{t-k-j})=0\)
\(t-i= t-k-j\) のとき \(i=j+k\) で \(Cov(\varepsilon _{t-i}\:\:,\:\varepsilon _{t-k-j})=\sigma^2\) だから、
\(\displaystyle Cov(y_t,y_{t-k})=\sum ^{\infty }_{j=0}\left(\phi ^{2j+k}\cdot \sigma^2\right)=\dfrac{\phi^k}{1-\phi^2}\sigma^2\)
期待値と自己共分散が t に依存しないので定常である。
一般に、ARモデルが定常である条件は、MA(∞)モデルに変形できることである。
ラグオペレーター
[参考サイト]
学習院大学 様 「確 率 過 程 と 時 系 列 モ デ ル」
https://www-cc.gakushuin.ac.jp/~20130021/ecmr/chap1.pdf
ラグオペレーターは、時系列 \(y_t\) の時間 \(t\) を過去に遡る変換である。
ここでは、ラグオペレーターとラグ多項式によって時系列を説明する。
ラグオペレーターを、 \(Ly_{t}=y_{t-1}\:\:,\:\:L^{2}y_{t}=y_{t-2}\) によって定め、
ラグ多項式を、 \(\phi \left( L\right) =1-\phi _{1}L-\phi _{2}L^{2}\) と定義すると、
\(\phi\left( L\right) y_{t}=y_{t}-\phi _{1}y_{t-1}-\phi _{2}y_{t-2}\)
\(\phi \left( L\right) y_{t}=m+\varepsilon _{t}\) は、
\(y_{t}-\phi_{1}y_{t-1}-\phi _{2}y_{t-2}=m+\varepsilon _{t}\)
\(y_{t}=m+\phi_{1}y_{t-1}+\phi_{2}y_{t-2}+\varepsilon _{t}\)
となり、AR(2)モデルを表す。
\(y_{t}=\phi\left( L\right) ^{-1}\left( m+\varepsilon_{t}\right) \) と表すこともできる。
特に、AR(1)モデルの場合、\(\phi \left( L\right) =1-\phi _{1}L\) とおくと \(\phi \left( L\right) y_{t}=m+\varepsilon _{t}\) は、
\(y_{t}-\phi_{1}y_{t-1}=m+\varepsilon _{t}\) \((1-\phi_{1}L)y_{t}=m+\varepsilon _{t}\)
\(y_{t}=\phi\left( L\right) ^{-1}\left( m+\varepsilon_{t}\right) \) は変換であるが、逆変換を形式的に分数で表現して、
\(y_{t}=\dfrac{1}{1-\phi_{1} L}(m+\varepsilon _{t})=\dfrac{1}{1-\phi_{1} L}(m)+\dfrac{1}{1-\phi_{1} L}(\varepsilon _{t})\)
さらに、\(\dfrac{1}{1-\phi_{1} L}=1+\phi _{1}L+\left( \phi_{1}L\right) ^{2}+\cdots\) のように形式的に無限級数で表すと、
\(\begin{split}
y_{t}&=\left(1+\phi _{1}L+\left( \phi_{1}L\right) ^{2}+\cdots\right)(m+\varepsilon _{t})\\&=
\left(1+\phi _{1}L+\left( \phi_{1}L\right) ^{2}+\cdots\right)(m)+\left(1+\phi _{1}L+\left( \phi_{1}L\right) ^{2}+\cdots\right)(\varepsilon _{t})\\
&=\dfrac{1}{1-\phi_{1} }(m)+\sum ^{\infty }_{i=0}\phi_{1} ^{i}\varepsilon _{t-i}
\end{split}\)
AR(1)のMA(∞) 表現と一致する。つまり、ラグ多項式は合理性を持つと考えられる。
AR(2)に戻る。
AR(2)モデル \(y_{t}=m+\phi_{1}y_{t-1}+\phi_{2}y_{t-2}+\varepsilon _{t}\)
ラグ多項式 \(\left(1-\phi _{1}L-\phi _{2}L^{2}\right) y_{t}=m+\varepsilon _{t}\)
は同等である。
\(\phi \left( L\right) =1-\phi _{1}L-\phi _{2}L^{2}=0\) 特性方程式という。
特性方程式と定常性
モデルが定常である条件は、特性方程式の解の絶対値が1より大きいことである。
このことをAR(1)モデル、AR(2)モデルに適用してみる。
AR(1)モデル \((1-\phi_{1}L)y_{t}=m+\varepsilon _{t}\) が定常である条件
特性方程式 \(1-\phi_{1}L=0\) の解の絶対値が1より大であること。
\(L=\dfrac{1}{\phi _{1}}\) よって、 \(\left| \dfrac{1}{\phi _{1}}\right| >1\)
定常である条件は、 \(\left| \phi _{1}\right| <1\) である。
AR(2)モデル \((1-\phi_{1}L-\phi_{2}L^2)y_{t}=m+\varepsilon _{t}\) が定常である条件
特性方程式 \(1-\phi _{1}L-\phi _{2}L^{2}=0\) の解の絶対値が1より大なること。
これは、2次方程式の解の理論のよい練習問題になる。
解が実数解の場合と虚数解の場合に分けて考える。
\(f(L)=1-\phi _{1}L-\phi _{2}L^{2}\) とおく。
(ⅰ) \(\phi _{1}^{2}+4\phi _{2}\geq 0\) のとき、\(f(L)\) のグラフが(0,1)を通ることに注意すると、\(\phi_{2}>0\)
\(f(1)=1-\phi_{1}-\phi_{2}>0\) 、\(f(-1)=1+\phi_{1}-\phi_{2}>0\) 、 \(-1 <\dfrac{\phi _{1}}{2} <1\)
(ⅱ) \(\phi _{1}^{2}+4\phi _{2} <0\) のとき、\(\phi _{2} <0\)
\(-\dfrac{1}{\phi _{2}}>1\) \(\therefore \phi _{2} >-1\)
\(\left( \phi _{1},\phi _{2}\right) \) の存在範囲は、\((0,1),(-2,-1),(2,-1)\) を頂点とする三角形の内部の領域となる。
具体的な問題は、「大学生の確率・統計」の問題74を参照
定常な AR(p) モデルは MA(∞) 表現を持つ
学習院大学様 https://www-cc.gakushuin.ac.jp/~20130021/ecmr/chap1.pdf (p9)によると
一般には次のような表現になる。
\(\displaystyle y_{t}=\phi \left( L\right) ^{-1}\left( m+\varepsilon _{t}\right) =\mu +\sum ^{\infty }_{j=0}\pi _{j}\varepsilon _{t-j}\) ( \(\pi _{0}=1\) )
大学生の確率・統計では、次の問題にあたるとよい。
問題73は、AR(1)のMA(∞)表現を求める問題。
問題74は、AR(2)が定常である条件と、そのときのMA(∞)表現を求める問題。
(AR(2)では隣接3項間漸化式の手法が必要である)
問題75は、MA(2)の自己共分散を求める問題。
自己相関係数とコレログラム
MA(1)モデル \(y_{t}=\mu+\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}\)
ラグ多項式を、 \(\theta \left( L\right) =1+\theta _{1}L\) と定義すると、\(\theta\left( L\right) \varepsilon _{t}=\varepsilon _{t}+\theta _{1}\varepsilon _{t-1}\)
\(y_{t}=\mu+\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}
=\mu+\theta\left( L\right) \varepsilon _{t}\) \(\therefore y_{t}=\mu+\theta\left( L\right) \varepsilon _{t}\)
\(E(y_{t})=\mu\) \(\gamma_{0}=(1+\theta_{1}^2)\sigma^2\)
\(\gamma_{1}=Cov\left(\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}\:,\:
\varepsilon _{t-1}+\theta_{1}\varepsilon _{t-2}\right)
=\theta_{1}\sigma^2\)
\(\gamma_{2}=0\:,\:\:\gamma_{3}=0\:,\cdots\)
自己相関係数は、
\(\rho_{1}=\dfrac{\theta_{1}}{1+\theta_{1}^2}\:\:,\:\:\rho_{2}=0,\:\:\rho_{3}=0,\:\:\cdots\)
コレログラムは、第2項以降が0になる。
MA(2)モデル \(y_{t}=\mu+\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}\)
ラグ多項式を、 \(\theta \left( L\right) =1+\theta _{1}L+\theta _{2}L^{2}\) と定義すると、\(\theta\left( L\right) \varepsilon _{t}=\varepsilon _{t}+\theta _{1}\varepsilon _{t-1}+\theta _{2}\varepsilon _{t-2}\)
\(y_{t}=\mu+\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon
_{t-2}
=\mu+\theta\left( L\right) \varepsilon _{t}\) \(\therefore y_{t}=\mu+\theta\left(
L\right) \varepsilon _{t}\)
\(E(y_{t})=\mu\) \(\gamma_{0}=\left(1+\theta_{1}^2+\theta_{2}^2\right)\sigma^2\)
\(\gamma_{1}=Cov\left(\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon
_{t-2}\:\:,\:\:
\varepsilon _{t-1}+\theta_{1}\varepsilon _{t-2}+\theta_{2}\varepsilon _{t-3}\right)
=(\theta_{1}+\theta_{2}\theta_{1})\sigma^2\)
\(\gamma_{2}=Cov\left(\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon
_{t-2}\:\:,\:\:
\varepsilon _{t-2}+\theta_{1}\varepsilon _{t-3}+\theta_{2}\varepsilon _{t-4}\right)
=\theta_{2}\sigma^2\)
\(\gamma_{3}=0\:\:,\:\:\gamma_{4}=0,\:\:\cdots\)
自己相関係数は、
\(\rho_{1}=\dfrac{\theta_{1}+\theta_{2}\theta_{1}}{1+\theta_{1}^2+\theta_{2}^2}\:\:,\:\:\rho_{2}=\dfrac{\theta_{2}}{1+\theta_{1}^2+\theta_{2}^2}\:\:,\:\:\rho_{3}=0\:\:,\cdots\)
コレログラムは、第3項以降が0になる。
自己相関係数の構造
\(y_{t}=\mu+\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon
_{t-2}
=\mu+\theta_{0}\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}\) ( \(\theta_0=1\) とする)
\((1+\theta_{1}^2+\theta_{2}^2)\) は、係数ベクトル \((\theta_{0},\theta_{1},\theta_{2})\) の大きさの二乗
\(\rho_{1}\) の分子は、係数ベクトルを1スライドさせたものとの内積、即ち
\(\theta_{0}\:\:\:\theta_{1}\:\:\:\theta_{2}\)
\(\:\theta_{0}\:\:\:\theta_{1}\:\:\:\theta_{2}\)
\(\therefore(\theta_{1},\theta_{2})\
(\theta_{0},\theta_{1})
=\theta_{1}\theta_{0}+\theta_{2}\theta_{1}
=\theta_{1}+\theta_{2}\theta_{1}\)
\(\rho_{2}\) の分子は、係数ベクトルを2スライドさせたものとの内積、即ち
\(\theta_{0}\:\:\:\theta_{1}\:\:\:\theta_{2}\)
\(\theta_{0}\:\:\:\theta_{1}\:\:\:\theta_{2}\)
\(\therefore\theta_{2}\theta_{0}=\theta_{2}
\)
3以上スライドさせれば、内積は0となる。
・AR(p)モデルが定常である条件は、特性方程式の解が1より大であること
・AR(p)モデルが定常のとき、MA(∞)モデルで表されること
詳細は「大学生の確率・統計」問題72を参照。
ARMAモデル \(\begin{split}
y_{t}=
c+\phi_{1} y_{t-1}+\phi_{2} y_{t-2}+
\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}
\end{split}\)
ARモデルの特徴とMAモデルの特徴の両方を持ち、ARMAモデルと呼ばれる。
\(\begin{split}
y_{t}-\phi_{1} y_{t-1}-\phi_{2} y_{t-2}=
c+
\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}
\end{split}\)
\(\therefore\begin{split}
(1-\phi_{1}L-\phi_{2}L^2)y_{t}=
c+(1+\theta_{1}L+\theta_{2}L^2)\varepsilon _{t}
\end{split}\)
\(\theta_{2} \left( L\right) =1+\theta _{1}L+\theta _{2}L^{2}\) 、\(\phi_{2} \left( L\right) =1-\phi _{1}L-\phi _{2}L^{2}\) とすると、
\(\begin{split}
\phi_{2}(L)y_{t}=
c+\theta_{2}(L)\varepsilon _{t}
\end{split}\) と表される。