時系列分析の基礎

慶應大学 長倉大輔 様「時系列分析 1、2」
     http://user.keio.ac.jp/~nagakura/zemi/ts1_slide_2015.pdf
     http://user.keio.ac.jp/~nagakura/zemi/ts2_slide_2015.pdf
[内容]ARモデル、MAモデル、特性方程式、ラグオペレーター、自己相関の検定
以下は、長倉先生の資料をもとに学習したノートです。

時系列分析の基礎

自己共分散

時点 t における k 次の自己共分散 、自己相関係数は次のように定義される。

     \(\gamma _{kt}=cov\left( y_{t},y_{t-k}\right) \)   \(\rho _{kt}=\dfrac{cov\left( y_{t},y_{t-k}\right) }{\sqrt{V \left( y_{t}\right) V\left( y_{t-k}\right) }}\)

定常性

すべての t について \(E\left( y_{t}\right) =\mu\) 、\(\gamma _{kt}=\gamma _{k}\) が成り立つとき定常であるという。

これは、平均と自己共分散が t に依存しないことを意味する。

定常性は、データからモデルを推定する場合に前提となる条件である。

定常性の仮定をおくことにより、推定に \(y_{t},y_{t-1},\) ... を用いる事ができるようになる。

定常のもとでは、自己共分散、自己相関係数は t に依存せず、次の式で表される。

     \(\gamma _{k}=cov\left( y_{t},y_{t-k}\right) \)   \(\rho _{k}=\dfrac{cov\left( y_{t},y_{t-k}\right) }{\sqrt{V \left( y_{t}\right) V\left( y_{t-k}\right) }}\)    特に \(\gamma _{0}=V\left( y_{t}\right) \)

平均、分散、自己共分散、自己相関の推定 (標本による)

時点 \(t=1,2,\cdots,T\) までのデータの集合 \(\left(y_1,y_2,\cdots,y_T\right)\) に対し、

 (標本平均)     \(\displaystyle \overline{y}=\dfrac{1}{T}\sum ^{T}_{t=1}y_{t}\)  (これらは定常性があって初めて意味を持つ)

 (標本自己共分散)  \(\widehat{\gamma }_{k}=\dfrac{1}{T}\sum ^{T}_{t=k+1}\left( y_{t}-\overline{y}\right) \times \left( y_{t-k}-\overline{y}\right) \)

 (標本自己相関)    \(\widehat{\rho}_{k}=\dfrac{\widehat{\gamma}_{k}}{\widehat{\gamma}_{0}}\)

[注意]

標本自己共分散について、「個数は(T-k)だが、自由度はTである」

この点を疑問に思ったのは筆者だけではないようで、次のサイト様にも記事がありました。

    @brln様 https://qiita.com/brln/items/3088f893aeca67725c77

理由は、

「右辺には \(T\) 個のデータが含まれるため、自由度としては \(T\) と考える」

ということだと思います。

つまり、自由度 \(T\) で割ることによって、不偏推定値になっていると思いますが、ここでは立ち入らないことにします。

自己回帰過程 (auto regressive (AR) process)

     \(y_{t}=c+\phi y_{t-1}+\varepsilon _{t}\)

のように \(y_t\) が決定される時、\(y_t\) は自己回帰過程(AR過程)という。

     \(\left| \phi \right| <1\)  のとき、AR(1)過程は定常となる。

理由は、MA(∞)モデルに変形することにより、 \(\forall t\) について \(E\left( y_{t}\right) =\mu\) 、 \(\gamma _{kt}=\gamma _{k}\) が示されるからである。後ほど詳しく述べる。

移動平均過程(moving average (MA) process)

     \(y_{t}=c+\varepsilon _{t}+\theta \varepsilon _{t-1}\)  ( \(\varepsilon_i\sim N(0,\sigma^2)\:\:i.i.d.\) )

のように \(y_t\) が決定される時、 \(y_t\) を移動平均過程といい、 MA(1) で表す。

一般の \(MA(q)\) モデルは、

     \(y_{t}=c+\varepsilon _{t}+\theta_1 \varepsilon _{t-1}+\theta_2 \varepsilon _{t-2}+\cdots+\theta_q\varepsilon _{t-q}\) であるので、 \(E(y_t)=c\)

また、 \(y_{t-k}=c+\varepsilon _{t-k}+\theta_1 \varepsilon _{t-k-1}+\theta_2 \varepsilon _{t-k-2}+\cdots+\theta_q\varepsilon _{t-k-q}\)  だから

     \(\gamma _{k}=cov\left( y_{t},y_{t-k}\right)
=V(\theta_k\varepsilon _{t-k}+\theta_{k+1}\theta_1\varepsilon _{t-k-1}+\cdots+\theta_{q}\theta_{q-k}\varepsilon _{t-q})
=\sigma^2(\theta_k^2+\cdots+\theta_{q}^2\theta_{q-k}^2) \)

     (大学生の確率・統計p172 参照)

\(E(y_t)\:,\:\ cov\left( y_{t},y_{t-k}\right) \) は \(t\) の値によらないので定常である。

MAモデルは発散せず、必ず収束する良いモデルと言える。

MAモデルをもとにARモデルの収束を考えよう。

ARモデルとMAモデルの関係

\(y_{t}=c+\phi y_{t-1}+\varepsilon _{t}\) ( \(t\) を下げて \(\phi\) をかける操作を繰り返す)

     \(\phi y_{t-1}=c\phi +\phi ^{2}y_{t-2}+\phi\varepsilon _{t-1}\)

     \(\phi ^{2}y_{t-2}=c\phi ^{2}+\phi ^{3}y_{t-3}+\phi ^{2}\varepsilon _{t-2}\)

     \(\phi ^{3}y_{t-3}=c\phi ^{3}+\phi ^{4}y_{t-4}+\phi ^{3}\varepsilon _{t-3}\)

       ‥‥‥

     \(\phi ^{n}y_{t-n}=c\phi ^{n}+\phi ^{n+1}y_{t-(n+1)}+\phi ^{n}\varepsilon _{t-n}\)

辺々たすと

     \(\begin{aligned}y_{t}=c\left( 1+\phi +\phi^{2}+\phi^{3}+\dots\phi ^{n}\right) +\phi ^{n+1}y_{t-\left( n+1\right) }\
+(\varepsilon _{t}+\phi\varepsilon _{t-1}+\phi ^{2}\varepsilon _{t-2}+\ldots +\phi ^{n}\varepsilon _{t-n}\end{aligned})\)

\(\left| \phi \right| <1\) のとき、\(n \rightarrow +\infty\) とすると \(y_{t}\) は有界だから、 \(\phi ^{n+1}y_{t-\left( n+1\right) }\rightarrow 0\)

故に、  \(\displaystyle y_{t}=\dfrac{c}{1-\phi }+\sum ^{\infty }_{i=0}\phi ^{i}\varepsilon _{t-i}\)     AR(1)のMA(∞)表現という。

このとき \(y_t\) は定常である。何故なら、

     \(\displaystyle E(y_t)=\dfrac{c}{1-\phi }+\sum ^{\infty }_{i=0}\phi ^{i}E(\varepsilon _{t-i})=\dfrac{c}{1-\phi }\)

     \(\displaystyle Cov(y_t,y_{t-k})=Cov\left(\sum ^{\infty }_{i=0}\phi ^{i}\varepsilon _{t-i}\:\:,\sum ^{\infty }_{j=0}\phi ^{j}\varepsilon _{t-k-j}\right)\) については、

\(t-i\neq t-k-j\) のとき、\(Cov(\varepsilon _{t-i}\:\:,\:\varepsilon _{t-k-j})=0\)

\(t-i= t-k-j\) のとき \(i=j+k\) で \(Cov(\varepsilon _{t-i}\:\:,\:\varepsilon _{t-k-j})=\sigma^2\) だから、

     \(\displaystyle Cov(y_t,y_{t-k})=\sum ^{\infty }_{j=0}\left(\phi ^{2j+k}\cdot \sigma^2\right)=\dfrac{\phi^k}{1-\phi^2}\sigma^2\)

期待値と自己共分散が t に依存しないので定常である。

一般に、ARモデルが定常である条件は、MA(∞)モデルに変形できることである。

ラグオペレーター

[参考サイト]

  学習院大学 様 「確 率 過 程 と 時 系 列 モ デ ル」
            https://www-cc.gakushuin.ac.jp/~20130021/ecmr/chap1.pdf

ラグオペレーターは、時系列 \(y_t\) の時間 \(t\) を過去に遡る変換である。

ここでは、ラグオペレーターとラグ多項式によって時系列を説明する。

ラグオペレーターを、 \(Ly_{t}=y_{t-1}\:\:,\:\:L^{2}y_{t}=y_{t-2}\) によって定め、

ラグ多項式を、 \(\phi \left( L\right) =1-\phi _{1}L-\phi _{2}L^{2}\) と定義すると、

     \(\phi\left( L\right) y_{t}=y_{t}-\phi _{1}y_{t-1}-\phi _{2}y_{t-2}\)

\(\phi \left( L\right) y_{t}=m+\varepsilon _{t}\) は、

     \(y_{t}-\phi_{1}y_{t-1}-\phi _{2}y_{t-2}=m+\varepsilon _{t}\)

     \(y_{t}=m+\phi_{1}y_{t-1}+\phi_{2}y_{t-2}+\varepsilon _{t}\)

となり、AR(2)モデルを表す。

     \(y_{t}=\phi\left( L\right) ^{-1}\left( m+\varepsilon_{t}\right) \)  と表すこともできる。

特に、AR(1)モデルの場合、\(\phi \left( L\right) =1-\phi _{1}L\) とおくと \(\phi \left( L\right) y_{t}=m+\varepsilon _{t}\) は、

     \(y_{t}-\phi_{1}y_{t-1}=m+\varepsilon _{t}\)     \((1-\phi_{1}L)y_{t}=m+\varepsilon _{t}\)

     \(y_{t}=\phi\left( L\right) ^{-1}\left( m+\varepsilon_{t}\right) \) は変換であるが、逆変換を形式的に分数で表現して、

     \(y_{t}=\dfrac{1}{1-\phi_{1} L}(m+\varepsilon _{t})=\dfrac{1}{1-\phi_{1} L}(m)+\dfrac{1}{1-\phi_{1} L}(\varepsilon _{t})\)

さらに、\(\dfrac{1}{1-\phi_{1} L}=1+\phi _{1}L+\left( \phi_{1}L\right) ^{2}+\cdots\)   のように形式的に無限級数で表すと、

     \(\begin{split}
y_{t}&=\left(1+\phi _{1}L+\left( \phi_{1}L\right) ^{2}+\cdots\right)(m+\varepsilon _{t})\\&=
\left(1+\phi _{1}L+\left( \phi_{1}L\right) ^{2}+\cdots\right)(m)+\left(1+\phi _{1}L+\left( \phi_{1}L\right) ^{2}+\cdots\right)(\varepsilon _{t})\\
&=\dfrac{1}{1-\phi_{1} }(m)+\sum ^{\infty }_{i=0}\phi_{1} ^{i}\varepsilon _{t-i}
\end{split}\)

AR(1)のMA(∞) 表現と一致する。つまり、ラグ多項式は合理性を持つと考えられる。

AR(2)に戻る。

     AR(2)モデル  \(y_{t}=m+\phi_{1}y_{t-1}+\phi_{2}y_{t-2}+\varepsilon _{t}\)

     ラグ多項式  \(\left(1-\phi _{1}L-\phi _{2}L^{2}\right) y_{t}=m+\varepsilon _{t}\)

は同等である。

     \(\phi \left( L\right) =1-\phi _{1}L-\phi _{2}L^{2}=0\)  特性方程式という。

 

特性方程式と定常性

モデルが定常である条件は、特性方程式の解の絶対値が1より大きいことである。

このことをAR(1)モデル、AR(2)モデルに適用してみる。

AR(1)モデル  \((1-\phi_{1}L)y_{t}=m+\varepsilon _{t}\) が定常である条件

特性方程式 \(1-\phi_{1}L=0\) の解の絶対値が1より大であること。

     \(L=\dfrac{1}{\phi _{1}}\)   よって、 \(\left| \dfrac{1}{\phi _{1}}\right| >1\)

定常である条件は、 \(\left| \phi _{1}\right| <1\) である。

AR(2)モデル  \((1-\phi_{1}L-\phi_{2}L^2)y_{t}=m+\varepsilon _{t}\) が定常である条件

特性方程式  \(1-\phi _{1}L-\phi _{2}L^{2}=0\) の解の絶対値が1より大なること。

これは、2次方程式の解の理論のよい練習問題になる。

解が実数解の場合と虚数解の場合に分けて考える。

\(f(L)=1-\phi _{1}L-\phi _{2}L^{2}\) とおく。

(ⅰ) \(\phi _{1}^{2}+4\phi _{2}\geq 0\) のとき、\(f(L)\) のグラフが(0,1)を通ることに注意すると、\(\phi_{2}>0\)

     \(f(1)=1-\phi_{1}-\phi_{2}>0\) 、\(f(-1)=1+\phi_{1}-\phi_{2}>0\)  、 \(-1 <\dfrac{\phi _{1}}{2} <1\)

(ⅱ) \(\phi _{1}^{2}+4\phi _{2} <0\) のとき、\(\phi _{2} <0\)

     \(-\dfrac{1}{\phi _{2}}>1\)   \(\therefore \phi _{2} >-1\)

\(\left( \phi _{1},\phi _{2}\right) \) の存在範囲は、\((0,1),(-2,-1),(2,-1)\) を頂点とする三角形の内部の領域となる。

具体的な問題は、「大学生の確率・統計」の問題74を参照

定常な AR(p) モデルは MA(∞) 表現を持つ

学習院大学様 https://www-cc.gakushuin.ac.jp/~20130021/ecmr/chap1.pdf (p9)によると

一般には次のような表現になる。

     \(\displaystyle y_{t}=\phi \left( L\right) ^{-1}\left( m+\varepsilon _{t}\right) =\mu +\sum ^{\infty }_{j=0}\pi _{j}\varepsilon _{t-j}\)   ( \(\pi _{0}=1\) )

大学生の確率・統計では、次の問題にあたるとよい。
     問題73は、AR(1)のMA(∞)表現を求める問題。
     問題74は、AR(2)が定常である条件と、そのときのMA(∞)表現を求める問題。
            (AR(2)では隣接3項間漸化式の手法が必要である)
     問題75は、MA(2)の自己共分散を求める問題。

 

自己相関係数とコレログラム

MA(1)モデル   \(y_{t}=\mu+\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}\)

ラグ多項式を、 \(\theta \left( L\right) =1+\theta _{1}L\) と定義すると、\(\theta\left( L\right) \varepsilon _{t}=\varepsilon _{t}+\theta _{1}\varepsilon _{t-1}\)

     \(y_{t}=\mu+\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}
=\mu+\theta\left( L\right) \varepsilon _{t}\)     \(\therefore y_{t}=\mu+\theta\left( L\right) \varepsilon _{t}\)

     \(E(y_{t})=\mu\)     \(\gamma_{0}=(1+\theta_{1}^2)\sigma^2\)

     \(\gamma_{1}=Cov\left(\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}\:,\:
\varepsilon _{t-1}+\theta_{1}\varepsilon _{t-2}\right)
=\theta_{1}\sigma^2\)

     \(\gamma_{2}=0\:,\:\:\gamma_{3}=0\:,\cdots\)

自己相関係数は、

     \(\rho_{1}=\dfrac{\theta_{1}}{1+\theta_{1}^2}\:\:,\:\:\rho_{2}=0,\:\:\rho_{3}=0,\:\:\cdots\)

コレログラムは、第2項以降が0になる。

MA(2)モデル   \(y_{t}=\mu+\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}\)

ラグ多項式を、 \(\theta \left( L\right) =1+\theta _{1}L+\theta _{2}L^{2}\) と定義すると、\(\theta\left( L\right) \varepsilon _{t}=\varepsilon _{t}+\theta _{1}\varepsilon _{t-1}+\theta _{2}\varepsilon _{t-2}\)

     \(y_{t}=\mu+\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}
=\mu+\theta\left( L\right) \varepsilon _{t}\)     \(\therefore y_{t}=\mu+\theta\left( L\right) \varepsilon _{t}\)

     \(E(y_{t})=\mu\)     \(\gamma_{0}=\left(1+\theta_{1}^2+\theta_{2}^2\right)\sigma^2\)

     \(\gamma_{1}=Cov\left(\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}\:\:,\:\:
\varepsilon _{t-1}+\theta_{1}\varepsilon _{t-2}+\theta_{2}\varepsilon _{t-3}\right)
=(\theta_{1}+\theta_{2}\theta_{1})\sigma^2\)

     \(\gamma_{2}=Cov\left(\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}\:\:,\:\:
\varepsilon _{t-2}+\theta_{1}\varepsilon _{t-3}+\theta_{2}\varepsilon _{t-4}\right)
=\theta_{2}\sigma^2\)

     \(\gamma_{3}=0\:\:,\:\:\gamma_{4}=0,\:\:\cdots\)

自己相関係数は、

     \(\rho_{1}=\dfrac{\theta_{1}+\theta_{2}\theta_{1}}{1+\theta_{1}^2+\theta_{2}^2}\:\:,\:\:\rho_{2}=\dfrac{\theta_{2}}{1+\theta_{1}^2+\theta_{2}^2}\:\:,\:\:\rho_{3}=0\:\:,\cdots\)

コレログラムは、第3項以降が0になる。

自己相関係数の構造

     \(y_{t}=\mu+\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}
=\mu+\theta_{0}\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}\)    ( \(\theta_0=1\) とする)

\((1+\theta_{1}^2+\theta_{2}^2)\) は、係数ベクトル \((\theta_{0},\theta_{1},\theta_{2})\) の大きさの二乗

\(\rho_{1}\) の分子は、係数ベクトルを1スライドさせたものとの内積、即ち

        \(\theta_{0}\:\:\:\theta_{1}\:\:\:\theta_{2}\)

          \(\:\theta_{0}\:\:\:\theta_{1}\:\:\:\theta_{2}\)

     \(\therefore(\theta_{1},\theta_{2})\
(\theta_{0},\theta_{1})
=\theta_{1}\theta_{0}+\theta_{2}\theta_{1}
=\theta_{1}+\theta_{2}\theta_{1}\)

\(\rho_{2}\) の分子は、係数ベクトルを2スライドさせたものとの内積、即ち

        \(\theta_{0}\:\:\:\theta_{1}\:\:\:\theta_{2}\)

            \(\theta_{0}\:\:\:\theta_{1}\:\:\:\theta_{2}\)

     \(\therefore\theta_{2}\theta_{0}=\theta_{2}
\)

3以上スライドさせれば、内積は0となる。

・AR(p)モデルが定常である条件は、特性方程式の解が1より大であること

・AR(p)モデルが定常のとき、MA(∞)モデルで表されること

詳細は「大学生の確率・統計」問題72を参照。

ARMAモデル \(\begin{split}
y_{t}=
c+\phi_{1} y_{t-1}+\phi_{2} y_{t-2}+
\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}
\end{split}\)

ARモデルの特徴とMAモデルの特徴の両方を持ち、ARMAモデルと呼ばれる。

     \(\begin{split}
y_{t}-\phi_{1} y_{t-1}-\phi_{2} y_{t-2}=
c+
\varepsilon _{t}+\theta_{1}\varepsilon _{t-1}+\theta_{2}\varepsilon _{t-2}
\end{split}\)

    \(\therefore\begin{split}
(1-\phi_{1}L-\phi_{2}L^2)y_{t}=
c+(1+\theta_{1}L+\theta_{2}L^2)\varepsilon _{t}
\end{split}\)

\(\theta_{2} \left( L\right) =1+\theta _{1}L+\theta _{2}L^{2}\) 、\(\phi_{2} \left( L\right) =1-\phi _{1}L-\phi _{2}L^{2}\) とすると、

     \(\begin{split}
\phi_{2}(L)y_{t}=
c+\theta_{2}(L)\varepsilon _{t}

\end{split}\)     と表される。


© hyoccori-toukei 2021