自迴歸模型

自迴歸模型（英文：Autoregressive model，AR）係一種方法攞嚟處理一迾觀察值${\displaystyle X_{1}\ldots X_{t}}$嘅，種序迾可以係時間序迾或者空間序迾。通過對前便啲觀察值（通常係喺一橛窗口裏頭啲嘅）做迴歸可以得出孻尾隻觀察值，而考慮埋孻尾觀察值甚至可以對後續（相當於時間上係喺未來）啲觀察值做預測。「自」表示隻方法係對${\displaystyle X}$序迾本身做嘅而嘸係做畀另外嘅變數${\displaystyle Y}$；「迴歸」指明方式係迴歸分析。符號上，自迴歸模型用${\displaystyle AR(p)}$表示。

定義

對於序迾${\displaystyle p}$，${\displaystyle AR(p)}$模型着定義成：

${\displaystyle X_{t}=c+\sum _{i=1}^{p}\varphi _{i}X_{t-i}+\varepsilon _{t}}$

其中${\displaystyle \varphi _{1},\ldots ,\varphi _{p}}$係啲參數，${\displaystyle c}$係隻常數，${\displaystyle \varepsilon _{t}}$係白噪聲（平均數等於0，標準差等於${\displaystyle \sigma }$嘅隨機誤差）。

借由褪後操作符${\displaystyle B}$可以等效噉表示過上式，成：

${\displaystyle X_{t}=c+\sum _{i=1}^{p}\varphi _{i}B^{i}X_{t}+\varepsilon _{t}}$

捉右邊${\displaystyle X_{t}}$項左移到左便合併攞多項式表示法表示有：

${\displaystyle \phi [B]X_{t}=c+\varepsilon _{t}\,.}$

即係可以捉自回歸模型睇作係個輸出、出自輸入為白噪聲嘅全極點無限脈衝響應濾波器（all-pole infinite impulse response filter）嘅。

另外，${\displaystyle AR(p)}$都可以着睇作係一種畀連續觀察值嘅概率性模型：

${\displaystyle P(X_{t}|X_{t-1}\ldots X_{p})\sim N\left(c+\sum _{i=1}^{p}\varphi _{i}X_{t-i},\sigma \right)}$

其中${\displaystyle N}$表示個高斯分佈。

性質

${\displaystyle AR}$模型個平均值函數、自協方差（autocovariance）係：

${\displaystyle {\begin{aligned}\mu \left(t\right)&=E\left[X_{t}\right]\\\gamma \left(t,i\right)&=Cov\left(X_{t},X_{t-1}\right)\end{aligned}}}$

個自協方差可以透過皮亞遜自積差相關方程做歸一化：

${\displaystyle \rho (t,i)={\dfrac {Cov(X_{t},X_{t-i})}{{\sqrt {Var(X_{t})}}{\sqrt {Var(X_{t-i})}}}}}$

其中${\displaystyle Var}$係方差。自協方差表示手頭有往前個數據嗰陣，幾大程度可以知曉到後便個值。

平穩性

好多時，要解得${\displaystyle AR}$模型嘅話需要到某種平穩性（stationarity）嚟排除啲值隨 ${\displaystyle t}$ 嘅變動（以下對於任意 ${\displaystyle t}$ 、${\displaystyle i}$ 都成立）：

${\displaystyle E[X_{t}]=E[X_{t-i}]=\mu }$ ，表示平均函數係常數；

${\displaystyle Cov(X_{t},X_{t-i})=\gamma _{i}}$，表示自協方差取決於距離間隔而嘸係取決於 ${\displaystyle t}$ ；

${\displaystyle E[|X_{t}|^{2}]<\infty }$，表示前面兩者都係求得到嘅。

喺噉樣嘅平穩性限制下，隻${\displaystyle AR(p)}$模型會有以下啲動差：

${\displaystyle E[X_{t}]=\mu ={\dfrac {c}{1-\sum _{i=1}^{p}\varphi _{i}}}}$ ，表示平均函數係常數；

${\displaystyle Var(X_{t})=\gamma _{0}=\sum _{j=1}^{p}\varphi _{j}\gamma _{-j}+\sigma ^{2}}$；

${\displaystyle Cov(X_{t},X_{t-i})=\gamma _{i}=\sum _{j=1}^{p}\varphi _{j}\gamma _{i-j}}$，表示自方差取決於距離而嘸取決於 ${\displaystyle t}$ ；

${\displaystyle \rho _{i}={\dfrac {\gamma _{i}}{\gamma _{0}}}}$。

對於${\displaystyle AR(1)}$模型裏頭啲過程需要有${\displaystyle |\varphi _{1}|<1}$先平穩得；對於${\displaystyle AR(2)}$模型要有${\displaystyle \varphi _{1}+\varphi _{2}<1}$；${\displaystyle \varphi _{2}-\varphi _{1}<1}$；${\displaystyle |\varphi _{2}|<1}$。推廣開去，對於${\displaystyle AR(p)}$模型，廣義平穩性要求多項式根${\displaystyle \Phi (z):=\textstyle 1-\sum _{i=1}^{p}\varphi _{i}z^{p-i}}$要喺單位圓外即每個複數根${\displaystyle z_{i}}$要滿足${\displaystyle |z_{i}|>1}$ ^[1]。

參數估計

估計係數嘅方法有好多，例如普通最細二乘法或者矩量法（通過 Yule-Walker 方程）。

模型基於參數${\displaystyle \varphi _{i}}$，其中i = 1, ..., p 。啲參數戥過程嘅協方差函數之間存在有直接對應關係，而且可以將種對應關係倒過嚟從自相關函數（本身係從協方差獲得嘅）確定返參數。呢個可以使用 Yule-Walker 方程完成。

Yule-Walker 方程

Yule-Walker 方程命名自Udny Yule同Gilbert Walker^[2][3]，係以下方程組^[4]：

${\displaystyle \gamma _{m}=\sum _{k=1}^{p}\varphi _{k}\gamma _{m-k}+\sigma _{\varepsilon }^{2}\delta _{m,0}}$

其中m = 0, …, p ，產生p + 1方程。當中嘅${\displaystyle \gamma _{m}}$係${\displaystyle X_{t}}$嘅自協方差函數；最後部分${\displaystyle \sigma _{\varepsilon }}$係輸入噪音過程嘅標準差，${\displaystyle \delta _{m,0}}$係Kronecker delta 函數。最後項 ${\displaystyle \sigma _{\varepsilon }^{2}\delta _{m,0}}$ 唯有喺m = 0先非零，m > 0 嗰陣都係零，所以可以先求解所有啲${\displaystyle \{\varphi _{m};m=1,2,\dots ,p\}.}$${\displaystyle \{\varphi _{m};m=1,2,\dots ,p\}.}$${\displaystyle \{\varphi _{m};m=1,2,\dots ,p\}}$，憑以下方程組：

${\displaystyle {\displaystyle {\begin{bmatrix}\gamma _{1}\\\gamma _{2}\\\gamma _{3}\\\vdots \\\gamma _{p}\\\end{bmatrix}}={\begin{bmatrix}\gamma _{0}&\gamma _{-1}&\gamma _{-2}&\cdots \\\gamma _{1}&\gamma _{0}&\gamma _{-1}&\cdots \\\gamma _{2}&\gamma _{1}&\gamma _{0}&\cdots \\\vdots &\vdots &\vdots &\ddots \\\gamma _{p-1}&\gamma _{p-2}&\gamma _{p-3}&\cdots \\\end{bmatrix}}{\begin{bmatrix}\varphi _{1}\\\varphi _{2}\\\varphi _{3}\\\vdots \\\varphi _{p}\\\end{bmatrix}}}}$

m = 0 嗰陣，剩餘方程係：

${\displaystyle \gamma _{0}=\sum _{k=1}^{p}\varphi _{k}\gamma _{-k}+\sigma _{\varepsilon }^{2}}$

其中，一旦${\displaystyle \{\varphi _{m};m=1,2,\dots ,p\}}$已知，可以求解返${\displaystyle \sigma _{\varepsilon }^{2}.}$