半參數回歸

統計學中，半參數回歸包括結合了參數模型和非參數模型的回歸模型。它們通常用於完全非參數模型可能表現不佳的情況，或者研究人員希望使用參數模型，但與回歸子集有關的函數形式或誤差密度不為人知的情況。半參數回歸模型是半參數建模的一種特殊類型。半參數模型包含參數成分，依賴於參數假設，可能會出現規範誤差與不一致的情況。

方法

目前已有許多不同的半參數回歸方法。最流行的方法是部分線性模型、指數模型和變係數模型。

部分線性模型

部分線性模型如下

${\displaystyle Y_{i}=X'_{i}\beta +g\left(Z_{i}\right)+u_{i},\,\quad i=1,\ldots ,n,\,}$

其中${\displaystyle Y_{i}}$是因變量，${\displaystyle X_{i}}$是解釋變量的${\displaystyle p\times 1}$向量，${\displaystyle \beta }$是未知參數的${\displaystyle p\times 1}$向量，${\displaystyle Z_{i}\in \operatorname {R} ^{q}}$。部分線性模型的參數部分由參數向量${\displaystyle \beta }$給出，而非參數部分是未知函數${\displaystyle g\left(Z_{i}\right)}$。假設數據與${\displaystyle E\left(u_{i}|X_{i},Z_{i}\right)=0}$獨立同分布，模型允許未知形式的條件異方差誤差過程${\displaystyle E\left(u_{i}^{2}|x,z\right)=\sigma ^{2}\left(x,z\right)}$。這類模型由Robinson (1988)提出，並由Racine & Li (2007)擴展到處理分類協變量。

這種方法先獲得${\displaystyle \beta }$的${\displaystyle {\sqrt {n}}}$一致估計量，然後用適當的非參數回歸方法，從${\displaystyle Y_{i}-X'_{i}{\hat {\beta }}}$對${\displaystyle z}$的非參數回歸中推出${\displaystyle g\left(Z_{i}\right)}$的估計量。^[1]

指數模型

單一指數模型的形式是

${\displaystyle Y=g\left(X'\beta _{0}\right)+u,\,}$

其中${\displaystyle Y}$、${\displaystyle X}$、${\displaystyle \beta _{0}}$的定義與上文相同，誤差項${\displaystyle u}$滿足${\displaystyle E\left(u|X\right)=0}$。單一指數模型得名於模型的參數部分${\displaystyle x'\beta }$，是標量單指數。非參數部分是未知函數${\displaystyle g\left(\cdot \right)}$。

市村法

市村(1993)提出的單一指數模型法如下。考慮${\displaystyle y}$連續情形，給定函數${\displaystyle g\left(\cdot \right)}$的已知形式，${\displaystyle \beta _{0}}$可用非線性最小二乘法估計，使函數

${\displaystyle \sum _{i=1}\left(Y_{i}-g\left(X'_{i}\beta \right)\right)^{2}.}$

最小化。${\displaystyle g\left(\cdot \right)}$的函數形式未知，需要估計。對給定${\displaystyle \beta }$值，函數估計值可用核密度估計得到，為

${\displaystyle G\left(X'_{i}\beta \right)=E\left(Y_{i}|X'_{i}\beta \right)=E\left[g\left(X'_{i}\beta _{o}\right)|X'_{i}\beta \right]}$

市村(1993)建議用下式估計${\displaystyle g\left(X'_{i}\beta \right)}$：

${\displaystyle {\hat {G}}_{-i}\left(X'_{i}\beta \right),\,}$

為${\displaystyle G\left(X'_{i}\beta \right)}$的留一非參數核估計量.

Klein與Spady估計量

Klein & Spady (1993)提出，若因變量${\displaystyle y}$是二元的，並假設${\displaystyle X_{i}}$、${\displaystyle u_{i}}$獨立，則可用最大似然估計法估計${\displaystyle \beta }$。對數似然函數為

${\displaystyle L\left(\beta \right)=\sum _{i}\left(1-Y_{i}\right)\ln \left(1-{\hat {g}}_{-i}\left(X'_{i}\beta \right)\right)+\sum _{i}Y_{i}\ln \left({\hat {g}}_{-i}\left(X'_{i}\beta \right)\right),}$

其中${\displaystyle {\hat {g}}_{-i}\left(X'_{i}\beta \right)}$是留一估計量。

平滑係數/變係數模型

Hastie & Tibshirani (1993)提出了一種平滑係數模型

${\displaystyle Y_{i}=\alpha \left(Z_{i}\right)+X'_{i}\beta \left(Z_{i}\right)+u_{i}=\left(1+X'_{i}\right)\left({\begin{array}{c}\alpha \left(Z_{i}\right)\\\beta \left(Z_{i}\right)\end{array}}\right)+u_{i}=W'_{i}\gamma \left(Z_{i}\right)+u_{i},}$

其中${\displaystyle X_{i}}$是${\displaystyle k\times 1}$向量，${\displaystyle \beta \left(z\right)}$是${\displaystyle z}$的未定平滑函數向量。

${\displaystyle \gamma \left(\cdot \right)}$可表為

${\displaystyle \gamma \left(Z_{i}\right)=\left(E\left[W_{i}W'_{i}|Z_{i}\right]\right)^{-1}E\left[W_{i}Y_{i}|Z_{i}\right].}$

另見

• 非參數回歸