非参数回归

非参数回归指的是一类回归分析，其中的预测子不是预先确定的，而根据从数据中获得的信息。也就是说，预测子与因变量之间的关系不会假定为参数形式。非参数回归需要更大的样本量，因为数据必须提供参数模型结构和模型估计值。

定义

非参数回归中，有随机变量${\displaystyle X}$、${\displaystyle Y}$，并假设其关系如下：

${\displaystyle \mathbb {E} [Y\mid X=x]=m(x),}$

其中${\displaystyle m(x)}$是某个确定函数。线性回归也是非参数回归的一种，${\displaystyle m(x)}$假定为仿射。 有些学者使用了稍强的加性噪声假设：

${\displaystyle Y=m(X)+U,}$

其中随机变量${\displaystyle U}$是“噪声项”，均值为0. 若不假设${\displaystyle m}$属于特定的函数参数族，就不可能得到${\displaystyle m}$的无偏估计，但大多数估计量在适当条件下都是一致的。

通用非参数回归算法列表

这是非参数回归模型的非详尽列表。

• 最邻近法，参考[{最近邻插值}]]和K-近邻算法
• 决策树学习
• 核回归
• 局部回归
• 多元自适应回归样条
• 平滑样条
• 神经网络^[1]

例子

高斯过程回归/克里金法

主条目：高斯过程回归

高斯过程回归也称克里金法，假设回归曲线的先验为正态分布，并假设误差遵循多元正态分布，回归曲线由后验模式估计。正态先验可能取决于未知的超参数，可用经验贝叶斯方法估计。 超参数通常指定一个先验协方差核。若核也要从数据中进行非参数推断，则可使用临界滤波器。

平滑样条法可解释为高斯过程货柜的后验模式。

核回归

主条目：核回归

使用高斯核平滑器对小数据集（黑点）进行非参数回归拟合（红线）。粉色阴影展示了核函数，以获得给定x值的y估计值。核函数定义了在得出目标点估计值时，给每个数据点的权。

核回归用核函数卷积数据点位置，从有限的数据点中估计连续因变量。近似地说，核函数说明了“模糊”数据点影响的方法，以便用它们的值预测附近位置的值。

回归树

主条目：决策树学习

决策树学习算法可以从数据中学习，以预测因变量。^[2]虽然最初的分类回归树（CART）公式仅适用于预测单变量数据，该框架也可用于预测多变量数据，包括时间序列。^[3]

另见

• Lasso算法
• 局部回归
• 非参数统计
• 半参数回归
• 保序回归
• 多元自适应回归样条法