统计学习理论

统计学习理论（英語：Statistical learning theory），一種機器學習的架構，根據統計學與泛函分析（Functional Analysis）而建立。統計學習理論基於資料（data），找出預測性函數，之後解決問題。支持向量机（Support Vector Machine）的理論基礎來自於統計學習理論。

形式定义

令${\displaystyle X}$为所有可能的输入组成的向量空间， ${\displaystyle Y}$为所有可能的输出组成的向量空间。统计学习理论认为，积空间${\displaystyle Z=X\times Y}$上存在某个未知的概率分布${\displaystyle p(z)=p({\vec {x}},y)}$。训练集由这个概率分布中的${\displaystyle n}$个样例构成，并用${\displaystyle S=\{({\vec {x}}_{1},y_{1}),\dots ,({\vec {x}}_{n},y_{n})\}=\{{\vec {z}}_{1},\dots ,{\vec {z}}_{n}\}}$表示。每个${\displaystyle {\vec {x}}_{i}}$都是训练数据的一个输入向量， 而${\displaystyle y_{i}}$则是对应的输出向量。

损失函数

损失函数的选择是机器学习算法所选的函数${\displaystyle f_{S}}$中的决定性因素。 损失函数也影响着算法的收敛速率。损失函数的凸性也十分重要。^[1]

根据问题是回归问题还是分类问题，我们可以使用不同的损失函数。

回归问题

回归问题中最常用的损失函数是平方损失函数（也被称为L2-范数)。类似的损失函数也被用在普通最小二乘回归。其形式是：

${\displaystyle V(f({\vec {x}}),y)=(y-f({\vec {x}}))^{2}}$

另一个常见的损失函数是绝对值范数（L1-范数）：

${\displaystyle V(f({\vec {x}}),y)=|y-f({\vec {x}})|}$

分类问题

主条目：统计分类

某种程度上说0-1指示函数是分类问题中最自然的损失函数。它在预测结果与真实结果相同时取0，相异时取1。对于${\displaystyle Y=\{-1,1\}}$的二分类问题，这可以表示为：

${\displaystyle V(f({\vec {x}}),y)=\theta (-yf({\vec {x}}))}$

其中${\displaystyle \theta }$为单位阶跃函数。