归纳偏置
维基百科,自由的 encyclopedia
归纳偏置(英语:Inductive bias),指的是学习算法中,当学习器去预测其未遇到过的输入结果时,所做的一些假设的集合(Mitchell, 1980)。
机器学习试图去建造一个可以学习的算法,用来预测某个目标的结果。要达到此目的,要给于学习算法一些训练样本,样本说明输入与输出之间的预期关系。然后假设学习器在预测中逼近正确的结果,其中包括在训练中未出现的样本。既然未知状况可以是任意的结果,若没有其它额外的假设,这任务就无法解决。这种关于目标函数的必要假设就称为归纳偏置(Mitchell, 1980; desJardins and Gordon, 1995)。
一个典型的归纳偏置例子是奥卡姆剃刀,它假设最简单而又一致的假设是最佳的。这里的一致是指学习器的假设会对所有样本产生正确的结果。
归纳偏置比较正式的定义是基于数学上的逻辑。这里,归纳偏置是一个与训练样本一起的逻辑式子,其逻辑上会蕴涵学习器所产生的假设。然而在实际应用中,这种严谨形式常常无法适用。在有些情况下,学习器的归纳偏置可能只是一个很粗糙的描述(如在人工神经网络中),甚至更加简单。