提前停止

在机器学习中，提前停止（英语：early stopping）是一种在使用诸如梯度下降之类的迭代优化方法时，可对抗过拟合的正则化方法。这些迭代优化方法在每轮迭代过程中，都会使得模型更好地与训练集拟合。在某个时间点之前，更好地拟合训练集使得模型在训练集之外的数据上（验证集）表现得更好；但在该时间点之后，更好地拟合训练集反而会增大泛化误差。提前停止规则给出停止迭代的条件，以便在模型开始过拟合之前停止迭代优化。提前停止规则已被用于多种机器学习方法。

背景

过拟合

主条目：过拟合

在训练机器学习模型时，会使用训练集对模型进行优化。然而在实务上，机器学习模型经常需要处理不在训练集内的新资料，因此一个好的机器学习模型需要有足够小的泛化误差。过拟合指的是模型的泛化误差过大，也就是在训练集上表现好，但在未知资料上表现不佳的情形。