提前停止

在機器學習中，提前停止（英語：early stopping）是一種在使用諸如梯度下降之類的迭代優化方法時，可對抗過擬合的正則化方法。這些迭代優化方法在每輪迭代過程中，都會使得模型更好地與訓練集擬合。在某個時間點之前，更好地擬合訓練集使得模型在訓練集之外的數據上（驗證集）表現得更好；但在該時間點之後，更好地擬合訓練集反而會增大泛化誤差。提前停止規則給出停止迭代的條件，以便在模型開始過擬合之前停止迭代優化。提前停止規則已被用於多種機器學習方法。

背景

過擬合

主條目：過擬合

在訓練機器學習模型時，會使用訓練集對模型進行優化。然而在實務上，機器學習模型經常需要處理不在訓練集內的新資料，因此一個好的機器學習模型需要有足夠小的泛化誤差。過擬合指的是模型的泛化誤差過大，也就是在訓練集上表現好，但在未知資料上表現不佳的情形。