歸納偏置
維基百科,自由的 encyclopedia
當學習器去預測其未遇到過的輸入的結果時,會做一些假設(Mitchell, 1980)。而學習演算法中的歸納偏置(Inductive bias)則是這些假設的集合。
建議將此條目或章節併入歸納偏置。(討論) |
機器學習試圖去建造一個可以學習的演算法,用來預測某個目標的結果。要達到此目的,要給於學習演算法一些訓練樣本,樣本說明輸入與輸出之間的預期關係。然後假設學習器在預測中逼近正確的結果,其中包括在訓練中未出現的樣本。既然未知狀況可以是任意的結果,若沒有其它額外的假設,這任務就無法解決。這種關於目標函數的必要假設就稱為歸納偏置(Mitchell, 1980; desJardins and Gordon, 1995)。
一個典型的歸納偏置例子是奧卡姆剃刀,它假設最簡單而又一致的假設是最佳的。這裏的一致是指學習器的假設會對所有樣本產生正確的結果。
歸納偏置比較正式的定義是基於數學上的邏輯。這裏,歸納偏置是一個與訓練樣本一起的邏輯式子,其邏輯上會蘊涵學習器所產生的假設。然而在實際應用中,這種嚴謹形式常常無法適用。在有些情況下,學習器的歸納偏置可能只是一個很粗糙的描述(如在類神經網絡中),甚至更加簡單。