損失函數

在數學優化與決策論中，損失函數（亦稱成本函數或誤差函數）^[1]是將事件或變量值映射至實數域的函數，其數值直觀體現與該事件相關的「代價」。優化問題的核心目標即是最小化損失函數。與之相對的目標函數在不同領域有不同稱謂——收益函數、效用函數、適應度函數等——這類函數則需要通過最大化來實現價值。值得注意的是，損失函數的設計往往融合多層級結構的要素。

統計學科領域內，損失函數常被應用於參數估計過程，其函數形式通常反映數據實例中估計值與真實值之間的差異度量。這一概念雖可追溯至拉普拉斯時代，但直到20世紀中葉才經由沃德·亞伯拉罕重新引入統計學體系。^[2] 在經濟學中，損失通常指經濟成本或遺憾；在分類問題中，則體現為錯誤分類樣本的懲罰項；精算學領域自哈拉爾德·克拉梅爾20世紀20年代的研究起，該函數主要應用於保險金與賠付額的建模^[3]；最優控制理論中，它定義為未達成目標值的懲罰項；而在金融風險管理中，則直接對應貨幣價值的損失。

用於回歸的常見損失函數（MAE、SMAE、Huber損失和 Log-Cosh損失）比較

例子

平方損失函數

平方損失函數十分常見，比如用在最小二乘法中。它在數學上通常比其他損失函數更容易進行處理，這是因為它具有方差的性質，以及對稱性：高於目標值的誤差產生的損失與低於目標值同樣大小的誤差產生的損失相等。假設目標值為t，那麼平方損失函數為

${\displaystyle \lambda (x)=C(t-x)^{2}\;}$

其中C為某個常數，它的值與決定無關，並且可以通過設為1來略去。

0-1損失函數

在統計學與決策論中，一個常見的損失函數是0-1損失函數

${\displaystyle L({\hat {y}},y)=I({\hat {y}}\neq y),\,}$

其中${\displaystyle I}$是指示函數。

參見

• 分類問題之損失函數