線性整流函數

線性整流函數（rectifier），粵文又有叫修正線性單元，喺人工神經網絡上係指一種啟動函數（activation function），指個函數淨係接受正嘅數值：

${\displaystyle f(x)=x^{+}=\max(0,x)}$

一個線性整流函數畫做圖嘅樣

當中 ${\displaystyle x}$ 係粒人工神經細胞受到嘅輸入。線性整流函數係喺 2000 年始創嘅，目的係要為咗令人工神經網絡更加似生物神經網絡^[1]，而且喺 2010 年代初，研究證實咗線性整流函數（比起當時泛用嘅啟動函數）能夠提升人工神經網絡嘅表現^[2]，所以到咗 2017 年為止經已成為咗深度神經網絡最常用嘅啟動函數^[3][4][5]。

睇埋

• 人工神經網絡
• 啟動函數

參考文獻

• Hahnloser, R.; Sarpeshkar, R.; Mahowald, M. A.; Douglas, R. J.; Seung, H. S. (2000). "Digital selection and analogue amplification coexist in a cortex-inspired silicon circuit". Nature. 405 (6789): 947–951.