线性整流函数
定義為其參數的積極部分的激活函數 / 维基百科,自由的 encyclopedia
整流线性单位函数(Rectified Linear Unit, ReLU),又称修正线性单元,是一种人工神经网络中常用的激励函数(activation function),通常指代以斜坡函数及其变种为代表的非线性函数。
此条目可参照外语维基百科相应条目来扩充。 |
比较常用的线性整流函数有斜坡函数 ,以及带泄露整流函数(Leaky ReLU),其中 为神经元(Neuron)的输入。线性整流被认为有一定的生物学原理[1],并且由于在实践中通常有着比其他常用激励函数(譬如逻辑函数)更好的效果,而被如今的深度神经网络广泛使用于诸如图像识别等计算机视觉人工智能领域[1]。