Funkcja aktywacji

Funkcja aktywacji – pojęcie używane w sztucznej inteligencji do określenia funkcji, według której obliczana jest wartość wyjścia neuronów sieci neuronowej.

Po agregacji danych wejściowych z uwzględnieniem wag powstaje sygnał sumarycznego pobudzenia. Rola funkcji aktywacji polega na tym, że musi ona określić sposób obliczania wartości sygnału wyjściowego neuronu na podstawie wartości tego sumarycznego pobudzenia^[1].

W literaturze rozważano wiele różnych propozycji funkcji aktywacji, jednak najpowszechniejsze są cztery: funkcja liniowa (neuron liniowy), funkcja sigmoidalna (funkcja logistyczna, neuron sigmoidalny), funkcja tangensoidalna (funkcja tangens hiperboliczny, neuron tangensoidalny) oraz funkcja Gaussa (neuron radialny)^[1].

W poniższej tabeli przedstawiono funkcje aktywacji wraz z wzorami matematycznymi i dodatkowymi informacjami.

Funkcja aktywacji	Wzór matematyczny	Gładka	Monotoniczna	Różniczkowalna	Uwagi
Funkcja liniowa	${\displaystyle y(x)=ax+b}$				Funkcja nieograniczona Z reguły ${\displaystyle b=0}$
Jednostronnie obcięta funkcja liniowa (ReLU)	${\displaystyle y(x)=\left\{{\begin{matrix}0&{\text{dla}}&x<0\\x&{\text{dla}}&x\geqslant 0\end{matrix}}\right.}$			(oprócz punktu ${\displaystyle x=0}$)	Brak górnej granicy
Obcięta funkcja liniowa	${\displaystyle y(x)=\left\{{\begin{matrix}-1&{\text{dla}}&x<-1\\x&{\text{dla}}&-1\leqslant x\leqslant 1\\1&{\text{dla}}&x>1\end{matrix}}\right.}$			(oprócz punktów ${\displaystyle x=1}$ i ${\displaystyle x=-1}$)	Przedziałami liniowa
Funkcja progowa unipolarna	${\displaystyle y(x)=\left\{{\begin{matrix}0&{\text{dla}}&x<a\\1&{\text{dla}}&x\geqslant a\end{matrix}}\right.}$				a – zadana wartość progowa Z reguły ${\displaystyle a=0}$ Taką funkcję aktywacji ${\displaystyle (a=0)}$ zastosowali w swojej pracy jako matematyczny model neuronu Warren McCulloch i Walter Pitts
Funkcja progowa bipolarna	${\displaystyle y(x)=\left\{{\begin{matrix}-1&{\text{dla}}&x<a\\1&{\text{dla}}&x\geqslant a\end{matrix}}\right.}$				a – zadana wartość progowa Z reguły ${\displaystyle a=0}$
Sigmoidalna funkcja unipolarna (funkcja logistyczna)	${\displaystyle y(x)={\frac {1}{1+e^{-\beta x}}}}$				Z reguły ${\displaystyle \beta \in \left(0,1\right]}$ Gdy ${\displaystyle \beta \to \infty ,}$ funkcja przechodzi w progową unipolarną funkcję aktywacji
Sigmoidalna funkcja bipolarna (tangens hiperboliczny)	${\displaystyle y(x)={\frac {2}{1+e^{-\beta x}}}-1={\frac {1-e^{-\beta x}}{1+e^{-\beta x}}}}$				Z reguły ${\displaystyle \beta \in \left(0,1\right].}$ Gdy ${\displaystyle \beta \to \infty ,}$ funkcja przechodzi w progową bipolarną funkcję aktywacji
Funkcja Gaussa	${\displaystyle y(x)=ae^{-{\frac {(x-b)^{2}}{2c^{2}}}}}$				${\displaystyle a,b,c>0}$ e – liczba Eulera
Znormalizowana funkcja wykładnicza (softmax)	${\displaystyle \sigma (\mathbf {z} )_{j}={\frac {e^{z_{j}}}{\sum _{k=1}^{K}e^{z_{k}}}}}$				Prawdopodobieństwo zawsze sumuje się do jedności: ${\displaystyle {\sum _{k=1}^{K}\sigma (\mathbf {z} )_{k}}=1}$ e – liczba Eulera K – szerokość wektorów wejściowego i wyjściowego Stosowana głównie w najwyższej warstwie klasyfikatorów, w celu obliczenia prawdopodobieństwa przynależności wektora wejściowego z do każdej z K klas wyjściowych