Назва |
Графік |
Рівняння |
Похідна (по x) |
Область |
Порядок гладкості |
Монотонність |
Монотонність похідної |
Наближення до Тотожної функції в початку координат |
Тотожна |
 |
 |
 |
 |
 |
Так |
Так |
Так |
Двійковий крок |
 |
 |
 |
 |
 |
Так |
Ні |
Ні |
Логістична (a.k.a. Сігмоїда або М'який крок) |
 |
 |
 |
 |
 |
Так |
Ні |
Ні |
TanH |
 |
 |
 |
 |
 |
Так |
Ні |
Так |
ArcTan |
 |
 |
 |
 |
 |
Так |
Ні |
Так |
Softsign[10][11] |
 |
 |
 |
 |
 |
Так |
Ні |
Так |
Inverse square root unit (ISRU)[12] |
|
 |
 |
 |
 |
Так |
Ні |
Так |
Випрямлена лінійна (Rectified linear unit, ReLU)[13] |
 |
 |
 |
 |
 |
Так |
Так |
Ні |
Leaky rectified linear unit (Leaky ReLU)[14] |
 |
 |
 |
 |
 |
Так |
Так |
Ні |
Parameteric rectified linear unit (PReLU)[15] |
 |
 |
 |
 |
 |
Так ↔ |
Так |
Так ↔ |
Randomized leaky rectified linear unit (RReLU)[16] |
 |
 |
 |
 |
 |
Так |
Так |
Ні |
Exponential linear unit (ELU)[17] |
 |
 |
 |
 |
 |
Так ↔ |
Так ↔ |
Так ↔ |
Scaled exponential linear unit (SELU)[18] |
|
з та  |
 |
 |
 |
Так |
Ні |
Ні |
S-shaped rectified linear activation unit (SReLU)[19] |
|

are parameters. |
 |
 |
 |
Ні |
Ні |
Ні |
Inverse square root linear unit (ISRLU)[12] |
|
 |
 |
 |
 |
Так |
Так |
Так |
Adaptive piecewise linear (APL)[20] |
|
 |
 |
 |
 |
Ні |
Ні |
Ні |
SoftPlus[21] |
 |
 |
 |
 |
 |
Так |
Так |
Ні |
Bent identity |
 |
 |
 |
 |
 |
Так |
Так |
Так |
Sigmoid-weighted linear unit (SiLU)[22] (a.k.a. Swish[23]) |
|
 |
 |
 |
 |
Ні |
Ні |
Ні |
SoftExponential[24] |
 |
 |
 |
 |
 |
Так |
Так |
Так ↔ |
Синусоїда[25] |
 |
 |
 |
![{\displaystyle [-1,1]}](//wikimedia.org/api/rest_v1/media/math/render/svg/51e3b7f14a6f70e614728c583409a0b9a8b9de01) |
 |
Ні |
Ні |
Так |
Sinc |
 |
 |
 |
![{\displaystyle [\approx -.217234,1]}](//wikimedia.org/api/rest_v1/media/math/render/svg/7813b154f09cf5aa32f9fa13dc519fd85b1df60a) |
 |
Ні |
Ні |
Ні |
Гауссіан |
 |
 |
 |
![{\displaystyle (0,1]}](//wikimedia.org/api/rest_v1/media/math/render/svg/7e70f9c241f9faa8e9fdda2e8b238e288807d7a4) |
 |
Ні |
Ні |
Ні |