Топ питань
Часова шкала
Чат
Перспективи

Передавальна функція штучного нейрона

функція, пов’язана з вузлом обчислювальної мережі, яка визначає вихідні дані цього вузла з урахуванням входу або набору входів З Вікіпедії, вільної енциклопедії

Remove ads

Функція активації, передавальна функція або функція збудження (англ. activation function[1][2][3][4][5], також excitation function, squashing function, transfer function[6]) штучного нейрона — залежність вихідного сигналу штучного нейрона від вхідного.

Зазвичай передавальна функція відображає дійсні числа на інтервал або [1].

Більшість видів нейронних мереж для функції активації використовують сигмоїди[2]. ADALINE і самоорганізаційні карти використовують лінійні функції активації, а радіально базисні мережі використовують радіальні базисні функції[1].

Математично доведено, що тришаровий перцептрон з використанням сигмоїдної функції активації може апроксимувати будь-яку неперервну функцію з довільною точністю (Теорема Цибенка)[1].

Метод зворотного поширення помилки вимагає, щоб функція активації була неперервною, нелінійною, монотонно зростаючою, і диференційовною[1].

В задачі багатокласової[en] класифікації нейрони останнього шару зазвичай використовують softmax як функцію активації[3].

У хемометриці — функція, яка використовується в методі нейронної сітки для перетворення у вузлах вхідних даних з будь-якої області значень (зокрема неперервних) у чітко окреслений ряд значень (напр., в 0 чи 1).[7]

Remove ads

Порівняння передавальних функцій

Узагальнити
Перспектива

Деякі бажані властивості передавальної функції включають:

  • Нелінійна — коли передавальна функція нелінійна, то, як доведено, двошарова нейронна мережа є універсальною апроксимацією функцій.[8] Тотожна передавальна функція не має такої властивості. Коли декілька шарів використовують тотожну передавальну функцію, тоді вся мережа еквівалентна одношаровій моделі.
  • Неперервна диференційовність — ця властивість бажана (RELU не є неперервно диференційовною і має неоднозначне рішення для оптимізації заснованій на градієнті) для використання методів оптимізації заснованих на градієнті. Передавальна функція двійковий крок не диференційовна у 0, але диференційовна в усіх інших значення, що є проблемою для методів заснованих на градієнті.[9]
  • Область визначення.
  • Монотонність.
  • Гладка функція з монотонною похідною.
  • Наближення до тотожної функції в початку координат.

У наступній таблиці порівнюються деякі передавальні функції від однієї змінної x з попереднього шару:

Більше інформації , ...
 Тут, H це функція Гевісайда.
 α є стохастичною змінною вибраною з нормального розподілу під час навчання і зафіксована як очікуване значення розподілу до часу тестування.
   Тут,  логістична функція.
  виконується для всього інтервалу.

Наступна таблиця містить передавальні функції від декількох змінних:

Більше інформації , ...

  Тут,  символ Кронекера.

Remove ads

Див. також

Примітки

Loading related searches...

Wikiwand - on

Seamless Wikipedia browsing. On steroids.

Remove ads