Машина екстремального навчання

Маши́ни екстрема́льного навча́ння (МЕН, англ. extreme learning machines, ELM) — це нейронні мережі прямого поширення для класифікування або регресії з єдиним шаром прихованих вузлів, у яких ваги, що з'єднують входи з прихованими вузлами, є випадково призначеними й ніколи не уточнюваними. Ваги між прихованими вузлами та виходами навчаються за один крок, який по суті становить навчання лінійної моделі. Назву «машини екстремального навчання» (англ. extreme learning machine, ELM) цим моделям дав Гуан-Бін Хуан (англ. Guang-Bin Huang).

Згідно їхніх творців, ці моделі здатні видавати добру продуктивність узагальнення, і вчитися в тисячі разів швидше за мережі, треновані застосуванням зворотного поширення.^[1]

Алгоритм

Найпростіший алгоритм тренування МЕН вчиться моделі вигляду

${\displaystyle \mathbf {\hat {Y}} =\mathbf {W} _{2}\sigma (\mathbf {W} _{1}x)}$

де W₁ є матрицею ваг від входового до прихованого шару, σ є деякою передавальною функцією, а W₂ є матрицею ваг від прихованого до виходового шару. Алгоритм діє наступним чином:

1. Заповнити W₁ випадковим гауссовим шумом;
2. оцінити W₂ допасовуванням найменшими квадратами до матриці змінних відгуку Y, обчисленої застосуванням псевдообернення ⋅⁺ для заданої матриці плану^[en] X:

   ${\displaystyle \mathbf {W} _{2}=\sigma (\mathbf {W} _{1}\mathbf {X} )^{+}\mathbf {Y} }$

Надійність

Чорноскриньковий характер нейронних мереж загалом і машин екстремального навчання (МЕН) зокрема є одним з основних занепокоєнь, які відштовхують інженерів від застосування їх у небезпечних задачах автоматизації. До цього конкретного питання підходили за допомогою декількох різних методик. Одним з підходів є зниження залежності від випадкового входу.^[2][3] Інший підхід зосереджується на включенні до процесу навчання МЕН неперервних обмежень,^[4][5] які виводять з попереднього знання про конкретне завдання. Це має сенс, оскільки рішення машинного навчання в багатьох областях застосування мають гарантувати безпечну дію. Зазначені дослідження показали, що особливий вигляд МЕН, з його функційним розділенням та лінійними вагами зчитування, є особливо зручним для дієвого включення неперервних обмежень до визначених наперед областей входового простору.

Полеміка

Заява на винахід МЕН 2008 року спровокувала деяку суперечку. Зокрема, в листі до редактора «IEEE Transactions on Neural Networks» було зазначено, що ідею застосування прихованого шару, з'єднаного з входами випадковими не тренованими вагами, вже було запропоновано в первинній праці з мереж РБФ кінця 1980-х років, і приблизно в ті ж терміни з'явилися експерименти з багатошаровими перцептронами з подібною випадковістю; Гуан-Бін Хуан відповів зазначенням тонких відмінностей.^[6] У праці 2015 року Хуан відповів на скарги про винайдення ним назви МЕН для вже наявних методів, поскаржившись на «дуже негативні й некорисні коментарі стосовно МЕН в ані академічному, ані професійному стилі з різних причин та намірів» та «безвідповідальну анонімну атаку, яка має на меті руйнування гармонійного дослідницького середовища», доводячи, що його праця «забезпечує об'єднавчу платформу навчання» для різних типів нейронних мереж,^[7] включно з ієрархічно структурованими МЕН.^[8] Нещодавнє дослідження замінює випадкові ваги обмеженими випадковими вагами.^[9]

Див. також

• Рідкий скінченний автомат