Глибока мережа переконань

У машинному навчанні глибо́ка мере́жа перекона́нь^[1] (ГМП, англ. deep belief network, DBN, також іноді глиби́нна мере́жа перекона́нь) — це породжувальна графова модель або, інакше, клас глибоких нейронних мереж, що складено з кількох шарів латентних змінних («прихованих вузлів»), зі з'єднаннями між шарами, але не між вузлами всередині кожного шару.^[2]

Схематичний огляд глибокої мережі переконань. Стрілки подають спрямовані з'єднання в графовій моделі, яку подає ця мережа.

При тренуванні на наборі прикладів без керування ГМП може навчатися ймовірнісно відбудовувати свої входи. Шари тоді діють як виявлячі ознак.^[2] Після цього етапу навчання ГМП можливо тренувати далі з керуванням для виконання класифікування.^[3]

ГМП можливо розглядати як композицію простих некерованих мереж, таких як обмежені машини Больцмана (ОМБ)^[2] або автокодувальники,^[4] в якій прихований шар кожної підмережі слугує видимим шаром для наступної. ОМБ — це неорієнтована породжувальна модель на основі енергії з «видимим» шаром входу та прихованим шаром і зв'язками між шарами, але не всередині них. Така композиція веде до швидкої пошарової процедури некерованого тренування, де контрастове розходження застосовують по черзі до кожної підмережі, починаючи з «найнижчої» пари шарів (найнижчий видимий шар — це тренувальний набір).

Спостереження^[3] щодо того, що ГМП можливо тренувати жадібно, по одному шару за раз, привело до створення одного з перших дієвих алгоритмів глибокого навчання.^[5]:6 Загалом існує багато привабливих втілень та використань ГМП у реальних застосуваннях та сценаріях (наприклад, електроенцефалографії,^[6] пошуку нових ліків^{[en][7][8][9]}).

Тренування

Обмежена машина Больцмана (ОМБ) з повноз'єднаними видимими та прихованими вузлами. Зауважте, що з'єднань прихований-прихований та видимий-видимий немає.

Метод тренування ОМБ, запропонований Джефрі Гінтоном для використання в тренуванні моделей «добуток експертів^[en]», називають контрастовим розходженням (КР, англ. contrastive divergence, CD).^[10] КР забезпечує наближення методу максимальної правдоподібності, застосовувати який для навчання ваг було би ідеально.^[11][12] Під час тренування однієї ОМБ уточнювання ваг виконують градієнтним спуском за таким рівнянням: ${\displaystyle w_{ij}(t+1)=w_{ij}(t)+\eta {\frac {\partial \log(p(v))}{\partial w_{ij}}}}$

де ${\displaystyle p(v)}$ — ймовірність видимого вектора, задана як ${\displaystyle p(v)={\frac {1}{Z}}\sum _{h}e^{-E(v,h)}}$. ${\displaystyle Z}$ це статистична сума^[en] (яку використовують для нормування), а ${\displaystyle E(v,h)}$ — функція енергії, приписаної станові мережі. Нижча енергія вказує на те, що мережа має «бажанішу» конфігурацію. Градієнт ${\displaystyle {\frac {\partial \log(p(v))}{\partial w_{ij}}}}$ має простий вигляд ${\displaystyle \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{model}}}$, де ${\displaystyle \langle \cdots \rangle _{p}}$ подають усереднення відносно розподілу ${\displaystyle p}$. Проблема виникає у вибиранні ${\displaystyle \langle v_{i}h_{j}\rangle _{\text{model}}}$, оскільки воно вимагає розширеного навперемінного ґіббзового вибирання^[en]. КР замінює цей крок виконанням альтернативного ґіббзового вибирання для ${\displaystyle n}$ кроків (значення ${\displaystyle n=1}$ працюють добре). Після ${\displaystyle n}$ кроків дані вибирають, і цю вибірку використовують замість ${\displaystyle \langle v_{i}h_{j}\rangle _{\text{model}}}$. Процедура КР працює наступним чином:^[11]

1. Встановити видимі вузли у значення тренувального вектора.
2. Уточнити приховані вузли паралельним чином, враховуючи видимі вузли: ${\displaystyle p(h_{j}=1\mid {\textbf {V}})=\sigma (b_{j}+\sum _{i}v_{i}w_{ij})}$. ${\displaystyle \sigma }$ — сигмоїдна функція, а ${\displaystyle b_{j}}$ — зміщення ${\displaystyle h_{j}}$.
3. Уточнити видимі вузли паралельним чином, враховуючи приховані вузли: ${\displaystyle p(v_{i}=1\mid {\textbf {H}})=\sigma (a_{i}+\sum _{j}h_{j}w_{ij})}$. ${\displaystyle a_{i}}$ — зміщення ${\displaystyle v_{i}}$. Це називають етапом «відбудовування».
4. Переуточнити приховані вузли паралельним чином, враховуючи відбудовані видимі вузли, використовуючи те саме рівняння, що й у кроці 2.
5. Виконати уточнення ваг: ${\displaystyle \Delta w_{ij}\propto \langle v_{i}h_{j}\rangle _{\text{data}}-\langle v_{i}h_{j}\rangle _{\text{reconstruction}}}$.

Щойно ОМБ натреновано, поверх неї «накладають» іншу ОМБ, беручи її вхід з останнього натренованого рівня. Новий видимий шар встановлюють у значення тренувального вектора, а значення для вузлів у вже навчених шарах встановлюють з використанням поточних ваг і зміщень. Потім нову ОМБ тренують за описаною вище процедурою. Весь цей процес повторюють, доки не буде досягнуто бажаного критерію зупинки.^[13]

Хоч наближення КР до максимальної правдоподібності й грубе (не слідує градієнтові жодної функції), воно емпірично ефективне.^[11]

Див. також

• Складена обмежена машина Больцмана
• Баєсова мережа
• Глибоке навчання
• Згорткова глибока мережа переконань^[en]
• Модель на основі енергії^[en]