Варіаційний автокодувальник

У машинному навчанні варіаційний автокодувальник (англ. variational autoencoder),^[1] відомий також як ВАК (англ. VAE), — це архітектура штучної нейронної мережі, запроваджена Дідеріком П. Кінгмою та Максом Веллінгом^[en], що належить до сімейств імовірнісних графових моделей та варіаційних баєсових методів^[en].

Її часто асоціюють із моделлю автокодувальника^[2][3] через її архітектурну спорідненість, але між ними є значні відмінності як у цілі, так і в математичному формулюванні. Варіаційні автокодувальники призначено для стискання інформації входу до обмеженого багатовимірного латентного розподілу (кодування), щоби відбудовувати її якомога точніше (декодування). Хоча первинно цей тип моделі було розроблено для некерованого навчання,^[4][5] його дієвість було доведено й в інших областях машинного навчання, таких як напівкероване^[6][7] та кероване навчання.^[8]

Архітектура

Варіаційні автокодувальники є варіаційними баєсовими методами з багатовимірним розподілом як апріорне, й апостеріорним, наближуваним штучною нейронною мережею, що утворюють так звану структуру варіаційного кодувальника-декодувальника.^[9][10][11]

Стандартний кодувальник є штучною нейронною мережею, здатною зводити свою вхідну інформацію до найвужчого подання, що називають латентним простором. Він являє собою першу половину архітектури як автокодувальника, так і варіаційного автокодувальника: для першого виходом є фіксований вектор штучних нейронів, а в другому інформація виходу стискається до ймовірнісного латентного простору, що все ще складається зі штучних нейронів. Проте в архітектурі варіаційного автокодувальника вони представляють і їх розглядають як два різні вектори однакової вимірності, що подають вектор середніх значень та вектор стандартних відхилень відповідно.

Стандартний декодувальник все ще є штучною нейронною мережею, призначеною віддзеркалювати архітектуру кодувальника. Він бере на вході стиснену інформацію, що надходить із латентного простору, а потім розгортає її, виробляючи вихід, якомога ближчий до входу кодувальника. І хоча для автокодувальника вхід декодувальника є просто вектором дійсних значень фіксованої довжини, для варіаційного автокодувальника необхідно ввести проміжний етап: враховуючи ймовірнісну природу латентного простору, можливо розглядати його як багатовимірний гауссів вектор. За цього припущення й за допомогою методики, відомої як перепараметрувальний трюк (англ. reparametrization trick), можливо вибирати сукупності з цього латентного простору й розглядати їх точно як вектор дійсних значень фіксованої довжини.

З системної точки зору моделі як стандартного, так і варіаційного автокодувальників отримують як вхід набір даних великої розмірності. Потім вони адаптивно стискають його до латентного простору (кодування) і, нарешті, намагаються якомога точніше його відбудувати (декодування). Враховуючи природу його латентного простору, варіаційний автокодувальник характеризується дещо іншою цільовою функцією: він має мінімізувати функцію втрат відбудови, як і стандартний автокодувальник. Проте він також враховує розходження Кульбака — Лейблера між латентним простором та вектором нормальних гауссіан.

Формулювання

Базова схема варіаційного автокодувальника. Модель отримує ${\displaystyle \mathbf {x} }$ як вхід. Кодувальник стискає його до латентного простору. Декодувальник отримує як вхід інформацію, вибрану з цього латентного простору, й виробляє ${\displaystyle \mathbf {x'} }$, що є якомога подібнішим до ${\displaystyle \mathbf {x} }$.

З формальної точки зору, за заданого набору даних входу ${\displaystyle \mathbf {x} }$, описуваного невідомою функцією ймовірності ${\displaystyle P(\mathbf {x} )}$, та багатовимірного вектора латентного кодування ${\displaystyle \mathbf {z} }$, мета полягає в моделюванні цих даних як розподілу ${\displaystyle p_{\theta }(\mathbf {x} )}$, де ${\displaystyle \theta }$ визначено як набір параметрів мережі.

Цей розподіл можливо формалізувати як

${\displaystyle p_{\theta }(\mathbf {x} )=\int _{\mathbf {z} }p_{\theta }(\mathbf {x,z} )d\mathbf {z} }$

де ${\displaystyle p_{\theta }}$ є свідченням даних цієї моделі з відособленням, виконаним над неспостережуваними змінними, й відтак ${\displaystyle p_{\theta }(\mathbf {x,z} )}$ подає спільний розподіл даних входу та їхнього латентного подання відповідно до параметрів мережі ${\displaystyle \theta }$.

Відповідно до теореми Баєса, це рівняння можливо переписати як

${\displaystyle p_{\theta }(\mathbf {x} )=\int _{\mathbf {z} }p_{\theta }(\mathbf {x|z} )p_{\theta }(\mathbf {z} )d\mathbf {z} }$

У стандартному варіаційному автокодувальнику ми вважаємо, що ${\displaystyle \mathbf {z} }$ має скінченну розмірність, і що ${\displaystyle p_{\theta }(\mathbf {x|z} )}$ є гауссовим розподілом, тоді ${\displaystyle p_{\theta }(\mathbf {x} )}$ є сумішшю гауссових розподілів.

Тепер можливо визначити набір взаємозв'язків між даними входу та їх латентним поданням як

• Апріорне ${\displaystyle p_{\theta }(\mathbf {z} )}$
• Правдоподібність ${\displaystyle p_{\theta }(\mathbf {x} |\mathbf {z} )}$
• Апостеріорне ${\displaystyle p_{\theta }(\mathbf {z} |\mathbf {x} )}$

На жаль, обчислення ${\displaystyle p_{\theta }(\mathbf {x} )}$ є дуже витратним, і в більшості випадків навіть непіддатливим. Щоби пришвидшити це обчислення й зробити його здійсненним, необхідно ввести додаткову функцію для наближення апостеріорного розподілу:

${\displaystyle q_{\Phi }(\mathbf {z|x} )\approx p_{\theta }(\mathbf {z|x} )}$

де ${\displaystyle \Phi }$ визначено як набір дійсних значень, що параметрує ${\displaystyle q}$.

Таким чином загальну задачу можливо легко перевести до області визначення автокодувальника, в якому розподіл умовної правдоподібності ${\displaystyle p_{\theta }(\mathbf {x} |\mathbf {z} )}$ провадиться імовірнісним кодувальником (англ. probabilistic encoder), а наближений апостеріорний розподіл ${\displaystyle q_{\Phi }(\mathbf {z|x} )}$ обчислюється імовірнісним декодувальником (англ. probabilistic decoder).

Функція втрат НМЕС

Як і в будь-якій задачі глибокого навчання, щоб уточнювати ваги мережі шляхом зворотного поширення, необхідно визначити диференційовну функцію втрат.

Для варіаційних автокодувальників ідея полягає в спільному мінімізуванні параметрів породжувальної моделі ${\displaystyle \theta }$, щоби зменшувати похибку відбудови між входом і виходом мережі, та ${\displaystyle \Phi }$, щоби мати ${\displaystyle q_{\Phi }(\mathbf {z|x} )}$ якомога ближчою до ${\displaystyle p_{\theta }(\mathbf {z} |\mathbf {x} )}$.

Як втрати відбудови, добрими варіантами є середньоквадратична похибка та перехресна ентропія.

Як втрати відстані між цими двома розподілами, добрим вибором, щоби втискувати ${\displaystyle q_{\Phi }(\mathbf {z|x} )}$ під ${\displaystyle p_{\theta }(\mathbf {z} |\mathbf {x} )}$, є обернене розходження Кульбака — Лейблера ${\displaystyle D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z|x} ))}$.^[1][12]

Щойно визначені втрати відстані розкриваються як

${\displaystyle {\begin{aligned}D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z|x} ))&=\int q_{\Phi }(\mathbf {z|x} )\log {\frac {q_{\Phi }(\mathbf {z|x} )}{p_{\theta }(\mathbf {z|x} )}}d\mathbf {z} \\&=\int q_{\Phi }(\mathbf {z|x} )\log {\frac {q_{\Phi }(\mathbf {z|x} )p_{\theta }(\mathbf {x} )}{p_{\theta }(\mathbf {z,x} )}}d\mathbf {z} \\&=\int q_{\Phi }(\mathbf {z|x} )\left(\log(p_{\theta }(\mathbf {x} ))+\log {\frac {q_{\Phi }(\mathbf {z|x} )}{p_{\theta }(\mathbf {z,x} )}}\right)d\mathbf {z} \\&=\log(p_{\theta }(\mathbf {x} ))+\int q_{\Phi }(\mathbf {z|x} )\log {\frac {q_{\Phi }(\mathbf {z|x} )}{p_{\theta }(\mathbf {z,x} )}}d\mathbf {z} \\&=\log(p_{\theta }(\mathbf {x} ))+\int q_{\Phi }(\mathbf {z|x} )\log {\frac {q_{\Phi }(\mathbf {z|x} )}{p_{\theta }(\mathbf {x|z} )p_{\theta }(\mathbf {z} )}}d\mathbf {z} \\&=\log(p_{\theta }(\mathbf {x} ))+E_{\mathbf {z} \sim q_{\Phi }(\mathbf {z|x} )}(\log {\frac {q_{\Phi }(\mathbf {z|x} )}{p_{\theta }(\mathbf {z} )}}-\log(p_{\theta }(\mathbf {x|z} )))\\&=\log(p_{\theta }(\mathbf {x} ))+D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z} ))-E_{\mathbf {z} \sim q_{\Phi }(\mathbf {z|x} )}(\log(p_{\theta }(\mathbf {x|z} )))\end{aligned}}}$

На цьому етапі можливо переписати це рівняння як

${\displaystyle \log(p_{\theta }(\mathbf {x} ))-D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z|x} ))=E_{\mathbf {z} \sim q_{\Phi }(\mathbf {z|x} )}(\log(p_{\theta }(\mathbf {x|z} )))-D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z} ))}$

Метою є максимізувати логарифмічну правдоподібність лівої частини цього рівняння для поліпшення якості породжуваних даних та мінімізування відстаней між розподілами справжнього та оцінюваного апостеріорних.

Це є рівнозначним мінімізуванню від'ємної логарифмічної правдоподібності, що є типовою практикою в задачах оптимізації.

Отриману таким чином функцію втрат, яку також називають функцією втрат нижньої межі свідчення^[en] (англ. evidence lower bound), скорочено НМЕС (англ. ELBO), можливо записати як

${\displaystyle L_{\theta ,\Phi }=-\log(p_{\theta }(\mathbf {x} ))+D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z|x} ))=-E_{\mathbf {z} \sim q_{\Phi }(\mathbf {z|x} )}(\log(p_{\theta }(\mathbf {x|z} )))+D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z} ))}$

Враховуючи властивість невід'ємності розходження Кульбака — Лейблера, буде правильним стверджувати, що

${\displaystyle -L_{\theta ,\Phi }=\log(p_{\theta }(\mathbf {x} ))-D_{KL}(q_{\Phi }(\mathbf {z|x} )||p_{\theta }(\mathbf {z|x} ))\leq \log(p_{\theta }(\mathbf {x} ))}$

Оптимальними параметрами є ті, які мінімізують цю функцію втрат. Цю задачу можливо узагальнити як

${\displaystyle \theta ^{*},\Phi ^{*}={\underset {\theta ,\Phi }{argmin}}L_{\theta ,\Phi }}$

Основна перевага цього формулювання полягає в можливості спільного оптимізування за параметрами ${\displaystyle \theta }$ та ${\displaystyle \Phi }$.

Перш ніж застосовувати функцію втрат НМЕС до задачі оптимізування для зворотного поширення градієнта, необхідно зробити її диференційовною, застосувавши так званий трюк перепараметрування (англ. reparameterization trick), щоб усунути стохастичне вибирання з цього формування, й таким чином зробити її диференційовною.

Трюк перепараметрування

Схема трюку перепараметрування. Змінну випадковості ${\displaystyle \mathbf {\varepsilon } }$ вводять до латентного простору ${\displaystyle \mathbf {z} }$ як зовнішній вхід. Таким чином можливо зворотно поширювати градієнт без залучення стохастичної змінної під час уточнення.

Щоб зробити формулювання НМЕС придатним для цілей тренування, необхідно ввести подальшу незначну зміну до формулювання задачі, а також до структури варіаційного автокодувальника.^[1][13][14]

Стохастичне вибирання є недиференційовною операцією, через яку можливо вибирати з латентного простору й подавати на ймовірнісний декодувальник.

Щоб уможливити застосування процесів зворотного поширення, таких як стохастичний градієнтний спуск, запроваджують трюк перепараметрування.

Основним припущенням про латентний простір є те, що його можливо розглядати як сукупність багатовимірних гауссових розподілів і, отже, можливо описати як

${\displaystyle \mathbf {z} \sim q_{\phi }(\mathbf {z} \vert \mathbf {x} )={\mathcal {N}}({\boldsymbol {\mu }},{\boldsymbol {\sigma }}^{2})}$

Схема варіаційного автокодувальника після трюку перепараметрування.

Якщо ${\displaystyle {\boldsymbol {\epsilon }}\sim {\mathcal {N}}(0,{\boldsymbol {I}})}$, а ${\displaystyle \odot }$ визначено як поелементний добуток, то трюк перепараметрування змінює наведене вище рівняння до

${\displaystyle \mathbf {z} ={\boldsymbol {\mu }}+{\boldsymbol {\sigma }}\odot {\boldsymbol {\epsilon }}}$.

Завдяки цьому перетворенню, яке можливо поширити й на інші розподіли, відмінні від гауссового, варіаційний автокодувальник піддається тренуванню, а ймовірнісний кодувальник має навчатися відображувати стиснене подання вхідних даних у два латентні вектори ${\displaystyle {\boldsymbol {\mu }}}$ та ${\displaystyle {\boldsymbol {\sigma }}}$, тоді як стохастичність залишається виключеною з процесу уточнювання, й вводиться до латентного простору як зовнішній вхід через випадковий вектор ${\displaystyle {\boldsymbol {\epsilon }}}$.

Різновиди

Існує багато застосувань і розширень варіаційних автокодувальників для пристосовування цієї архітектури до різних областей та поліпшення її продуктивності.

β-ВАК (англ. β-VAE) є втіленням зі зваженим членом розходження Кульбака — Лейблера для автоматичного виявляння та інтерпретування розкладених латентних подань. За допомогою цього втілення можливо нав'язувати розплутування многовиду для значень ${\displaystyle \beta }$, більших за одиницю. Автори показали здатність цієї архітектури породжувати високоякісні синтетичні зразки.^[15][16]

Ще одне втілення, назване умовним варіаційним автокодувальником (англ. conditional variational autoencoder), скорочено УВАК (англ. CVAE), як вважають, вставляє міткову інформацію до латентного простору, нав'язуючи детерміноване обмежене подання навчених даних.^[17]

Деякі структури безпосередньо займаються якістю породжуваних зразків^[18][19] або втілюють понад одного латентного простору для подальшого поліпшення навчання подань.^[20][21]

Деякі архітектури поєднують структури варіаційних автокодувальників та породжувальних змагальних мереж, щоб отримувати гібридні моделі з високими породжувальними спроможностями.^[22][23][24]

Див. також

• Автокодувальник
• Глибоке навчання
• Збільшування даних^[en]
• Зворотне поширення
• Навчання подань
• Навчання розріджених словників^[en]
• Породжувальна змагальна мережа
• Штучна нейронна мережа