Deep learning

A Deep learning, magyarul: mélytanulás, a gépi tanulás egy olyan részhalmaza, amely a neurális hálózatok felhasználására összpontosít olyan feladatok elvégzésére, mint az osztályozás, a regresszió és a reprezentációs tanulás. A terület a biológiai idegtudományból merít ihletet, és középpontjában a mesterséges neuronok rétegekbe való halmozása és „betanítása” áll, hogy adatokat dolgozzanak fel. A „mély” jelző arra utal, hogy a hálózatban több (háromtól több százig vagy több ezerig terjedő) réteget használnak. Az alkalmazott módszerek lehetnek felügyelt, félig felügyelt vagy nem felügyelt módszerek.^[1]

Nem tévesztendő össze a következővel: Mélytanulás.

Néhány gyakori mély tanulási hálózati architektúra a teljesen összekapcsolt hálózatok, a mély hit-hálózatok, a rekurrens neurális hálózatok, a konvolúciós neurális hálózatok, a generatív adverzális hálózatok, a transzformátorok és a neurális sugárzási mezők. Ezeket az architektúrákat olyan területeken alkalmazták, mint a számítógépes látás, beszédfelismerés, természetes nyelvfeldolgozás, gépi fordítás, bioinformatika, gyógyszertervezés, orvosi képelemzés, klímatudomány, anyagvizsgálat és társasjátékprogramok, ahol az emberi szakértői teljesítményhez hasonló, sőt egyes esetekben azt felülmúló eredményeket produkáltak.^[2][3][4]

A neurális hálózatok korai formáit a biológiai rendszerek, különösen az emberi agy információfeldolgozó és elosztott kommunikációs csomópontjai ihlették. A jelenlegi neurális hálózatoknak azonban nem célja az élőlények agyműködésének modellezése, és e célból általában alacsony minőségű modelleknek tekintik őket.^[5]

Áttekintés

A legtöbb modern mélytanulási modell többrétegű neurális hálózatokon, például konvolúciós neurális hálózatokon és transzformátorokon alapul, bár tartalmazhatnak kijelentő formulákat vagy rétegenként szervezett látens változókat is a mély generatív modellekben, mint például a mély hiedelemhálózatok és a mély Boltzmann-gépek csomópontjai.^[6]

Alapvetően a mélytanulás a gépi tanulási algoritmusok olyan osztályára utal, amelyben a bemeneti adatok fokozatosan absztraktabb és összetettebb reprezentációvá történő átalakítására réteghierarchiát használnak. Például egy képfelismerő modellben a nyers bemenet lehet egy kép (pixelek tenzoraként reprezentálva). Az első reprezentációs réteg megpróbálhatja azonosítani az alapvető alakzatokat, például vonalakat és köröket, a második réteg összeállíthatja és kódolhatja az élek elrendezését, a harmadik réteg kódolhatja az orrot és a szemeket, a negyedik réteg pedig felismerheti, hogy a kép egy arcot tartalmaz.

Fontos, hogy egy mély tanulási folyamat képes önállóan megtanulni, hogy mely jellemzőket melyik szinten kell optimálisan elhelyezni. A mélytanulást megelőzően a gépi tanulási technikák gyakran kézzel készített jellemzőmérnökséget igényeltek, hogy az adatokat az osztályozó algoritmus számára megfelelőbb reprezentációvá alakítsák át. A mélytanulási megközelítésben a jellemzőket nem kézzel alakítják ki, és a modell automatikusan felfedezi a hasznos jellemzőreprezentációkat az adatokból. Ez nem szünteti meg a kézi hangolás szükségességét; például a rétegek változó száma és a rétegméretek különböző absztrakciós fokokat biztosíthatnak.^[1][7]

A „mély” szó a „deep learning”-ben a rétegek számára utal, amelyeken keresztül az adatokat átalakítják. Pontosabban a mélytanuló rendszerek jelentős kredit hozzárendelési útvonal (CAP) mélységgel rendelkeznek. A CAP a bemenetről a kimenetre történő transzformációk láncolata. A CAP-ok a bemenet és a kimenet közötti potenciálisan oksági kapcsolatokat írják le. Egy előrecsatolt neurális hálózat esetében a CAP-ok mélysége a hálózat mélysége, és a rejtett rétegek száma plusz egy (mivel a kimeneti réteg is paraméterezett). A rekurrens neurális hálózatok esetében, amelyekben egy jel többször is áthaladhat egy rétegen, a CAP mélysége potenciálisan korlátlan.^[8] Nincs általánosan elfogadott mélységi küszöbérték, amely elválasztja a sekély tanulást a mély tanulástól, de a legtöbb kutató egyetért abban, hogy a mély tanulás kettőnél nagyobb CAP-mélységgel jár. A kettes mélységű CAP bizonyítottan univerzális approximátor abban az értelemben, hogy bármilyen függvényt képes utánozni.^[9] Ezen túlmenően a több réteg nem növeli a hálózat függvényközelítő képességét. A mély modellek (CAP > kettő) jobb jellemzők kinyerésére képesek, mint a sekély modellek, ezért az extra rétegek segítenek a jellemzők hatékony megtanulásában.

A mélytanulási architektúrák mohó rétegenkénti módszerrel építhetők fel.^[10] A mélytanulás segít ezen absztrakciók szétválasztásában és annak kiválasztásában, hogy mely jellemzők javítják a teljesítményt.^[7]

A mélytanulási algoritmusok alkalmazhatók felügyelet nélküli tanulási feladatokra. Ez azért fontos előny, mert a címkézetlen adatok nagyobb mennyiségben állnak rendelkezésre, mint a címkézett adatok. A felügyelet nélküli módon képezhető mély struktúrák példái a mély hiedelemhálózatok.^[7][11]

A mélytanulás kifejezést Rina Dechter vezette be a gépi tanulás közösségébe 1986-ban,^[12] a mesterséges neurális hálózatokba pedig Igor Aizenberg és munkatársai 2000-ben, a Boolean-küszöbneuronokkal összefüggésben,^[13][14] bár megjelenésének története ennél nyilvánvalóan bonyolultabb.^[15]

Értelmezések

A mély neurális hálózatokat általában az univerzális közelítési tétel^{[16][17][18][19][20]} vagy a valószínűségi következtetés szempontjából értelmezik.^{[7][8][21][22][23]}

A klasszikus univerzális approximációs tétel arra vonatkozik, hogy az egyetlen véges méretű rejtett réteggel rendelkező előrecsatolt neurális hálózatok képesek-e folytonos függvények közelítésére.^{[16][17][18][19]} Az első bizonyítást 1989-ben George Cybenko publikálta szigmoid aktiválási függvényekre,^[16] majd 1991-ben Kurt Hornik általánosította többrétegű feed-forward architektúrákra.^[17] A legújabb munkák azt is kimutatták, hogy az univerzális approximáció nem korlátos aktiválási függvényekre is érvényes, mint például Kunihiko Fukushima egyenesített lineáris egységére.^[24][25]

A mély neurális hálózatokra vonatkozó univerzális közelítési tétel a korlátos szélességű, de a mélység növekedését megengedő hálózatok kapacitására vonatkozik. Lu és társai bebizonyították, hogy ha egy ReLU aktiválású mély neurális hálózat szélessége szigorúan nagyobb, mint a bemeneti dimenzió, akkor a hálózat bármely Lebesgue-féle integrálható függvényt képes közelíteni; ha a szélesség kisebb vagy egyenlő a bemeneti dimenzióval, akkor a mély neurális hálózat nem univerzális közelítő.

A valószínűségi értelmezés^[23] a gépi tanulás területéről származik. Jellemzői a következtetés,^{[6][7][8][11][22][23]} valamint a képzés és a tesztelés optimalizálási fogalmai, amelyek az illesztéshez, illetve az általánosításhoz kapcsolódnak. Pontosabban, a valószínűségi értelmezés az aktiválási nemlinearitást kumulatív eloszlásfüggvénynek tekinti.^[23] A valószínűségi értelmezés vezetett a kiesés mint regularizátor bevezetéséhez a neurális hálózatokban. A valószínűségi értelmezést többek között Hopfield, Widrow és Narendra kutatók vezették be, és olyan felmérésekben népszerűsítették, mint például Bishop.^[26]