Uczenie głębokie

Uczenie głębokie (ang. deep learning) – podkategoria uczenia maszynowego (ang. machine learning), polegająca na uczeniu^[1] głębokich sieci neuronowych^[2] (sieci z wieloma poziomami neuronów). Stuart Russell i Peter Norvig definiują uczenie głębokie jako termin odnoszący się do uczenia maszynowego wykorzystującego sieci neuronowe składające się z wielu warstw, z których każda składa się z prostych, konfigurowalnych elementów obliczeniowych (popularnie zwane neuronami lub węzłami)^[3].

Uczenie głębokie w kontekście SI

Główne zastosowanie technik uczenia głębokiego to m.in. automatyczne przetwarzanie mowy, rozpoznawanie obrazów i przetwarzania języka naturalnego.

Głębokie uczenie to nowe rozwiązanie oparte na sieciach wielowarstwowych, w którym wzory w danych wejściowych rozpoznawane są na różnych poziomach hierarchicznych. Innymi słowy, głębokie uczenie odkrywa wielopoziomową reprezentację wiedzy – np. piksele są istotne dla detekcji kontrastu, to z kolei dla wykrywania krawędzi, to dalej dla wykrywania kształtu, to następnie dla wykrywania części obiektów, to ostatecznie dla wykrywania obiektów^[4][5].

Jednymi z najbardziej popularnych architektur sieci neuronowych są sieci rekurencyjne, sieci konwolucyjne, sieci generatywne GAN czy transformer^[6][7][8].

Wczesne formy sieci neuronowych były inspirowane metodami przetwarzania informacji i rozmieszczenia elementów komunikacji w układach narządów, szczególnie w mózgowiu człowieka, jednak aktualne sieci neuronowe nie skupiają się na modelowaniu funkcji mózgu i są postrzegane jako modele o niskim stopniu odwzorowania^[9].

Historia

Uczenie głębokie powstało w latach 80. XX wieku(dzięki Jürgenowi Schmidhuberowi)^[4]. Cześć badaczy wiąże powstanie sieci głębokich z pracami ukraińskiego uczonego, Ołeksij Hryhorowycz Iwachnenko^[10][11]. Istotny wkład w rozwój uczenia głębokiego miało wynalezienie sieci konwulencyjnych przez Kunihiko Fukushimę, a następnie ich ulepszenie przez Yanna LeCuna (w latach 90.XX w. zaprojektowane przez niego sieci znakomicie radziły sobie z rozpoznawaniem odręcznie napisanych cyfr) i Yoshuę Bengio^[12][13]. Dziedzina ta eksplodowała na początku XXI wieku, gdy Geofrrey Hinton przedstawił skuteczną metodę (maszyna Boltzmana z ograniczeniami) umożliwiającą sieciom wielowarstwowym odkrywanie relacji na wielu poziomach [Hinton i in, 2006]^[4][14]. Od około 2010 roku mówimy o rewolucji uczenia maszynowego opartego na uczeniu głębokim, czego zwieńczeniem była najpierw Nagroda Turinga^[15] dla Hintona, LeCuna i Bengio w 2018 roku, a następnie nagroda Nobla z fizyki dla Hintona i Hopfielda w 2024 roku^[16] oraz nagroda Nobla z chemii dla Davida Bakera, Demisa Hassabisa i Johna Jumpera^[17]. Przełomowym wydarzeniem w tym zakresie było zwycięstwo sieci głebokiej AlexNet zaprojektowanej przez zespół Hintona w konkursie ImageNet w 2012 roku^[3][18].

Sposób działania

Sieć wielowarstwowa z tzw. ukrytymi warstwami

Sieci neuronowe są głębokie, ponieważ struktura tych sieci składa się z wielu warstw sztucznych neuronów. Proste sieci neuronowe można zaprojektować ręcznie tak, by konkretna warstwa wykrywała konkretne cechy, a uczenie się polega na ustaleniu odpowiednich wag. W dużych sieciach neuronowych proces głębokiego uczenia jest do pewnego stopnia samodzielny - to znaczy sieć nie jest projektowana pod wykrywanie konkretnych cech, lecz wykrywa je na podstawie przetwarzania odpowiednio oznaczonych zbiorów danych. Zarówno takie zbiory, jak i sam sposób działania sieci muszą być przygotowane przez specjalistów, ale cechy wykrywa już sam program. Dzięki temu możliwe jest przetworzenie wielkiej ilości danych, a sieć może automatycznie nauczyć się reprezentacji cech wyższego poziomu, co oznacza, że mogą one wykryć skomplikowane wzorce w danych wejściowych^[19][20].

Współczesne głębokie sieci neuronowe są jednokierunkowe (feed-forward, czasem z elementami rekurencyjnymi) i działają w zupełnie innym paradygmacie niż dawne modele oparte na minimalizacji energii (np. sieci Hopfielda)^[21].

Podstawową zasadą ich działania jest minimalizacja błędu (loss) – sieć uczy się tak dobierać swoje parametry, aby w warstwie wyjściowej przypisywać jak największe prawdopodobieństwo poprawnej odpowiedzi. Wyjście sieci ma często formę wektora prawdopodobieństw (np. „kot” vs. „pies”), uzyskanych przez normalizację wartości neuronów wyjściowych^[22].

W procesie treningu sieć otrzymuje dane wejściowe (np. obraz) i aktualizuje wagi poprzez propagację wsteczną, tak aby jak najlepiej odwzorować oczekiwane etykiety. Zamiast „przyciągania” do zapamiętanych wzorców – jak w modelach energetycznych – sieć uczy się funkcji odwzorowującej wejścia na prawdopodobne wyjścia^[23].

Wkład Geoffreya Hintona był kluczowy dla rozwoju tej dziedziny – m.in. zaproponował efektywne metody trenowania głębokich sieci, korzystając z maszyn Boltzmanna, co otworzyło drogę do współczesnego głębokiego uczenia^[24].

Zastosowania

Obraz nieistniejącej osoby wygenerowany przez model bazujący na sieci GAN

• Automatyczne rozpoznawanie i przetwarzanie mowy na tekst^[25][26].
• Przetwarzanie języka naturalnego, wykrywanie znaczeń i tłumaczenie na inny język^[27][28].
• Rozpoznawanie obiektów na obrazach w tym na filmach (nadawanie etykiet i oznaczanie)^[28]. W tym również analiza obrazu medycznego i diagnostyka^[27][29].
• Bioinformatyka i projektowanie leków^[30][29].
• Rekonstrukcja obrazu ze słabej jakości obrazku (powiększanie bez widocznej straty jakości, dodawanie kolorów)^[28][31][32].
• Generowanie sztucznych obrazów i filmów (deepfake, wspomaganie pracy grafików)^[28][33].
• Systemy rekomendacji (książki do przeczytania, filmy do obejrzenia, zakupy itp.)^[27].
• Wykrywanie oszustw finansowych i innych anomalii w danych (np. zwalczanie dezinformacji i cyberbezpieczeństwo)^[27][29].
• Automatyczni asystenci, obsługa hoteli i restauracji, czatboty^[27].
• Automatyczne samochody i systemy wspomagające prowadzenie auta^[27][28].