Metodo kernel

Nell'apprendimento automatico, i metodi kernel, detti anche macchine basate su kernel (o kernel machine), sono una classe di algoritmi di apprendimento supervisionato e non supervisionato ^[1][2]. Il rappresentante maggiormente conosciuto è costituito dalle macchine a vettori di supporto (SVM).

Esempio di SVM dove i campioni di training in 2D sono rimappati su di uno 3D

Descrizione

Lo scopo generale dell'analisi di schemi è di trovare e studiare tipi generici di relazioni (come gruppi, posizioni, componenti principali, correlazioni, classificazioni) e in generale tipi di dati (sequenze, documenti testuali, insiemi di punti, vettori, immagini ecc.).

I metodi kernel si approcciano al problema mappando i dati in uno spazio di caratteristiche multidimensionale, dove ogni coordinata corrisponde a una caratteristica dei dati dell'elemento, trasformando i dati in un insieme di punti dello spazio euclideo.

Poiché la mappatura può essere generale (non necessariamente lineare, ad esempio), le relazioni trovate in questo modo risultano di conseguenza molto generali. I metodi kernel sono così chiamati per le funzioni kernel usate per operare nello spazio delle caratteristiche senza necessità di calcolare le coordinate dei dati nello spazio, ma soltanto il prodotto interno tra le immagini di tutte le coppie di dati nello spazio funzione. Tale operazione risulta spesso computazionalmente più conveniente rispetto al calcolo esplicito delle coordinate, e viene chiamata "stratagemma del kernel"^[3] (kernel trick). Funzioni kernel sono state proposte per diversi tipi di strutture dati quali sequenze, grafi, testi, immagini e vettori.

Gli algoritmi capaci di operare con i kernel comprendono le macchine a vettori di supporto, processi gaussiani, l'analisi discriminante lineare di Fisher, l'analisi delle componenti principali (PCA), l'analisi di correlazione canonica, la regressione della cresta, il raggruppamento spettrale, i filtri adattivi lineari e molti altri.

Motivazione e spiegazione informale

I metodi basati su kernel possono essere considerati come modelli di apprendimento basati su istanze: invece di apprendere un insieme fisso di parametri corrispondenti alle caratteristiche dei loro input, "ricordano" l'${\displaystyle i}$-esimo esempio di training ${\displaystyle (\mathbf {x} _{i},y_{i})}$ e imparano per esso un peso corrispondente ${\displaystyle w_{i}}$. La predizione per gli input non etichettati, ovvero quelli non presenti nell'insieme di addestramento, viene trattata mediante l'applicazione di una funzione di similarità ${\displaystyle k}$, detta kernel, tra l'input non etichettato ${\displaystyle \mathbf {x'} }$ e ciascuno degli input di training ${\displaystyle \mathbf {x} _{i}}$. Ad esempio, un classificatore binario kernelizzato può essere definito tipicamente come somma ponderata delle similarità

${\displaystyle {\hat {y}}=\operatorname {sgn} \sum _{i=1}^{n}w_{i}y_{i}k(\mathbf {x} _{i},\mathbf {x'} ),}$

dove:

• ${\displaystyle {\hat {y}}\in \{-1,+1\}}$ è l'etichetta predetta dal classificatore binario kernelizzato per l'esempio non etichettato ${\displaystyle \mathbf {x'} }$ di cui interessa la sua vera etichetta latente ${\displaystyle y}$;
• ${\displaystyle k\colon {\mathcal {X}}\times {\mathcal {X}}\to \mathbb {R} }$ è la funzione kernel che misura la similarità fra qualsiasi ogni si input ${\displaystyle \mathbf {x} ,\mathbf {x'} \in {\mathcal {X}}}$;
• la somma comprende gli n esempi etichettati ${\displaystyle \{(\mathbf {x} _{i},y_{i})\}_{i=1}^{n}}$ nel training set del classificatore, con ${\displaystyle y_{i}\in \{-1,+1\}}$;
• i ${\displaystyle w_{i}\in \mathbb {R} }$ sono pesi sugli es. di training determinati dall'algoritmo di apprendimento;
• la funzione segno ${\displaystyle \operatorname {sgn} }$ determina se la classificazione predetta ${\displaystyle {\hat {y}}}$ risulti positiva o negativa.

I classificatori basati su kernel furono descritti già negli anni '60, con l'invenzione del percettrone basato su kernel. ^[3] Essi raggiunsero grande importanza con la popolarità della macchina a vettori di supporto (SVM) negli anni '90, quando si scoprì che la SVM poteva competere con le reti neurali in attività come il riconoscimento della scrittura.

Voci correlate

• Percettrone basato su kernel
• Processo gaussiano
• SVM