Stima kernel di densità

In statistica, la stima kernel di densità^[1] (o kernel density estimation) è un metodo non parametrico utilizzato per il riconoscimento di pattern e per la classificazione attraverso una stima di densità negli spazi metrici, o spazio delle feature. Per ogni ${\displaystyle x}$ all'interno dello spazio delle feature, l'algoritmo permette di calcolare la probabilità di appartenere ad una classe ${\displaystyle C,}$ considerando la densità di ${\displaystyle C}$ in un intorno ${\displaystyle k}$ del punto ${\displaystyle x.}$ Il metodo si basa su un intorno di dimensione fissa calcolata in funzione del numero di osservazioni ${\displaystyle N.}$

È nota anche come metodo delle finestre di Parzen-Rosenblatt o delle finestre di Parzen,^[2] dagli statistici Emanuel Parzen e Murray Rosenblatt.

Idea di base

Classificazione per prossimità

Un metodo di classificazione per prossimità (finestre di Parzen o k-nearest neighbors), propone di calcolare la probabilità condizionale in un punto ${\displaystyle x}$ con la seguente stima di densità:

${\displaystyle P(x|C)=K/NV,}$

dove:

• ${\displaystyle N}$ è il numero di osservazioni nel training set;
• ${\displaystyle V}$ è il volume dell'intorno del punto ${\displaystyle x}$;
• ${\displaystyle K}$ sono gli elementi nell'intorno ${\displaystyle V}$, appartenenti alla classe ${\displaystyle C}$.

Strategia

L'algoritmo a finestre di Parzen propone di ridurre la dimensione della regione ${\displaystyle V}$ intorno ad ${\displaystyle x}$, in funzione del numero ${\displaystyle N}$ di osservazioni disponibili. Questa strategia si basa sull'idea di ridurre ${\displaystyle V}$ il più possibile, in maniera da ottenere una stima approssimata a quella reale del punto, allo stesso tempo cerca di non considerare una regione tanto piccola da avere ${\displaystyle K=0}$, non perché ${\displaystyle x}$ è impossibile per ${\displaystyle C}$, ma perché la regione non è troppo piccola per contenerlo.

Comparazione tra un istogramma (sx) e la sua kernel density estimate (dx) costruite utilizzando gli stessi dati. 6 kernel singoli sono rappresentati da linee tratteggiate rosse, mentre la kernel density estimate è raffigurata in blu

Algoritmo

Funzione K

Si consideri una funzione ${\displaystyle K(h,P)}$ che dipende dal parametro di scala ${\displaystyle h}$, e dalla distanza di ${\displaystyle P}$ a un punto fissato ${\displaystyle P}$₀. È richiesto che questa funzione abbia integrale unitario sul dominio ${\displaystyle P}$.

Il metodo

Consiste nell'assegnare ${\displaystyle P(x|C)}$ nel punto ${\displaystyle x}$ nel seguente modo:

${\displaystyle P(x|C)={\frac {1}{N}}\sum _{i}K(h,d(x,x_{i})).}$

Cioè la densità nel punto ${\displaystyle x}$ si ottiene considerando il contributo come la somma dei contributi forniti dalle osservazioni nel campione spalmate secondo la legge ${\displaystyle K(h,P)}$, normalizzati ad ${\displaystyle N}$.

La scelta di h

La scelta di ${\displaystyle h}$ è un problema molto delicato, generalmente dipende dal problema in esame. Una regola molto diffusa e generalizzata è quella di prendere ${\displaystyle h=O(n^{-1/5})}$.

Valutazioni

Un problema di questo metodo è dovuto alla scelta fissa della funzione ${\displaystyle K}$ per tutto lo spazio delle feature. Alla fine se si utilizza una finestra molto piccola, si introduce il rischio di overfitting. Se si utilizza una finestra troppo grande si hanno più errori nelle zone più addensate. Per questo motivo una finestra dinamica (algoritmo k-nn) potrebbe dare risultati migliori.