Stima kernel di densità
In statistica, la stima kernel di densità[1] (o kernel density estimation) è un metodo non parametrico utilizzato per il riconoscimento di pattern e per la classificazione attraverso una stima di densità negli spazi metrici, o spazio delle feature. Per ogni all'interno dello spazio delle feature, l'algoritmo permette di calcolare la probabilità di appartenere ad una classe considerando la densità di in un intorno del punto Il metodo si basa su un intorno di dimensione fissa calcolata in funzione del numero di osservazioni
È nota anche come metodo delle finestre di Parzen-Rosenblatt o delle finestre di Parzen,[2] dagli statistici Emanuel Parzen e Murray Rosenblatt.
Idea di base
[modifica | modifica wikitesto]Classificazione per prossimità
[modifica | modifica wikitesto]Un metodo di classificazione per prossimità (finestre di Parzen o k-nearest neighbors), propone di calcolare la probabilità condizionale in un punto con la seguente stima di densità:
dove:
- è il numero di osservazioni nel training set;
- è il volume dell'intorno del punto ;
- sono gli elementi nell'intorno , appartenenti alla classe .
Strategia
[modifica | modifica wikitesto]L'algoritmo a finestre di Parzen propone di ridurre la dimensione della regione intorno ad , in funzione del numero di osservazioni disponibili. Questa strategia si basa sull'idea di ridurre il più possibile, in maniera da ottenere una stima approssimata a quella reale del punto, allo stesso tempo cerca di non considerare una regione tanto piccola da avere , non perché è impossibile per , ma perché la regione non è troppo piccola per contenerlo.
![](http://upload.wikimedia.org/wikipedia/commons/thumb/4/41/Comparison_of_1D_histogram_and_KDE.png/510px-Comparison_of_1D_histogram_and_KDE.png)
Algoritmo
[modifica | modifica wikitesto]Funzione K
[modifica | modifica wikitesto]Si consideri una funzione che dipende dal parametro di scala , e dalla distanza di a un punto fissato 0. È richiesto che questa funzione abbia integrale unitario sul dominio .
Il metodo
[modifica | modifica wikitesto]Consiste nell'assegnare nel punto nel seguente modo:
Cioè la densità nel punto si ottiene considerando il contributo come la somma dei contributi forniti dalle osservazioni nel campione spalmate secondo la legge , normalizzati ad .
La scelta di h
[modifica | modifica wikitesto]La scelta di è un problema molto delicato, generalmente dipende dal problema in esame. Una regola molto diffusa e generalizzata è quella di prendere .
Valutazioni
[modifica | modifica wikitesto]Un problema di questo metodo è dovuto alla scelta fissa della funzione per tutto lo spazio delle feature. Alla fine se si utilizza una finestra molto piccola, si introduce il rischio di overfitting. Se si utilizza una finestra troppo grande si hanno più errori nelle zone più addensate. Per questo motivo una finestra dinamica (algoritmo k-nn) potrebbe dare risultati migliori.
Note
[modifica | modifica wikitesto]- ^ kernel density [kernel, stima di densità], in Dizionario di economia e finanza, Roma, Istituto dell'Enciclopedia Italiana, 2012.
- ^ Cosimo Distante, Clustering (PDF), su people.isasi.cnr.it, Consiglio Nazionale delle Ricerche - Istituto di Scienze Applicate e Sistemi Intelligenti, 13-14. URL consultato il 3 luglio 2017 (archiviato il 3 luglio 2017).
Voci correlate
[modifica | modifica wikitesto]Altri progetti
[modifica | modifica wikitesto]Wikimedia Commons contiene immagini o altri file su stima kernel di densità