Data mining

Da Wikipedia, l'enciclopedia libera.

Il data mining è l'insieme di tecniche e metodologie che hanno per oggetto l'estrazione di un sapere o di una conoscenza a partire da grandi quantità di dati (attraverso metodi automatici o semi-automatici) e l'utilizzo scientifico, industriale o operativo di questo sapere.

Concetti di base[modifica | modifica wikitesto]

La statistica può essere definita altrimenti come "estrazione di informazione utile da insiemi di dati".
Il concetto di data mining è simile ma con una sostanziale differenza: la statistica permette di elaborare informazioni generali riguardo ad una popolazione (es. percentuali di disoccupazione, nascite) mentre il data mining viene utilizzato per cercare correlazioni tra più variabili relativamente ai singoli individui; ad esempio sapendo il comportamento di un cliente in una compagnia telefonica cerco di prevedere quanto spenderà nell'immediato futuro.
In sostanza il data mining è l'"analisi matematica eseguita su database di grandi dimensioni". Il termine data mining è diventato popolare nei tardi anni '90 come versione abbreviata della definizione appena esposta.

Oggi il data mining (letteralmente: estrazione di dati[1]) ha una duplice valenza:

  • Estrazione, con tecniche analitiche all'avanguardia, di informazione implicita, nascosta, da dati già strutturati, per renderla disponibile e direttamente utilizzabile;
  • Esplorazione ed analisi, eseguita in modo automatico o semiautomatico, su grandi quantità di dati allo scopo di scoprire pattern (schemi) significativi.

In entrambi i casi i concetti di informazione e di significato sono legati strettamente al dominio applicativo in cui si esegue data mining, in altre parole un dato può essere interessante o trascurabile a seconda del tipo di applicazione in cui si vuole operare.

Questo tipo di attività è cruciale in molti ambiti della ricerca scientifica, ma anche in altri settori (per esempio in quello delle ricerche di mercato). Nel mondo professionale è utilizzata per risolvere problematiche diverse tra loro, che vanno dalla gestione delle relazioni con i clienti (CRM), all'individuazione di comportamenti fraudolenti, fino all'ottimizzazione di siti web.

Esempi

Che cosa "non è" data mining?

  • Cercare un numero di telefono nell'elenco;
  • Fare una ricerca in Internet su "vacanze alle Maldive".

Che cosa "è" data mining?

  • Fare una ricerca nel web su una parola chiave e classificare i documenti trovati secondo un criterio semantico (per esempio "corriere": nome di giornale, professione, ecc.);
  • Scoprire chi sono i clienti che hanno maggiore propensione di acquisto su certi prodotti o campagne pubblicitarie.

Applicazioni nella ricerca scientifica[modifica | modifica wikitesto]

I fattori principali che hanno contribuito allo sviluppo del data mining sono:

  • le grandi accumulazioni di dati in formato elettronico,
  • il data storage poco costoso,
  • i nuovi metodi e tecniche di analisi (apprendimento automatico, riconoscimento di pattern).

Le tecniche di data mining sono fondate su specifici algoritmi. I pattern identificati possono essere, a loro volta, il punto di partenza per ipotizzare e quindi verificare nuove relazioni di tipo causale fra fenomeni; in generale, possono servire in senso statistico per formulare previsioni su nuovi insiemi di dati.

Un concetto correlato al data mining è quello di apprendimento automatico (Machine learning); infatti, l'identificazione di pattern può paragonarsi all'apprendimento, da parte del sistema di data mining, di una relazione causale precedentemente ignota, cosa che trova applicazione in ambiti come quello degli algoritmi euristici e dell'intelligenza artificiale. Tuttavia, occorre notare che il processo di data mining è sempre sottoposto al rischio di rivelare relazioni causali che poi si rivelano inesistenti.

Tra le tecniche maggiormente utilizzate in questo ambito vi sono:

Un'altra tecnica molto diffusa per il data mining è l'apprendimento mediante classificazione. Questo schema di apprendimento parte da un insieme ben definito di esempi di classificazione per casi noti, dai quali ci si aspetta di dedurre un modo per classificare esempi non noti. Tale approccio viene anche detto "con supervisione" (supervised), nel senso che lo schema di apprendimento opera sotto la supervisione fornita implicitamente dagli esempi di classificazione per i casi noti; tali esempi, per questo motivo, vengono anche detti training examples, ovvero "esempi per l’addestramento". La conoscenza acquisita per apprendimento mediante classificazione può essere rappresentata con un albero di decisione.

L'estrazione dei dati vera e propria giunge quindi al termine di un processo che comporta numerose fasi: si individuano le fonti di dati; si crea un unico set di dati aggregati; si effettua una pre-elaborazione (data cleaning, analisi esplorative, selezione, ecc.); si estraggono i dati con l'algoritmo scelto; si interpretano e valutano i pattern; l'ultimo passaggio va dai pattern alla nuova conoscenza così acquisita.

Applicazioni nella ricerca di mercato[modifica | modifica wikitesto]

L'utilizzo del data mining nella ricerca di mercato è volto ad ampliare la conoscenza su cui basare i processi decisionali.
Nel contesto aziendale il data mining è considerato parte del processo che porta alla creazione di un data warehouse. È efficace soprattutto per la valorizzazione delle informazioni aziendali residenti in questi grandi depositi di dati.
Affinché l'informazione estratta dai dati esistenti sia significativa, e quindi potenzialmente utile, deve essere:

  • valida (cioè può agire anche sui nuovi dati);
  • precedentemente sconosciuta;
  • comprensibile.

In questo contesto, un pattern (schema) non è altro che la rappresentazione delle relazioni chiave che vengono scoperte durante il processo di estrazione dati: sequenze ripetute, omogeneità, emergenza di regole, ecc.
Per esempio, se un pattern mostra che i clienti di una certa area demografica sono molto propensi ad acquistare uno specifico prodotto, allora un'interrogazione (query) selettiva ad un data warehouse di probabili compratori può essere usata per generare un elenco di indirizzi promozionali.

Il text mining[modifica | modifica wikitesto]

È una forma particolare di data mining nella quale i dati consistono in testi in lingua naturale, in altre parole, documenti "destrutturati". Il text mining unisce la tecnologia della lingua con gli algoritmi del data mining.
L'obiettivo è sempre lo stesso: l'estrazione di informazione implicita contenuta in un insieme di documenti.
Negli ultimi anni ha avuto un notevole sviluppo, grazie ai progressi delle tecniche di elaborazione del linguaggio naturale (NLP in inglese), della disponibilità di applicazioni complesse attraverso gli Application service provider (ASP) e dell'interesse verso le tecniche automatiche di gestione della lingua mostrato sia dagli accademici, sia dai produttori di software, sia dai gestori dei motori di ricerca.

Sviluppi recenti[modifica | modifica wikitesto]

Una delle evoluzioni più recenti del data mining è la data visualisation. Settore specialistico dell'infografica, la data visualisation si occupa non solamente di rendere graficamente intelligibile un testo ma entra in relazione più diretta con la strutturazione dei database e l'esportazione di grafici dai dati.

Un'altra nuova frontiera è il «social data mining»: l'analisi di informazioni generate dalle reti sociali online.

Software di data mining[modifica | modifica wikitesto]

  • SPSS: SPSS Clementine
  • SAS: SAS Enterprise Miner e SAS Text Miner
  • R
  • Oracle Data Miner
  • Microsoft SQL Server: strumenti di data mining del DBMS prodotto da Microsoft
  • Weka, datamining in Java
  • Rialto: soluzione italiana completa di Data Mining e Text Mining prodotta da Exeura
  • Knime: Konstanz Information Miner (Software Opensource con plugin per Weka)
  • Orange Canvas: Software Opensource per data mining sviluppato in python
  • ADaMSoft: Software gratuito e Open Source (anche in Italiano) per data mining sviluppato in Java
  • Rapid Miner: Software Opensource per data mining
  • Epi Info 7: Software gratuito e Open Source
  • Holsys One: Holsys One: analisi causa effetto, previsione, diagnostica, completamento di serie

Note[modifica | modifica wikitesto]

  1. ^ Il termine inglese mining si può tradurre con "scavo", "estrazione", come per le miniere.

Bibliografia[modifica | modifica wikitesto]

  • P. Cabena; P. Hadjinian; R. Stadler; J. Verhees; A. Zanasi. Discovering data mining from concept to implementation, Prentice Hall PTR 1997
  • Dulli Susi; Furini Sara; Peron Edmondo. Data Mining, Springer Verlag, 2009

Voci correlate[modifica | modifica wikitesto]

Altri progetti[modifica | modifica wikitesto]

Collegamenti esterni[modifica | modifica wikitesto]