Utente:Rbattistin/Sandbox2
Regolarizzazione (matematica)[modifica | modifica wikitesto]
In matematica e statistica, particolarmente nei campi dell'apprendimento automatico e dei problemi inversi, la regolarizzazione consiste nell'introduzione di ulteriori informazioni o condizioni di regolarità allo scopo di risolvere un problema mal condizionato o per prevenire l'overfitting. Le tecniche più comuni per la soluzione di tali problemi prevedono una penalizzazione per le soluzioni poco regolari, ad esempio considerando solo funzioni lisce o imponendo una limitazione sulla loro norma in un opportuno spazio vettoriale.
Una giustificazione teorica per la regolarizzazione è quella per cui essa costituisce un tentativo di imporre il rasoio di Occam alla soluzione. Da un punto di vista bayesiano, molte tecniche di regolarizzazione corrispondono ad imporre certe distribuzioni di probabilità a priori dei parametri del modello.
Il medesimo approccio viene seguito in molti campi della scienza. Per esempio, il metodo dei minimi quadrati può essere visto come un forma molto semplice di regolarizzazione. Una semplice forma di regolarizzazione applicata alle equazioni integrali, generalmente detta regolarizzazione di Tikhonov dal nome di Andrey Nikolayevich Tikhonov, è costituita essenzialmente da un bilanciamento tra la regressione dei dati e una norma dipendente dalla soluzione. Più recentemente, metodi di regolarizzazione non lineare inclusa la regolarizzazione a variazione totale (total variation regularization) sono divenuti popolari.
Regolarizzazione in statistica[modifica | modifica wikitesto]
In statistica e in apprendimento automatico, la regolarizzazione è utilizzata per prevenire l'overfitting. Tipici esempi di regolarizzazione nell'apprendimento automatico statistico includono la regolarizzazione di Tichonov, il cosiddetto metodo dei minimi quadrati LASSO (Least Absolute Shrinkage and Selection Operator), e la norma L2 nelle macchine a vettori di supporto.
I metodi di regolarizzazione sono impiegati anche per la selezione di modelli, dove il loro funzionamento è basato sull'implicita o esplicita penalizzazione del numero di parametri del modello. Per esempio, i metodi di apprendimento bayesiano fanno uso di una probabilità a priori che (solitamente) attribuisce un valore di probabilità inferiore ai modelli più complessi. Tecniche ben note di selezione includono il criterio informativo di Akaike (Akaike information criterion, AIC), la lunghezza di descrizione minimale (minimum description length, MDL), e il criterio informativo bayesiano (bayesian information criterion, BIC). Metodi alternativi per controllare l'overfitting non coinvolgenti la regolarizzazione includono la Cross-validazione.
Esempi di metodi differenti di regolarizzazione applicati al modello lineare sono:
| Modello | Misura del fit | Misura dell'entropia |
|---|---|---|
| AIC/BIC | ||
| Regressione di Ridge | ||
| Metodo LASSO[1] | ||
| ''Basis pursuit denoising'' | ||
| RLAD[2] | ||
| Selettore di Dantzig[3] |
Note[modifica | modifica wikitesto]
- ^ Robert Tibshirani, Regression Shrinkage and Selection via the Lasso (ps), in Journal of the Royal Statistical Society, Series B (Methodology), vol. 58, n. 1, 1996, pp. 267–288. URL consultato il 19 marzo 2009.
- ^ Li Wang, Michael D. Gordon & Ji Zhu, Regularized Least Absolute Deviations Regression and an Efficient Algorithm for Parameter Tuning, December 2006, pp. 690–700.
- ^ Emmanuel Candes, Tao, Terence, The Dantzig selector: Statistical estimation when p is much larger than n, in Annals of Statistics, vol. 35, n. 6, 2007, pp. 2313–2351, DOI:10.1214/009053606000001523.
Bibliografia[modifica | modifica wikitesto]
- A. Neumaier, Solving ill-conditioned and singular linear systems: A tutorial on regularization, SIAM Review 40 (1998), 636-666. Disponibile in pdf al sito web dell'autore.
[[Categoria:Analisi numerica]] [[de:Regularisierung]] [[ru:Регуляризация (математика)]]