Metodo dei minimi quadrati

Da Wikipedia, l'enciclopedia libera.
(Reindirizzamento da Minimi Quadrati)

Il metodo dei minimi quadrati (in inglese OLS: Ordinary Least Squares) è una tecnica di ottimizzazione (o regressione) che permette di trovare una funzione, rappresentata da una curva ottima (o curva di regressione), che si avvicini il più possibile ad un insieme di dati (tipicamente punti del piano). In particolare la funzione trovata deve essere quella che minimizza la somma dei quadrati delle distanze tra i dati osservati e quelli della curva che rappresenta la funzione stessa. In questo caso possiamo distinguere Parabola dei minimi quadrati e Retta dei minimi quadrati. Questo metodo converge solo nel suo caso limite a un'interpolazione, per cui di fatto si richiede che la curva ottima contenga tutti i punti dati.

L'utilizzo più frequente è la deduzione dell'andamento medio in base ai dati sperimentali per l'estrapolazione fuori dal campo di misurazione. Anche altri problemi di ottimizzazione, come la minimizzazione dell'energia o la massimizzazione dell'entropia, possono essere riformulati in una ricerca dei minimi quadrati.

Stimatori OLS[modifica | modifica wikitesto]

Gli stimatori OLS sono:[1]

Assunzioni OLS[modifica | modifica wikitesto]

Regressione lineare semplice[modifica | modifica wikitesto]

Le assunzioni OLS sono:[1]

Y_{i} = \beta_{0} + \beta_{1}X_{i} + u_{i}, con i = 1, ..., n

Regressione lineare multivariata[modifica | modifica wikitesto]

Le assunzioni OLS sono:[1]

Y_{i}= \beta_{0} + \beta_{1}X_{1i} + \beta_{2}X_{2i} + \cdots+ \beta_{k}X_{ki} + u_{i}, con i = 1, ..., n

Da notare che l'ipotesi di media condizionale nulla dell'errore implica che:

E(u_i) = E(E (u_i|\mathbf{X})) = E(0) = 0,
  • l'errore non sia correlato con i regressori, la covarianza tra errore e regressori sia cioè nulla:
Cov(u_i,\mathbf{X}) = E((u_i - E(u_i))(\mathbf{X} - E(\mathbf{X}))) = E(u_i \mathbf{X}) = E_{\mathbf{X}} (E(u_i \mathbf{X})|\mathbf{X}) = E_{\mathbf{X}} (E(u_i| \mathbf{X}) \mathbf{X}) = E_{\mathbf{X}} (0 \cdot \mathbf{X}) = 0.

Formulazione del problema[modifica | modifica wikitesto]

Siano (x_i,y_i) con i=1,2,...,n i punti che rappresentano i dati in ingresso. Si vuole trovare una funzione f tale che approssimi la successione di punti data. Questa può essere determinata minimizzando la distanza (euclidea) tra le due successioni y_i e f(x_i), ovvero la quantità S :

 S = \sum_{i=1}^n (y_i - f(x_i))^2,

da cui il nome "minimi quadrati".

Nei casi pratici in genere f(x) è parametrica: in questo modo il problema si riduce a determinare i parametri che minimizzano la distanza dei punti dalla curva. Naturalmente per ottenere un'unica curva ottimizzata e non un fascio, è necessario un numero di punti sperimentali maggiore del numero di parametri da cui dipende la curva (il problema in genere si dice sovradeterminato). In genere dai dati sperimentali ottenuti ci si aspetta una distribuzione regolata da relazioni determinate per via analitica; risulta utile quindi parametrizzare la curva teorica e determinare i parametri in modo da minimizzare S.

Esempi[modifica | modifica wikitesto]

  • y = b x + a

La funzione interpolante desiderata è una retta, i parametri sono due a e b: per essere determinati univocamente servono almeno due punti da interpolare.

In tal caso è possibile scrivere in modo esplicito i valori dei parametri a e b.

Si consideri di avere N coppie (x_i,y_i). Allora i coefficienti sono:

b=\frac{ N \sum (x_i y_i) - \sum x_i \sum y_i}{N\sum (x_i^2)-(\sum x_i)^2}
a=\frac{\sum y_i \sum (x_i^2)- \sum (x_i) \sum (x_i y_i)}{N\sum (x_i^2)-(\sum x_i)^2}
  • f(x) = x^a

La funzione interpolante desiderata è una potenza e possiede un solo parametro; diversamente dall'esempio precedente la funzione non è lineare rispetto ai parametri.

Soluzione del caso lineare[modifica | modifica wikitesto]

Exquisite-kfind.png Per approfondire, vedi regressione lineare.
Usando OLS lineare per centrare una linea attraverso un vasto numero di osservazioni solitamente dà risultati migliori che prendere appena due punti attraverso i quali è disegnata la linea

Sia f(x) una funzione lineare rispetto ai parametri

f(x) = p_1 f_1(x) + p_2 f_2(x) + \dots + p_k f_k(x)

dove pi sono i k parametri, k\ll n e n è il numero di punti noti.

Si può riorganizzare la situazione attraverso il sistema lineare sovradimensionato

Ap \approx y

dove:


A = \begin{bmatrix}
f_1(x_1) & \dots & f_k(x_1)\\
\vdots & & \vdots\\
f_1(x_n) & \dots & f_k(x_n)
\end{bmatrix},

p = \begin{bmatrix}
p_1\\
\vdots\\
p_k
\end{bmatrix},

y = \begin{bmatrix}
y_1\\
\vdots\\
y_n
\end{bmatrix}.


Da cui:   p_1 f_1(x_i) + p_2 f_2(x_i) + \dots + p_k f_k(x_i) \approx  y_i

Il problema di minimizzare S si riconduce dunque a minimizzare la norma del residuo


\|r\|=\|Ap-y\|, 

\|r\|^2=\|Ap-y\|^2 = ([Ap]_1 - y_1)^2 + \dots + ([Ap]_n - y_n)^2 = \sum_{i=1}^n (f(x_i) - y_i)^2 = S

dove con [Ap]_i si intende l'i-esima componente del vettore prodotto fra A e p.

Possiamo minimizzare \|r\| derivando \|r\|^2 rispetto a ciascun pm e ponendo le derivate pari a 0:

\frac{d\|r\|^2}{dp_m}=\sum_{i=1}^n 2 (\sum_{j=1}^k a_{ij}p_j - y_i) a_{im} = 0

queste equazioni sono equivalenti al sistema:

(Ap-y)^T A = 0

Quindi il vettore p che minimizza S è la soluzione dell'equazione:

A^TAp=A^Ty

Quest'ultima equazione è detta equazione normale. Se il rango di A è completo allora A^TA è invertibile e dunque:

p=(A^TA)^{-1}A^Ty

La matrice (A^TA)^{-1}A^T è detta pseudo-inversa.

Caso non lineare[modifica | modifica wikitesto]

Exquisite-kfind.png Per approfondire, vedi regressione nonlineare.

In molti casi la funzione y=f(x;\vec a) non è lineare, in questi casi non si può indicare un modo certo per ottenere i parametri. Nel caso in cui la dimensione dello spazio dei parametri sia maggiore di 1, caso tipico, il problema diventa fortemente non lineare ed è conveniente ricorrere all'uso di programmi di analisi numerica specifici che minimizzi la variabile \chi^2.

Una delle librerie più famose per questo compito è MINUIT[2], inizialmente sviluppato al CERN in Fortran ed ora integrato nel più recente framework di analisi dati ROOT[3]. Si segnalano per questo compito anche altre librerie come le Gnu Scientific Library[4].

Minimi quadrati a due stadi - 2SLS o TSLS[modifica | modifica wikitesto]

Questo metodo si utilizza quando quello dei minimi quadrati ordinari fallisce, perché la stima ottenuta è correlata all'errore. In questo caso si opera una regressione della variabile che si vuole stimare su una variabile strumentale che sia correlata alla variabile dipendente stessa, ma non al termine di errore. Ottenuta questa stima, la si utilizza per girare una nuova regressione che non dovrebbe dare problemi. Ovviamente il problema più grosso è trovare una variabile strumentale con le caratteristiche adeguate.

È tipicamente utilizzato con le variabili strumentali.

Assunzioni TSLS[modifica | modifica wikitesto]

Le assunzioni OLS sono:[1]

Note[modifica | modifica wikitesto]

  1. ^ a b c d James Stock, Mark Watson, Introduzione all'econometria, Milano, Pearson Education, 2005, p. 100, ISBN 978-88-7192-267-6.
  2. ^ MINUIT
  3. ^ ROOT
  4. ^ Gnu Scientific Library

Voci correlate[modifica | modifica wikitesto]

Collegamenti esterni[modifica | modifica wikitesto]

matematica Portale Matematica: accedi alle voci di Wikipedia che trattano di matematica