Minimi quadrati generalizzati

Da Wikipedia, l'enciclopedia libera.

Il metodo dei minimi quadrati generalizzati di Aitken consente la stima di un modello lineare, sotto ipotesi più generali di quelle del modello classico di regressione lineare multivariata.

Perché ipotesi più generali?[modifica | modifica sorgente]

Sulla base del criterio del rasoio di Occam, formulare ipotesi più generali pone un costo in termini di trattabilità di un modello, perciò generalmente si preferisce non sacrificare la semplicità e l'eleganza del modello classico di regressione lineare, ponendo ipotesi più generali. In altri casi come nei seguenti esempi esistono fondati motivi che rendono necessario formulare ipotesi meno restrittive.

  • Sull'assenza/presenza di correlazione nei disturbi: nell'ambito dell'analisi di serie storiche di dati, è lecito attendersi che sussista una qualche relazione tra osservazioni effettuate in istanti successivi (ad esempio: l'evoluzione della natalità in una data area geografica, l'andamento nel tempo di un segnale elettrico, o dei rendimenti di un titolo azionario);
  • Sulla omoschedasticità/eteroschedasticità dei disturbi: laddove si campionino unità statistiche intrinsecamete eterogenee, è lecito attendersi che la varianza del disturbo possa variare da osservazione a osservazione (ad esempio: l'analisi dei consumi di un campione di famiglie o della produzione di un campione di imprese, lo studio dell'incidenza di una malattia geneticamente trasmissibile in un campione di regioni).

Limiti del modello classico di regressione lineare[modifica | modifica sorgente]

Il modello classico di regressione lineare impone ipotesi relativamente restrittive sulla struttura della matrice varianze-covarianze dei disturbi \ \varepsilon del modello:

\ y=X\beta+\varepsilon

In particolare, si assume che i disturbi abbiano valore atteso nullo: \ \textrm{E}[\varepsilon]=0, nonché si ipotizzano:

queste ipotesi possono essere scritte sinteticamente, in notazione matriciale, come:

\ \textrm{E}[\varepsilon\varepsilon']=\sigma^{2}I

dove \ I denota una matrice identità di opportuno ordine. Si consideri una struttura più generale, del tipo:

\ \textrm{E}[\varepsilon\varepsilon']=\sigma^{2}\Omega

dove \ \Omega è una matrice definita positiva qualsiasi (per cui, nello specifico, si ammette la possibilità di correlazione dei disturbi ed eteroschedasticità), e si consideri lo stimatore dei minimi quadrati ordinari (OLS, dall'inglese Ordinary Least Squares) derivato nel contesto del modello classico di regressione lineare:

\ \hat{\beta}_{OLS}=(X'X)^{-1}X'y

Si vuole valutare le proprietà statistiche di \ \hat{\beta}_{OLS} sotto le ipotesi più generali testé esposte. Lo stimatore gode ancora della proprietà di correttezza:

\ \textrm{E}\left[\hat{\beta}_{OLS}\right]=\textrm{E}\left[\beta+(X'X)^{-1}X'\varepsilon\right]=\beta

Quanto alla matrice varianze-covarianze di \ \hat{\beta}_{OLS}, si ha:

\ \Sigma=\textrm{E}\left[\left(\hat{\beta}_{OLS}-\beta\right)\left(\hat{\beta}_{OLS}-\beta\right)'\right]=(X'X)^{-1}X'\textrm{E}(\varepsilon\varepsilon')X(X'X)^{-1}=
\ =\sigma^{2}(X'X)^{-1}X'\Omega X(X'X)^{-1}

Si ricorda che la matrice varianze-covarianze di \ \hat{\beta}_{OLS}, sotto le ipotesi del modello classico di regressione lineare, è data da \ \Sigma_{OLS}=\sigma^{2}(X'X)^{-1}. In generale, non è possibile stabilire se \ \Sigma sia maggiore o minore di \ \Sigma_{OLS} (ad esempio, nel senso del teorema di Gauss-Markov), in quanto ciò dipende da \ \Omega, che in generale non è nota. È tuttavia lecito aspettarsi che lo stimatore \ \hat{\beta}_{OLS} non sia, in questo caso, ottimale nel senso stabilito dal teorema di Gauss-Markov sotto le ipotesi del modello classico.

Stimatore dei minimi quadrati generalizzati[modifica | modifica sorgente]

Sotto le ipotesi generali sopra enunciate, è possibile dimostrare che lo stimatore ottimale è lo stimatore dei minimi quadrati generalizzati (o GLS, dall'inglese Generalised Least Squares) di Aitken:

\ \hat{\beta}_{GLS}=(X'\Omega^{-1}X)^{-1}X'\Omega^{-1}y

Euristicamente, si può affermare che lo stimatore assegna un peso maggiore alle osservazioni caratterizzate da una minore varianza (questo è dovuto ai termini \ \Omega^{-1} nell'espressione sopra), e che sono dunque da considerarsi più "affidabili".

Derivazione dello stimatore GLS[modifica | modifica sorgente]

Lo stimatore \ \hat{\beta}_{GLS} può essere interpretato come uno stimatore OLS basato su variabili trasformate. Si ipotizzi infatti che esista una matrice \ L, non singolare tale che:

\ \Omega^{-1} = L'L

così che \ \Omega = L^{-1}(L')^{-1}. Moltiplicando ambo i membri di \ y = X\beta + \varepsilon per \ L si ha il modello nelle variabili trasformate:

\ \tilde{y}=Ly=\tilde{X}\beta+\tilde{\varepsilon}=L(X\beta+\varepsilon)

Si osserva immediatamente che:

\ \textrm{E}[\tilde{\varepsilon}]=0
\ \textrm{E}[\tilde{\varepsilon}\tilde{\varepsilon}']=\sigma^{2}L\Omega L'=\sigma^{2}LL^{-1}(L')^{-1}L'=\sigma^{2}I

Il modello nelle variabili trasformate verifica dunque le ipotesi del modello lineare classico; si fa dunque ricorso allo stimatore OLS:

\ \hat{\beta}=(\tilde{X}'\tilde{X})^{-1}\tilde{X}'\tilde{y}=(X'L'LX)^{-1}X'L'Ly=(X'\Omega^{-1}X)^{-1}X'\Omega^{-1}y

Quest'ultima espressione altro non è che lo stimatore GLS, o dei minimi quadrati generalizzati.

Proprietà dello stimatore GLS[modifica | modifica sorgente]

Lo stimatore \ \hat{\beta}_{GLS} gode, così come \ \hat{\beta}_{OLS}, della proprietà di correttezza:

\ \textrm{E}\left[\hat{\beta}_{GLS}\right]=\textrm{E}\left[\beta+(X'\Omega^{-1}X)^{-1}X'\Omega^{-1}\varepsilon\right]=\beta

La sua matrice varianze-covarianze è inoltre data da:

\ \textrm{E}\left[\left(\hat{\beta}_{GLS}-\beta\right)\left(\hat{\beta}_{GLS}-\beta\right)'\right]=(X'\Omega^{-1}X)^{-1}X'\Omega^{-1}\textrm{E}(\varepsilon\varepsilon')\Omega^{-1}X(X'\Omega^{-1}X)^{-1}=
\ =\sigma^{2}(X'\Omega^{-1}X)^{-1}

Il teorema di Aitken stabilisce che lo stimatore \ \hat{\beta}_{GLS} è, nella classe degli stimatori lineari per il modello di regressione generalizzato sulla base delle ipotesi sopra, quello caratterizzato dalla minima varianza in questo senso lo stimatore GLS è uno stimatore efficiente.

Utilizzo dello stimatore GLS[modifica | modifica sorgente]

Nelle applicazioni in generale la matrice varianze-covarianze \ \Omega non è nota, per cui lo stimatore GLS non è direttamente utilizzabile, almeno nella forma in cui è presentato sopra.

La conoscenza del particolare fenomeno oggetto di studio può tuttavia suggerire al ricercatore indizi circa la struttura di \ \Omega (il ricercatore potrà, ad esempio, aspettarsi soltanto eteroschedasticità o correlazione nei disturbi, o entrambe); questo consentirà di individuare un opportuno stimatore della matrice varianze-covarianze, \ \hat{\Omega}. In genere si ricerca uno stimatore che goda della proprietà di consistenza, ossia tale per cui:

\ \textrm{plim}_{N\rightarrow\infty}\ \hat{\Omega}=\Omega

dove \ N indica il numero di osservazioni e \ \textrm{plim} denota la convergenza in probabilità, e

\ \lim_{N\rightarrow\infty}\textrm{var}\left(\hat{\Omega}\right)=0

In tal caso, lo stimatore dei minimi quadrati generalizzati è detto, con voce inglese, stimatore dei Feasible Generalised Least Squares, ed è dato da:

\ \hat{\beta}_{FGLS}=(X'\hat{\Omega}^{-1}X)^{-1}X'\hat{\Omega}^{-1}y

Le proprietà di \ \hat{\beta}_{FGLS} sono analoghe a quelle di \ \hat{\beta}_{OLS} e \ \hat{\beta}_{GLS}, tuttavia hanno natura asintotica.

Bibliografia[modifica | modifica sorgente]

  • Aitken, A.C. (1935), On Least Squares and Linear Combinations of Observations, Proceedings of the Royal Statistical Society 55, 42-48; il contributo originale di Aitken;
  • Davidson, J. (2000), Econometric Theory, Blackwell, ISBN 0-631-21584-0, un testo specializzato in econometria, di livello master/dottorato; esamina rigorosamente gli aspetti algebrici del metodo di Aitken (in inglese);
  • Greene, W.H. (2000), Econometric Analysis, Prentice-Hall, ISBN 0-13-013297-7, ancora un testo di econometria, propone il metodo dei minimi quadrati generalizzati nel contesto di un'analisi del modello di regressione lineare di più ampio respiro (in inglese).

Voci correlate[modifica | modifica sorgente]

economia Portale Economia: accedi alle voci di Wikipedia che trattano di economia