Quoziente di Rayleigh

In matematica, in particolare nell'ambito dell'algebra lineare e dell'analisi funzionale, per una data matrice hermitiana $A$ e un vettore non nullo $x$, il quoziente di Rayleigh è il numero reale:

$R(A,x):={x^{\dagger }Ax \over x^{\dagger }x}$

dove $x^{\dagger }$ indica il vettore trasposto coniugato di $x$. Anche se definito tramite quantità complesse, il quoziente di Rayleigh è sempre reale, essendo $x^{\dagger }Ax$ una forma hermitiana ed essendo $x^{\dagger }x=\|x\|^{2}$, dove $\|\cdot \|$ indica la norma euclidea. Come verifica, è sufficiente porre $\alpha :=x^{\dagger }Ax$ e osservare che, essendo $A^{\dagger }=A$, si ha:

$\alpha ^{\dagger }=x^{\dagger }A^{\dagger }x=x^{\dagger }Ax=\alpha$

ma ciò implica che $\alpha \in \mathbb {R}$.

Si può dimostrare che il quoziente di Rayleigh assume il valore minimo $\lambda _{\min }$, che è il più piccolo autovalore di $A$, quando $x$ è il corrispondente autovettore $v_{\min }$. Analogamente, si ha $R(A,x)\leq \lambda _{\max }$ e $R(A,v_{\max })=\lambda _{\max }$.

L'immagine del quoziente di Rayleigh è lo spettro di $A$, e il numero $\lambda _{\max }$ è il raggio spettrale.

Matrice delle covarianze

Un caso di particolare importanza si verifica quando la matrice $A$ è la matrice delle covarianze. Un tale matrice può essere rappresentata dal prodotto $D'D$, dove $D$ è una matrice di dati empirici e $D'$ la sua trasposta. Essendo simmetrica, $A$ possiede autovalori non negativi e autovettori ortogonali (più precisamente, ortonormalizzabili). Infatti:

$Av_{i}=D'Dv_{i}=\lambda _{i}v_{i}$

$\Rightarrow v_{i}'D'Dv_{i}=v_{i}'\lambda _{i}v_{i}$

$\Rightarrow \left\|Dv_{i}\right\|^{2}=\lambda _{i}\left\|v_{i}\right\|^{2}$

$\Rightarrow \lambda _{i}={\frac {\left\|Dv_{i}\right\|^{2}}{\left\|v_{i}\right\|^{2}}}\geq 0$

ovvero gli autovalori $\lambda _{i}$ non sono negativi. Inoltre:

${\begin{aligned}&\qquad \qquad Av_{i}=\lambda _{i}v_{i}\\&\Rightarrow v_{j}'Av_{i}=\lambda _{i}v_{j}'v_{i}\\&\Rightarrow \left(Av_{j}\right)'v_{i}=\lambda _{j}v_{j}'v_{i}\\&\Rightarrow \lambda _{j}v_{j}'v_{i}=\lambda _{i}v_{j}'v_{i}\\&\Rightarrow \left(\lambda _{j}-\lambda _{i}\right)v_{j}'v_{i}=0\\&\Rightarrow v_{j}'v_{i}=0\end{aligned}}$

ovvero gli autovettori $v_{j}$ sono ortogonali (ortonormalizzabili nel caso di autovettori differenti/molteplici).

Per mostrare che il quoziente di Rayleigh è massimizzato dall'autovettore relativo al più grande autovalore (raggio spettrale), si consideri la decomposizione di un generico vettore $x$ nella base degli autovettori $v_{i}$:

$x=\sum _{i=1}^{n}\alpha _{i}v_{i}$

dove:

$\alpha _{i}={\frac {x'v_{i}}{v_{i}'v_{i}}}={\frac {\langle x,v_{i}\rangle }{\left\|v_{i}\right\|^{2}}}$

è la coordinata di $x$ proiettata ortogonalmente su $v_{i}$. Quindi si ha:

$R(A,x)={\frac {x'D'Dx}{x'x}}={\frac {\left(\sum _{j=1}^{n}\alpha _{j}v_{j}\right)'\left(D'D\right)\left(\sum _{i=1}^{n}\alpha _{i}v_{i}\right)}{\left(\sum _{j=1}^{n}\alpha _{j}v_{j}\right)'\left(\sum _{i=1}^{n}\alpha _{i}v_{i}\right)}}$

che per la mutua perpendicolarità degli autovettori diventa:

$R(A,x)={\frac {\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}}{\sum _{i=1}^{n}\alpha _{i}^{2}}}=\sum _{i=1}^{n}\lambda _{i}{\frac {(x'v_{i})^{2}}{(x'x)(v_{i}'v_{i})}}$

ovvero il quoziente di Rayleigh è la somma dei coseni al quadrato degli angoli formati tra $x$ e gli autovettori $v_{i}$, pesata per i rispettivi autovalori.

Se un vettore $x$ massimizza $R(A,x)$, allora anche ogni scalare non nullo $kx$ massimizza $R$ e pertanto il problema può essere ridotto al metodo di Lagrange per massimizzare $\sum _{i=1}^{n}\alpha _{i}^{2}\lambda _{i}$, a condizione che:

$\sum _{i=1}^{n}\alpha _{i}^{2}=1$

Formulazione tramite moltiplicatori di Lagrange

Questo risultato può essere ricavato anche utilizzando il metodo dei moltiplicatori di Lagrange. Il problema consiste nel trovare i punti critici della funzione:

$R(A,x)=x^{T}Ax$

soggetta al vincolo $\|x\|^{2}=x^{T}x=1$. Si tratta cioè di trovare i punti critici di:

${\mathcal {L}}(x)=x^{T}Ax-\lambda \left(x^{T}x-1\right)$

dove $\lambda$ è un moltiplicatore di Lagrange. Il punto stazionario di ${\mathcal {L}}(x)$ si verifica quando:

${\frac {d{\mathcal {L}}(x)}{dx}}=0$

$\Rightarrow 2x^{T}A^{T}-2\lambda x^{T}=0$

$\Rightarrow Ax=\lambda x$

e:

$R(A,x)={\frac {x^{T}Ax}{x^{T}x}}=\lambda {\frac {x^{T}x}{x^{T}x}}=\lambda$

Quindi, gli autovettori $x_{1},\cdots ,x_{n}$ di $A$ sono i punti critici del quoziente di Rayleigh e i rispettivi autovalori $\lambda _{1},\cdots ,\lambda _{n}$ sono i valori stazionari di $R$.

Utilizzo nella teoria di Sturm-Liouville

La teoria di Sturm-Liouville studia l'azione dell'operatore lineare:

$L(y)={\frac {1}{w(x)}}\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y\right)$

sullo spazio prehilbertiano definito da:

$\langle {y_{1},y_{2}}\rangle =\int _{a}^{b}w(x)y_{1}(x)y_{2}(x)\,dx$

composto da funzioni che soddisfano alcune specifiche condizioni al contorno in $a$ e $b$. In tal caso il quoziente di Rayleigh è:

${\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}={\frac {\int _{a}^{b}y(x)\left(-{\frac {d}{dx}}\left[p(x){\frac {dy}{dx}}\right]+q(x)y(x)\right)dx}{\int _{a}^{b}{w(x)y(x)^{2}}dx}}$

Talvolta è presentato in una forma equivalente, ottenuta separando l'integrale al numeratore e utilizzando l'integrazione per parti:

${\begin{aligned}{\frac {\langle {y,Ly}\rangle }{\langle {y,y}\rangle }}&={\frac {\left\{\int _{a}^{b}y(x)\left(-{\frac {d}{dx}}\left[p(x)y'(x)\right]\right)dx\right\}+\left\{\int _{a}^{b}{q(x)y(x)^{2}}\,dx\right\}}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}\\&={\frac {\left\{\left.-y(x)\left[p(x)y'(x)\right]\right|_{a}^{b}\right\}+\left\{\int _{a}^{b}y'(x)\left[p(x)y'(x)\right]\,dx\right\}+\left\{\int _{a}^{b}{q(x)y(x)^{2}}\,dx\right\}}{\int _{a}^{b}w(x)y(x)^{2}\,dx}}\\&={\frac {\left\{\left.-p(x)y(x)y'(x)\right|_{a}^{b}\right\}+\left\{\int _{a}^{b}\left[p(x)y'(x)^{2}+q(x)y(x)^{2}\right]\,dx\right\}}{\int _{a}^{b}{w(x)y(x)^{2}}\,dx}}\end{aligned}}$

Generalizzazione

Per una data coppia di matrici $(A,B)$ e per un dato vettore $x\neq {\vec {0}}$, il quoziente di Rayleigh generalizzato è definito come:

$R(A,B;x):={\frac {x^{*}Ax}{x^{*}Bx}}$

Il quoziente di Rayleigh generalizzato può essere ridotto al quoziente di Rayleigh $R(D,C^{*}x)$ attraverso la trasformazione $D=C^{-1}A{C^{*}}^{-1}$, dove $CC^{*}$ è la decomposizione di Cholesky della matrice hermitiana $B$ definita positiva.

Bibliografia

• (EN) Shi Yu, Léon-Charles Tranchevent, Bart Moor, Yves Moreau, Kernel-based Data Fusion for Machine Learning: Methods and Applications in Bioinformatics and Text Mining, Ch. 2, Springer, 2011.
• (EN) Horn, R. A. and C. A. Johnson. 1985. Matrix Analysis. Cambridge University Press. pp. 176–180.
• (EN) Parlet B. N. The symmetric eigenvalue problem, SIAM, Classics in Applied Mathematics, 1998.

Voci correlate

• Autovettore e autovalore
• Matrice hermitiana
• Matrice trasposta coniugata
• Metodo dei moltiplicatori di Lagrange
• Raggio spettrale
• Spettro (matematica)
• Teoria di Sturm-Liouville

Collegamenti esterni

• cs.huji.ac.il - Lagrange Multipliers and the Rayleigh Quotient (PDF), su cs.huji.ac.il.