Mean reciprocal rank
Il Mean Reciprocal Rank (MRR), rank reciproco medio, è un indice statistico per valutare un processo che produce una lista di possibili risposte ad una interrogazione (query), ordinate per probabilità di correttezza.
Definizione[modifica | modifica wikitesto]
Il reciproco del rank di una risposta ad una query è l'inverso della posizione (rank) della prima risposta corretta nella lista ordinata delle risposte. Il MRR è la media dei rank reciproci dei risultati per un insieme di query Q[1]:
La formula[modifica | modifica wikitesto]
Esempio[modifica | modifica wikitesto]
Per esempio supponiamo di avere le tre seguenti query per un sistema che cerca di tradurre parole inglesi nel loro plurale. In ogni caso il sistema riporta tre possibili risultati ordinati secondo la probabilità di essere corretti:
| Query | Risultati | Risposta corretta | Rank | Reciprocal rank |
|---|---|---|---|---|
| cat | catten, cati, cats | cats | 3 | 1/3 |
| torus | torii, tori, toruses | tori | 2 | 1/2 |
| virus | viruses, virii, viri | viruses | 1 | 1 |
Ora è possibile procedere al calcolo dell'MRR: (1/3 + 1/2 + 1)/3 = 11/18, cioè
MRR = 0.61
Questa definizione di base non specifica cosa fare se:
- nessuno fra i risultati è corretto, in questo caso si usa reciprocal rank 0;
- ci sono più risposte corrette nella lista, si consideri di usare la mean average precision (MAP).
Note[modifica | modifica wikitesto]
- ^ E.M. Voorhees, TREC-8 Question Answering Track Report, Proceedings of the 8th Text Retrieval Conference, 1999, pp. 77–82.
Voci correlate[modifica | modifica wikitesto]
- ^ D. R. Radev, H. Qi, H. Wu, W. Fan, Evaluating web-based question answering systems, Proceedings of LREC, 2002.