Génération de l'aperçu...
Enjeux de l’évaluation en RI o Problème difficile, pas de mesure absolue o Critères de qualité d’un système de RI n Facilité d’utilisation du système n Coût accès/stockage n Présentation des résultats n Efficacité de la recherche n Possibilités de formuler des requêtes riches o Nombreuses mesures donnent des renseignements partiels sur le comportement du système Recherche d'information textuelle 99
Vers un protocole d’évaluation standardisé o Objectif : évaluer la capacité d’un système à retourner des documents pertinents o De quoi a-t-on besoin ? n Paradigme de Cranfield : évaluation basées sur des collections de test composées de : o Corpus de documents o Requêtes o Jugements de pertinence Recherche d'information textuelle 100
Vers un protocole d’évaluation standardisé o De nombreuses collections de documents ont été développés par la communauté scientifique n Cranfield fin des années 50 n TREC (NIST) n CLEF n NTCIR (Japon et autres langues asiatiques, cross language evaluation) …. Recherche d'information textuelle 101
Evaluation Cranfield o Corpus de documents (TREC) n Question Answering Track n Precision Medicine Track n Ad hoc Test Collections n Real-time Summarization Track n Web Test Collections n Relevance Feedback Track n Blog Track n Robust Track n Chemical IR Track n Session Track n Clinical Decision Support Track n SPAM Track n Common Core Track n Spoken Document Retrieval n Confusion Track Track n Contextual Suggestion Track n Tasks Track n Interactive Track n Temporal Summarization Track n Knowledge Base Acceleration n Terabyte Track Track n Web Track n Legal Track n Medical Track n Microblog Track n Million Query Track n Novelty Track n Query Track Recherche d'information textuelle 102
Evaluation Cranfield o Ensemble de requêtes n Souvent les requêtes (mots clés) sont associés à une description plus complète (phrases) du besoin d’information < top> <num> N um ber: 501 <title> deduction and induction in English? <desc> D escription: W hat is the difference betw een deduction and induction in the process of reasoning? <narr> N arrative: A relevant docum ent w ill contrast inductive and deductive reasoning. A docum ent that discusses only one or the other is not relevant. < /top> Recherche d'information textuelle 103
Evaluation Cranfield o Ensemble de jugements de pertinence pour chaque paire (document, requête) n Ces jugements peuvent être binaires ou être donnés sous forme d’un score, typiquement {0, 1, 2, 3, 4, 5} n Ils sont formulés en fonction du besoin d’information Recherche d'information textuelle 104
Comment mesurer l’efficacité d’un système ? o Différents types de mesure n Rappel/Précision n Orientées rang n Prise en compte des degrés de pertinence Recherche d'information textuelle 106
Mesures orientées rappel/précision o Les deux mesures les plus courantes sont : n Rappel : est-ce que le système retourne TOUS les documents pertinents ? n Précision : est-ce que le système retourne QUE les documents pertinents ? Recherche d'information textuelle 107
Mesures orientées rappel/précision Contingency table Relevant Non Relevant Retrieved True positives (tp) False positives (fp) Not Retrieved False negative (fn) True negatives tn) tp tp Precision = Rappel = tp+ fp tp+ fn o Remarque : accuracy n’est pas une mesure pour la RI tp+tn Accuracy = tp+ fp+ fn+tn Recherche d'information textuelle 108
Mesures orientées rappel/précision o Exemple Rang Doc Pert § Nb de documents pertinents : 10 1 324 X 2 654 X § Rappel ? 3 752 § Précision ? 4 984 5 582 X 6 512 X 7 385 8 853 X 9 257 10 439 Recherche d'information textuelle 109
Mesures orientées rappel/précision o Les deux mesures les plus courantes sont la précision et le rappel o Les deux quantités sont en général antagonistes n Sélection de toute la collection à R=1, P~0 n Sélection d’un seul document pertinent à P=1, R~0 o Suivant les utilisations, on peut vouloir favoriser precision (e.g. web) ou rappel (documentalistes) Recherche d'information textuelle 110
Mesures orientées rappel/précision o Les deux mesures les plus courantes sont la précision et le rappel o Ces deux mesures peuvent être calculées pour chaque requête et moyennées sur l’ensemble des requêtes Recherche d'information textuelle 111
Mesures orientées rappel/précision « Top list » o Les moteurs de recherche renvoient en général des listes ordonnées n L’idéal est de retourner les documents en tête de liste o Métriques adaptées n Précision à k : !@# $ = & ∑' + avec + ∈ {0,1} jugement de ' )*& ,-,/ ,-,/ pertinence pour le doc. de rang 5 renvoyé par le système n Rappel à k : R@# $ = & ∑' + avec + ∈ {0,1} jugement de |7| )*& ,-,/ ,-,/ pertinence pour le doc. de rang 5 renvoyé par le système o On trace ensuite la courbe précision – rappel pour chaque requête o r : nombre de documents inspectés par l’utilisateur parmi les doc. fournis par le système, i.e. les r premiers de la liste o Valeurs typiques pour : 5, 10, 20, 25, 100, 1000 Recherche d'information textuelle o112
Mesures orientées rappel/précision o Courbe précision-rappel précision rappel Recherche d'information textuelle 113
Précision interpolée o Interpoler une précision pour chaque point de rappel : rj ∈{0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0} o La précision interpolée au point de rappel rj est égale à la valeur maximale des précisions obtenues aux points de rappel r, tel que r>=rj "#$%&'( ) = max "()′) './' q Estime le pourcentage de documents pertinents qu’un utilisateur observera si il veut atteindre un rappel au moins égal à ) Recherche d'information textuelle 114
Précision interpolée o Exemple Rang Doc Pert Prec Rappel Prec inter 1 324 X 1 1/10 1 2 654 X 1 2/10 1 3 752 4 984 5 582 X 3/5 3/10 4/6 6 512 X 4/6 4/10 4/6 7 385 8 853 X 5/8 5/10 5/8 9 257 10 439 Recherche d'information textuelle 115
Précision interpolée o Courbe P/R moyenne interpolée o Pour avoir une information plus synthétique, on calcule quelquefois la précision moyenne interpolée sur 11 points de rappel : on mesure pour chaque requête la précision interpolée aux 11 ponts de rappel et on moyenne.1 0.8 0.6 Precision0.4 0.2 Fig. From Manning et al. 0 2008 0 0.2 0.4 0.6 0.8 1 Recall Recherche d'information textuelle 116
Affichage des 19 premières pages. Téléchargez le document pour le voir en entier.
Aucun commentaire pour le moment. Soyez le premier !
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !