Đang tạo bản xem trước...
Enjeux de l’évaluation en RI o Problème difficile, pas de mesure absolue o Critères de qualité d’un système de RI n Facilité d’utilisation du système n Coût accès/stockage n Présentation des résultats n Efficacité de la recherche n Possibilités de formuler des requêtes riches o Nombreuses mesures donnent des renseignements partiels sur le comportement du système Recherche d'information textuelle 99
Vers un protocole d’évaluation standardisé o Objectif : évaluer la capacité d’un système à retourner des documents pertinents o De quoi a-t-on besoin ? n Paradigme de Cranfield : évaluation basées sur des collections de test composées de : o Corpus de documents o Requêtes o Jugements de pertinence Recherche d'information textuelle 100
Vers un protocole d’évaluation standardisé o De nombreuses collections de documents ont été développés par la communauté scientifique n Cranfield fin des années 50 n TREC (NIST) n CLEF n NTCIR (Japon et autres langues asiatiques, cross language evaluation) …. Recherche d'information textuelle 101
Evaluation Cranfield o Corpus de documents (TREC) n Question Answering Track n Precision Medicine Track n Ad hoc Test Collections n Real-time Summarization Track n Web Test Collections n Relevance Feedback Track n Blog Track n Robust Track n Chemical IR Track n Session Track n Clinical Decision Support Track n SPAM Track n Common Core Track n Spoken Document Retrieval n Confusion Track Track n Contextual Suggestion Track n Tasks Track n Interactive Track n Temporal Summarization Track n Knowledge Base Acceleration n Terabyte Track Track n Web Track n Legal Track n Medical Track n Microblog Track n Million Query Track n Novelty Track n Query Track Recherche d'information textuelle 102
Evaluation Cranfield o Ensemble de requêtes n Souvent les requêtes (mots clés) sont associés à une description plus complète (phrases) du besoin d’information < top> <num> N um ber: 501 <title> deduction and induction in English? <desc> D escription: W hat is the difference betw een deduction and induction in the process of reasoning? <narr> N arrative: A relevant docum ent w ill contrast inductive and deductive reasoning. A docum ent that discusses only one or the other is not relevant. < /top> Recherche d'information textuelle 103
Evaluation Cranfield o Ensemble de jugements de pertinence pour chaque paire (document, requête) n Ces jugements peuvent être binaires ou être donnés sous forme d’un score, typiquement {0, 1, 2, 3, 4, 5} n Ils sont formulés en fonction du besoin d’information Recherche d'information textuelle 104
Comment mesurer l’efficacité d’un système ? o Différents types de mesure n Rappel/Précision n Orientées rang n Prise en compte des degrés de pertinence Recherche d'information textuelle 106
Mesures orientées rappel/précision o Les deux mesures les plus courantes sont : n Rappel : est-ce que le système retourne TOUS les documents pertinents ? n Précision : est-ce que le système retourne QUE les documents pertinents ? Recherche d'information textuelle 107
Mesures orientées rappel/précision Contingency table Relevant Non Relevant Retrieved True positives (tp) False positives (fp) Not Retrieved False negative (fn) True negatives tn) tp tp Precision = Rappel = tp+ fp tp+ fn o Remarque : accuracy n’est pas une mesure pour la RI tp+tn Accuracy = tp+ fp+ fn+tn Recherche d'information textuelle 108
Mesures orientées rappel/précision o Exemple Rang Doc Pert § Nb de documents pertinents : 10 1 324 X 2 654 X § Rappel ? 3 752 § Précision ? 4 984 5 582 X 6 512 X 7 385 8 853 X 9 257 10 439 Recherche d'information textuelle 109
Mesures orientées rappel/précision o Les deux mesures les plus courantes sont la précision et le rappel o Les deux quantités sont en général antagonistes n Sélection de toute la collection à R=1, P~0 n Sélection d’un seul document pertinent à P=1, R~0 o Suivant les utilisations, on peut vouloir favoriser precision (e.g. web) ou rappel (documentalistes) Recherche d'information textuelle 110
Mesures orientées rappel/précision o Les deux mesures les plus courantes sont la précision et le rappel o Ces deux mesures peuvent être calculées pour chaque requête et moyennées sur l’ensemble des requêtes Recherche d'information textuelle 111
Mesures orientées rappel/précision « Top list » o Les moteurs de recherche renvoient en général des listes ordonnées n L’idéal est de retourner les documents en tête de liste o Métriques adaptées n Précision à k : !@# $ = & ∑' + avec + ∈ {0,1} jugement de ' )*& ,-,/ ,-,/ pertinence pour le doc. de rang 5 renvoyé par le système n Rappel à k : R@# $ = & ∑' + avec + ∈ {0,1} jugement de |7| )*& ,-,/ ,-,/ pertinence pour le doc. de rang 5 renvoyé par le système o On trace ensuite la courbe précision – rappel pour chaque requête o r : nombre de documents inspectés par l’utilisateur parmi les doc. fournis par le système, i.e. les r premiers de la liste o Valeurs typiques pour : 5, 10, 20, 25, 100, 1000 Recherche d'information textuelle o112
Mesures orientées rappel/précision o Courbe précision-rappel précision rappel Recherche d'information textuelle 113
Précision interpolée o Interpoler une précision pour chaque point de rappel : rj ∈{0.0, 0.1, 0.2, 0.3, 0.4, 0.5, 0.6, 0.7, 0.8, 0.9, 1.0} o La précision interpolée au point de rappel rj est égale à la valeur maximale des précisions obtenues aux points de rappel r, tel que r>=rj "#$%&'( ) = max "()′) './' q Estime le pourcentage de documents pertinents qu’un utilisateur observera si il veut atteindre un rappel au moins égal à ) Recherche d'information textuelle 114
Précision interpolée o Exemple Rang Doc Pert Prec Rappel Prec inter 1 324 X 1 1/10 1 2 654 X 1 2/10 1 3 752 4 984 5 582 X 3/5 3/10 4/6 6 512 X 4/6 4/10 4/6 7 385 8 853 X 5/8 5/10 5/8 9 257 10 439 Recherche d'information textuelle 115
Précision interpolée o Courbe P/R moyenne interpolée o Pour avoir une information plus synthétique, on calcule quelquefois la précision moyenne interpolée sur 11 points de rappel : on mesure pour chaque requête la précision interpolée aux 11 ponts de rappel et on moyenne.1 0.8 0.6 Precision0.4 0.2 Fig. From Manning et al. 0 2008 0 0.2 0.4 0.6 0.8 1 Recall Recherche d'information textuelle 116
Hiển thị 19 trang đầu. Tải tài liệu để xem đầy đủ.
Chưa có bình luận nào. Hãy là người đầu tiên!
Bình luận (0)
Chưa có bình luận nào. Hãy là người đầu tiên!