Evaluation en recherche d’information Enjeux de l’évaluation en RI o Problème difficile, pas de mesure absolue o Critères de qualité d’un système de RI Facilité d’utilisation du système Coût accès/stockage Présentation des résultats Efficacité de la recherche Possibilités de formuler des requêtes riches o Nombreuses mesures donnent des renseignements partiels sur le comportement du système Recherche d'information textuelle Vers un protocole d’évaluation standardisé o Objectif : évaluer la capacité d’un système à retourner des documents pertinents o De quoi a-t-on besoin ? Paradigme de Cranfield : évaluation basées sur des collections de test composées de : o Corpus de documents o Requêtes o Jugements de pertinence Recherche d'information textuelle Vers un protocole d’évaluation standardisé o De nombreuses collections de documents ont été développés par la communauté scientifique n Cranfield fin des années 50 TREC (NIST) CLEF NTCIR (Japon et autres langues asiatiques, cross language evaluation) …. Recherche d'information textuelle Evaluation Cranfield Corpus de documents (TREC) Ad hoc Test Collections Web Test Collections Blog Track Chemical IR Track Clinical Decision Support Track Common Core Track Confusion Track Contextual Suggestion Track Interactive Track Knowledge Base Acceleration Track Legal Track Medical Track Microblog Track Million Query Track Novelty Track Query Track Question Answering Track Precision Medicine Track Real-time Summarization Track Relevance Feedback Track Robust Track Session Track SPAM Track Spoken Document Retrieval Track Tasks Track Temporal Summarization Track Terabyte Track Web Track Recherche d'information textuelle Evaluation Cranfield o Ensemble de requêtes Souvent les requêtes (mots clés) sont associés à une description plus complète (phrases) du besoin d’information