Page 1
Stéphane Tufféry Statisticien - Data Miner - Enseignant DATA MINING - SCORING STATISTIQUE DÉCISIONNELLE APPLICATION AU CRM 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 1 Plan du cours • Qu’est-ce que le data mining ? • A quoi sert le data mining ? • Les 2 grandes familles de techniques • Le déroulement d’un projet de data mining • Coûts et gains du data mining • Facteurs de succès - Erreurs à éviter • Informatique décisionnelle et de gestion • La préparation des données • Techniques descriptives de data mining • Techniques prédictives de data mining • Logiciels et consultants • CNIL et limites légales du data mining • Le web mining • Le text mining 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 2 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 2
Le Web Mining 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 3 Définition du Web Mining • Web Mining = Data Mining appliqué aux données de navigation sur le web • Objectifs du web mining : 1) Optimiser la navigation dans un site, afin de maximiser le confort des internautes, d’augmenter le nb de pages consultées et l’impact des liens et des bannières publicitaires 2) Déceler les centres d’intérêt, et donc les attentes, des internautes venant sur le site de l’entreprise 3) Mieux connaître les clients qui se connectent nominativement à un site, en croisant leurs données de navigation avec leurs données personnelles détenues par l’entreprise 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 4 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 3
1) Analyses globales • Statistique descriptive • « 70 % des internautes ont consulté 3 pages ou moins » • « 40 % des internautes accèdent au site sans passer par la page d’accueil » • Détection des règles d’associations • « 20 % des internautes visitant la page A visitent la page B dans la même session » • établir la matrice de transition entre les pages du site • Typologies d’internautes • selon les sites de provenance, les pages d’entrée, le nombre de pages consultées, les fichiers téléchargés, les pages de sortie, etc. 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 5 Le fichier « log » • Source de données pour les analyses globales : le fichier « log » • est un fichier texte enregistré sur le serveur du site web • dans lequel une ligne est écrite à chaque demande de l’internaute (changement de page, téléchargement d’un fichier…) 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 6 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 4
Format du fichier log • Common Log Format (CLF) • adresse IP de l’internaute, date et heure de la requête, type de requête, URL demandée, code retour du serveur, taille (en bits) de l’envoi • ex : 130.5.48.74 [22/May/2002:12:16:57 -0100] "GET /content/index.htm HTTP/1.1" 200 1243 • Extended Log Format (XLF) • contient en plus la page d’origine, le navigateur et le système d’exploitation de l’internaute • ex : 130.5.48.74 [22/May/2002:12:16:57 -0100] "GET /content/news.htm HTTP/1.1" 200 4504 "/content/index.htm" "Mozilla/4.0" 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 7 Explications sur le fichier log • Type de requêtes • get : télécharger un objet • put / delete : stocker / détruire un élément sur le serveur • head : variante de get (parfois utilisée par les robots) • … • Code retour • 200 / 2xx : requête satisfaite totalement/partiellement • 3xx : redirection • 401 / 404 : accès refusé / URL non trouvée • 4xx / 5xx : autres erreurs / erreurs du serveur • Adresse IP • NB : souvent non permanente – attribuée dynamiquement par le fournisseur d’accès au moment de la connexion 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 8 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 5
Mise en forme du fichier log • Les fichiers log sont très gros => il faut les nettoyer • Suppression des lignes correspondant à des : • pages visitées par moins de 5 adresses IP • fichiers d’images (gif, jpeg…) ou de scripts, n’apportant rien à l’analyse • accès de robots, d’agents ou de testeurs de liens • Détection des adresses IP correspondant à des valeurs aberrantes, pour les filtrer • Calcul des « impressions » (0 pour une page non visitée, sinon c’est le nb de visites pendant la session divisé par le nb de pages visitées) 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 9 Données extraites du fichier log • Identifiant (adresse IP) • Moment de la connexion • heures de travail, soirée et nuit, week-end et jours fériés • Type de navigateur • Origine géographique • Rubriques visitées • Nombre de pages visitées • Dates de première et dernière visite • Nombre de visites • Durées totale et moyenne des visites • Temps passé sur chaque page • Nombre de clics moyens 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 10 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 6
2) Analyses individuelles • Pour passer des analyses globales aux analyses 1:1 • Ex : 35 % des internautes qui consultent la fiche d’un roman de Boileau-Narcejac consultent la fiche d’un film de Hitchcock dans les 2 mois • Utilisation des cookies : • fichiers textes créés sur le disque dur de l’internaute lors de la connexion sur le site Web • contiennent un identifiant propre à l’ordinateur connecté, le nb de pages consultées, les pages d’entrée, de sortie, les sites de provenance, les fichiers téléchargés, des informations nominatives demandées par le site… • en temps réel ou à la prochaine connexion : transmission du cookie au site Web qui peut proposer des pages personnalisées à l’internaute en fonction de ses centres 11/11/2004d’intérêts© Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 11 Avantages et inconvénients des cookies • Avantages • mise à jour automatique • mise à jour instantanée • Inconvénients • refus ou suppression possible du cookie par l’internaute • blocage possible par un pare-feu • identification d’un ordinateur et non d’une personne 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 12 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 7
3) Analyses nominatives • L’internaute est un client connu de l’entreprise • Le site web requiert une identification personnelle • ex : sites bancaires en ligne • indexation non possible par les moteurs de recherche • Intégration possible dans les bases de données marketing des informations sur la navigation du client • Possibilité de construire une typologie des clients • Les pages consultées et les demandes de simulation effectuées fournissent des indices probants sur l’intérêt du client pour tel ou tel produit • informations utiles dans des scores d’appétence 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 13 Croisement d’une typologie avec un indice de fréquentation Source : SPSS 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 14 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 8
Le Text Mining 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 15 Définition du Text Mining • Le text mining est l’ensemble des : • techniques et méthodes • ... destinées au traitement automatique • ... de données textuelles en langage naturel • ... disponibles sous forme informatique, en assez grande quantité • ... en vue d’en dégager et structurer le contenu, les thèmes • ... dans une perspective d’analyse rapide (non littéraire !), de découverte d’informations cachées, ou de prise automatique de décision. 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 16 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 9
Définition du Text Mining • Text Mining = Lexicométrie + Data Mining • Comme en Data Mining, on trouve en Text Mining : • des algorithmes descriptifs • recherche des thèmes abordés dans un ensemble (corpus) de documents, sans connaître à l’avance ces thèmes • des algorithmes prédictifs • recherche des règles permettant d’affecter automatiquement un document à un thème, parmi plusieurs thèmes prédéfinis 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 17 Conditions sur les textes analysés • Format informatique • c’est une autre problématique que la lecture automatique de l’écriture manuscrite • Nombre minimum de textes • Compréhensibilité et cohérence minimale • Pas trop de thèmes différents abordés dans un même texte • Le moins possible de sous-entendus, d’ironie... 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 18 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 10
Sources de textes utilisées • Enquêtes d’opinion • Baromètres de satisfaction clientèle • Lettres de réclamation • Transcriptions des entretiens téléphoniques • Messageries électroniques • Comptes-rendus d’entretiens commerciaux • Revues de presse - Dépêches AFP, Reuters... • Documentation - Rapports d’experts • Veille technologique (exemple : brevets déposes) • Veille stratégique et économique • Internet - Bases de données en ligne • CV 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 19 Utilisateurs du text mining • Analystes financiers • Économistes • Professionnels du marketing • Services de satisfaction clientèle • Recruteurs • Décideurs 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 20 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 11
Utilisation du text mining • Analyse rapide • rapports sur l’image de l’entreprise, l’état de la concurrence • génération automatique de baromètres de satisfaction • indexation automatique de documents • Découverte d’informations cachées (« techniques descriptives ») • nouveaux domaines de recherche (brevets déposés) • ajout des informations aux bases de données marketing • adaptation du discours marketing à chaque type de client • Prise de décision (« techniques prédictives ») • routage automatique de courriers, d’information • filtrage de courriels : spams – non spams • filtrage de « news » 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 21 Recherche et extraction d’information • Les découvertes cachées d’informations cachées et la prise de décision appartiennent surtout à la « recherche d’information » • L’analyse rapide appartient surtout à « l’extraction d’information » 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 22 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 12
Différences entre EI et RI 1/2 • La RI s’intéresse aux documents dans leur globalité et aux thèmes qu’ils abordent, pour comparer les documents entre-eux et détecter des typologies. • L’EI recherche des informations précises dans les documents, sans les comparer entre-eux, en tenant compte de l’ordre et de la proximité des mots pour discriminer des énoncés ≠ ayant des mots clés = >+ grande complexité de l’EI • qui doit effectuer une analyse lexicale et morpho- syntaxique pour reconnaître les constituants du texte (phrases, mots), leur nature et leurs relations 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 23 Différences entre EI et RI 2/2 • L’EI consiste en l’alimentation d’une base de données structurée à partir de données exprimées en langage naturel. • Il s’agit de détecter dans le texte en langage naturel les mots ou syntagmes correspondant à chaque champ de la base de données. >La RI cherche à détecter tous les thèmes présents >L’EI ne s’intéresse qu’aux thèmes en rapport avec la base de données « cible » 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 24 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 13
Le Text Mining Recherche d’information 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 25 Analyse linguistique • Identification de la langue >le web oblige à gérer le multilinguisme • Exemples de phrases polyglottes • Pendant l’affaire du Watergate : • « Nixon put dire comment on tape » • = Nixon a enregistré un commentaire désastreux • Vu dans les quartiers anglophones de Montréal : • « Garage sale » • = vente dans un garage (« vide-garage ») • Identification des catégories grammaticales • noms / verbes / adjectifs / adverbes • parfois difficile : « les poules du couvent couvent » 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 26 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 14
Catégories grammaticales de Phèdre 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 27 Analyse linguistique (suite) • Désambiguïsation • ambiguïtés dues à la typographie pauvre • ELEVE -> élève (n), élève (v), élevé (adj), élevé (pp) • « Ce bureau ferme à cause des émeutes » ≠ « Ce bureau fermé a causé des émeutes » • ambiguïtés dues aux fautes d’orthographe • ambiguïtés dues à la polysémie des mots • ambiguïtés dues aux ellipses (style « télégraphique ») • ambiguïtés dues aux abréviations personnelles • ambiguïtés dues aux anaphores (il, elle, lui, celui-ci…) • ambiguïtés dues aux homographes • « nous portions des portions d’avocats aux avocats » 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 28 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 15
Analyse linguistique (suite) • Désambiguïsation (fin) • ambiguïté entre le chiffre 0 et la lettre O • ambiguïtés dues aux retours à la ligne sans trait d’union • Reconnaissance des mots composés • Expressions comme : France Telecom, le 21 février 2002, le gouverneur de la Banque Centrale Européenne • Prise en compte éventuelle d’un lexique spécialisé • data mining, text mining, entrepôt de données • carte bleue, compte chèques, compte courant ... • Élaboration d’un lexique propre à l’entreprise • en repérant les suites de formes graphiques (souvent 2 ou 3) se répétant plusieurs fois dans le corpus 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 29 Analyse linguistique (suite) • Lemmatisation (mots ramenés à leur forme canonique) • substantifs ramenés au singulier • adjectifs ramenés au masculin • flexions d’un verbe ramenées à l’infinitif • Un dictionnaire général contient 60.000 entrées qui correspondent à 700.000 formes fléchies • Le français, l’espagnol et l’allemand ont de nombreuses formes fléchies (conjugaisons ou déclinaisons). 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 30 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 16
Analyse linguistique (suite) • Regroupement des variantes • variantes graphiques • clef = clé • variantes syntaxiques • complément de nom = complément nominal • variantes sémantiques • X achète Y à Z = Z vend Y à X • synonymes • US = USA = États-Unis = Oncle Sam • parasynonymes (mots de sens voisins) • mécontentement, colère, insatisfaction • développement des sigles • € = EUR = euro • E.D.F. = EDF = Électricité de France 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 31 Analyse linguistique (suite) • Regroupement des variantes (fin) • métaphores • Empire du Soleil Levant, Quai d ’Orsay... • Regroupement des analogies • familles de mots-dérivés • crédit / prêt / engagement / dette / emprunter / emprunteur / débiteur • marqueurs d’intensité • peu / moins / très peu / - • beaucoup / plus / très / + 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 32 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 17
Analyse linguistique (fin) • Identification des thèmes • des termes aux thèmes de niveau 1: • chéquier / carte bleue / TIP / devises / ... <=> moyen de paiement • des concepts de niveau 1 aux thèmes de niveau 2 : • moyen de paiement / monnaie / argent / ... <=> banque • Sélection éventuelle des termes / thèmes • d’après un critère statistique : élimination des termes/thèmes fréquents • d’après un critère sémantique : sur un sujet donné • d’après un corpus : repérage des mots à éviter et de leurs dérivations (expurgation du document) 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 33 Thèmes des Fables de La Fontaine 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 34 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 18
Thèmes de Phèdre de Racine 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 35 Thèmes de Phèdre de Racine 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 36 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 19
Application des statistiques et du DM • On applique ensuite les techniques de data mining : • individus = documents (par ex : des courriels) • caractères des individus = thèmes/termes des documents • Remarque • Les thèmes peuvent être très nombreux (plusieurs milliers) si le nombre de documents est important >On aboutit à des problèmes de data mining avec un grand nombre de variables >Intérêt de : • techniques puissantes de DM • réduire le nb de thèmes grâce à l’analyse linguistique 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 37 DM : + d’individus que de variables variable 1 variable 2 variable 3 … individu 1 individu 2 individu 3 … individu n 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 38 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 20
TM : + de variables que d’individus th th th … th è è è è m m m m e e e e 1 2 3 n texte 1 texte 2 texte 3 … 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 39 Techniques descriptives applicables • Classification des documents • selon des thèmes non prédéfinis • découverts dans les documents • suivie d’une extraction automatique des mots clés • thèmes/termes fréquents dans le segment et rares dans l’ensemble des documents • Analyse factorielle • Analyse des Correspondances Multiples • en croisant les données textuelles avec les autres données 11/11/2004 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 40 PDF created with pdfFactory Pro trial version www.pdffactory.com
Showing the first 20 pages. Download the document to see it all.
Comments (0)
No comments yet. Be the first!