Page 1
Stéphane Tufféry Statisticien - Data Miner - Enseignant DATA MINING - SCORING STATISTIQUE DÉCISIONNELLE APPLICATION AU CRM 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 1 Présentation de l’auteur • En charge du data mining dans une grande entreprise • où il a développé de nombreux systèmes de scoring, de classification et de segmentation • Enseigne le data mining en Master 2 dans les Universités de Rennes et Paris-Dauphine • Docteur en Mathématiques • Auteur de : • Data Mining et Scoring, Éditions Dunod, 2002 Ouvrage épuisé • Data Mining et Statistique Décisionnelle, Éditions Technip, 2005 Ouvrage consacré à l’application en entreprise des techniques et méthodologies de data mining et statistique • Contact : • data.mining[chez]free.fr 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 2 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 2
Présentation du cours • Cette présentation est issue de cours donnés dans des DESS et Master d’Économétrie entre 1999 et 2005 • Ces enseignements ont ensuite trouvé un développement dans des ouvrages publiés chez Dunod puis chez Technip • Ce cours est donc consacré aux techniques de data mining, de statistique décisionnelle et de scoring, et à leur mise en oeuvre en entreprise. Elle contient une introduction, une partie technique (préparation des données, analyse factorielle, régression linéaire, régression logistique, GLM, analyse discriminante, arbres de décision, réseaux de neurones, algorithmes génétiques, SVM, k-means et centres mobiles, CAH…) et une partie méthodologique (conduite de projet, facteurs de succès, RSI, aspects informatiques, CNIL…) 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 3 Plan du cours • Qu’est-ce que le data mining ? • A quoi sert le data mining ? • Les 2 grandes familles de techniques • Le déroulement d’un projet de data mining • Coûts et gains du data mining • Facteurs de succès - Erreurs à éviter • Informatique décisionnelle et de gestion • La préparation des données • Techniques descriptives de data mining • Techniques prédictives de data mining • Logiciels et consultants • CNIL et limites légales du data mining • Le text mining • Le web mining 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 4 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 3
Introduction 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 5 Data mining et statistique 1/2 • Hier : • études de laboratoire • expérimentations cliniques • actuariat • analyses de risque - scoring • Volumes de données limités • Analyse du réel pour mieux le comprendre 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 6 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 4
Data mining et statistique 2/2 • Aujourd’hui : • de l’∞ petit (génomique) à l’∞ grand (astrophysique) • du plus quotidien (gestion de la relation client) au moins quotidien (aide au pilotage aéronautique) • du plus ouvert (e-commerce) au plus sécuritaire (prévention du terrorisme, détection automatique de la fraude dans la téléphonie mobile ou les cartes bancaires) • du plus industriel (contrôle qualité…) au plus théorique (sciences humaines, biologie…) • du plus alimentaire (agronomie et agroalimentaire) au plus divertissant (prévisions d’audience TV) • Volumes de données importants • Systèmes d’aide à la décision plus ou moins automatiques 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 7 Des statistiques ... • Statistique : • quelques centaines d’individus • quelques variables recueillies avec un protocole spécial (échantillonnage, plan d’expérience...) • fortes hypothèses sur les lois statistiques suivies • Analyse des données : • quelques dizaines de milliers d’individus • quelques dizaines de variables • construction des tableaux Individus x Variables • importance du calcul et de la représentation visuelle 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 8 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 5
... au Data mining • Data mining : • quelques millions d’individus • quelques centaines de variables • nombreuses variables non numériques • données recueillies avant l’étude, et souvent à d’autres fins • données imparfaites, avec des erreurs de codification • population constamment évolutive (difficulté d’échantillonner) • nécessité de calculs rapides • on ne recherche pas toujours l’optimum mathématique, mais le modèle le plus facile à appréhender par des utilisateurs non-statisticiens 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 9 Historique des techniques utilisées 1/2 • 1875 : régression linéaire de Francis Galton • 1896 : formule du coefficient de corrélation de Karl Pearson • 1900 : distribution du χ² de Karl Pearson • 1936 : analyse discriminante de Fisher et Mahalanobis • 1941 : analyse factorielle des correspondances de Guttman • 1943 : réseaux de neurones de Mc Culloch et Pitts • 1944 : régression logistique de Joseph Berkson • 1958 : perceptron de Rosenblatt • 1962 : analyse des correspondances de J.-P. Benzécri • 1962 : régression logistique de J. Cornfield • 1964 : arbre de décision AID de J.P.Sonquist et J.-A.Morgan • 1965 : méthode des centres mobiles de E. W. Forgy • 1967 : méthode des k-means de Mac Queen 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 10 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 6
Historique des techniques utilisées 2/2 • 1972 : modèle linéaire généralisé de Nelder et Wedderburn • 1975 : algorithmes génétiques de Holland • 1977 : méthode de classement DISQUAL de Gilbert Saporta • 1980 : arbre de décision CHAID de KASS • 1983 : régression PLS de Herman et Svante Wold • 1984 : arbre CART de Breiman, Friedman, Olshen, Stone • 1986 : perceptron multicouches de Rumelhart et McClelland • 1989 : réseaux de T. Kohonen (cartes auto-adaptatives) • 1990 : apparition du concept de data mining • 1993 : arbre C4.5 de J. Ross Quinlan • 1996 : bagging (Breiman) et boosting (Freund-Shapire) • 1998 : support vector machines de Vladimir Vapnik • 2001 : régression logistique PLS de Tenenhaus 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 11 Qu’est-ce que le data mining ? 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 12 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 7
Gestion de la relation client • La richesse des entreprises : leurs clients • Objectifs des entreprises : • augmenter la rentabilité et la fidélité de leurs clients • en maîtrisant les risques • en utilisant les bons canaux au bon moment pour vendre le bon produit • Un des moyens d’y parvenir : • la Gestion de la Relation Client (GRC) • synonyme : Customer Relationship Management (CRM) • 2 éléments : CRM analytique, CRM opérationnel • Une matière 1ère précieuse : les données sur les clients 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 13 CRM analytique et opérationnel gestion des canaux → collecte des informations clients ↑ ↓ gestion des campagnes ← analyse des informations clients CRM OPÉRATIONNEL CRM ANALYTIQUE 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 14 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 8
Le CRM analytique • Objectif • fournir une vision complète et unifiée du client dans l’entreprise et mieux comprendre son profil et ses besoins • Moyens • extraction, stockage, analyse et restitution des informations pertinentes • Composants • data warehouse • data mart • analyse multidimensionnelle (OLAP) • data mining • outils de reporting 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 15 Le CRM opérationnel • Objectif • mise en œuvre optimale des stratégies identifiées grâce au CRM analytique • Moyens • gestion des différents canaux • forces commerciales, centres d’appels téléphoniques, serveurs vocaux, Minitel, Internet, centres d’appel web, bornes interactives, téléphonie mobile, TV interactive… • gestion des campagnes marketing • Composants • outils interfacés avec les applications de back-office, les progiciels de gestion intégrée (ERP), les outils de work- flow, de gestion des agendas et des alertes commerciales 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 16 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 9
De plus en plus de données • L’accroissement des expertises et de la technicité • … font perdre l’approche globale • … obligent à stocker de plus en plus de données pour les besoins opérationnels de la gestion quotidienne • Mais : « trop de données tue la donnée » • Et nous connaissons de moins en moins nos clients • Explosion du nombre de rapports et tableaux de bord • Mais : perte du contact avec le client >Il faut réussir à tirer partie de cette complexité 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 17 Fouiller dans les données • Le data mining est l’ensemble des : • algorithmes et méthodes • … destinés à l’exploration et l’analyse • … de grandes bases de données informatiques • … sans a priori • … en vue de détecter dans ces données des règles, des tendances inconnues ou cachées, des structures particulières restituant de façon concise l’essentiel de l’information utile • … pour l’aide à la décision 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 18 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 10
Ce que l’on veut savoir • On ne veut plus seulement savoir : • « Combien de clients ont acheté tel produit pendant telle période ? » • Mais : • « Quel est leur profil ? » • « Quels autres produits les intéresseront ? » • « Quand seront-ils intéressés ? » 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 19 Data mining ≠ statistiques descriptives • Les profils de clientèle à découvrir sont en général des profils complexes : pas seulement des oppositions « jeunes/seniors », « citadins/ruraux »… que l’on pourrait deviner en tâtonnant par des statistiques descriptives, mais des combinaisons plus complexes qui ne pourraient pas être découvertes par hasard. >Le data mining fait passer • d’analyses confirmatoires • à des analyses exploratoires. 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 20 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 11
Data mining ≠ statistiques descriptives • Les techniques de data mining sont donc bien sûr + complexes que de simples statistiques descriptives : • outils d’intelligence artificielle (réseaux de neurones) • algorithmes sophistiqués (algorithmes génétiques, analyse relationnelle) • théorie de l’information (arbres de décision) • beaucoup d’analyse des données « traditionnelle » (analyse factorielle, classification, analyse discriminante, etc.) 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 21 Le data mining aujourd’hui • Ces techniques ne sont pas toutes récentes • Ce qui est nouveau, ce sont aussi : • les capacités de stockage et de calcul (parallèle) offertes par le matériel et les techniques informatiques modernes (architectures massivement parallèles) • le « package » de techniques de natures différentes, qui peuvent s’enchaîner automatiquement les unes aux autres • l’intégration du DM dans les processus de production >qui permettent de traiter de grands volumes de données, et font sortir le data mining des laboratoires de recherche pour entrer dans les entreprises. 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 22 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 12
Le data mining aujourd’hui • Le data mining se répand particulièrement dans les secteurs qui, par leur activité, détiennent de nombreuses informations économiques et comportementales individualisées : VPC, grande distribution, téléphonie, banque... 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 23 Utilité du data mining • Mieux connaître le client >pour mieux le servir >pour augmenter sa satisfaction >pour augmenter sa fidélité (+ coûteux d’acquérir un client que le conserver). • La connaissance du client est encore plus utile dans le secteur tertiaire : • les produits se ressemblent entre établissements • le prix n’est pas toujours déterminant • ce sont surtout le service et la relation avec le client qui font la différence. 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 24 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 13
Marketing one-to-one Marketing traditionnel Marketing 1:1 Client anonyme Client individualisé Produit standard Produit et service personnalisés Production en série Production sur mesure Publicité à large diffusion Message individuel Communication unilatérale Communication interactive Réalisation d’une vente Fidélisation du client Part de marché Part de client Large cible Niche rentable Canaux de distribution traditionnels Nouveaux canaux (plates-formes téléphoniques, Internet, mobiles) Marketing orienté « produit » Marketing orienté « client » 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 25 Données d’un data warehouse • Consolidées à partir des différents systèmes d’information de production (pour avoir une homogénéité des définitions et codifications) • orientées utilisateur : données structurées par métiers, et non par applications informatiques • documentées : des « métadonnées » indiquent la définition des données du DW, leur provenance, leurs règles et dates de mise à jour… • historisées : avec des dispositifs d’épuration et de récapitulation automatique des données d’une certaine ancienneté • agrégées : toutes les données n’ont pas besoin d’être stockées avec le même niveau de détail que dans les systèmes de production 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 26 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 14
En résumé • Le data warehouse fournit les données brutes sur les clients, les produits, le réseau de distribution, les transactions (un data mart est un data warehouse, ou un niveau supplémentaire, spécialisé à un domaine) • Le data mining raffine ces données en en extrayant l’information utile pour prendre des décisions • Comment trouver des diamants dans un tas de charbon ? • Le reporting diffuse l’information décisionnelle. 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 27 A quoi sert le data mining ? 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 28 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 15
Sondage sur www.kdnuggets.com Sondage effectué en juin 2002 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 29 Sondage sur www.kdnuggets.com Sondage effectué en août 2004 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 30 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 16
Applications du data mining au CRM • Analyse du panier de la ménagère dans les grandes surfaces (pour déterminer les produits souvent achetés simultanément, et agencer les rayons et organiser les promotions en conséquence) • Études d’appétence dans les sociétés commerciales (pour concentrer les mailings et le phoning sur les clients les plus susceptibles de répondre favorablement) • Prédiction de l’attrition (c’est-à-dire du départ d’un client pour un concurrent) dans la téléphonie mobile 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 31 Autres applications du data mining • Détection de la fraude (compagnies d’assurance, téléphonie mobile, cartes bancaires) • Credit scoring • Contrôle qualité • Études de marché en agroalimentaire • Études médicales et pharmaceutiques • Études biologiques et agronomiques • Détection de certains risques (épidémiologiques, terrorisme) • Selon le MIT (Massachussets Institute of Technology) : le data mining est l’une des 10 technologies émergentes qui « changeront le monde » au XXIe siècle. 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 32 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 17
Le data mining dans la banque • Naissance du score de risque il y a 50 ans • Multiples techniques appliquées à la banque de détail et la banque des entreprises • Surtout la banque de particuliers : • montants unitaires modérés • grand nombre de dossiers • dossiers relativement standards • Essor dû à : • développement des nouvelles technologies • nouvelles attentes de qualité de service des clients • concurrence des nouveaux entrants (assureurs, grande distribution) et des sociétés de crédit • pression mondiale pour une + grande rentabilité • surtout : nouveau ratio de solvabilité Mc Donough 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 33 Exemples bancaires • Meilleur taux de réponse des campagnes marketing • Adaptation de la communication marketing à chaque segment de clientèle • Utilisation du score de risque pour proposer le montant de crédit le plus adapté à chaque client • Identification des clients susceptibles de partir à la concurrence • Découverte de segments de clientèle • Calcul de la rentabilité et de la life time value • Choix du meilleur canal de distribution • Aide à la décision de paiement 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 34 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 18
Apport du scoring pour le crédit • Les scores d’appétence et de risque permettent : • un gain de temps commercial • score de risque ⇒ analyse des dossiers plus rapides (pour le client : réponse plus rapide) • score d’appétence ⇒ moins de R-V pour vendre + de produits • des clients non importunés par des campagnes mal ciblées • une plus grande autonomie de négociation et de décision des commerciaux (quand le score de risque est bon) • des décisions homogènes selon les différents commerciaux et canaux de distribution • des décisions ajustées à la politique de l’entreprise (qui peut déplacer de façon précise les seuils de score de risque et d’appétence selon ses objectifs) • une limitation du risque de surendettement et de contentieux. 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 35 Le data mining dans l’assurance IARD • Des produits obligatoires (automobile, habitation) : • soit prendre un client à un concurrent • soit faire monter en gamme un client que l’on détient déjà • D’où les sujets dominants : • attrition • ventes croisées (cross-selling) • montées en gamme (up-selling) • Besoin de décisionnel dû à : • concurrence des nouveaux entrants (bancassurance) • bases clients des assureurs traditionnels mal organisées : • compartimentées par agent général • ou structurées par contrat et non par client 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 36 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 19
Le data mining dans la téléphonie • Deux événements : • ouverture du monopole de France Télécom • arrivée à saturation du marché de la téléphonie mobile • D’où les sujets dominants dans la téléphonie : • score d’attrition (churn = changement d’opérateur) • text mining (pour analyser les lettres de réclamation) • optimisation des campagnes marketing • score d’impayés • Problème du churn : • coût d’acquisition moyen en téléphonie mobile : 300 euros • + d’un million d’utilisateurs changent chaque d’année d’opérateur 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 37 Le data mining dans le commerce • VPC • utilise depuis longtemps des scores d’appétence • pour optimiser ses ciblages et en réduire les coûts • La Redoute envoie à sa clientèle 250 millions de documents par an • e-commerce • personnalisation des pages du site Web de l’entreprise, en fonction du profil de chaque internaute • Distribution • détermination des profils de consommateurs, le « panier de la ménagère », l’effet des soldes ou de la publicité • détermination des meilleures implantations (géomarketing) 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 38 PDF created with pdfFactory Pro trial version www.pdffactory.com
Page 20
Exemples médicaux • Déterminer des segments de patients susceptibles d’être soumis à des protocoles thérapeutiques déterminés, chaque segment regroupant tous les patients réagissant identiquement • Mettre en évidence des facteurs de risque ou de rémission dans certaines maladies. Choisir le traitement le + approprié • Pronostic des infarctus et des cancers (décès, survie) • Prédire le temps de rétablissement après une opération, en fonction des données concernant le patient (âge, poids, taille, fumeur, métier, antécédents médicaux, etc.) et le praticien (nb d’opérations pratiquées, nb d’années d’expérience, etc.) • Décryptage du génome • Prédire les effets sur la peau humaine de nouveaux cosmétiques, en limitant le nombre de tests sur les animaux 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 39 Exemples divers • Contrôle qualité • recherche des facteurs expliquant les défauts de la production • Prévisions de trafic routier (Bison futé) • Prédiction des parts d’audience pour une nouvelle émission de télévision (BBC) • Projet Oasys (« Offenders Assessment System » : système d’évaluation des délinquants) en GB • estimer le risque de récidive en cas de libération anticipée • afin de normaliser les décisions de libération anticipée • et d’augmenter leur nombre 19/08/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 40 PDF created with pdfFactory Pro trial version www.pdffactory.com
Affichage des 20 premières pages. Téléchargez le document pour le voir en entier.
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !