第 1 页
Stéphane Tufféry Statisticien - Data Miner - Enseignant DATA MINING - SCORING STATISTIQUE DÉCISIONNELLE APPLICATION AU CRM 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 1 Plan du cours • Qu’est-ce que le data mining ? • A quoi sert le data mining ? • Les 2 grandes familles de techniques • Le déroulement d’un projet de data mining • Coûts et gains du data mining • Facteurs de succès - Erreurs à éviter • Informatique décisionnelle et de gestion • La préparation des données • Techniques descriptives de data mining • Techniques prédictives de data mining • Logiciels et consultants • CNIL et limites légales du data mining • Le text mining • Le web mining 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 2 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 2 页
Le déroulement d’un projet de data mining 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 3 Les 10 étapes d’un projet • Choix du sujet - Définition des objectifs • Inventaire des données existantes • Collecte, nettoyage et mise en forme des données • Étude statistique de la base d’analyse • Mise en œuvre des algorithmes (classification, scoring…) - Élaboration des modèles • Validation et choix d’un modèle • Déclaration à la CNIL • Déploiement du modèle • Formation des utilisateurs • Suivi des modèles 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 4 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 3 页
Définition des objectifs • Le sujet retenu doit bien sûr requérir des outils de data mining (et pas de simples statistiques descriptives). • Le sujet, la population ciblée et les objectifs doivent être précisément définis. • Les objectifs doivent être réalistes (tenir compte des actions passées et de la saturation du marché). • L’entreprise doit avoir au moins un minimum de connaissance du sujet. • Le sujet doit faire partie des objectifs de l’entreprise et lui apporter un avantage réel. • L’entreprise doit avoir la volonté et la possibilité de mettre en œuvre les solutions qui seront proposées par le data mining (vérifier les possibilités de la production). 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 5 Définition de la cible • Définir la population cible • tous les clients, les clients « actifs », les clients « actifs » et sans risque… • unité statistique : individu, famille… • Définir certains critères essentiels (variable cible) • tels que « client à risque » et « client sans risque » • Prévoir l’utilisation opérationnelle des modèles produits • Spécifier les résultats attendus • sous quelle forme faut-il fournir les résultats ? (cela dépend de leur utilisation et de leurs utilisateurs) • confidentialité de la restitution du score (un commercial peut-il voir les scores de tous les clients ou seulement des siens ?) • périodicité de mise à jour des données 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 6 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 4 页
Recensement des données utiles • Il faut recenser, avec les spécialistes métier et les informaticiens, les données utiles : • accessibles (internes ou externes à l’entreprise) • fiables • suffisamment à jour • historisées, si besoin est • légalement utilisables • Il y a les données : • du système d’information (SI) de l’entreprise • stockées dans l’entreprise, hors du SI (fichiers Excel...) • achetées ou récupérées à l’extérieur de l’entreprise • calculées à partir des données précédentes (indicateurs, ratios, évolutions au cours du temps) 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 7 Quand on manque de données • Enquêtes auprès d’échantillons de clients • en les incitant à répondre à des questionnaires en leur proposant des cadeaux • Utilisation des mégabases de données (Consodata, Claritas) • Géomarketing (type d’habitat en fonction de l’adresse) • données moins précises que des données nominatives • mais disponibles pour des prospects • « Scoring prénom » • Recours à des modèles standards pré-établis par des sociétés spécialisées (ex : scores génériques) 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 8 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 5 页
Géomarketing • Données économiques • nb entreprises, population active, chômage, commerces et services de proximité, habitudes de consommation… • Données sociodémographiques • population, richesse, âge et nombre d’enfants moyens, structures familiales, niveau socioprofessionnel… • Données résidentielles • ancienneté, type et confort des logements, proportion de locataires et propriétaires… • Données concurrentielles • implantation de l’entreprise, implantation de ses concurrents, parts de marché, taux de pénétration… • ™Îlotypes : beaux quartiers, classe moyenne, classe ouvrière, centre ville et quartiers commerçants... 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 9 Scoring prénom (ex : Pascal) 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 10 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 6 页
Construction de la base d’analyse no client variable "cible" : âge CSP situation famille îlotype revenus … var. explicative m échantillon souscripteur (O/N) client 1 O 58 cadre marié A 50 000 … … apprentissage client 2 N 27 ouvrier célibataire A 30 000 … … test … … … … … … … … … … … … … … … … … … au moins 2000 client k O 46 technicien célibataire B 40 000 … … test enregistrements … … … … … … … … … … … … … … … … … … client 2000 N 32 employé marié C 25 000 … … apprentissage … … … … … … … … … données année n+1 données à fin année n répartition aléatoire des clients O : au moins 1000 clients ciblés dans l'année n+1 et acheteurs entre les 2 N : au moins 1000 clients ciblés dans l'année n+1 et non acheteurs échantillons 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 11 Types de données 1/3 • Données de transaction et RFM • « où » (lieux des transactions, Internet…), « quand » (fréquence/récence des transactions), « comment » (mode de paiement), « combien » (nombre et montants des transactions), « quoi » (ce qui est acheté) • Données sur les produits et contrats • nb, types, options, prix, date d’achat ou de souscription, date et motif de résiliation ou de retour du produit, durée moyenne de vie ou date d’échéance, délai et mode de paiement, remise accordée au client, marge de l’entreprise • Anciennetés • âge, ancienneté comme client, ancienneté à l’adresse actuelle, ancienneté dans l’emploi, ancienneté du dernier sinistre (en assurance) 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 12 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 7 页
Types de données 2/3 • Données sur les canaux • canal de prise de contact (parrainage, annonce presse, appel téléphonique, réponse à un mailing…) • canal privilégié de contact et communication (courrier, téléphone, Internet, magasin/agence…) • canal privilégié de commande (courrier, téléphone, Minitel, Internet, magasin/agence…) • canal privilégié de livraison (magasin/agence, domicile…) • Données relationnelles et attitudinales • réactions aux propositions commerciales, réponses aux questionnaires, réponses aux enquêtes de satisfaction, appels au service clientèle, réclamations • image de la marque auprès du client, attractivité des concurrents, propension ou inertie du client au changement 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 13 Importance des retours • Le data mining ne devine pas le profil des clients à cibler, il l’extrapole à partir des données fournies. • Pour les études d’appétence, les retours des actions commerciales précédentes (refus d’achat) permettent de dégager les profils positifs et négatifs > Il est capital de mémoriser cette information. 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 14 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 8 页
Types de données 3/3 • Données sociodémographiques • familiales (situation de famille, nb d’enfants et leur âge, nombre de personnes à charge) • professionnelles (salaire, PCS, nb d’actifs dans le ménage) • patrimoniales (patrimoine mobilier et immobilier, statut de propriétaire/locataire, valeur du logement, possession d’une résidence secondaire…) • géographiques (ancienneté à l’adresse, code INSEE de la commune, IRIS et îlot INSEE, type d’habitat déduit de l’IRIS ou de l’îlot) • environnementales et géomarketing (concurrence, population, population active, population cliente, taux de chômage, potentiel économique, taux de détention de produit… dans la zone d’habitation du client) 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 15 Données à ne pas utiliser • Non légalement utilisables • Non fiables • trop de valeurs fausses ou inconnues • Disponibles sur une durée trop courte • soumises aux variations saisonnières • Redondantes • dont le poids est artificiellement augmenté, ou dont la colinéarité rend instable les résultats de certaines méthodes • Non pertinentes • qu’il faut remplacer par de nouveaux indicateurs • Trop corrélées à l’objectif de l’étude • qui entraînent un «sur-apprentissage» dans les prédictions • Trop peu corrélées à l’objectif de l’étude • qui créent du « bruit », des fluctuations aléatoires 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 16 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 9 页
Sélection des données à utiliser • Choix des variables les plus discriminantes • test du χ², V de Cramer ou τ de Kendall (var. ordinales) • test de la variance (ANOVA, ANOVA Welch, Kruskal-Wallis) • R² (somme des carrés interclasse / somme totale des carrés) • utilisation d’un arbre CHAID ou CART • Transformation des variables (recodage, normalisation par un log ou une racine carrée) • permet de se rapprocher d’une loi normale • Choix des discrétisations • utilisation d’un arbre CHAID • Choix des interactions • utilisation d’un arbre CART ou CHAID • Choix des variables les moins corrélées entre elles • test de multicolinéarité 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 17 Présence de 3 classes 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 18 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 10 页
Discrétisation en 3 tranches naturelles Densité clients sans appétence clients avec appétence variable explicative Y 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 19 Pour l’élaboration des modèles prédictifs • (Facultatif) Segmentation (classification) de la population étudiée : • en groupes forcément distincts (clients / prospects) • en groupes statistiquement homogènes vis-à-vis des objectifs de l’étude • ou selon des caractéristiques sociodémographiques (âge, profession…) si elles correspondent à des offres marketing spécifiques • Partition des données en : • un échantillon d’apprentissage • un échantillon de test • si possible, un échantillon de validation • Mise en œuvre de une ou plusieurs techniques de DM 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 20 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 11 页
Analyser le passé pour prédire l’avenir :---:---:---:---:---:---:---:---:---:---:---:---:---:---:---:---:---:---: - 18 mois – 6 mois aujourd’hui observation des observation de la variables explicatives variable cible Le modèle sera par exemple une fonction f telle que : Probabilité(variable cible = x) = f(variables explicatives) 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 21 Méthodes inductives : 4 étapes • Apprentissage : construction du modèle sur un 1er échantillon pour lequel on connaît la valeur de la variable cible • Test : vérification du modèle sur un 2d échantillon pour lequel on connaît la valeur de la variable cible, que l’on compare à la valeur prédite par le modèle • si le résultat du test est insuffisant (d’après la matrice de confusion ou la courbe ROC), on recommence valeur prédite è A B TOTAL l’apprentissage valeur réelle ê • Validation du modèle sur un 3e A 1800 200 échantillon, pour avoir une idée du taux B 300 1700 d’erreur non biaisé du modèle TOTAL 4000 • Application du modèle à l’ensemble de la population 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 22 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 12 页
Exemples de modèles prédictifs • Arbres de décision • Règles complètement explicites • Traitent les données hétérogènes, éventuellement manquantes, sans hypothèses de distribution • Détection de phénomènes non linéaires • Moindre robustesse • Analyse discriminante linéaire • Résultat explicite P(Y/ X , … , X ) sous forme d’une formule 1 p • Requiert des X continues, sans colinéarité, et des lois {X}/Y i i multinormales et homoscédastiques (NB aux « outliers ») • Optimale si les hypothèses sont remplies • Régression logistique • Comme l’analyse discriminante, sans hypothèse sur les lois X/Y, X peut être discret, avec une précision parfois un peu i i inférieure 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 23 Algorithme d’arbre de décision 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 24 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 13 页
Validation d’un modèle de score 100 90 80 ciblage aléatoire 70 ciblage par scoring ciblage idéal 60 50 40 30 % d'individus répondants 20 10 Lift = 30/10 = 3 0 0 25 50 75 100 % d'indiv idus ciblés COURBE DE CONCENTRATION 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 25 Comparaison de modèles de score • Les indicateurs statistiques de 2 modèles de nature différentes (exemple : R² d’une analyse discriminante et d’une régression logistique) sont rarement comparables • On compare les modèles à l’aide des courbes de concentration, de lift ou ROC 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 26 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 14 页
Comparaison de modèles : courbe ROC Zone sous la courbe Variable(s) de Zone résultats testsrégression logistique ,906 1,0 analyse discriminante ,889 arbre de décision ,887 ,8 Source de la courbe ,5 Ligne de référence arbre de décision ,3 analys discriminante 0,0 régress. logistique 0,0 ,3 ,5 ,8 1,0 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 27 Utilisation d’un logiciel Transfert modèle Données Données Règles Données en en entrée Règles en entrée exportées entrée Paramètres (ex : fichier (ex : grille de (Cobol, C, PMML…) échantillon score) (ex : fichier (ex : fichier complet de complet de clients) de clients) clients) Transfert données Logiciel de Logiciel de Ordinateur data mining data mining central Données en Données en Règles sortie sortie (ex : grille (ex : fichier (ex : fichier de score) de clients de clients scorés) scorés) Environnement Base Environnement Données Programmes de Données de data mining d’analyse data mining de production gestion (Cobol…) production Construction du Application du modèle dans Application du modèle après export modèle l’environnement data mining dans l’environnement de production 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 28 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 15 页
Utilisation d’un logiciel Transfert modèle Paramètres Données Données Règles Données en entrée Règles en entrée en entrée exportées (ex : fichier (ex : grille (ex : fichier (ex : fichier (Cobol, C, échantillon de score) complet de complet de de clients) PMML) clients) clients) Transfert données Logiciel de Logiciel de data mining Ordinateur data mining central Données Données Règles en sortie en sortie (ex : grille (ex : fichier (ex : fichier de score) de clients de clients scorés) scorés) Environnement Base Environnement Données Données de Programmes de data mining d’analyse data mining de production gestion production Construction du Application du modèle dans Application du modèle après export modèle l’environnement data mining dans l’environnement de production 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 29 Intégration des modèles dans le SI • Plusieurs possibilités ne s’excluant pas : • intégration dans les fichiers clients de production et sur le poste de travail des commerciaux • intégration dans les fichiers clients de production ou d’infocentre • utilisation d’un tableur sur un PC pour réaliser un publipostage (marketing direct) • Différents niveaux de finesse de l’information • notes fines dans les fichiers de production (par ex : de 1 à 1000) • restituées agrégées sur le poste de travail (par ex : de 1 à 10) • et regroupées en tranches (par ex : faible / moyen / fort) 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 30 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 16 页
Utilisation opérationnelle d’un score revenus couleur % populat. 0 - 1000 € 1001 - 2 000 € 2 001 - 3 000 € > 3 000 € rouge 20 % à étudier à étudier à étudier à étudier orange 20 % à étudier découvert = 150 € découvert = 450 € découvert = 750 € carte = débit imméd. carte = débit imméd. carte = débit diff. prêt pers. = 0 € prêt pers. = 3000 € prêt pers. = 4500 € vert (« foncé ») 20 % découvert = 150 € découvert = 450 € découvert = 1500 € découvert = 1500 € carte = retrait carte = débit imméd. carte = débit diff. carte = débit diff. prêt pers. = 0 € prêt pers. = 3000 € prêt pers. = 9000 € prêt pers. = 12 k€ vert (« clair ») 40 % découvert = 150 € découvert = 750 € découvert = 1500 € découvert = 1500 € carte = débit carte = débit diff. carte = débit diff. carte = Gold immédiat prêt pers. = 7500 € prêt pers. = 12 k€ prêt pers. = 15 k€ prêt pers. = 0 € 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 31 Formation des utilisateurs • Présenter l’objectif recherché avec les nouveaux outils • Principe et fonctionnement des outils de data mining • sans entrer dans les détails techniques • Limites des outils • il ne s’agit que d’outils statistiques • Mode d’utilisation • aide à la décision et non pas prise automatique de décision • Apport des outils (c’est le point le plus important) • Ce qui change dans le travail des utilisateurs • du point de vue opérationnel • du point de vue organisationnel (adaptation des procédures, des délégations de pouvoir…) 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 32 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 17 页
Cycle de vie d’un score • Les outils de data mining (scores surtout) ont une phase d’expérimentation • sur une petite échelle • destinée à les ajuster et valider, et tester leur utilisation • Quand les outils sont en production, ils doivent être appliqués régulièrement à des données rafraîchies • Les outils en production doivent être revus régulièrement (tous les 2 à 5 ans) • évolution de l’environnement concurrentiel, économique, sociodémographique, réglementaire • apparition, disparition, modification de produits 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 33 Suivi du score • Suivi ponctuel pour une campagne marketing • pour analyser les résultats et améliorer le score suivant • comparer les résultats des individus ciblés à ceux d’un échantillon témoin (cible aléatoire ou traditionnelle) • Suivi permanent pour l’utilisation commerciale • en comparant les résultats des ≠ niveaux de score • vérifier la bonne utilisation du score • s’assurer de la pertinence des « infractions » au score • vérifier le bon fonctionnement du score • pour un score de risque, le taux de défaillance dans chaque tranche de score doit rester à l’intérieur d ’une fourchette fixée 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 34 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 18 页
Suivi du score mois M – 1 M – 2 M – 3 M – 4 M – 5 M – 6 M – 7 M – 8 M – 9 M – 10 M – 11 M – 12 score 1 2 3 … TOTAL 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 35 Suivi du score : matrice de transition score M–1 è 1 2 3 … ê score M–2 1 2 3 … 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 36 PDF created with pdfFactory Pro trial version www.pdffactory.com
第 19 页
Coûts et gains du data mining 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 37 Répartition de la charge d’étude 20% 20% 20% 18% 16% 14% 12% 10% 10%10% 10% 10% 8% 8% 6% 5% 4% 3% 2% 2% 2% 0% Bilan Déclaration à la CNIL Définition des objectifsInventaire des donnéesÉlaboration des modèlesRestitution des résultats Préparation des données Documentation - présentationsAnalyse détaillée des résultats 19/04/2005 Constitution de la base d’analyse© Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 38 Évaluation - validation des modèles PDF created with pdfFactory Pro trial version www.pdffactory.com
第 20 页
Coûts • Distinguer : coûts du data warehouse et du data mining • Investissement initial dans un DW : environ 1 M€ • Dépend des choix techniques : • machine dédiée au décisionnel ou non • progiciels d’alimentation de l’entrepôt ou développements « maison » • modèle de données acheté ou élaboré en interne • Coûts du data mining très inférieurs : • coûts humains inférieurs car équipe dédiée au DM + petite • coût des logiciels entre 2 k€ (sur PC mais avec plusieurs algorithmes) et 150 k€ (sur gros systèmes, intégrés à l’informatique de production) 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 39 Le retour sur investissement • Le RSI est difficile à évaluer : • les gains proviennent du data mining mais aussi d’une bonne communication, d’un marketing efficace, de commerciaux motivés • le DM n ’est qu’une brique dans le marketing de bases de données (exemple du crédit préaccordé) • Le RSI vient de : • l’augmentation des taux de réponse des actions marketing • l’augmentation de la productivité des commerciaux • la meilleure utilisation des canaux • la fidélisation des clients • la réduction des impayés... • On peut tenter de l’estimer avec un échantillon témoin 19/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 40 PDF created with pdfFactory Pro trial version www.pdffactory.com
评论 (0)
暂无评论。快来抢沙发吧！