Trang 1
Stéphane Tufféry Statisticien - Data Miner - Enseignant DATA MINING - SCORING STATISTIQUE DÉCISIONNELLE APPLICATION AU CRM 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 1 Plan du cours • Qu’est-ce que le data mining ? • A quoi sert le data mining ? • Les 2 grandes familles de techniques • Le déroulement d’un projet de data mining • Coûts et gains du data mining • Facteurs de succès - Erreurs à éviter • Informatique décisionnelle et de gestion • La préparation des données • Techniques descriptives de data mining • Techniques prédictives de data mining • Logiciels et consultants • CNIL et limites légales du data mining • Le text mining • Le web mining 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 2 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 2
Logiciels et consultants 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 3 Les logiciels de data mining et statistique • Il existe de nombreux logiciels de statistique et data mining sur PC : • faciles à installer et pas très chers • conviviaux avec des algorithmes de bonne qualité • bons pour des PME car pouvant gérer plusieurs dizaines de milliers voire plusieurs centaines de milliers d’individus • SPAD™ de Decisia, Alice™ de Isoft, AnswerTree™ de SPSS, Predict™ de Neuralware, R (version gratuite de S- PLUS) et les freewares Weka et TANAGRA… • Cependant : • ils ne permettent pas de traiter exhaustivement de très grandes bases de données • ils ne mettent souvent en œuvre qu’une ou deux techniques (sauf quelques produits tels SPAD, R et Weka) 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 4 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 3
Cartographie des logiciels Logiciels Decisia – SPAD SAS – Entreprise Miner multi- Insightful – S-PLUS SPSS – Clementine techniques R (version gratuite de Statsoft – Statistica Data Miner S-PLUS) Insightful – Insightful Miner KXEN IBM – Intelligent Miner Logiciels TANAGRA – Univ. Lyon SPSS – Answer Tree mono- Salford Systems – CART techniques Isoft – Alice Neuralware – Predict Logiciels micros Logiciels clients/serveurs 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 5 Zoom sur les gros logiciels • Certains logiciels sont conçus : • pour exploiter de grands volumes de données • pour couvrir une large palette de techniques • Ils existent parfois en version « statistique » ou « data mining » (le 2nd étant parfois une sur-couche du 1er) • Ils peuvent fonctionner en mode client-serveur • Il s’agit de SPSS™ et Clementine™ de SPSS • Et de SAS/STAT™ et Enterprise Miner™ de SAS • Et de Statistica Data Miner™ de StatSoft • Et de S-PLUS™ et Insightful Miner™ de Insightful • On peut ajouter KXEN™ 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 6 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 4
Statistique vs Data mining Appellation Logiciel de statistique Logiciel de data mining commerciale Plate-forme PC ou client-serveur PC ou client-serveur Interface Fenêtre de programmation Icônes à déplacer et relier par des ou menus déroulants flèches Algorithmes Ce qui sert couramment Comme « logiciel statistique » - les arbres de décision – beaucoup d’algos de statistique (existent en logiciels (ex : tests non paramétriques) et spécifiques) d’analyse des données (ex : analyse discriminante linéaire) + arbres de décision, réseaux de neurones, détection d’associations Prix Prix de revient de l’éditeur Plusieurs fois celui du logiciel de + une marge raisonnable statistique ! 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 7 Logiciels de data mining 1/3 (poids légers : qq dizaines de milliers de lignes) Produit Spécialité (le cas échéant) Editeur Stat Lab SLP InfoWare (Gemplus) StartMiner Réseaux de neurones – Grimmersoft Arbres de décision Alice Arbres de décision Isoft Predict Réseaux de neurones Neuralware Previa Réseaux de neurones Elseware NeuroOne Réseaux de neurones Netral Scenario Réseaux de neurones Cognos Wizwhy Détection d’associations Wizsoft WEKA « open source » (logiciel gratuit) 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 8 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 5
Logiciels de data mining 2/3 (poids moyens : qq centaines de milliers de lignes) P roduit Spécialité (le cas échéant) E diteur SPAD Decisia AnswerTree Arbres de décision SPSS 4Thought Réseaux de neurones Cognos KnowledgeSEEKER Arbres de décision Angoss KnowledgeSTU DIO Angoss C5.0 (Unix) See5 (Windows) Arbres de décision RuleQuest Research Data M ining Suite Salford Systems Darwin Oracle Polyanalyst M egaputer R « open source » (logiciel gratuit) S-PLUS Insightful SQL Server 2000 Arbres de décision – clustering M icrosoft 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 9 Logiciels de data mining 3/3 (poids lourds : plusieurs millions de lignes) Produit Spécialité (le cas échéant) Editeur KXEN algorithmes de Vapnik KXEN Intelligent Miner Réseaux de neurones – IBM classification relationnelle – détection d’associations Statistica Data Miner Statsoft Insightful Miner Insightful SPSS (version C/S) SPSS Clementine SPSS SAS/STAT (version C/S) SAS Entreprise Miner SAS 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 10 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 6
Sondage sur www.kdnuggets.com Sondage effectué en juin 2002 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 11 Sondage sur www.kdnuggets.com Sondage effectué en mai 2003 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 12 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 7
Sondage sur www.kdnuggets.com Sondage effectué en mai 2004 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 13 Critères de choix d’un logiciel • Variété des algorithmes de data mining, de statistique et de préparation des données • + simple d’avoir tout dans un seul outil • Qualité des algorithmes implémentés • documentation éditeur pas toujours accessible • Capacité à traiter de grands volumes de données • peut être cruciale à partir de plusieurs centaines de milliers d’individus à traiter • Types de données gérées • exemple : choix influencé si l’entreprise possède déjà un infocentre SAS... • Convivialité du logiciel et facilités à produire des rapports • Prix ! 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 14 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 8
Ce qu’on peut attendre d’un logiciel 1/5 • Algorithmes de statistique et de data mining : • classement (analyse discriminante linéaire ou quadratique, régression logistique binaire ou polytomique, modèle linéaire généralisé, régression logistique PLS, arbres de décision, réseaux de neurones, k-plus proches voisins...) • prédiction (régression linéaire, modèle linéaire général, régression non-paramétrique, régression non-linéaire, régression PLS, arbres de décision, réseaux de neurones, k- plus proches voisins...) • classification (« clustering ») (centres mobiles, nuées dynamiques, k-means, classification hiérarchique, méthode mixte, réseau de Kohonen, analyse relationnelle...) • analyse des séries temporelles • analyse de survie • détection des associations 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 15 Ce qu’on peut attendre d’un logiciel 2/5 • Fonctions de préparation des données • manipulation de fichiers (fusion, agrégation, transposition…) • visualisation des individus, coloriage selon critère • détection, filtrage et winsorisation des extrêmes • analyse et imputation des valeurs manquantes • transformation de variables (recodage, standardisation, normalisation automatique, discrétisation…) • création de nouvelles variables (fonctions logiques, chaînes, statistiques, maths…) • sélection des discrétisations, des interactions, des variables les plus explicatives et des variables les moins corrélées entre elles 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 16 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 9
Ce qu’on peut attendre d’un logiciel 3/5 • Fonctions d'échantillonnage et de partition des données • pour créer des échantillons d'apprentissage, de test et de validation (l'échantillonnage stratifié doit être possible) • bootstrap, jacknife • Fonctions statistiques • détermination des caractéristiques de tendance centrale, de dispersion, de forme… • tests statistiques de moyenne, de variance, de distribution, d’indépendance, d’hétéroscédasticité, de multicolinéarité… • Fonctions d'analyse exploratoire des données et d'analyse factorielle • ACP, ACP avec rotation • AFC • ACM 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 17 Ce qu’on peut attendre d’un logiciel 4/5 • Présentation des résultats • visualisation des résultats • manipulation des tableaux • bibliothèque de graphiques (2D, 3D, interactifs…) • incorporation dans un rapport • navigation dans les arbres de décision • affichage de la matrice de confusion • affichage des courbes de performances (ROC, lift, gain…) • indice de Gini, aire sous la courbe ROC • Gestion des métadonnées • données définies identiquement pour tous les fichiers du projet (identifiant, cible, exclusions…) 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 18 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 10
Ce qu’on peut attendre d’un logiciel 5/5 • Plates-formes supportées (Windows, Unix, MVS…) • Formats d’entrée/sortie des données gérés : • tables Oracle, SQL Server, DB2, SAS, fichiers Excel, à plat... • Langage avancé de programmation • Enchaînements programmés de plusieurs algorithmes • Portabilité des modèles construits (C, XML, Java, SQL...) • Volume de données pouvant être raisonnablement traité • Pour plus de puissance • architecture client-serveur : calculs sur le serveur et visualisation des résultats sur le client • algorithmes parallélisés • Exécution en mode différé ou interactif 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 19 Utilisation d’un logiciel Transfert modèle Données Données Règles Données en en entrée Règles en entrée exportées entrée Paramètres (ex : fichier (ex : grille de (Cobol, C, PMML…) échantillon score) (ex : fichier (ex : fichier complet de complet de clients) de clients) clients) Transfert données Logiciel de Logiciel de Ordinateur data mining data mining central Données en Données en Règles sortie sortie (ex : grille (ex : fichier (ex : fichier de score) de clients de clients scorés) scorés) Environnement Base Environnement Données Programmes de Données de data mining d’analyse data mining de production gestion (Cobol…) production Construction du Application du modèle dans Application du modèle après export modèle l’environnement data mining dans l’environnement de production 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 20 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 11
Critères de performance des algorithmes 1/5 • Nous récapitulons dans les tableaux suivants les algorithmes avec leurs conditions d’utilisation sur 3 points essentiels : • l’absence d’hypothèses restrictives fortes préalables à la recherche • la capacité de traiter exhaustivement les données, en un temps raisonnable • la possibilité de manier des données lacunaires et de types hétérogènes (numériques ou non). 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 21 Critères de performance des algorithmes 2/5 techniques absence d’a priori traitement traitement des dans la recherche toujours données exhaustif des hétérogènes ou bases de lacunaires données CLASSIFICATION classification oui oui discrétisation des var. relationnelle continues réseau de nb de classes fixé oui les variables ∉ [0,1] neurones de sont transformées Kohonen méthode des nb de classes fixé oui variables forcément centres mobiles et numériques et sans ses variantes valeurs manquantes classification oui, mais les classes non (algorithme oui (possibilité de hiérarchique au niveau n sont non linéaire) traiter des variables déterminées par non numériques avec celles au niveau n–1 une distance ad hoc) 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 22 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 12
Critères de performance des algorithmes 3/5 techniques absence d’a traitement traitement des priori dans la toujours données recherche exhaustif des hétérogènes ou bases de lacunaires données CLASSEMENT ET PRÉDICTION arbres CHAID, comme la non (comme la oui (sauf CHAID qui CART, C5.0 classification classification ne traite que les hiérarchique (qui hiérarchique) variables qualitatives) est un arbre à l’envers) réseau à fonction oui oui les variables ∉ [0,1] radiale de base sont transformées réseau de oui non (pas les variables ∉ [0,1] neurones à d’apprentissage sont transformées apprentissage sur plusieurs supervisé centaines de variables) 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 23 Critères de performance des algorithmes 4/5 techniques absence d’a priori traitement traitement des dans la recherche toujours données hétérogènes exhaustif des ou lacunaires bases de données analyse relations linéaires oui var. forcément discriminante entre les variables et numériques et sans hypothèses sur loi Xi/Y valeurs manquantes analyse oui (permet de oui var. sans valeurs discriminante s’affranchir largement manquantes (travaille sur DISQUAL des hypothèses sur loi les facteurs d’une ACM) (Saporta) Xi/Y) régression relations linéaires oui var. forcément linéaire entre les variables + numériques et sans autres hypothèses valeurs manquantes régression oui (simple hypothèse oui var. sans valeurs logistique sur loi Y/Xi) manquantes 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 24 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 13
Critères de performance des algorithmes 5/5 techniques absence d’a traitement traitement des priori dans la toujours données recherche exhaustif des hétérogènes ou bases de lacunaires données ASSOCIATIONS analyse du panier oui oui oui de la ménagère séries oui oui oui chronologiques similaires 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 25 Diminuer les temps de traitement 1/2 (sur PC) • Travailler sur des fichiers structurés (SAS, SPSS, DB2…) plutôt que des fichiers à plat • Limiter le fichier analysé aux variables utiles au traitement en cours (par des sélections judicieuses) • Avoir sur le disque dur un espace disponible > 4 fois la taille du fichier analysé • Défragmenter au besoin le disque dur • Attention si on accède à un réseau distant pour le fichier analysé ou pour l’espace temporaire de travail • Augmenter la mémoire vive (RAM > 512 Mo) • Créer les booléens comme des variables alphanumériques de longueur 1 plutôt que des numériques • Recoder les variables pour diminuer leur taille 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 26 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 14
Diminuer les temps de traitement 2/2 (sur PC) • (SPSS) Éviter les ordres EXECUTE inutiles • (SPSS) Utiliser l’option PRESORTED dans les agrégations • (SPSS) Épurer régulièrement le fichier « journal » (log) • (SAS) Préférer BY à CLASS dans la proc MEANS • (SAS) Si une requête utilise au moins 3 fois une (ou des) variable dans un filtre WHERE ou un BY non précédé de la proc SORT, créer un index sur cette variable • (SAS) Utiliser l’option TAGSORT 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 27 Internalisation ou externalisation 1/2 • Soit l’entreprise internalise l’activité de data mining, éventuellement avec l’aide de consultants spécialisés • Soit elle externalise totalement cette activité, en fournissant ses fichiers de données à des prestataires spécialisés (les « credit-bureaux » pour la banque), ceux-ci lui restituant ses fichiers enrichis avec les informations de data mining qu’ils auront calculées (score, segment, etc.) • ne pas oublier de faire signer une clause de confidentialité • Soit elle sous-traite la fabrication des modèles de DM, mais se les fait livrer, afin de les appliquer elle-même à ses fichiers. 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 28 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 15
Internalisation ou externalisation 2/2 • L’intérêt du recours à des prestataires est de disposer immédiatement de leur savoir et de leur expérience. • L’intérêt d’avoir des compétences en interne dans l’entreprise est de pouvoir : • acquérir une parfaite connaissance de ses données • avoir une plus grande réactivité lorsqu’une nouvelle étude est demandée • actualiser en permanence ses résultats • développer pour un coût bien plus faible quantité d’outils de score, de classification, de recherche d’association de produits… pour des besoins et des destinataires variés. 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 29 Scores personnalisés et génériques 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 30 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 16
Comparatif des diverses solutions Performance Transfert de Pérennité à court Pérennité à long Rapidité du score compétence terme du score terme du score d’obtention (1) + – + – – (2) + – – (sert 1 seule fois) – – (3) + – + + – (4) + + + + – (5) – – + – + + (30 jours) (6) – – – (sert 1 seule fois) – + 07/02/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 31 PDF created with pdfFactory Pro trial version www.pdffactory.com
Hiển thị 16 trang đầu. Tải tài liệu để xem đầy đủ.
Bình luận (0)
Chưa có bình luận nào. Hãy là người đầu tiên!