Trang 1
Stéphane Tufféry Statisticien - Data Miner - Enseignant DATA MINING - SCORING STATISTIQUE DÉCISIONNELLE APPLICATION AU CRM 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 1 Plan du cours • Qu’est-ce que le data mining ? • À quoi sert le data mining ? • Les 2 grandes familles de techniques • Le déroulement d’un projet de data mining • Coûts et gains du data mining • Facteurs de succès - Erreurs à éviter • Informatique décisionnelle et de gestion • La préparation des données • Techniques descriptives de data mining • Techniques prédictives de data mining • Logiciels et consultants • CNIL et limites légales du data mining • Le web mining • Le text mining 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 2 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 2
La préparation des données : Analyse exploratoire 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 3 Les différents formats de données • Données continues (ou d’échelle) • dont les valeurs forment un sous-ensemble infini de R (exemple : salaire) • Données discrètes • dont les valeurs forment un sous-ensemble fini ou infini de N (exemple : nombre d’enfants) • Données catégorielles (ou qualitatives) • dont l’ensemble des valeurs est fini — ces valeurs sont numériques ou alphanumériques, mais quand elles sont numériques, ce ne sont que des codes et non des quantités (ex : PCS, no de département) • Données textuelles • lettres de réclamation, rapports, dépêches AFP… 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 4 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 3
Précisions sur les formats • Les données continues et discrètes sont des quantités : • on peut effectuer sur elles des opérations arithmétiques • elles sont ordonnées (on peut les comparer par la relation d’ordre <). • Les données catégorielles ne sont pas des quantités • mais sont parfois ordonnées : on parle de données catégorielles ordinales (exemple : « faible, moyen, fort ») • données ordinales souvent traitées comme données discrètes • les données catégorielles nominales ne sont pas ordonnées • Les données textuelles contiennent : • des abréviations • des fautes d’orthographe ou de syntaxe • des ambiguïtés (termes dont le sens dépend d’un contexte non facilement détectable automatiquement) 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 5 Algorithmes et formats gérés • La régression linéaire traite les variables continues • L’analyse discriminante traite les variables explicatives continues et les variables « cible » nominales • La régression logistique traite les variables explicatives continues ou binaires et les variables « cible » nominales ou ordinales • Les réseaux de neurones traitent de préférence les variables continues dans [0,1] • Certains arbres de décision (CHAID) traitent directement les variables discrètes et catégorielles mais discrétisent les variables continues • D’autres arbres (CART, C4.5, C5.0) peuvent aussi traiter directement les variables continues >Tous les algorithmes n’admettent pas tous les types de données en entrée 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 6 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 4
Changement de format type de départ type opération principe d’arrivée continu discret discrétisation découpage des valeurs en tranches discret ou continu ACM une Analyse des catégorique Correspondances Multiples fournit des facteurs continus à partir des données de départ 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 7 Pourquoi discrétiser ? • Traiter simultanément des données quantitatives et qualitatives • Appréhender des liaisons non linéaires (de degré >1) entre les variables continues • par une ACM, une régression logistique ou une analyse discriminante DISQUAL (Gilbert Saporta) • Neutraliser les valeurs extrêmes • Gérer les valeurs manquantes • Renforce la robustesse d’un modèle logistique sur un faible nombre d’individus 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 8 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 5
Comment discrétiser ? • Il faut garder en tête que : • il faut éviter d’avoir de grands écarts entre le nombre de modalités des différentes variables • un nombre convenable de modalités pour une variable discrète ou catégorielle tourne autour de 4 ou 5. • pour les raisons que : • le poids d’une variable est proportionnel à son nombre de modalités • le poids d’une modalité est inversement proportionnel à son effectif • avoir peu de modalités fait perdre de l’information • avoir beaucoup de modalités implique des petits effectifs et une moindre lisibilité. 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 9 Analyse exploratoire des données • Explorer la distribution des variables • Vérifier la fiabilité des variables • valeurs incohérentes ou manquantes • => imputation ou suppression • Détecter les valeurs extrêmes • voir si valeurs aberrantes à éliminer • Tester la normalité des variables • Tester l’homoscédasticité • Détecter les liaisons entre variables • entre variables explicatives et à expliquer (bon) • entre variables explicatives entre elles (mauvais dans certaines méthodes : multicolinéarité) 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 10 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 6
Analyse exploratoire des données • Variables continues • détecter la non-linéarité justifiant la discrétisation • transformer pour augmenter la normalité • Variables discrètes • regrouper certaines modalités aux effectifs trop petits (poids trop grand) • Créer des indicateurs pertinents à partir des données brutes (ratios X/Y ou X(période t)/X(période t-1)) • prendre l’avis des spécialistes du secteur étudié 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 11 Caractéristiques de tendance centrale • Mode • Moyennes (arithmétique, géométrique, harmonique) • Médiane • Autres quantiles • Découpage en quartiles et déciles souvent utilisé pour : • représentation graphique • discrétisation • croisement avec variable cible 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 12 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 7
Analyse exploratoire des données 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 13 Analyse exploratoire des données 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 14 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 8
Analyse exploratoire des données 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 15 Analyse exploratoire des données 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 16 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 9
Caractéristiques de dispersion • Étendue • Écart interquartile q3 - q1 • Variance • H = égalité des variances d’une variable dans plusieurs 0 groupes : homoscédasticité (contraire : hétéroscédasticité) • test de Levene, de Bartlett ou de Fisher • proba < 0,05 ⇒ hétéroscédasticité • Écart-type • Coefficient de variation • écart-type / moyenne • X dispersée si CV(X) > 25 % • grandeur sans unité => utile pour comparer la dispersion des variables 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 17 Homogénéité des variances Erreur-type = écart-type de la moyenne = écart- type des observations / racine carrée de l’effectif KO é OK -> 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 18 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 10
Boîte « à moustaches » (boxplot) REVENUS 0 20000 40000 60000 80000 REVENUS 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 19 Caractéristiques de forme 1/2 • Coefficient d’asymétrie (« skewness ») • = 0 si la série de données est symétrique • > 0 si elle est allongée vers la droite • < 0 si elle est allongée vers la gauche • Asymétrie positive fréquente dans les données économiques 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 20 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 11
Caractéristiques de forme 2/2 • Coefficient d’aplatissement (« kurtosis ») • = 3 si aplatie comme Gauss • > 3 si plus concentrée que Gauss • < 3 si plus aplatie que Gauss • Kurtosis (loi uniforme sur [0,1]) = 1,8 • On normalise souvent le kurtosis en soustrayant 3 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 21 Tests de normalité • Test de Kolmogorov-Smirnov • mesure l’écart maximum (en valeur absolue) entre la fonction de répartition de la variable testée et celle d’une variable normale • hypothèse nulle H : les données 0 suivent une distribution donnée (ici une distribution normale, mais le test • test plus sensible au de K-S s’applique + généralement à centre de la distribution d’autre distributions continues) Invalidation de H0 : {distribution normale} 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 22 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 12
Tests de normalité • Test d’Anderson-Darling • modifie Kolmogorov-Smirnov en donnant plus de poids aux queues de distribution • Test de Lilliefors • perfectionne K-S quand on ne connaît pas la moyenne et la variance • car dans ce cas le test de K-S est conservateur si calculé avec la moyenne et la variance estimées sur l’échantillon • Test de Shapiro-Wilk • mesure l’alignement sur la droite ci- contre correspondant à une distribution normale • le meilleur test sur de petits échantillons 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 23 Normalisation 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 24 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 13
Normalisation : transformations • Log (V) • transformation la plus courante pour corriger un coefficient d’asymétrie > 0 • Si V >= 0, on prend Log (1 + V) • Racine carrée (V) si coefficient d’asymétrie > 0 • -1/V ou –1/V² si coefficient d’asymétrie > 0 • V² ou V3 si coefficient d’asymétrie < 0 • Arc sinus (V) • si V est un pourcentage compris entre 0 et 100 • Certains logiciels déterminent automatiquement la transformation la plus adaptée • en utilisant l’algorithme de Box et Cox ou la loi de Taylor 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 25 Normalisation : exemple des revenus 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 26 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 14
Normalisation par le logarithme 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 27 Normalisation par la racine carrée 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 28 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 15
Filtrage des extrêmes 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 29 Tableau de contingence • Un tableau de contingence est le croisement de 2 variables catégorielles A et B : le coefficient x du ij tableau = nb d’individus x tels que A(x) = a et B(x) = b • i j Le test du χ² permet de détecter une dépendance entre les deux variables • La contribution au χ² de chaque cellule du tableau de contingence montre les liaisons entre modalités des 2 variables : soit sur-effectif, soit sous-effectif, soit équilibre • S’il y a de nombreuses modalités, il est fastidieux de parcourir toutes les cellules • S’il y a plus de 2 variables à croiser, c’est encore + ardu, voire impossible ⇒ se tourner vers l’analyse des correspondances 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 30 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 16
Pièges des tableaux de contingence et paradoxe de Simpson 1/2 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 31 Pièges des tableaux de contingence et paradoxe de Simpson 2/2 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 32 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 17
Paradoxe de Simpson : explication • Dans le dernier exemple : • les hommes ne répondent pas mieux au téléphone qu’au courriel • de même pour les femmes • et pourtant, le téléphone semble avoir globalement un meilleur taux d’achat • Explication : • un individu pris au hasard ne répond pas mieux au téléphone • mais les femmes achètent plus et on a privilégié le téléphone pour les contacter (liaison positive entre les variables « sexe » et « canal de distribution ») 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 33 La préparation des données : Tests statistiques 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 34 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 18
Propriétés de la loi normale • Elle est entièrement définie par sa moyenne μ et son écart- type σ et toute loi N(μ,σ) peut se ramener à une loi N(0,1) • Sa moyenne = sa médiane = son mode • Loi limite des lois binomiales, de Poisson et du χ² • Loi très fréquente dans les phénomènes biologiques et médicaux • Les observations sont distribuées symétriquement autour de la moyenne : • 68 % des observations se trouvent à une distance ± σ de μ • 95 % des observations se trouvent à une distance ± 2σ de μ • 99,8 % des observations se trouvent à une distance ± 3σ de μ • Une transformation permet parfois de rendre normale une variable 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 35 Situation de la loi normale • Référence pour de nombreux indices • Cadre de nombreux tests (t de Student, ANOVA, corrélation de Pearson) • Hypothèse dans l’analyse discriminante de Fisher, dans la régression linéaire, etc. • Non normalité moins gênante si les effectifs sont grands 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 36 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 19
Principe général d’un test d’hypothèse • Quand on veut démontrer l’hypothèse H que : 1 • une moyenne mesurée dans un échantillon est significativement différente de la moyenne dans la population • significativement = ne résulte pas uniquement du hasard • des moyennes mesurées dans 2 échantillons sont significativement différentes • une variable ne suit pas une loi théorique donnée • deux variables sont significativement différentes • un échantillon n’est pas homogène mais est composé de plusieurs sous-populations • … on soumet l’hypothèse contraire H à un test T qui doit 0 être satisfait si H0 est vraie • … puis on montre que T n’est pas satisfait ⇒ H est faux • 0 Vocab. : H0 : hypothèse nulle – H1 : hypothèse alternative 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 37 Exemples • Égalité de moyennes dans 2 échantillons : test de Student • Égalité de moyennes dans k > 2 échantillons : analyse de la variance • Égalité de 2 variances : test de Fisher-Snedecor • Égalité de 2 distributions : test de Kolmogorov-Smirnov • Indépendance de 2 variables qualitatives : test du χ² • ce test est non-paramétrique • mais non exact -> le test exact correspondant est le test de Fisher (ne pas confondre avec le test de Fisher-Snedecor) • voir plus loin ces notions de « paramétrique » et « exact » 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 38 PDF created with pdfFactory Pro trial version www.pdffactory.com
Trang 20
Déroulement du test d’hypothèse 1/2 • À l’hypothèse nulle H est associée une statistique, 0 fonction des observations, qui suit une loi théorique connue si H est vraie 0 x − μ • exemple : si l’hypothèse nulle est (H : μ = μ ), alors 0 0 0 σ suit une loi normale réduite n zone d’acceptation 0,45 0,4 zone de rejet 0,35 0,3 0,25 0,2 valeur calculée 0,15 2,5 % 2,5 % 0,1 0,05 0 -2 1 -3,2-2,6 -1,4-0,8-0,20,4 1,6 2,2 2,8 p-value 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 39 Déroulement du test d’hypothèse 2/2 • Dans la distribution de cette loi, on choisit une zone de rejet (unilatérale ou bilatérale), caractérisée par une probabilité α d’être dans cette zone • on choisit souvent α = 0,05 (= 5 %) • le complémentaire est la zone d’acceptation (si α = 0,05, il s’agit de la région autour de la moyenne où se trouvent 95 % des valeurs de la statistique) • On mesure la valeur de la statistique sur l’échantillon et on compare cette valeur aux valeurs théoriques de la loi • Si cette valeur mesurée tombe dans la zone de rejet, on rejette H 0 • sinon, on ne la rejette pas 18/04/2005 © Stéphane Tufféry - Data Mining & Scoring - http://data.mining.free.fr 40 PDF created with pdfFactory Pro trial version www.pdffactory.com
Hiển thị 20 trang đầu. Tải tài liệu để xem đầy đủ.
Bình luận (0)
Chưa có bình luận nào. Hãy là người đầu tiên!