5 Data mining

UN
Uni24h
0 téléchargements
84
0

Contenu du document

Page 2

Plan „ I- Introduction „ II- Méthodologie „ III- Outils et techniques de data mining „ IV- Méthodes de classification ‹ Arbres de décision ‹ k-plus-proches voisins „ V- Association „ VI- Segmentation ‹ k-moyennes

Page 4

Exemple introductif „ Un client vient demander un crédit à une banque „ Le banquier cherche à savoir s'il va rembourser le crédit ou non ‹ le client ne dira jamais qu'il ne va pas rembourser… mais le banquier peut inférer sur le comportement futur du client à partir de la base de données des anciens clients

Page 5

Définition „ Data mining ‹ Ensemble de techniques d'exploration de données permettant d'extraire d'une base de données des connaissances sous la forme de modèles de description afin de décrire le comportement actuel et/ou de prédire le comportement futur des données DATA DATA WAREHOUSE MINING Connaissances Découverte de modèles Compréhension Prédiction

Page 6

Connaissances „ Modèles de description peuvent être: ‹ des analyses : „ exemple: la distribution du trafic routier en fonction de l'heure ‹ des règles: „ par exemple: si un client n'a pas payé une facture > 100 000 Sfr alors il est dans 70% des cas en faillite ‹ attribution des scores de qualité „ par exemple, score de fidélité aux clients ‹ classification des entités „ par exemple, les mauvais payeurs

Page 7

Domaines d'application „ Domaine des assurances ‹ analyse des clients à "haut risque" „ Services financiers ‹ Attribution d'un crédit bancaire ‹ Détection de fraude ‹ Marketing ciblé „ Grande distribution ‹ Profil de consommateurs ‹ Constitution des rayons ‹ Marketing ciblé „ Médecine ‹ Aide au diagnostic „ …

Page 8

Architecture BD BD Spatiales Textes BD/DW BD Data mining multimedia Base de Données ou Data Warehouse web

Page 9

DM: Convergence de plusieurs disciplines Bases de données Statistiques DATA MINING Intelligence Analyse de Artificielle données

Page 11

Méthodologie „ 1. Identifier le problème ‹ cerner les objectifs „ 2. Préparer les données ‹ Collecter les données ‹ Nettoyer les données ‹ Enrichir les données ‹ Codage, normalisation „ 3. Fouille des données ‹ Choisir un type de modèle et une technique pour construire ce modèle ‹ Validation „ 4. Utiliser le modèle

Page 12

2. Préparer les données (i) „ Collecter les données „ Nettoyer les données ‹ Points communs avec préparation des données pour la constitution d'un DW: si données provenant d'un DW, travail simplifié mais encore nécessaire pour „ suppression des doublons, des erreurs de saisie „ traitement des informations manquantes „ Enrichir les données ‹ recours à d'autres données pour enrichir les données, ex: données médicales pour la banque „ pb d'intégration de données

Page 13

2. Préparer les données (ii) „ Codage, normalisation ‹ Regroupements: attributs prenant un grand nombre de valeurs discrètes peuvent être regroupés ‹ Exemple adresses en région

Page 14

2. Préparer les données (iii) „ Codage, normalisation ‹ Attributs discrets: codage des attributs discrets „ par exemple magazine: N° Magazine Adresse 1 BD Lausanne Sport BD Voiture Musique Adresse 1 voiture Lausanne 1 0 1 1 1 Vaud 1 musique Lausanne 2 0 1 0 0 Vaud 2 BD Morges 3 1 0 0 0 Genève 3 sport Genève 4 1 0 0 0 Vaud 4 sport Ecublens

Page 15

2. Préparer les données (iv) „ Codage, normalisation (suite) ‹ Changement de type: transformer les attributs dont le type n'est pas facilement utilisable pour des calculs (ex: date de naissance) N° Sport BD Voiture Musique Date Revenus Adresse Durée naissance abonnement 1 0 1 1 1 50 70 Vaud 4 2 0 1 0 0 25 110 Valais 5 3 1 0 0 0 40 80 Genève 4 4 1 0 0 0 35 90 Vaud null

Page 16

2. Préparer les données (v) „ Codage, normalisation (suite) ‹ Uniformisation d'échelle: même ordre de grandeur pour les attributs (ex: revenus /1000 pour être uniformisés avec date et durée) N° Sport BD Voiture Musique Date Revenus Adresse Durée naissance abonnement 1 0 1 1 1 50 70 Vaud 4 2 0 1 0 0 25 110 Valais 5 3 1 0 0 0 40 80 Genève 4 4 1 0 0 0 35 90 Vaud null

Page 17

3. Fouille des données „ On a : ‹ Identifié le problème ‹ Préparé les données „ Maintenant: Fouille de données ‹ Deux étapes: „ Construction d'un modèle „ Validation de ce modèle (erreur)

Page 18

3.1 Construction du modèle „ Deux étapes: ‹ Choix du type de modèle „ Ex: Classification ‹ Choix de la méthode pour construire ce modèle „ Ex: arbres de décision „ Choix d'un algorithme pour cette méthode : CART, C4.5, … „ Processus itératif: ‹ Nécessité d'explorer plusieurs modèles avant de trouver celui qui est adapté au besoin

Page 19

3.2 Validation „ Deux types de validation: ‹ Par un expert ‹ Statistique „ Validation statistique ‹ Décomposer les données en 2 ensembles: „ un ensemble d'apprentissage: pour générer le modèle „ un ensemble de test: pour tester le modèle sur un autre ensemble de données ‹ "Cross-validation": ensemble divisé en n groupes: „ (n-1) ensembles d'apprentissage „ 1 groupe de test puis on tourne, chaque groupe devenant groupe d'apprentissage et de test à son tour.

Page 20

3.2 Validation (suite) „ Validité du modèle: ‹ Nombre de cas corrects/nombre de cas total: pour cela on réalise la Matrice de confusion: „ Matrice à 2 dimensions dont l’élément (i,j) indique le nombre de cas de type i prédits par le modèle et observés comme étant réellement de type j sur les données de test ‹ aussi variance et écart type (entre valeur prédite et la valeur observée) -> mesurer la validité d'un modèle est une tâche difficile

Affichage des 20 premières pages. Téléchargez le document pour le voir en entier.

Commentaires (0)

Se connecter pour rejoindre la discussion

Aucun commentaire pour le moment. Soyez le premier !