Page 2
Plan I- Introduction II- Méthodologie III- Outils et techniques de data mining IV- Méthodes de classification Arbres de décision k-plus-proches voisins V- Association VI- Segmentation k-moyennes
Génération de l'aperçu...
Plan I- Introduction II- Méthodologie III- Outils et techniques de data mining IV- Méthodes de classification Arbres de décision k-plus-proches voisins V- Association VI- Segmentation k-moyennes
Exemple introductif Un client vient demander un crédit à une banque Le banquier cherche à savoir s'il va rembourser le crédit ou non le client ne dira jamais qu'il ne va pas rembourser… mais le banquier peut inférer sur le comportement futur du client à partir de la base de données des anciens clients
Définition Data mining Ensemble de techniques d'exploration de données permettant d'extraire d'une base de données des connaissances sous la forme de modèles de description afin de décrire le comportement actuel et/ou de prédire le comportement futur des données DATA DATA WAREHOUSE MINING Connaissances Découverte de modèles Compréhension Prédiction
Connaissances Modèles de description peuvent être: des analyses : exemple: la distribution du trafic routier en fonction de l'heure des règles: par exemple: si un client n'a pas payé une facture > 100 000 Sfr alors il est dans 70% des cas en faillite attribution des scores de qualité par exemple, score de fidélité aux clients classification des entités par exemple, les mauvais payeurs
Domaines d'application Domaine des assurances analyse des clients à "haut risque" Services financiers Attribution d'un crédit bancaire Détection de fraude Marketing ciblé Grande distribution Profil de consommateurs Constitution des rayons Marketing ciblé Médecine Aide au diagnostic …
Architecture BD BD Spatiales Textes BD/DW BD Data mining multimedia Base de Données ou Data Warehouse web
DM: Convergence de plusieurs disciplines Bases de données Statistiques DATA MINING Intelligence Analyse de Artificielle données
Méthodologie 1. Identifier le problème cerner les objectifs 2. Préparer les données Collecter les données Nettoyer les données Enrichir les données Codage, normalisation 3. Fouille des données Choisir un type de modèle et une technique pour construire ce modèle Validation 4. Utiliser le modèle
2. Préparer les données (i) Collecter les données Nettoyer les données Points communs avec préparation des données pour la constitution d'un DW: si données provenant d'un DW, travail simplifié mais encore nécessaire pour suppression des doublons, des erreurs de saisie traitement des informations manquantes Enrichir les données recours à d'autres données pour enrichir les données, ex: données médicales pour la banque pb d'intégration de données
2. Préparer les données (ii) Codage, normalisation Regroupements: attributs prenant un grand nombre de valeurs discrètes peuvent être regroupés Exemple adresses en région
2. Préparer les données (iii) Codage, normalisation Attributs discrets: codage des attributs discrets par exemple magazine: N° Magazine Adresse 1 BD Lausanne Sport BD Voiture Musique Adresse 1 voiture Lausanne 1 0 1 1 1 Vaud 1 musique Lausanne 2 0 1 0 0 Vaud 2 BD Morges 3 1 0 0 0 Genève 3 sport Genève 4 1 0 0 0 Vaud 4 sport Ecublens
2. Préparer les données (iv) Codage, normalisation (suite) Changement de type: transformer les attributs dont le type n'est pas facilement utilisable pour des calculs (ex: date de naissance) N° Sport BD Voiture Musique Date Revenus Adresse Durée naissance abonnement 1 0 1 1 1 50 70 Vaud 4 2 0 1 0 0 25 110 Valais 5 3 1 0 0 0 40 80 Genève 4 4 1 0 0 0 35 90 Vaud null
2. Préparer les données (v) Codage, normalisation (suite) Uniformisation d'échelle: même ordre de grandeur pour les attributs (ex: revenus /1000 pour être uniformisés avec date et durée) N° Sport BD Voiture Musique Date Revenus Adresse Durée naissance abonnement 1 0 1 1 1 50 70 Vaud 4 2 0 1 0 0 25 110 Valais 5 3 1 0 0 0 40 80 Genève 4 4 1 0 0 0 35 90 Vaud null
3. Fouille des données On a : Identifié le problème Préparé les données Maintenant: Fouille de données Deux étapes: Construction d'un modèle Validation de ce modèle (erreur)
3.1 Construction du modèle Deux étapes: Choix du type de modèle Ex: Classification Choix de la méthode pour construire ce modèle Ex: arbres de décision Choix d'un algorithme pour cette méthode : CART, C4.5, … Processus itératif: Nécessité d'explorer plusieurs modèles avant de trouver celui qui est adapté au besoin
3.2 Validation Deux types de validation: Par un expert Statistique Validation statistique Décomposer les données en 2 ensembles: un ensemble d'apprentissage: pour générer le modèle un ensemble de test: pour tester le modèle sur un autre ensemble de données "Cross-validation": ensemble divisé en n groupes: (n-1) ensembles d'apprentissage 1 groupe de test puis on tourne, chaque groupe devenant groupe d'apprentissage et de test à son tour.
3.2 Validation (suite) Validité du modèle: Nombre de cas corrects/nombre de cas total: pour cela on réalise la Matrice de confusion: Matrice à 2 dimensions dont l’élément (i,j) indique le nombre de cas de type i prédits par le modèle et observés comme étant réellement de type j sur les données de test aussi variance et écart type (entre valeur prédite et la valeur observée) -> mesurer la validité d'un modèle est une tâche difficile
Affichage des 20 premières pages. Téléchargez le document pour le voir en entier.
Aucun commentaire pour le moment. Soyez le premier !
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !