5 Data mining

UN
Uni24h
0 次下载
84
0

资料内容

第 2 页

Plan „ I- Introduction „ II- Méthodologie „ III- Outils et techniques de data mining „ IV- Méthodes de classification ‹ Arbres de décision ‹ k-plus-proches voisins „ V- Association „ VI- Segmentation ‹ k-moyennes

第 4 页

Exemple introductif „ Un client vient demander un crédit à une banque „ Le banquier cherche à savoir s'il va rembourser le crédit ou non ‹ le client ne dira jamais qu'il ne va pas rembourser… mais le banquier peut inférer sur le comportement futur du client à partir de la base de données des anciens clients

第 5 页

Définition „ Data mining ‹ Ensemble de techniques d'exploration de données permettant d'extraire d'une base de données des connaissances sous la forme de modèles de description afin de décrire le comportement actuel et/ou de prédire le comportement futur des données DATA DATA WAREHOUSE MINING Connaissances Découverte de modèles Compréhension Prédiction

第 6 页

Connaissances „ Modèles de description peuvent être: ‹ des analyses : „ exemple: la distribution du trafic routier en fonction de l'heure ‹ des règles: „ par exemple: si un client n'a pas payé une facture > 100 000 Sfr alors il est dans 70% des cas en faillite ‹ attribution des scores de qualité „ par exemple, score de fidélité aux clients ‹ classification des entités „ par exemple, les mauvais payeurs

第 7 页

Domaines d'application „ Domaine des assurances ‹ analyse des clients à "haut risque" „ Services financiers ‹ Attribution d'un crédit bancaire ‹ Détection de fraude ‹ Marketing ciblé „ Grande distribution ‹ Profil de consommateurs ‹ Constitution des rayons ‹ Marketing ciblé „ Médecine ‹ Aide au diagnostic „ …

第 8 页

Architecture BD BD Spatiales Textes BD/DW BD Data mining multimedia Base de Données ou Data Warehouse web

第 9 页

DM: Convergence de plusieurs disciplines Bases de données Statistiques DATA MINING Intelligence Analyse de Artificielle données

第 11 页

Méthodologie „ 1. Identifier le problème ‹ cerner les objectifs „ 2. Préparer les données ‹ Collecter les données ‹ Nettoyer les données ‹ Enrichir les données ‹ Codage, normalisation „ 3. Fouille des données ‹ Choisir un type de modèle et une technique pour construire ce modèle ‹ Validation „ 4. Utiliser le modèle

第 12 页

2. Préparer les données (i) „ Collecter les données „ Nettoyer les données ‹ Points communs avec préparation des données pour la constitution d'un DW: si données provenant d'un DW, travail simplifié mais encore nécessaire pour „ suppression des doublons, des erreurs de saisie „ traitement des informations manquantes „ Enrichir les données ‹ recours à d'autres données pour enrichir les données, ex: données médicales pour la banque „ pb d'intégration de données

第 13 页

2. Préparer les données (ii) „ Codage, normalisation ‹ Regroupements: attributs prenant un grand nombre de valeurs discrètes peuvent être regroupés ‹ Exemple adresses en région

第 14 页

2. Préparer les données (iii) „ Codage, normalisation ‹ Attributs discrets: codage des attributs discrets „ par exemple magazine: N° Magazine Adresse 1 BD Lausanne Sport BD Voiture Musique Adresse 1 voiture Lausanne 1 0 1 1 1 Vaud 1 musique Lausanne 2 0 1 0 0 Vaud 2 BD Morges 3 1 0 0 0 Genève 3 sport Genève 4 1 0 0 0 Vaud 4 sport Ecublens

第 15 页

2. Préparer les données (iv) „ Codage, normalisation (suite) ‹ Changement de type: transformer les attributs dont le type n'est pas facilement utilisable pour des calculs (ex: date de naissance) N° Sport BD Voiture Musique Date Revenus Adresse Durée naissance abonnement 1 0 1 1 1 50 70 Vaud 4 2 0 1 0 0 25 110 Valais 5 3 1 0 0 0 40 80 Genève 4 4 1 0 0 0 35 90 Vaud null

第 16 页

2. Préparer les données (v) „ Codage, normalisation (suite) ‹ Uniformisation d'échelle: même ordre de grandeur pour les attributs (ex: revenus /1000 pour être uniformisés avec date et durée) N° Sport BD Voiture Musique Date Revenus Adresse Durée naissance abonnement 1 0 1 1 1 50 70 Vaud 4 2 0 1 0 0 25 110 Valais 5 3 1 0 0 0 40 80 Genève 4 4 1 0 0 0 35 90 Vaud null

第 17 页

3. Fouille des données „ On a : ‹ Identifié le problème ‹ Préparé les données „ Maintenant: Fouille de données ‹ Deux étapes: „ Construction d'un modèle „ Validation de ce modèle (erreur)

第 18 页

3.1 Construction du modèle „ Deux étapes: ‹ Choix du type de modèle „ Ex: Classification ‹ Choix de la méthode pour construire ce modèle „ Ex: arbres de décision „ Choix d'un algorithme pour cette méthode : CART, C4.5, … „ Processus itératif: ‹ Nécessité d'explorer plusieurs modèles avant de trouver celui qui est adapté au besoin

第 19 页

3.2 Validation „ Deux types de validation: ‹ Par un expert ‹ Statistique „ Validation statistique ‹ Décomposer les données en 2 ensembles: „ un ensemble d'apprentissage: pour générer le modèle „ un ensemble de test: pour tester le modèle sur un autre ensemble de données ‹ "Cross-validation": ensemble divisé en n groupes: „ (n-1) ensembles d'apprentissage „ 1 groupe de test puis on tourne, chaque groupe devenant groupe d'apprentissage et de test à son tour.

第 20 页

3.2 Validation (suite) „ Validité du modèle: ‹ Nombre de cas corrects/nombre de cas total: pour cela on réalise la Matrice de confusion: „ Matrice à 2 dimensions dont l’élément (i,j) indique le nombre de cas de type i prédits par le modèle et observés comme étant réellement de type j sur les données de test ‹ aussi variance et écart type (entre valeur prédite et la valeur observée) -> mesurer la validité d'un modèle est une tâche difficile

显示前 20 页。下载资料查看完整内容。

评论 (0)

登录 以加入讨论

暂无评论。快来抢沙发吧!