Génération de l'aperçu...
Plan Partie 1 : Introduction 1. Objectifs 2. Qu'est ce qu'un datawarehouse? 3. Pourquoi ne pas réutiliser les BD? Partie 2 : Implémentation d'un datawarehouse ROLAP MOLAP HOLAP Partie 3 : Cube Hypercube: Mesures et Dimension Opérateurs de manipulation Partie 4 : Modélisation en étoile et en flocon Partie 5 : Conception d'un datawarehouse
1- Objectifs Transformer un système d’information qui avait une vocation de production en un SI décisionnel = Transformation des données de production en informations stratégiques Exemple de requêtes décisionnelles : Catégorie socioprofessionnelle des meilleurs clients de chaque région Evolution de la part de marché d’un produit particulier Nombre d'employé de l'entreprise par classe d'âge, par sexe, par grade Quel est le profil des employés les plus performants?
Objectifs (2) Gestion et visualisation des données doit être rapide et intuitive -> visualisation multi-dimensionnelle des données: Date Ecrou Vis Boulon Joint Janvier Février Mars Centre Type de Ouest Produit Est Région
Objectifs (3) Pour cela, nécessaire de retrouver et d’analyser rapidement les données provenant de diverses sources DW offre une vision transversale des données de l'entreprise intégration de différentes BDs Les données doivent être : Extraites Groupées ensembles et organisées Corrélées Transformées (résumé, agrégation)
2- Qu'est ce qu'un data Warehouse? Ensemble de données destinées aux "décideurs" souvent une copie des données de production avec une valeur ajoutée (agrégation, historique) intégrées historisées Ensemble d'outils permettant de regrouper les données de nettoyer, d'intégrer les données, ... de faire des requêtes, rapports, analyses de faire du data mining faire l'administration du warehouse
Fonctions d'un Data Warehouse Récupérer des données existants dans différentes BD sources Stocker les données (historisées) Mettre à disposition les données pour : Interrogation Visualisation Analyse
Architecture Data Warehouse OLAP Servers Clients INTEGRATION Data Mining Data Cubes* warehouse Analyses statistiques Tableurs Bases de production Data Marts Requêtes Rapports OLAP *MOLAP, ROLAP, HOLAP
3- Pourquoi ne pas utiliser un SGBD? SGBD et DW : ont des objectifs différents et font des traitements différents stockent des données différentes font l'objet de requêtes différentes -> SGBD et DW ont besoin d'une organisation différente des données -> SGBD et DW doivent être physiquement séparés.
SGBD: Objectifs et traitements Les SGBD sont des systèmes dont le mode de travail est transactionnel (OLTP On-Line Transaction Processing). Permet d'insérer, modifier, interroger des informations rapidement, efficacement, en sécurité. Deux objectifs principaux : Sélectionner, ajouter, mettre à jour et supprimer des tuples Ces opérations doivent pouvoir être effectuées très rapidement, et par de nombreux utilisateurs simultanément.
DW: Objectifs et traitements Les datawarehouse sont des systèmes conçus pour l’aide à la prise de décision. (Mode de travail: OLAP On-Line Analytical Processing) La plupart du temps sont utilisés en lecture (utilisateurs) Les objectifs principaux sont regrouper, organiser des informations provenant de sources diverses, les intégrer et les stocker pour donner à l’utilisateur une vue orientée métier, retrouver et analyser l’information facilement et rapidement.
Données différentes D’après BILL Inmon : “Un DW est une collection de données orientées sujet, intégrées, non volatiles, historisées, organisées pour la prise de décision.” Orientées sujet: thèmes par activités majeures ; Intégrées: divers sources de données ; Non volatiles: ne pas supprimer les données du DW ; Historisées: trace des données, suivre l’évolution des indicateurs.
Orientées sujet Données Production produit Employés Données client Facturation Données vendeur Données BD DW
Données intégrées Production Données Employés Client Facturation Techniques d'intégration des données Techniques de nettoyage: Cohérence entre les différentes sources des noms, unités de mesures, etc
Données non volatiles DBMS DW créer accéder maj supprimer Données Ventes Client insérer charger Pas d'historique Données historisées
Les données Volume très important Données dispersées, souvent difficiles d’accès Peu ou mal intégrées Complexes Non structurées pour les applications décisionnelles
Requêtes (1) BD-OLTP représentent les données sous forme aplatie: relation, données normalisées produit région vente date vendeur écrou Est 50 01012004 X écrou Ouest 60 12122003 X produit prix fournisseur écrou Centre 110 01112003 Y écrou 44 CC vis Est 70 01042004 Y vis 2 DD vis Ouest 80 10022004 Z boulon 3 VV vis Centre 90 29032004 Y joint 1 BB boulon Est 120 05052004 X boulon Ouest 10 24042004 Z boulon Centre 20 11022004 Y fournisseur ville joint Est 50 01032004 X … … joint Ouest 40 01102003 Y joint Centre 70 01012003 Z
Requêtes (2) OLTP: Requêtes simples "qui, quoi" par ex. les ventes de X. jointures: les ventes de X à quel prix de quel fournisseur, OLAP: besoin de données agrégées, synthétisées nombre de ventes par vendeur, par région, par mois, nombre de ventes par vendeur, par fournisseur, par mois, … SQL: Possibilité d'agréger les données (group by) mais très coûteux (parcourir toutes les tables) et il faut recalculer à chaque utilisation Sur plusieurs tables (ex : somme des ventes par fournisseur), nécessité de faire des jointures souvent coûteuses
Différences BD – DW Caractéristiques OLTP OLAP Applications production aide à la décision Utilisateurs un département transversal (entreprise) professionnel IT décideur non IT Données normalisées, non dénormalisées, agrégées agrégées Requêtes simples, nombreuses, complexes, peu régulières, prévisibles, nombreuses, irrégulières, répétitives non prévisibles Nb tuples invoqués par dizaines millions requête (moyenne) Taille données 100 MB à 1 GB 1 GB à 1 TB Ancienneté des récente, mises à jour historique données
Affichage des 20 premières pages. Téléchargez le document pour le voir en entier.
Aucun commentaire pour le moment. Soyez le premier !
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !