Page 1
Entrepôts de donnéesEntrepôts de données (Data Warehouses)(Data Warehouses) Thibault Estier Ecole des HEC Université de Lausanne thibault.estier@hec.unil.ch
Page 2
Entrepôts de données: principes et définitions • Références: – Data Warehousing, Data Mining, &OLAP, Alex Berson & Stephen J. Smith, McGraw-Hill, 1997, 606 pages, ISBN=0-07-006272-2 – Entrepôts de données, guide pratique du concepteur de « data warehouses » Ralph Kimball, International Thomson Publishing France, Paris, 1997, 360 pages + 1 CD-ROM, ISBN=2-84180-021-0 Th. Estier - HEC Lausanne 2
Page 3
Motivation des Entrepôts de données • Transformer les « données » des systèmes d’information opérationnels en « informations » données informations run the business manage the business • intégrer différentes bases de données opérationnelles • donner l ’accès aux informations du passé • fournir des outils d ’analyse sur ces données • informations comme: • aggrégations de données, • résumé de données • interpolation de données manquantes • réconcilier des données inconsistentes Th. Estier - HEC Lausanne 3
Page 4
OLTP <-> OLAP • On Line Transaction Processing • On Line Analytical Processing • opérations automatisées répétitives • analyses selon des modes imprévisibles, adhoc • courtes transactions, isolées • données combinées de sources diverses • données détaillées, et instantanées • données historisées, résumés temporels • lire des millions de données, ne • lire et mettre-à-jour très rapidement jamais mettre-à-jour, quelques données • données orientées « sujet » • données orientées « application » Th. Estier - HEC Lausanne 4
Page 5
Conséquence: Incompatibilités des deux activités • Les deux activités (OLTP & OLAP) ne peuvent pas co-exister sur des données dans le même système d ’information: leurs objectifs de performance sont exactement opposés: – les requêtes complexes et lourdes fusillent les performances des systèmes transactionnels, – les données temporelles sont réparties entre données actuelles et données archivées, rendant la vue historique des données très difficile ou impossible, • ==> le support efficace d ’une activité OLAP nécessite la constitution d ’un système d ’information propre: l ’entrepôt de données. Th. Estier - HEC Lausanne 5
Page 6
Définition Un entrepôt de données (data warehouse) est un ensemble unique, complet et consistant de données obtenues depuis une variété de sources et rendu disponible à des utilisateurs finaux à des fins de compréhension et de gestion des affaires décrites par ces données. (d’après B. Devlin, Journal of Data Warehouses, nov. 1997) Propriétés: un data warehouse est: – orienté sujets - défini par rapport au temps – intégré - persistant sur le moyen à long terme Th. Estier - HEC Lausanne 6
Page 7
Modélisation dimensionnelle des données semaine par par marché par produit Le cube des ventes: chaque point représente un “fait de vente”: [ la semaine 23, on a vendu 50 paires de jeans à Lausanne ] Th. Estier - HEC Lausanne 7
Page 8
Schémas de bases de données pour les Entrepôts • Schémas en étoile (STAR) • une table centrale contient tous les faits à analyser, • pour chaque dimension / paramètre de la table des faits, on a une table qui définit une des clés étrangère de la table de faits. Temps Ventes Région date date_vente no_agence période_exploi no_client bureau_régional no_produit pays no_agence quantité Client no_client Produit nom no_produit rue catégorie ville Th. Estier - HEC Lausanne 8
Page 9
Processus de conception pour une base de données dimensionnelle (R. Kimball) 1. Choisir le processus d’activités opérationnelles à modéliser – Ex: les commandes, la facturation, les stocks, les ventes, etc… 2. Choisir la granularité du processus d’activité (le niveau de détail fondamental) – Ex: chaque transaction commerciale, ou une récapitulation quotidienne des transactions par client, ou une balance mensuelle du niveau de stock de chaque article, etc… Chaque « grain » sera une entité de la table des faits. 3. Choisir les dimensions applicables à chaque fait – Ex: Pour un fait de vente, le temps, le produit, le client (ou sa localisation), le type de transaction commerciale, la promotion, le statut de cette vente, etc… – Pour chaque dimension retenue on construira une table de dimension 4. Choisir les mesures appliquées à chaque fait – Ex: toutes infos retenues pour caractérériser un fait deviendront des attributs de la table des faits. Th. Estier - HEC Lausanne 9
Page 10
Architectures d’entrepôts de données 1. L ’entrepôt virtuel (ou le non-entrepôt) Outils d’analyse Inconvénients: • pas de réelle intégration des données Middleware • différentes vues non-réconciliées • pas de vues dans le temps … • les requêtes peuvent facilement bloquer les transactions en cours Th. Estier - HEC Lausanne 10
Page 11
Architectures d’entrepôts de données 2. Les paniers de données adhoc (Data Marts) Outils d’analyse Outils d’analyse data mart data mart Outils d ’extraction et consolidation des données … Th. Estier - HEC Lausanne 11
Page 12
Architectures d’entrepôts de données 2. Les paniers de données adhoc (Data Marts) Avantages: • plus d’interférences avec les BD opérationnelles, Outils d’analyse Outils d’analyse • données consolidées et temporalisées data mart data mart Inconvénients: Outils d ’extraction et consolidation des données • pas de vue d’ensemble des données • risque de divergences … d ’interprétations • pertes dues aux recouvrements (importants) de données entre data marts. Th. Estier - HEC Lausanne 12
Page 13
Architectures d’entrepôts de données 3. L ’entrepôt centralisé Outils d’analyse Outils d’analyse Avantages supplémentaires: • exploitation d’informations unifiée sur toute l’organisation, data mart data mart vues vues • paniers de données spécialisés pour des besoins particuliers: • aggrégations pré-calculées data warehouse • index ajustés pour de meilleures performances, • SGBD ’s spécialisés modèle de données d ’entreprise Outils d ’extraction et consolidation des données … Th. Estier - HEC Lausanne 13
Page 14
Architectures d’entrepôts de données 4. L ’entrepôt centralisé et sa description: le meta-dictionnaire Outils d’analyse Outils d’analyse data mart data mart vues vues meta-données dictionnaire data warehouse modèle de données d ’entreprise Outils d ’extraction et consolidation des données … Th. Estier - HEC Lausanne 14
Page 15
Les outils d’extraction • Fonctions attendues: – Transformation de données – Unification des représentations – Corrections d ’irrégularités – Définition automatique / maintenance des meta-données Th. Estier - HEC Lausanne 15
Page 16
Transformation des données 1) Conversion de formats: des formats de la base opérationnelle dans les formats de la base de l ’entrepôt, 2) uniformisation/réduction des valeurs de clés (pour éviter de surcharger les index de l ’entrepôt) 3) convertir / uniformiser les noms des attributs (D-Naiss, Naissance, Date_N, etc.) --> « date_naissance » 4) uniformiser les valeurs d ’attributs (1923, 16.10.1923, 16-octobre-23) --> 19231016, 5) uniformiser les tables de codes internes (1001 = roue, 1002 = cadre, 1003 = guidon, 1004 = pédale, ...), substituer par des tables de conversion dans le meta-dictionnaire. Th. Estier - HEC Lausanne 16
Page 17
Nettoyage des données • Ajouter des règles d ’intégrité au module d ’extraction des données pour: – identifier et corriger les valeurs invalides – identifier (et remplacer) les valeurs manquantes – traiter les violations de contraintes d ’intégrité • Ajouter des heuristiques au module d ’extraction des données pour: – trouver si deux entités représentent la même information, – pour ajouter des attributs à certaines entités Th. Estier - HEC Lausanne 17
Page 18
Outils ETL (Extract, Transform and Load) • Langages de spécifications déclaratives (plutôt que des scripts fixes écrits à la main) • 2 approches: – générateurs de programmes d ’extraction – moteurs d ’extractions pilotés par les règles déclaratives • Les générateurs de programme ont l ’avantage généralement de permettre la mise-à-jour en même temps du meta-dictionnaire. Th. Estier - HEC Lausanne 18
Page 19
Le double rôle des meta-données • Faciliter l ’administration et le développement de l ’entrepôt de données: – décrire les situations de données intégrées / uniformisées – faciliter la conception de nouvelles applications d ’analyse de données – permettre l ’automatisation de processus réguliers de maintenance de l ’entrepôt, • Faciliter l ’extraction périodique de données depuis les bases opérationnelles – augmenter la qualité des données (en fournissant les valeurs de références et en permettant (parfois) d ’inférer des valeurs manquantes, – renforcer une terminologie unique à travers les différents outils d ’analyse (et donc à travers les différents Data Marts. Th. Estier - HEC Lausanne 19
Showing the first 19 pages. Download the document to see it all.
Comments (0)
No comments yet. Be the first!