Trang 1
Data warehouse Motivations et architecture Conception de la BD support Alimentation du DW Exploitation OLAP Conclusion
Trang 2
1. OLTP et OLAP Reports & AppAppli.li. Analysis Appli. OLAP ETL DW OLTP DM Aides à la décision Introduction DW
Trang 3
Explosion de l ’OLAP Facteurs économiques & technologiques 18 16 14 12 10 8 6 CA en Milliards de $4 2 0 1994 1995 1996 1997 1998 1999 2000 2001 Années Introduction DW
Trang 4
Motivations des entreprises Besoin des entreprises accéder à toutes les données de l’entreprise regrouper les informations disséminées analyser et prendre des décisions rapidement (OLAP) Exemples d'applications concernées Grande distribution : marketing, maintenance, ... produits à succès, modes, habitudes d’achat préférences par secteurs géographiques Bancaire : suivi des clients, gestion de portefeuilles mailing ciblés pour le marketing Télécommunications : pannes, fraudes, mobiles, ... classification des clients, détection fraudes, fuites de clients Introduction DW
Trang 5
Datawarehouse : définition Entrepôt de données Ensemble de données historisées variant dans le temps, organisé par sujets, consolidé dans une base de données unique, géré dans un environnement de stockage particulier, aidant à la prise de décision dans l’entreprise. Trois fonctions essentielles : collecte de données de bases existantes et chargement gestion des données dans l’entrepôt analyse de données pour la prise de décision Introduction DW
Trang 7
Datamart (Magasin de données) sous-ensemble de données [extrait du DW] et ciblé sur un sujet unique Bases Data Warehouse multidimensionnelles Bases de production Data Marts SGBD relationnel Outils Bases d’alimentation Introduction DW Bases externes relationnelles
Trang 8
2. Concevoir le DW Export de données des sources Hétérogènes et variées Fichiers, BD patrimoniales, Web, … Définition des vues exportées Définition d'un schéma global Intègre les données utiles S'appuie sur le modèle relationnel Nécessité d'une gestion de méta-données Description des sources Description des vues exportées Description du schéma global Conception DW
Trang 9
Organisation par sujet Les données sont organisées par sujets majeurs: Clients, produits, ventes, … Sujet = faits + dimensions Collecte les données utiles sur un sujet Exemple: ventes Synthétise une vue simple des événements à analyser Exemple: Ventes (N°, produit, période, magasin, ) Détaille la vue selon les dimensions Exemple: Produits(IDprod, description, couleur, taille, …) Magasins(IDmag, nom, ville, dept, pays) Periodes(IDper, année, trimestre, mois, jour) Conception DW
Trang 10
Schémas en étoile Une table de faits encadrées par N tables de dimensions Produits IDprod Periode Table de faits “ventes” description s couleur IDper taille année periode fournisseur trimestre produit mois magasin Magasins jour IDmag unités_vendues nom montant_ventes ville département taxes_ventes pays Conception DW
Trang 11
Schémas en flocons Raffinement du schéma étoile avec des tables normalisées par dimensions Produits Fournisseurs IDprod IDfour description description couleur type Ventes taille Adresse IDfour Avantages Évite les redondances Conduit aux constellations (plusieurs tables de faits à dimensions partagées) Conception DW
Trang 12
Conception du schéma intégré Isoler les faits à étudier Schéma des tables de faits Définir les dimensions Axes d'analyse Normaliser les dimensions Éclater en plusieurs tables liés par contraintes référentielles Intégrer l'ensemble Plusieurs tables de faits partagent quelques tables de dimension (constellation d’étoiles) Conception DW
Trang 13
Bilan conception Le datawarehouse regroupe, historise, résume les données de l'entreprise Le concepteur définit schéma exportés et intégrés des choix fondamentaux ! Ciblage essentiel ! Le datamart c’est plus ciblé et plus petit. Questions ? Peut-on ajouter des données au niveau de l ’entrepôt ? Conception DW
Trang 14
3. Alimenter le DW ETL = Extracteur+Intégrateur Extract + Transform + Load Extraction Depuis les bases sources ou les journaux Différentes techniques Push = règles (triggers) Pull = requêtes (queries) Périodique et répétée Dater ou marquer les données envoyées Difficulté Ne pas perturber les applications OLTP L'alimentation
Trang 15
Transformation Accès unifiés aux données Unification des modèles Traduction de fichiers, BD réseaux, annuaires en tables Evolution vers XML (modèle d'échange) plus riche Unification des accès Rowset, SQL limité, SQL complet, … Mapping plus ou moins sophistiqué Unification des noms Appeler pareil les mêmes choses et différemment les choses différentes Application des "business rules" Elimination des doubles Jointure, projection, agrégation (SUM, AVG) Cleaning des données L'alimentation
Trang 16
Data Cleaning Valeurs manquantes (nulles) Ignorer le tuple Remplacer par une valeur fixe ou par la moyenne Valeurs erronées ou inconsistantes Générées en présence de bruits Détecter par une analyse de voisinage Écart par rapport à la moyenne Factorisation en groupes (outliers) Remplacer par une valeur fixe ou par la moyenne Inspection manuelle de certaines données possible L'alimentation
Trang 17
Chargement Pas de mise à jour Insertion de nouvelles données Archivage de données anciennes De gros volumes Périodicité parfois longue Chargement en blocs (bulk load) Mise à jour des index et résumés Problèmes Cohabitation avec l'OLAP ? Procédures de reprises ? L'alimentation
Trang 18
Principaux ETL (JDNet) Extraction standard Parfois citée comme depuis: fichiers plats (C Issue du rachat d'Acta, plate-forme ETL de et Cobol), Siebel, les cette solution se propose référence par certains SGBDR, Informix, Acta était le fournisseur acteurs, mais pas ceux de rendre accessible en Teradata, Oracle historique du premier de la business "quasi-temps réel" les Financials, PeopleSoft Business connecteur à SAP. intelligence, ETI.Extract données les plus souvent ETI HRMS, SAP R3 et BW... O bjects Partenaire notamment de fonctionne avec des accédées. L'un des Librairies pour toutes les Siebel, Peoplesoft et ETI.Extract librairies pour supporter ActaWorks éditeurs de référence bases de données ci- JDEdwards. Interfaçage les entrepôts de données dans le domaine de l'ETL, dessous, sauf Hyperion, avec Cognos, Hyperion, et des plugins qui s'étend sur la partie sur systèmes anciens et Actuate et Brio. additionnels en middleware en intégrant plus récents. Plugins aussi les transactions. prolongement ETI.Entrepôts de données :Accelerator pour d'applications précises. SiebelOracle,, SQL/SybaseTeradata, et Plus de 40 connecteurs Surtout connu pour son les middleware MQ (IBM, DataStage XE est l'offre Teradata, Hyperion natifs vers des sources de offre de portail, Tibco...). traditionnelle d'Ardent Essbase, MS SQL Server données, dont Hummingbird fournit qu'Informix a racheté et IBM DB2. Prise en IBM/Informix, Oracle, également une plate- début 2000 avant charge nouvelle des Ascential Sybase, Teradata et IBM forme ETL et EAI du nom qu'Ascential ne la formats de données : DB2. Package complet de Genio Suite, assez Software reprenne à son compte Hum m ingbird XML, mainframe, SAP en dédié à SAP et à la réputée. En outre, une natif, binaires, versions DataStage XE lors de sa prise offre de business collection de modules Genio Suite 5 récentes des SGBDR. En d'indépendance, tandis intelligence classique, MySAP. Partie analytique: EAI: Siebel, SAP, support qu'Informix partait chez BI/Suite prolonge le Brio, Business Objects, de MQ Series. Le IBM avec ses entrepôts portail. Mais il n'est pas SPSS et Crystal roadmap prévoit de données. question de CRM Decisions. l'intégration prochaine à analytique. Mais Genio Computer Associates des acteurs comme Brio,Gamme extrêmement MinerL'une des plates-formesaggrège plus de est plus connu pour ses BO,vaste de connecteursCognos et 15d'extraction /algorithmes de offres de sécurité, de Connecteurs en direct MicroStrategyspécifiques aux sources. dataminingtransformation dedifférents. surveillance et de pour extraire les données de données pour gestion d'infrastructures en temps réel depuis SAP, données les plus consolider tous les Com puter réseaux/informatiques. PeopleSoft et des complètes et répandues. principaux entrepôts de Mais son offre ETL systèmes mainframes. PowerCenter à l'échelle Associates données. Pour citer s'avère assez complète Accès à de nombreuses Inform atica de l'entreprise, et quelques acteurs du CRM DecisionBase y compris pour maintenir sources de données dont PowerMart à celle du PowerCenter 5 analytique en vrac: l'intégrité des IBM/Informix, Oracle, service ou du Siebel, Business Objects, métadonnées sur toute Sybase, IBM DB2, HTML département. Oracle, Hyperion, Crystal la chaîne de traitement. et fichiers txt. Informatica s'est Decisions, Brio, SAP, L'outil ETL s'appelle récemment engagé sur Cognos, Peoplesoft, Vision:Pursuit. le créneau des Kana, Nuance, applications analytiques, Microstrategy... ainsi que mais l'offre ETL est les middleware MQ pour indépendante. aller plus loin. http://solutions.journaldunet.com/0208/020827_bi_panorama1.shtml
Trang 19
4. Gérer l'entrepôt Base relationnelle Support de larges volumes (qq 100 gigas à qq téras) Historisation des données (fenêtres) Importance des agrégats et chargements en blocs Base spécialisée Base multidimensionnelle Combinaison des deux Machine support parallèle Multiprocesseurs Mémoire partagée, cluster, bus partagé, etc. Le multidimensionnel
Trang 20
Principaux systèmes (Jdnet) Hyperion EssBase est l'entrepôt Ce n'est pas à la base de Entrepôt de données de données multi- données de se connecter multi-dimensionnel avec Essbase Les solutions qui accèdent dimensionnel de aux applications mais aux des extensions de divers référence sur le marché applications de se à Teradata sont a priori un NCR types dont des formules de la business connecter à la base de peu moins nombreuses de data mining. Réputé intelligence. Possibilité données. Les accès vers Teradata Database que pour Hyperion notamment pour ses de compléter avec Essbase sont nombreux. Essbase, Microsoft, IBM l'offre analytique Se reporter aux autres capacités de montée en DB2, Oracle et Sybase. d'Hyperion ou des catégories pour savoir charge sous Unix et solutions tierces. qui accède à quelles Windows 2000. sources. Dernière version de la base de données IBM DB2/Universal DataBase Même remarque que relationnelle de l'éditeur, est la base de données pour Hyperion, en Oracle 9i est retaillée Même remarque que pour DB2/UDB, relationnelle d'IBM. En particulier pour DB2 qui dans une optique qui Informix XPS et Red O racle Hyperion et Microsoft, car rachetant Informix et est relativement approfondit les fonctions Brick son activité bases de répandue. Se renseigner Oracle 9i Oracle 8i est encore très dédiées à la business répandue. données, Big Blue a sur les solutions qui intelligence. Peut récupéré ses entrepôts peuvent accéder de données multi- nativement aux différents également fonctionner dimensionnels: SGBD OLAP propriétaires comme entrepôt de XPS d'Informix. données OLAP. (datawarehouse), et Red Brick (datamart). IQ est la version déclinée de la base de données relationnelle de Sybase Même remarque que pour Sybase, pour des Hyperion, IBM DB2, Microsoft La version la plus Même remarque que Adaptive Server IQ besoins en rapport avec Oracle et Microsoft récente de la SGBDR pour Hyperion. SQL la business intelligence, SQL Server 2000 (base de données Server est très répandue, donc aussi le CRM relationnelle) de mais souvent encore en analytique. Microsoft. A enrichi ses version 7.0 qui peut aussi fonctions OLAP avec être attaquée par la Analysis Services. plupart des solutions du Parmi celles-ci: l'accès commerce qui direct aux cubes via le fonctionnent sous Windows web, et une extension data mining. http://solutions.journaldunet.com/0110/011025_crm_tableau2.shtml
Hiển thị 20 trang đầu. Tải tài liệu để xem đầy đủ.
Bình luận (0)
Chưa có bình luận nào. Hãy là người đầu tiên!