Page 1
Talend Open Studio Guide Utilisateur Version 2.3_c Convient pour l’utilisation de Talend Open Studio v2.3.x.
Contenu du document
Page 2
Copyright Une copie de la licence GNU Free Documentation License est fournie avec les fichiers source de cette documentation. ii Talend Open Studio Copyright © 2008
Page 3
Talend Open Studio Modules ........................................16 Guide Utilisateur..................... i Open Scheduler ............................17 Stats & Logs .................................18 Outline et Code Viewer ..................19 Outline ..........................................19 A propos de ce manuel... ...............1 Code viewer .................................19 Configuration de Talend Open Studio 20 Historique des versions ...................... 1 Interpréteurs Perl/Java .....................20 Remarques et Support ....................... 1 Status ................................................21 A propos de l’intégration de données... 1 Composants externes ou utilisateur .22 Intégration décisionnelle avec Talend Open Studio 2 Conception d’un Business Model 25 Intégration opérationelle avec Talend Open Studio 3 Objectifs .............................................25 Monitoring de l’exécution ................. 4 Créer ou ouvrir un Business Model 25 Ouvrir un Business Model ...............26 Présentation de Talend Open Studio Créer un Business Model .................26 Modélisation d’un Business Model ..27 5 Formes (Shapes) ...............................28 Accès à Talend Open Studio .............. 5 Connexions ......................................29 Connexion au référentiel local .......... 6 Commenter et réarranger un Business Créer un projet ................................... 8 Model 31 Description de l’interface utilisateur 9 Ajouter une note ou du texte libre 31 Barre d’outils et Menus ................... 10 Réarranger une vue métier ...........32 Barre d’outils ............................... 10 Propriétés .........................................33 Menus .......................................... 11 Rulers and Grid ............................33 Repository ..................................... 11 Appearance ...................................34 Business Models .......................... 12 Assignment ...................................34 Job Designs .................................. 12 Affectation d’éléments du Repository à un Contexts ....................................... 12 Business Model 35 Code ............................................. 12 Modifier un Business Model ............36 Routines .................................... 13 Renommer un Business Model ........36 Documentation ............................ 13 Copier et coller un Business Model .36 Metadata ...................................... 13 Déplacer un Business Model ...........37 Recycle bin .................................. 13 Supprimer un Business Model .........37 Graphical workspace ..................... 14 Enregistrer un Business Model ........37 Palette .............................................. 14 Déplacer la palette ....................... 15 Conception d’un Job ...................39 Modifier l’affichage et les paramètres de Objectifs .............................................39 la palette 15 Créer ou Ouvrir un Job ..................39 Onglets de configuration ................. 15 Ouvrir un job ....................................40 Component .................................. 15 Créer un job ......................................40 Properties ..................................... 15 Conception d’un Job .........................41 Problems ...................................... 16 Afficher, cacher et déplacer la palette 41 Run Job ........................................ 16 Cliquer & Déposer des composants .42 Error Log ..................................... 16 Cliquer & Déposer des composants du Copyright © 2008 Talend Open Studio iii
Page 4
répertoire Metadata 43 Etape 3 : Affinage du schéma ......70 Ajouter une Note au Job .................. 44 Etape 4 : Schéma final ..................70 Réorganiser les onglets d’un Job ..... 45 Configurer un schéma File Regex ....71 Avertissements et erreurs sur un com- Etape 1 : Propriétés générales ......71 posant 46 Etape 2 : Chargement du fichier ...71 Connexion des composants .............. 46 Etape 3 : Définition du schéma ....72 Types de connexion ......................... 46 Etape 4 : Schéma final ..................73 Connexion de type Row .............. 46 Configurer un schéma File LDIF .....73 Main .......................................... 47 Etape 1 : Propriétés générales ......74 Lookup ...................................... 47 Etape 2 : Chargement du fichier ...74 Filter .......................................... 48 Etape 3 : Définition du schéma ....74 Rejects ....................................... 48 Etape 4 : Schéma final ..................75 Output ....................................... 48 Configurer un Schéma FileXML ....75 Uniques/Duplicates ................... 49 Etape 1 : Propriétés générales ......76 Connexion de type Iterate ............ 49 Etape 2 : Chargement du fichier ...76 Connexion de type Trigger .......... 49 Etape 3 : Définition du schéma ....76 Connexion de type Link .............. 51 Etape 4 : Schéma final ..................79 Job à entrées/sorties multiples ......... 51 Configurer un schéma LDAP ...........80 Definition des propriétés d’un composant Etape 1 : Propriétés générales ......80 51 Etape 2 : Connexion au serveur ...80 Basic Settings .................................. 52 Etape 3 : Authentication et acquisition Paramétrage d’un schéma built-in 53 du DN 81 Paramétrage d’un schéma repository 53 Etape 4 : Définition du schéma ....82 Affichage dynamique d’un champ Etape 5 : Schéma final ..................83 (Ctrl+Espace) 54 Configurer un schéma générique .....84 Advanced settings ........................... 55 Etape 1 : Propriétés générales ......85 View ................................................ 56 Etape 2 : Définition du schéma ....85 Documentation ................................ 56 Configurer un schéma WSDL ..........85 Définition du composant Start ........ 57 Etape 1 : Propriétés générales ......85 Définition des schémas de métadonnées Etape 2 : URI et définition des méthodes 58 85 Configurer une connexion DB ........ 59 Etape 3 : Schéma final ..................86 Etape 1 : Propriétés générales ...... 59 Créer une requête à l’aide de SQLBuilder Etape 2 : Connexion .................... 60 87 Etape 3 : Chargement de la table . 62 Comparaison des structures de base de Etape 4 : Définition du schéma .. 62 données 89 Configurer un schéma File Delimited 63 Construction d’une requête ..............89 Etape 1 : Propriétés générales ...... 63 Stocker une requête dans le Repository 91 Etape 2 : Chargement du fichier .. 63 Mapping de flux de données dans un Job Etape 3 : Définition du schéma ... 64 92 Etape 4 : Schéma final ................. 67 Présentation du fonctionnnement tMap 92 Configurer un schéma File Positional 68 Interface tMap ..................................93 Etape 1 : Propriétés générales ...... 69 Configurer le flux d’entrée du tMap 95 Etape 2 : Connexion et chargement du Renseigner les tables Input à l’aide d’un fichier 69 schéma 95 iv Talend Open Studio Copyright © 2008
Page 5
Contenu des tables Main et Lookup StoreSQLQuery ..........................120 95 Centraliser les contextes dans le Reposito- Variables ................................... 96 ry 120 Jointure explicite ......................... 96 Exécuter un Job dans un contexte défini Unique Match (java) ................. 98 122 First ou Last Match (java) ......... 98 Exécuter un job ...............................123 All Matches (java) .................... 98 Exécuter en mode normal ..............124 Inner join ..................................... 98 Afficher les Statistiques .............124 All rows (java) ............................. 99 Afficher les Traces .....................125 Filtrer un flux d’entrée (java) ...... 99 Afficher la durée d’exécution et d’autres Retirer des entrées de la table Input 100 options 126 Mapping de variables .................... 100 Exécuter en mode debug ................126 Accéder aux variables globales et de Enregistrer ou exporter un Job .....127 contexte 102 Enregistrer un Job ..........................127 Supprimer des variables ............ 102 Exporter des job scripts ..................127 Paramètres Output ......................... 102 Documentation du Job ...................128 Construire des expressions complexes Générer la documentation HTML ..128 103 Définir les options dans la vue Job Set- Filtres ......................................... 103 tings 128 Rejets ......................................... 104 Automatiser l’utilisation de statistiques & Rejets Inner Join ........................ 105 logs 129 Retirer des entrées de la table Output Fonctions Extra ..............................130 105 Raccourcis clavier ..........................130 Expression editor ........................... 105 Schema editor ............................... 106 De la théorie à la practique : Exemple Ecrire du code à l’aide du Expression de Job ..........................................131 Builder 107 Présentation du scénario ................131 Activer/Désactiver un job ou un sous-job Données en entrée ..........................131 111 Données en sortie ...........................131 Désactiver un composant Start ...... 112 Données de référence .....................132 Désactiver un composant non-Start 112 Du scénario au Job ..........................133 Définir les Contextes et les Variables 112 Etape 1 : Création du Job, définition des Utiliser les variables dans un Job .. 112 données d’entrée, lecture du fichier 133 Définir des variables à partir de la vue Etape 2 : Mapping et transformations 136 Contexts 113 Etape 3 : Définition du fichier de Variables .................................... 113 référence, mapping des données de référence, Values as tree ............................. 114 sélection du mode Inner Join 138 Values as table ........................... 116 Etape 4 : Sortie vers une table MySQL Configurer les contextes ................ 117 140 Créer un contexte ....................... 117 Renommer et éditer un contexte 118 Gestion des Jobs & Projets .......143 Définir les variables de contexte à partir de la vue Component 118 Importer des projets .......................143 Création rapide des variables de con- Importer des échantillons (Demos) 144 texte 119 Importer des éléments ....................145 Copyright © 2008 Talend Open Studio v
Page 6
Exporter des projets ....................... 148 Supprimer un projet .......................155 Exporter des job scripts ................. 149 Déployer un job sur un serveur SpagoBI Exporter un job en Java ................. 151 156 Exporter un job en tant que POJO 151 Créer un nouveau serveur SpagoBI 157 Exporter un Job en tant que Webservice Editer ou supprimer un serveur SpagoBI 152 158 Exporter un job en Perl .................. 153 Déployer vos jobs sur le serveur SpagoBI Changer les paramètres de contexte d’un 158 job script 154 Tâches de migration .......................159 Exporter des éléments .................... 154 vi Talend Open Studio Copyright © 2008
Page 7
A propos de ce manuel... Historique des versions A propos de ce manuel... Ce manuel s’adresse aux utilisateurs et administrateurs de Talend Open Studio. Historique des versions Le tableau ci-dessous liste les modifications apportées au Guide Utilisateur. Version Date Historique v 0.5 25/10/06 Distribution de la version française du Guide Utilisateur Talend Open Studio. v 0.5.5 21/01/07 Suite de la distribution de Talend Open Studio version 1.1.0 Mise à jour du Guide Utilisateur version 0.5.5 Ajout des composants de Talend Open Studio v1.0 Nouveaux composants de Talend Open Studio v1.1 v0.7 05/03/07 Mise à niveau des composants de la version 0.7 du Guide Utilisateur anglais v0.8 18/05/07 Distribution de la version française du Guide Utilisateur de Talend Open Studio version 2.0 Nouveaux composants v2.0 ajoutés Refonte des chapitres existants Ajout d’information pour Perl et Java Ajout du chapitre Gestion de Projets v2.3_b 19/03/08 Mise à niveau du Guide Utilisateur de Talend Open Studio version 2.3.x : Inlus informations générales, utilisation du Studio. v2.3_c 05/05/08 Mise à niveau du Guide Utilisateur de Talend Open Studio version 2.3.x. Séparation en deux guides : - Guide Utilisateur Studio - Guide de référence des composants Remarques et Support N’hésitez pas à nous faire part de vos remarques, suggestions, requêtes concernant la documentation ou le produit, et obtenez le support de notre équipe Talend, sur le Forum Talend (en anglais) : http://talendforge.org/forum A propos de l’intégration de données... Il est bien connu que les systèmes d’information des entreprises tendent à se complexifier. Les raisons sont les suivantes : une tendance à “l’empilage de couches” (une nouvelle application est déployée bien que l’ancien système est maintenu), le fait que les systèmes d’information s’ouvrent de plus en plus vers Copyright © 2008 Talend Open Studio 1
Page 8
A propos de ce manuel... A propos de l’intégration de données... ceux de leurs fournisseurs, partenaires et clients, et la multiplication des formats de stockage de données (fichiers XML, plats positionnels, plats délimités, multi-valués, etc.), protocoles (FTP, HTTP, SOAP, SCP…) et les technologies des bases de données. On se pose donc la question suivante : Comment procéder à une intégration de données réussie de ces données éparpillées dans tous ces systèmes d’information ? Plusieurs fonctions sont cachées derrière le principe d’intégration données : l’intégration décisionnelle (alimentation d’entrepôts de données) et l’intégration opérationelle (capture et migration de données, synchronisation de bases de données, échanges inter-applicatifs, etc.). Ces deux besoins ETL d’intégration décisionnelle et opérationnelle sont fournis par Talend Open Studio. Intégration décisionnelle avec Talend Open Studio Bien qu’ils soient généralement invisibles pour les utilisateurs de la plate-forme BI, les processus ETL reprennent les données de tous les systèmes opérationnels et les pré-traitent pour les outils d’analyse et de reporting. 2 Talend Open Studio Copyright © 2008
Page 9
A propos de ce manuel... A propos de l’intégration de données... Talend Open Studio offre une très grande connectivité aux : • Progiciels (ERP, CRM, etc.), bases de données, serveurs centraux, fichiers, Web Services, etc. pour couvrir la disparité grandissante des sources. • Entrepôts de données, magasins de données, applications OLAP (Online Analytical Processing) - pour analyse, reporting, dashboarding, scorecarding, etc. • Composants ETL avancés stocké localement, incluant des manipulations de chaînes, Dimensions à évolution lente, traitement automatique des références, support de charges en vrac, etc. La plupart des connecteurs dont il est question ci-dessus sont détaillés dans les Composants Talend Open Studio Guide de référence. Pour plus d’informations sur leur fonctionnement dans Talend Open Studio, consultez Conception d’un Job‚ page 39. Pour la modélisation de processus métier, consultez Conception d’un Business Model‚ page 25. Intégration opérationelle avec Talend Open Studio L’intégration opérationnelle de données est souvent utilisée pour implémenter les programmes et routines habituels, complétée en fonction de besoins spécifiques. Les applications de chargement/migration de données et de synchronisation/réplication de données sont les plus répandues en matière d’intégration opérationnelle de données. Elles requièrent : • des mappings et transformations complexes avec fonctions d’agrégation, calculs, etc. pour palier les différences dans la structure des données. • le traitement et la résolution des conflits de données en tenant compte des mises à jour des enregistrements ou des “propriétaires des enregistrements”. • la synchronisation de données en quasi temps réel étant donné que les systèmes impliquent une latence lente. La plupart des connecteurs dont il est question ci-dessus sont détaillés dans les Composants Talend Open Studio Guide de référence. Pour plus d’informations sur leur fonctionnement dans Talend Copyright © 2008 Talend Open Studio 3
Page 10
A propos de ce manuel... A propos de l’intégration de données... Open Studio, consultez Conception d’un Job‚ page 39. Pour la modélisation de processus métier, consultez Conception d’un Business Model‚ page 25. Monitoring de l’exécution Un des plus grands challenges des développeurs de processus d’intégration et des responsables informatiques chargés de contrôler leur exécution, est de contrôler et monitorer l’exécution de ces processus “mission critique”. En effet, la gestion et la notification d’erreurs peuvent et devraient être inclus dans l’intégration de données. De plus, au délà des notifications d’erreurs, il est aussi crucial de monitorer l’intégrité des processus d’intégration et de surveiller toute dégradation des performances. La console Activity Monitoring Console surveille l’exécution du job (succès, échecs, avertissements, etc.), le temps d’exécution et les volumes de données, tout ceci en une seule console, disponible en environnement indépendant. Pour plus d’informations concernant le fonctionnement de l’Activity Monitoring Console, consultez le Guide Utilisateur de l’Activity Monitoring Console. 4 Talend Open Studio Copyright © 2008
Page 11
—Présentation de Talend Open Studio— Présentation de Talend Open Studio Accès à Talend Open Studio L’assistant Setup vous aide à installer l’exécutable Talend Open Studio. Si vous le décompressez manuellement, des instructions d’installation sont disponibles. Lisez et acceptez les termes de la licence pour continuer. Le formulaire d’enregistrement Talend Open Studio s’affiche. Remplissez votre adresse électronique et votre lieu de résidence pour recevoir des informations sur Talend Open Studio. Cette étape est facultative, cliquez sur Cancel si vous ne souhaitez pas la renseigner. Cochez enable HTTP Proxy parameters si votre situation le requiert et renseignez les informations de proxy appropriées. Veillez à fournir votre adresse e-mail si vous renseignez les informations de proxy. Copyright © 2008 Talend Open Studio 5
Page 12
Présentation de Talend Open Studio Connexion au référentiel local Vous pouvez accéder à ces informations d’enregistrement et les modifier à tout moment en cliquant sur Window > Preference > Talend > Install/Update. WARNING—Soyez assuré que toutes les informations personnelles que vous fournissez à Talend ne sont pas transmises à des tiers et ne sont pas utilisées à d’autres fins que de vous informer sur Talend et les produits Talend. Vous accédez ensuite à la fenêtre de Login Talend Open Studio. Connexion au référentiel local Connectez-vous à Talend Open Studio à partir de la fenêtre de Login. • Sélectionnez l’entrée correspondant à votre connexion dans la liste Connection, si vous l’avez déjà configurée. • Si vous vous connectez pour la première fois, cliquez sur le bouton [...] pour saisir vos informations de connexion. 6 Talend Open Studio Copyright © 2008
Page 13
Présentation de Talend Open Studio Connexion au référentiel local • Pour ajouter une nouvelle Connexion de référentiel, cliquez sur le bouton (+) de la vue de gauche. • Saisissez l’adresse e-mail qui servira de login utilisateur (user login). Ce champ est obligatoire pour l’utilisation de Talend Open Studio. Sachez que l’e-mail ne sera jamais utilisé pour un autre usage que la connexion. • Renseignez le champPasswordsi nécessaire. Ce champ est grisé lorsque la connexion est locale. • Cliquez sur OK pour valider. Cliquez sur le bouton Refreshpour mettre à jour la liste des projets, si nécessaire. Puis choisissez le nom du projet que vous souhaitez ouvrir et cliquez sur OK. Si vous avez déjà créé des projets avec une version antérieure de Talend Open Studio, vous pouvez les importer dans la version courante de Talend Open Studio à l’aide du bouton Import. Voir également : Importer des projets, page 143 Si vous créez un projet pour la première fois, aucun projet n’est proposé par défaut dans la liste. Cliquez sur le bouton Create pour lancer l’assistant de création. Voir également : Créer un projet, page 8 Pour faciliter votre prise en main de Talend Open Studio des exemples de jobs sont à votre disposition via le bouton Import demos. Le dossier de projet Demos est installé automatiquement sur votre répertoire Workspace. Et ce projet est directement accessible depuis la fenêtre de Login, dans le champ Projects. Copyright © 2008 Talend Open Studio 7
Page 14
Présentation de Talend Open Studio Créer un projet La création d’un projet met automatiquement en place une arborescence de dossiers dans le répertoire Workspace de votre serveur. Celle-ci correspond en tout point à l’arborescence Repository qui s’affiche dans la fenêtre principale de Talend Open Studio. Créer un projet Commencez par donner un Nom à votre nouveau projet. Ce champ est obligatoire pour poursuivre le processus de création. Un message contextuel s’affiche dans la partie supérieure de la fenêtre selon les caractères que vous saisissez ou l’endroit où vous placez votre curseur. Il vous informe de la nature de données attendues, ou le cas échéant, des caractères interdits. Note: Les chiffres ne sont pas autorisés en début de nom de fichier. Le nom de fichier n’est pas sensible à la casse, par conséquent MonProjet et MONPROJET sont identiques. Le nom technique, Technical name, est utilisé par l’application pour créer le nom du fichier projet, il correspond généralement au nom du projet saisi, mis en majuscule et concaténé à l’aide de tirets soulignés si nécessaire. Sélectionnez le langage de génération de code, dans le champ Generation language, en l’occurence : Perl ou Java. Lorsque vous avez choisi le langage, vous devez l’utiliser dans tous les jobs de votre projet : Perl pour les projets perl et Java pour les projets java. Si vous souhaitez passer d’un projet à un autre, cliquez sur File > Switch Projects... 8 Talend Open Studio Copyright © 2008
Page 15
Présentation de Talend Open Studio Description de l’interface utilisateur Note: Nous vous déconseillons d’avoir de nombreux projets dans des langages différents et de passer d’un projet Perl à un projet Java trop souvent. Si néanmoins vous souhaitez créer des projets dans les deux langages, veillez à bien les distinguer dans le répertoire Workspace, voire à lancer deux instancesTalend Open Studiodistinctes afin d’éviter tout conflit de langage. Si vous avez déjà créé un projet dans une version antérieure de Talend Open Studio et que vous souhaitez l’importer dans la version courante, consultez Importer des projets‚ page 143. Dans la fenêtre de Login, sélectionnez le projet que vous souhaitez ouvrir, puis cliquez sur OK pour lancer Talend Open Studio. Note: Une fenêtre d’initialisation du générateur apparaît au lancement de l’application. Patientez jusqu’à ce que l’initialisation se termine. Description de l’interface utilisateur Talend Open Studio s’ouvre sur une fenêtre à zones multiples. Copyright © 2008 Talend Open Studio 9
Page 16
Présentation de Talend Open Studio Description de l’interface utilisateur La fenêtre de Talend Open Studio est composée des vues suivantes : • Barres d’outils et menus • Référentiel (Repository) • Esapce de modélisation (Graphical designer) • Diverses vues de configuration organisées en onglets • Aperçu schéma (Outline) et Aperçu du code (Code Viewer) Les différentes vues et leurs fonctionnalités associées sont décrites dans la suite de ce manuel. Barre d’outils et Menus En haut de la fenêtre principale de Talend Open Studio, les barres d’outils et menus rassemblent les fonctionnalités communes ainsi que certaines fonctionnalités Eclipse. Barre d’outils La barre d’outils vous permet un accès rapide aux fonctions les plus courantes. Elle diffère légèrement en fonction de si vous travaillez sur un job design ou un business model. 10 Talend Open Studio Copyright © 2008
Affichage des 16 premières pages. Téléchargez le document pour le voir en entier.
Commentaires (0)
Aucun commentaire pour le moment. Soyez le premier !