Data EngineeringSFEIR Institute
Intégration de données avec Cloud Data Fusion
Data engineers et analystes de données construisent leurs pipelines d’intégration dans Pipeline Studio, l’éditeur visuel de Cloud Data Fusion. Vous reliez vos sources par des connecteurs, vous préparez les données avec Wrangler et vous gérez branchements, jointures et erreurs dans des pipelines batch ou streaming. Vous configurez l’environnement d’exécution, vous planifiez et surveillez les pipelines, puis vous suivez le lineage des données d’une étape à l’autre.
En bref
- Durée
- 2 jours (14 h)
- Niveau
- Intermédiaire
- Conçue par
- Google Cloud
- Code
- gcp200cdf
01
Objectifs
Objectifs pédagogiques
- Identifier des cas d'utilisation pour une mise en œuvre possible avec Cloud Data Fusion
- Lister les composants principaux de Cloud Data Fusion
- Concevoir et exécuter des pipelines de traitement de données par lots et en temps réel
- Travailler avec Wrangler pour construire des transformations de données
- Utiliser des connecteurs pour intégrer des données de diverses sources et formats
- Configurer l'environnement d'exécution ; surveiller et dépanner l'exécution du pipeline
- Comprendre la relation entre les métadonnées et la lignée des données
02
Public
Public visé
- Ingénieur de données, Analystes de données
03
Prérequis
Prérequis
- Avoir terminé la formation "Introduction à l'ingénierie des données"
04
Programme
Programme
-
01
Introduction
- Introduction au cours
-
02
Introduction à l'intégration de données et à Cloud Data Fusion
- Intégration de données : quoi, pourquoi, défis
- Outils d'intégration de données utilisés dans l'industrie
- Personas utilisateurs
- Introduction à Cloud Data Fusion
- Capacités critiques d'intégration de données
- Composants de l'interface utilisateur de Cloud Data Fusion
-
03
Construction de pipelines
- Architecture de Cloud Data Fusion
- Concepts de base
- Pipelines de données et graphes orientés acycliques (DAG)
- Cycle de vie d'un pipeline
- Conception de pipelines dans Pipeline Studio
-
04
Conception de pipelines complexes
- Branchement, Fusion et Jonction
- Actions et Notifications
- Gestion des erreurs et Macros
- Configurations de pipeline, Planification, Importation et Exportation
-
05
Environnement d'exécution de pipeline
- Planifications et déclencheurs
- Environnement d'exécution : Profil de calcul et provisionneurs
- Surveillance des pipelines
-
06
Construire des transformations et préparer des données avec Wrangler
- Wrangler
- Directives
- Directives définies par l'utilisateur
-
07
Connecteurs et pipelines de streaming
- Connecteurs
- DLP
- Architecture de référence pour les applications de streaming
- Construction de pipelines de streaming
-
08
Métadonnées et lignée des données
- Métadonnées
- Lignée des données
-
09
Résumé
- Résumé du cours
05
Chez SFEIR
Fiches et expertises liées
Inscription
Inscrivez-vous
Les dates des sessions et l’inscription se trouvent sur la page de la formation chez SFEIR Institute. Pour former une équipe, écrivez-nous.