Data EngineeringSFEIR Institute
Construire des pipelines de données streaming sur Google Cloud
Data engineers, analystes et architectes de données traitent des flux continus sur Google Cloud, de l’ingestion jusqu’à l’application qui consomme les résultats. Vous choisissez entre Pub/Sub et Managed Service for Apache Kafka, vous déployez un pipeline Dataflow, puis vous alimentez BigQuery pour l’analyse et Bigtable pour le service applicatif. Vous travaillez sur des cas de streaming ETL et de reverse ETL, et sur les requêtes continues de BigQuery.
En bref
- Durée
- 1 jour (4,25 h)
- Niveau
- Intermédiaire
- Conçue par
- Google Cloud
- Code
- gcp200destreaming
01
Objectifs
Objectifs pédagogiques
- Ingérer et gérer des données streaming avec Pub/Sub et Managed Service for Apache Kafka.
- Construire et déployer des pipelines de données streaming avec Dataflow.
- Implémenter des solutions de données streaming pour l'analytique temps réel et le service applicatif avec BigQuery et Bigtable.
02
Public
Public visé
- Ingénieurs Data, Analystes Data, Architectes Data
03
Prérequis
Prérequis
- Maîtrise d'un langage de programmation courant comme Python
- Une solide compréhension de SQL
- Fondamentaux des données comme la modélisation de données, les formats et les processus ETL/ELT
- Familiarité avec Google Cloud Platform (GCP)
04
Programme
Programme
-
01
Introduction aux pipelines de données streaming
- Fondamentaux de la construction de pipelines de données streaming sur Google Cloud
- Objectifs d'apprentissage du cours et scénario pratique
-
02
Cas d'usage et architectures streaming
- Cas d'usage et applications des données streaming
- Patterns architecturaux communs pour le traitement de données temps réel
- Streaming ETL
- Streaming AI/ML
- Streaming Application
- Reverse ETL
-
03
Construire des pipelines de données streaming
- Concepts de messagerie avec Pub/Sub et Managed Service for Apache Kafka
- Service Dataflow et défis avec les données streaming
- Construction et déploiement de pipelines streaming
- Méthodes d'ingestion de données dans BigQuery
- Requêtes continues BigQuery et ETL/reverse ETL
- Configuration du streaming Pub/Sub vers BigQuery
- Architecturer BigQuery dans les pipelines streaming
- Pipeline streaming de Dataflow vers Bigtable
- Analyse des flux de données continus pour les tendances
- Synchronisation de l'analyse des tendances vers les applications utilisateur
-
04
Résumé du cours
- Récapitulatif complet des concepts clés
- Construction de pipelines de données streaming résilients et robustes
05
Chez SFEIR
Fiches et expertises liées
Inscription
Inscrivez-vous
Les dates des sessions et l’inscription se trouvent sur la page de la formation chez SFEIR Institute. Pour former une équipe, écrivez-nous.