Data EngineeringSFEIR Institute
Construire des data lakes et data warehouses avec Google Cloud
Data engineers, analystes et architectes de données réunissent fichiers bruts, tables analytiques et données opérationnelles dans un même lakehouse sur Google Cloud. En labs, vous interrogez des tables Apache Iceberg via BigLake, vous lancez une requête fédérée depuis BigQuery, puis vous testez BigQuery ML et la recherche vectorielle. Vous apprenez aussi à choisir l’architecture adaptée à vos besoins, à gouverner la plateforme et à protéger ses données sensibles.
En bref
- Durée
- 1 jour (7 h)
- Niveau
- Intermédiaire
- Conçue par
- Google Cloud
- Code
- gcp200dedlakes
01
Objectifs
Objectifs pédagogiques
- Comparer et contraster les architectures data lake, data warehouse et data lakehouse.
- Évaluer les avantages de l'approche lakehouse et choisir la bonne architecture.
- Construire un data lakehouse avec Cloud Storage, des formats ouverts et BigQuery.
- Moderniser les data warehouses avec BigQuery et BigLake.
- Implémenter des pratiques de gouvernance et de sécurité des données sur une plateforme de données unifiée.
02
Public
Public visé
- Ingénieurs Data, Analystes Data, Architectes Data
03
Prérequis
Prérequis
- Compréhension des principes d'ingénierie des données, incluant les processus ETL/ELT, la modélisation de données et les formats de données courants (Avro, Parquet, JSON)
- Familiarité avec les concepts d'architecture de données, spécifiquement les Data Warehouses et Data Lakes
- Maîtrise de SQL pour l'interrogation de données
- Maîtrise d'un langage de programmation courant (Python recommandé)
- Familiarité avec les concepts et services de base de Google Cloud
04
Programme
Programme
-
01
Introduction à l'ingénierie des données moderne sur Google Cloud
- Les classiques : Data lakes et data warehouses
- L'approche moderne : Data lakehouse
- Choisir la bonne architecture
-
02
Construire un data lakehouse avec Cloud Storage, formats ouverts et BigQuery
- Construire les fondations d'un data lake
- Introduction au format de table ouvert Apache Iceberg
- BigQuery comme moteur de traitement central
- Combiner les données opérationnelles dans AlloyDB
- Combiner les données opérationnelles et analytiques avec les requêtes fédérées
- Cas d'usage réel
-
03
Moderniser les Data Warehouses avec BigQuery et BigLake
- Fondamentaux de BigQuery
- Partitionnement et clustering dans BigQuery
- Introduction à BigLake et aux tables externes
-
04
Patterns lakehouse avancés et gouvernance des données
- Gouvernance et sécurité des données dans une plateforme unifiée
- Démo: Data Loss Prevention
- Analytique et machine learning sur le lakehouse
- Architectures lakehouse réelles et stratégies de migration
-
05
Labs et bonnes pratiques
- Révision
- Bonnes pratiques
05
Chez SFEIR
Fiches et expertises liées
Inscription
Inscrivez-vous
Les dates des sessions et l’inscription se trouvent sur la page de la formation chez SFEIR Institute. Pour former une équipe, écrivez-nous.