Ingénierie des données sur Google Cloud

Objectifs pédagogiques

• Concevoir des systèmes de traitement de données évolutifs dans Google Cloud.
• Différencier les architectures de données et implémenter les concepts de lakehouse et de pipelines de données.
• Construire et gérer des pipelines de données robustes en streaming et en batch.
• Utiliser les outils IA/ML pour optimiser les performances et obtenir des informations sur les processus et les données.

Public visé

• Ingénieurs de données, Analystes de données, Architectes de données

Prérequis

• Compréhension des principes d'ingénierie des données, y compris les processus ETL/ELT, la modélisation des données et les formats de données courants (Avro, Parquet, JSON).
• Familiarité avec les concepts d'architecture de données, en particulier les entrepôts de données (Data Warehouses) et les lacs de données (Data Lakes).
• Maîtrise de SQL pour l'interrogation des données.
• Maîtrise d'un langage de programmation courant (Python recommandé).
• Familiarité avec l'utilisation des interfaces de ligne de commande (CLI).
• Familiarité avec les concepts et services de base de Google Cloud (Compute, Storage et gestion des identités).

Programme

1. 01

   Tâches et composants de l'ingénierie des données

   • Le rôle d'un ingénieur de données
   • Sources de données versus récepteurs de données
   • Formats de données
   • Options de solutions de stockage sur Google Cloud
   • Options de gestion des métadonnées sur Google Cloud
   • Partage de jeux de données avec Analytics Hub

2. 02

   Réplication et migration de données

   • Architecture de réplication et de migration
   • L'outil de ligne de commande gcloud
   • Déplacement de jeux de données
   • Datastream

3. 03

   Le modèle de pipeline de données d'extraction et de chargement

   • Architecture d'extraction et de chargement
   • L'outil de ligne de commande bq
   • Service de transfert de données BigQuery
   • BigLake

4. 04

   Le modèle de pipeline de données d'extraction, de chargement et de transformation

   • Architecture d'extraction, de chargement et de transformation (ELT)
   • Scripting SQL et planification avec BigQuery
   • Dataform

5. 05

   Le modèle de pipeline de données d'extraction, de transformation et de chargement

   • Architecture d'extraction, de transformation et de chargement (ETL)
   • Outils d'interface graphique Google Cloud pour les pipelines de données ETL
   • Traitement de données en batch avec Dataproc
   • Options de traitement de données en streaming
   • Bigtable et pipelines de données

6. 06

   Techniques d'automatisation

   • Modèles d'automatisation et options pour les pipelines
   • Cloud Scheduler et Workflows
   • Cloud Composer
   • Cloud Run Functions
   • Eventarc

7. 07

   Introduction à l'ingénierie des données moderne sur Google Cloud

   • Les classiques : Lacs de données et entrepôts de données
   • L'approche moderne : Data lakehouse
   • Choisir la bonne architecture

8. 08

   Construire un lakehouse de données avec Cloud Storage, les formats ouverts et BigQuery

   • Construire une fondation de lac de données
   • Introduction au format de table ouvert Apache Iceberg
   • BigQuery comme moteur de traitement central
   • Combiner les données opérationnelles dans AlloyDB
   • Combiner les données opérationnelles et analytiques avec les requêtes fédérées
   • Cas d'utilisation réel

9. 09

   Moderniser les entrepôts de données avec BigQuery et BigLake

   • Fondamentaux de BigQuery
   • Partitionnement et clustering dans BigQuery
   • Introduction à BigLake et aux tables externes

10. 10

    Modèles avancés de lakehouse et gouvernance des données

    • Gouvernance et sécurité des données dans une plateforme unifiée
    • Démo : Prévention de la perte de données
    • Analytique et machine learning sur le lakehouse
    • Architectures lakehouse réelles et stratégies de migration

11. 11

    Quand choisir les pipelines de données en batch

    • Pipelines de données en batch et leurs cas d'utilisation
    • Traitement et défis courants

12. 12

    Concevoir et construire des pipelines de données en batch évolutifs

    • Concevoir des pipelines en batch
    • Transformations de données à grande échelle
    • Dataflow et Serverless pour Apache Spark
    • Connexions de données et orchestration
    • Exécuter un pipeline Apache Spark
    • Optimiser les performances des pipelines en batch

13. 13

    Contrôler la qualité des données dans les pipelines de données en batch

    • Validation et nettoyage des données en batch
    • Journaliser et analyser les erreurs
    • Évolution des schémas pour les pipelines en batch
    • Intégrité des données et duplication
    • Déduplication avec Serverless pour Apache Spark
    • Déduplication avec Dataflow

14. 14

    Orchestrer et surveiller les pipelines de données en batch

    • Orchestration pour le traitement en batch
    • Cloud Composer
    • Observabilité unifiée
    • Alertes et dépannage
    • Gestion visuelle des pipelines

15. 15

    Introduction au cours (Streaming)

    • Objectifs d'apprentissage du cours
    • Prérequis du cours
    • Le cas d'utilisation
    • À propos de l'entreprise
    • Le défi
    • La mission

16. 16

    Cas d'utilisation du streaming et architectures de référence

    • Introduction aux pipelines de données en streaming sur Google Cloud
    • Streaming ETL
    • Streaming IA/ML
    • Applications de streaming
    • Reverse ETL

17. 17

    Plongée approfondie dans les produits

    • Comprendre les produits
    • Considérations architecturales pour Pub/Sub et Managed Service for Apache Kafka
    • Dataflow : Le moteur de traitement puissant
    • BigQuery : Le moteur analytique
    • Bigtable : La solution pour les données opérationnelles

18. 18

    Points clés à retenir

    • Ce que vous avez accompli
    • Prochaines étapes

Fiches et expertises liées

• TechnologieBigQuery
• TechnologieGoogle Cloud
• ExpertiseIntelligence artificielle
• ExpertiseCloud
• ExpertiseData