dbt

Objectifs pédagogiques

• Comprendre les concepts clés, les avantages et l'architecture de dbt en tant qu'outil de transformation et de modélisation des données.
• Créer des modèles de données structurés avec dbt, et effectuer des transformations pour traiter et préparer les données en vue de l'analyse.
• Maîtriser les fonctionnalités avancées telles que les macros, les modèles Jinja, les variables et le contrôle de flux.
• Utiliser les instantanés (snapshots) dbt pour suivre les changements au fil du temps et gérer les données historiques, facilitant l'analyse des tendances historiques et les dimensions à changement lent.
• Mettre en œuvre des tests pour garantir la qualité et l'intégrité des données, permettant de valider les résultats des transformations et de détecter les anomalies.

Public visé

• Data Analysts, Data Engineers, Toute personne intéressée par la transformation des données

Prérequis

• Des connaissances pratiques de SQL équivalentes au cours SQL les fondamentaux

Programme

1. 01

   Évolution de la pile de données

   • Évolution de la pile de données
   • Comprendre les différences entre les approches d'intégration de données Extract-Transform-Load (ETL) et Extract-Load-Transform (ELT)
   • Introduction à la pile de données moderne

2. 02

   Introduction à dbt

   • Aperçu de dbt
   • Installation de dbt et configuration de l'environnement de développement
   • Créer un projet dbt
   • Connexion aux sources de données

3. 03

   Travailler avec des modèles dbt

   • Comprendre les modèles dbt
   • Comment fonctionnent les modèles de dbt ?
   • Options de matérialisation
   • Configuration de la matérialisation
   • Présentation de la fonctionnalité de tagging pour l'organisation des métadonnées

4. 04

   Sources et références dbt

   • Introduction aux sources dbt
   • Configuration des sources dbt
   • Travailler avec des références dbt

5. 05

   Amorçage de vos modèles de données

   • Introduction aux seeds dbt
   • Création et remplissage de données seed
   • Avantages de l'utilisation de seeds pour l'initialisation des données
   • Intégrer des seeds à vos modèles dbt

6. 06

   Snapshots pour gérer les données historiques

   • Comprendre les snapshots dans dbt
   • Configuration et définition de snapshots
   • Exécuter et gérer des snapshots

7. 07

   Transformation et contrôle avancés des données

   • Comprendre les macros
   • Jinja, un langage de modèles
   • Utiliser des variables pour gérer la configuration du pipeline de données

8. 08

   Packages

   • Introduction aux packages dbt
   • Explorer le hub dbt
   • Installation et utilisation de package dbt

9. 09

   Tests

   • Mettre en évidence les risques potentiels dans le code
   • Mise en place de tests automatisés
   • Choisir le test approprié
   • Implémentation des tests de données

10. 10

    Documentation

    • Documenter les modèles de données
    • Utiliser les fonctionnalités de documentation intégrées de dbt pour générer et maintenir une documentation de modèle accessible et à jour
    • L'importance du lineage

11. 11

    Analyses, hooks et exposition (avancé)

    • Effectuer une analyse des données
    • Exécuter du code personnalisé avant et après l'exécution de dbt
    • Créer des assets de données partageables et accessibles

12. 12

    Exploiter les artefacts générés (avancé)

    • Comprendre manifest.json
    • Introduction de run_result.json

13. 13

    Conclusion

    • Ressources sur les meilleures pratiques en matière de dbt
    • À propos de l'examen de certification DBT