Développez vos premiers flux avec Airflow
Florian DEZE
Data Engineer, SFEIR
A propos
Dans cette School on vous présente les bases de Airflow : vocabulaire (DAG, task, scheduler) et création des premiers DAG basiques.
Dans une deuxième partie, on regarde le fonctionnement interne de Airflow (version 2 et 3) pour comprendre les limites et les bonnes pratiques de l'outil.
On verra pour finir des techniques d'optimisation des DAG et des astuces d'architecture pour améliorer la stabilité de l'outil lors d'évolutions ou changements de versions.
Objectifs pedagogiques
- Installer Airflow en local
- Créer ses premiers flux
- Comprendre comment Airflow fonctionne de façon interne
- Bonnes pratiques et optimisation de DAG
Programme
Module 1 — Comprendre le but d'un orchestrateur et son vocabulaire
Qu'est-ce qu'un orchestrateur ? À quel problème répond-il ? Les mots clés à connaître.
Module 2 — Définition d'un DAG
Les composants d'un DAG. Atelier : création d'un premier DAG. Variabiliser les DAGs via templating.
Module 3 — Le fonctionnement interne de Airflow
L'architecture interne de Airflow v2 et l'architecture interne de Airflow v3.
Module 4 — Bonnes pratiques et optimisations
Les coûts cachés des Xcom et Variables. Repérer les opérateurs à ne pas utiliser. Alternatives et bonnes pratiques recommandées.
Prerequis techniques
- Avoir Docker et Docker Compose installés sur son poste de travail
Informations pratiques
Date : 25 juin 2026
Horaires : 09:00 - 17:00
Lieu : SFEIR Lille
Prix : Gratuit
Pret a accelerer votre expertise ?
Inscrivez-vous des maintenant. Les places sont limitees pour garantir la qualite de l'accompagnement.