Modul ini memindahkan pipeline buatan tangan ke dalam penjadwal yang mengotomatiskannya, yaitu Apache Airflow. Materinya mencakup alasan orkestrasi, konsep DAG, task, operator, dan scheduler pada versi 3, penulisan DAG dengan PythonOperator dan TaskFlow API, penyusunan dependensi dan percabangan, serta percobaan ulang dan peringatan kegagalan.
Orkestrasi dengan Airflow
Mengorkestrasi pipeline dengan Airflow: konsep, penulisan DAG, dependensi, percabangan, percobaan ulang, dan peringatan.
0/0 selesai
- Mengapa orkestrasi
Masalah yang diselesaikan orkestrasi, yaitu penjadwalan, dependensi, dan observabilitas pipeline.
- Konsep Airflow
Konsep dasar Airflow pada versi 3, yaitu DAG, task, operator, dan scheduler.
- Menulis DAG
Menulis DAG pertama dengan PythonOperator dan TaskFlow API.
- Dependensi dan percabangan
Menyusun dependensi dan percabangan antar task, beserta aturan trigger dan sensor.
- Percobaan ulang dan peringatan
Mengatur percobaan ulang pada task idempoten dan notifikasi kegagalan.