Modul ini membahas operasi Airflow pada skala produksi. Pembahasannya mencakup pilihan executor beserta pertimbangan arsitekturnya, topologi deployment DAG, monitoring melalui UI dan alerting, debugging berdasarkan log task, serta penjaminan mutu DAG melalui linting dan pengujian.
Airflow produksi
Modul produksi: pilihan executor, topologi deployment, monitoring, debugging, dan penjaminan mutu DAG.
0/0 selesai
- Executor
Membandingkan executor Local, Celery, dan Kubernetes beserta pertimbangan arsitekturnya.
- Topologi deployment
Menata lingkungan dan strategi deployment DAG, termasuk pemisahan repo dan CI/CD.
- Monitoring
Menguasai UI, health check, dan alerting atas kegagalan DAG serta task.
- Debugging
Membaca log task dan melakukan forensik kegagalan umum, dari kehabisan memori hingga deadlock.
- Mutu DAG
Menjaga mutu DAG dengan linting, unit test, dan test tingkat DAG.