Orkestrasi Workflow

Pahami mengapa cron tidak cukup untuk pipeline modern, apa saja yang dikerjakan workflow orchestrator, dan kenali komponen DAG, task, scheduler, dan executor.

Bangun task graph dengan Python murni: pahami relasi upstream-downstream, tiga tipe dependency, pola serial-parallel-diamond, dan eksekusi manual sederhana.

Kuasai penjadwalan pipeline: interval vs cron expression, data interval dan logical date, catchup, timezone, backfill, lalu hitung next run dengan parser cron mini.

Tangani kegagalan task dengan retry, exponential backoff, jitter, dan timeout, serta kenali kapan kegagalan permanen justru tidak boleh dicoba ulang.

Jalankan ulang periode lampau dengan aman: pahami alasan backfill, syarat idempotent, strategi bertahap, dan buktikan keamanannya lewat simulasi 7 hari yang dijalankan dua kali.

Buat workflow reusable dengan parameter run, template {{ ds }}, config file, serta default dan override command line lewat argparse.

Pantau kesehatan pipeline: status run, durasi, SLA miss, dan kegagalan; bedah UI versus alert, metrik success rate dan durasi p95, lalu bangun pelacak status run mini dengan Python.

Bedah arsitektur dan konsep Apache Airflow 3: scheduler, executor, metadata DB, penulisan DAG dengan TaskFlow API, hingga konsep deployment Docker Compose.

Kenali paradigma asset-oriented Dagster 1.x: software-defined asset, asset graph dengan lineage bawaan, materialization, schedule dan sensor, hingga kekuatan dan kelemahannya.

Tulis workflow sebagai Python murni dengan Prefect 3.x: dekorator @flow dan @task, retry bawaan, deployment, konsep work pool dan worker, hingga kekuatan flow yang dinamis.

Picu pipeline dari kejadian, bukan jadwal: pola sensor, message queue, dan webhook, latensi rendah, simulasi dispatcher event nyata, serta trade-off yang menyertainya.

Tutup section dengan kerangka memilih orchestrator: faktor ekosistem tim, model mental aset versus task, infrastruktur dan biaya, tabel perbandingan Airflow, Dagster, dan Prefect, tiga studi kasus, serta fakta industri 2026.