Apache Airflow adalah orchestrator utama course ini, dan dokumentasinya termasuk yang paling sering kita buka saat bekerja. Sejak Airflow 3, struktur dokumentasinya berubah cukup besar: gaya penulisan DAG resmi kini melalui from airflow.sdk import dag, task, sejumlah halaman berpindah lokasi, dan Task SDK mendapat dokumentasi terpisah. Chapter ini memetakan dokumentasi Airflow seri 3.x per kebutuhan: konsep inti, penulisan DAG dan penjadwalan, lalu operasional dan referensi API. Semua tautan menunjuk ke airflow.apache.org dan sudah diverifikasi hidup.
Peta Dokumentasi Airflow #
Airflow menerbitkan dokumentasi per versi rilis. Empat pintu masuk berikut menutup semuanya, dari daftar versi sampai jalur cepat untuk pemula.
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Indeks Dokumentasi Airflow | Daftar dokumentasi semua versi dan proyek terkait | pemula |
| Get Started | Jalur cepat resmi: instalasi sampai DAG pertama | pemula |
| Dokumentasi Apache Airflow stabil | Buku dokumentasi lengkap versi stabil seri 3.x | pemula |
| Airflow Task SDK | SDK resmi untuk menulis task dan DAG, terpisah sejak Airflow 3 | menengah |
Untuk kebutuhan sehari-hari, buku versi stabil sudah cukup. Indeks dokumentasi menjadi penting saat kita perlu membandingkan perilaku antar versi — misalnya saat tim lain masih menjalankan Airflow 2 sementara lingkungan kita sudah memakai seri 3.
Konsep Inti #
Sembilan halaman berikut membangun model mental Airflow: apa itu DAG, bagaimana task dihubungkan, bagaimana data mengalir antar task, dan bagaimana sebuah run tercatat. Bacalah berurutan dari atas ke bawah karena tiap halaman memakai kosakata dari halaman sebelumnya.
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Core Concepts | Model mental: DAG, task, operator, dan DAG run | pemula |
| DAGs | Anatomi DAG: schedule, catchup, params, dan default args | pemula |
| Tasks | Jenis task, relasi antar task, dan siklus statusnya | pemula |
| Operators | Galeri operator bawaan untuk tugas umum | pemula |
| Sensors | Task yang menunggu kondisi eksternal terpenuhi | menengah |
| TaskFlow API | Gaya penulisan DAG berbasis fungsi bertanda @task | pemula |
| Tutorial TaskFlow | Contoh utuh DAG TaskFlow dari import sampai eksekusi | pemula |
| XComs | Mekanisme pertukaran data kecil antar task | menengah |
| DAG Runs | Siklus hidup satu eksekusi DAG dan statusnya | menengah |
Menulis DAG dan Penjadwalan #
Setelah konsep, halaman-halaman berikut menjadi rujukan harian saat menyusun DAG. Dua halaman terakhir menjelaskan mesin di balik layar: scheduler memutuskan kapan task layak dijalankan, sedangkan executor menentukan di mana task berjalan — pilihan executor seperti LocalExecutor atau KubernetesExecutor mengubah cara kita merencanakan kapasitas.
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Authoring and Scheduling | Indeks topik penulisan DAG dan aturan penjadwalan | menengah |
| Connections | Menyimpan kredensial sistem eksternal secara aman untuk task | menengah |
| Dynamic Task Mapping | Membuat task secara dinamis mengikuti jumlah partisi data | mahir |
| Jinja Templates Reference | Daftar variabel template yang bisa dipakai di argumen task | menengah |
| Scheduler | Cara scheduler memproses berkas DAG dan menjadwalkan run | menengah |
| Executor | Peran executor dan pilihan implementasinya | menengah |
Operasional dan Referensi API #
Bagian terakhir adalah halaman-halaman untuk menjalankan Airflow di luar mesin lokal: instalasi, deployment, praktik terbaik, perintah CLI, REST API, dan referensi migrasi.
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Installation | Opsi instalasi, versi Python, dan dependensi ekstra | pemula |
| Administration and Deployment | Indeks topik operasional: konfigurasi, logging, produksi | menengah |
| Logging and Monitoring | Pengaturan log task dan metrik monitoring | menengah |
| How-to Guides | Resep langkah demi langkah untuk tugas spesifik | menengah |
| Antarmuka UI Airflow | Panduan halaman UI untuk memantau DAG dan task | pemula |
| Best Practices | Pola penulisan DAG yang disarankan komunitas Airflow | menengah |
| Referensi CLI | Semua perintah airflow dan variabel environment | menengah |
| Stable REST API | REST API resmi untuk memicu DAG dan membaca status run | mahir |
| Migrations Reference | Referensi migrasi skema metadata internal Airflow | mahir |
| Release Notes | Changelog resmi untuk setiap rilis Airflow | menengah |
| FAQ Airflow | Jawaban resmi atas pertanyaan yang paling sering diajukan | pemula |
Alur Belajar yang Disarankan #
Untuk pembaca yang baru memulai, urutan bacaan berikut mengikuti progresi course ini:
- Buka Get Started dan jalankan instalasi sesuai petunjuk sistem operasi yang dipakai.
- Baca Core Concepts lalu DAGs untuk membangun kosakata dasar.
- Kerjakan Tutorial TaskFlow sambil menyalin contoh ke lingkungan sendiri.
- Telusuri Authoring and Scheduling untuk topik yang muncul di DAG nyata: dependencies, params, dynamic task mapping.
- Sebelum naik ke server bersama, baca Best Practices dan Administration and Deployment.
- Simpan halaman Referensi CLI dan Stable REST API sebagai kamus harian saat mengoperasikan Airflow lewat skrip.
Perubahan Besar dari Airflow 2 ke Airflow 3 #
Perpindahan versi mayor ini penting dipahami karena sebagian besar konten Airflow di luar sana masih ditulis untuk versi 2. Dua perubahan yang paling terasa saat menulis kode: import decorator resmi berpindah ke airflow.sdk, dan dokumentasi Task SDK dipisah dari buku utama. Untuk detail seluruh perubahan, rujukan resminya adalah halaman Release Notes dan Migrations Reference pada tabel sebelumnya — kedua halaman tersebut menyebut perubahan perilaku satu per satu beserta nomor versinya, jadi kita tidak perlu mengandalkan ingatan atas tutorial lama.
Praktik aman saat membaca materi Airflow dari mana pun:
- Cek dulu versi yang dibahas materi tersebut — jika tidak disebut, anggap perlu diverifikasi.
- Bandingkan pola import dan nama parameter dengan halaman dokumentasi versi yang terpasang.
- Saat menemukan perbedaan perilaku, percayakan kesimpulan pada changelog resmi, bukan pada ingatan tutorial.
- Simpan tautan versi terpasang di dokumentasi internal tim agar semua anggota membuka halaman versi yang sama.
- Saat menyalin contoh dari repositori orang lain, baca pula berkas README-nya untuk mengetahui versi Airflow yang dipakai penulisnya.
Seluruh referensi ini dipraktikkan di chapter Apache Airflow pada section Orkestrasi Workflow, berdampingan dengan konsep Scheduling, Retries dan Timeouts, dan Backfill. Untuk pemrosesan data di dalam task yang diorkestrasi, kita lanjutkan ke Referensi Apache Spark.