Pembangunan pipeline modern terbagi ke dalam lapisan tool: tools ingestion menarik data dari sumber, dbt mengubah data mentah menjadi tabel analitik di dalam warehouse, dan layanan terkelola di cloud menyatukan keduanya. Dokumentasi tiap lapisan hidup di domain resminya masing-masing dengan struktur yang berbeda-beda. Chapter ini mengumpulkan referensi terkurasi untuk ketiga lapisan tersebut, dari halaman konsep sampai referensi perintah. Fokus terbesarnya adalah dbt, karena transformasi adalah bagian yang paling banyak menyita waktu data engineer.
Dokumentasi dbt #
Dokumentasi dbt memisahkan tiga jenis halaman: konsep untuk memahami cara kerja build, referensi untuk perintah CLI dan konfigurasi, serta panduan untuk pola rancangan. Dua tabel berikut memetakan halaman yang paling sering dibuka.
Konsep Inti #
Mulai dari tiga halaman berikut untuk memahami cara dbt memandang transformasi: semuanya adalah model, dan setiap model adalah satu file SQL dengan konfigurasi.
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Beranda dokumentasi dbt | Pusat navigasi seluruh produk dbt | pemula |
| Models | Konsep model: unit transformasi bernama yang menghasilkan tabel atau view | pemula |
| SQL Models | Anatomi file model SQL beserta konfigurasinya | pemula |
Pola Lanjutan dan Referensi Perintah #
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Incremental Models | Menjalankan transformasi hanya untuk data yang baru datang | menengah |
| Snapshots | Merekam perubahan data dari waktu ke waktu (pola SCD tipe 2) | menengah |
| Data Tests | Test unique, not null, dan custom test untuk menjaga mutu tabel | menengah |
| Sources | Mendeklarasikan tabel mentah sebagai sumber bernama yang bisa direferensikan | pemula |
| Analyses | Query ad-hoc yang dikelola dbt tanpa dibangun sebagai model | pemula |
| Referensi Perintah dbt | Daftar lengkap perintah dbt Core CLI beserta parameternya | menengah |
| Best Practices dbt | Panduan gaya dan struktur proyek dari tim dbt Labs | menengah |
Pola baca yang efisien untuk dbt: mulai dari Models untuk konsep, lanjut ke SQL Models untuk bentuk filenya, lalu jalankan satu model kecil di lokal. Setelah pola dasar terasa nyaman, baru turun ke halaman pola lanjutan sesuai kebutuhan pipeline.
Dokumentasi Tools Ingestion #
Tools ingestion menyiapkan koneksi ke ratusan sumber dan tujuan tanpa menulis kode konektor sendiri. Airbyte adalah pilihan open source dengan dokumentasi terbuka, sementara Fivetran adalah layanan ingestion terkelola penuh.
Airbyte #
Airbyte menyediakan dua jalur bacaan: quickstart untuk mencoba cepat, dan katalog connector untuk memeriksa dukungan sumber-tujuan yang kita butuhkan.
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Beranda dokumentasi Airbyte | Pusat navigasi: konsep, deployment, dan operasional Airbyte | pemula |
| Quickstart Airbyte OSS | Menjalankan Airbyte open source secara lokal dengan Docker | pemula |
| Connector Catalog | Daftar ratusan connector beserta status kesiapan dan fiturnya | pemula |
Fivetran #
Dokumentasi Fivetran berorientasi produk: mulai dari ringkasan umum, lalu turun ke halaman per connector dan per destination.
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Dokumentasi Fivetran | Layanan ingestion terkelola: connector, sync, dan pengaturan keamanan | menengah |
| Katalog Destinations Fivetran | Daftar tujuan data yang didukung beserta kemampuannya | menengah |
Layanan Pipeline Terkelola di Cloud #
Ketiga penyedia cloud besar menyediakan layanan pipeline bawaan. Dokumentasi berikut menjadi rujukan saat tim memakai layanan terkelola alih-alih menyusun tumpukan open source sendiri — pola yang lazim saat perusahaan sudah menaruh seluruh datanya di satu penyedia cloud.
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| AWS Glue | ETL terkelola dan data catalog di AWS | mahir |
| Google Cloud Dataflow | Pipeline batch dan stream berbasis Apache Beam | mahir |
| Azure Data Factory | Orchestration ETL berbasis visual di Azure | menengah |
Cara Memilih Lapisan Tool #
Dokumentasi hanya berguna kalau kita membaca lapisan yang tepat untuk masalah kita. Pemetaan berikut merangkum pertanyaan yang dijawab tiap lapisan:
| Lapisan | Rujukan utama | Pertanyaan yang dijawab |
|---|---|---|
| Ingestion | Dokumentasi Airbyte atau Fivetran | Dari sumber mana data bisa ditarik dan dengan mode sync apa |
| Transformasi | Dokumentasi dbt | Bagaimana data mentah menjadi tabel analitik yang teruji |
| Orchestration | Dokumentasi Airflow | Kapan dan dalam urutan apa tiap langkah dijalankan |
| Eksekusi terkelola | Dokumentasi layanan cloud | Siapa yang mengurus infrastruktur pemrosetannya |
Empat pertimbangan praktis saat memilih:
- Jumlah sumber yang bervariasi dan terus bertambah condong ke tools ingestion dengan katalog connector luas.
- Tim yang sudah punya kekuatan SQL mendapat hasil tercepat dengan dbt karena seluruh transformasi tetap berupa SQL.
- Tim kecil tanpa personel platform biasanya lebih hemat usaha dengan layanan terkelola dibanding memelihara tumpukan open source sendiri.
- Regulasi dan kebijakan data perusahaan kadang menentukan pilihan — tool yang harus menyimpan kredensial di cloud milik vendor bisa langsung tereliminasi di organisasi tertentu.
- Kebutuhan biaya yang bisa diprediksi — layanan terkelola biasanya membebankan biaya per volume data, jadi perkiraan volume wajib dihitung sebelum memilih.
Praktik penuhnya ada di section Data Transformation ETL dan ELT — dari Ekstraksi Data dan Incremental Transformation sampai Memilih ETL atau ELT — serta section Pengumpulan dan Ingestion Data yang membahas sisi pengambilan datanya. Untuk menjadwalkan seluruh pipeline tersebut secara otomatis, kita lanjutkan ke Referensi Apache Airflow.