Ketika orang berkata “kita pakai Snowflake” atau “platform data kita berjalan di Airflow dan Spark”, dua istilah sering tercampur: data platform dan data infrastructure. Platform adalah kesatuan layanan yang mengelola aliran data — pipeline, warehouse, catalog. Infrastructure adalah lapisan di bawahnya — komputasi, jaringan, dan penyimpanan tempat seluruh platform berdiri. Membedakan keduanya penting saat merencanakan biaya, memilih teknologi, dan menentukan siapa yang bertanggung jawab atas apa. Pada chapter ini kita urai kedua istilah tersebut lalu membahas pertanyaan yang pasti muncul: membeli solusi jadi atau membangun sendiri.
Apa itu Data Platform #
Data platform adalah kumpulan komponen terintegrasi yang menyediakan data sebagai layanan bagi seluruh organisasi. Sebuah platform yang utuh menutup seluruh siklus hidup data:
- Ingestion: mengumpulkan data dari database aplikasi, API, dan event stream.
- Storage: menyimpan data mentah hingga curated — data lake, warehouse, atau lakehouse.
- Processing: menjalankan transformation batch dan stream.
- Orchestration: menjadwalkan pipeline dan menangani kegagalan, misalnya lewat Apache Airflow atau Dagster.
- Serving: menyediakan akses bagi dashboard, aplikasi, dan model machine learning.
- Governance dan observability: mengatur akses, menjaga kualitas, dan memantau kesehatan pipeline.
Ukuran keberhasilan platform bukan jumlah komponennya, melainkan seberapa cepat seorang konsumen data bisa mendapatkan data yang terpercaya tanpa harus membangun jalurnya sendiri.
Sinyal bahwa sebuah platform bekerja baik bisa dilihat dari kebiasaan timnya:
- analis memakai tabel yang sama tanpa mempertanyakan asal angkanya;
- sumber data baru bisa tersedia sebagai tabel dalam hitungan hari, bukan bulan;
- insiden kualitas data terdeteksi oleh alert, bukan oleh keluhan pengguna.
Apa itu Data Infrastructure #
Data infrastructure adalah fondasi teknis tempat platform berjalan: server atau instance cloud, cluster Kubernetes, object storage, jaringan antar region, hingga sistem identitas dan akses. Infrastructure tidak memahami isi data — infrastructure hanya menyediakan sumber daya komputasi, penyimpanan, dan konektivitas dengan performa dan keandalan tertentu.
Pembedaannya bisa dianalogikan dengan gedung: platform adalah tata letak lantai beserta fasilitas yang membuat gedung berfungsi, infrastructure adalah pondasi, listrik, dan jaringan pipanya. Platform bisa dibangun ulang tanpa memindah gedung; sebaliknya pemindahan infrastructure hampir selalu mengguncang platform di atasnya.
Perbedaan Platform dan Infrastructure #
| Aspek | Data Platform | Data Infrastructure |
|---|---|---|
| Tingkat abstraksi | layanan dan alur kerja data | sumber daya komputasi dan penyimpanan |
| Pertanyaan yang dijawab | “bagaimana data mengalir dan dikonsumsi?” | “di mana dan dengan sumber daya apa sistem berjalan?” |
| Contoh artefak | pipeline dbt, DAG Airflow, tabel warehouse | cluster Kubernetes, instance cloud, object storage |
| Peran pengelola | data engineer, analytics engineer | platform engineer, DevOps |
Batas keduanya memang tidak selalu tegas di organisasi kecil: satu data engineer kerap mengelola pipeline sekaligus cluster tempat pipeline berjalan. Seiring tim membesar, pekerjaan infrastructure biasanya dipisahkan ke peran khusus, dan data engineer cukup mengonsumsi infrastructure sebagai layanan.
Beli versus Bangun #
Keputusan terbesar dalam merancang platform: membeli layanan terkelola atau membangun sendiri dengan open source. Tabel berikut merangkum pertukarannya:
| Pertimbangan | Solusi terkelola (beli) | Open source (bangun) |
|---|---|---|
| Waktu sampai jalan | cepat, hitungan hari | lambat, hitungan minggu hingga bulan |
| Biaya | bayar per pemakaian, naik seiring volume | biaya tim operasional, relatif stabil |
| Kendali | terbatas pada fitur vendor | penuh, termasuk penyesuaian mendalam |
| Beban operasional | rendah | tinggi: pembaruan, keandalan, keamanan |
Perusahaan kecil hampir selalu lebih diuntungkan solusi terkelola — engineer yang cuma dua orang tidak selayaknya menghabiskan separuh waktunya menjaga cluster.
Bangun sendiri menjadi masuk akal ketika volume data sangat besar (biaya vendor melonjak), ada kebutuhan kepatuhan khusus, atau organisasi memang punya tim platform yang mumpuni. Jalur tengah juga populer: komponen terkelola untuk yang rumit dioperasikan, open source untuk yang mudah — misalnya warehouse terkelola dipadukan dbt dan Docker untuk standardisasi environment.
Semua konsep yang kita bahas sejauh ini — peran, siklus hidup, arsitektur, gaya pemrosesan, platform — akhirnya perlu dilihat dalam kasus nyata agar tidak berhenti sebagai teori. Chapter Studi Kasus Data Engineering akan merangkai semuanya dalam dua skenario Indonesia.