Sebelum satu baris kode pipeline ditulis, ada keputusan yang harus diambil lebih dulu: di mana data mentah disimpan, table format apa yang dipakai, bagaimana tim mengakses warehouse, dan standar penamaan seperti apa yang berlaku. Keputusan-keputusan level itu adalah wilayah data architecture. Data engineering kemudian menerjemahkan keputusan tersebut menjadi sistem yang benar-benar berjalan. Keduanya berada di tingkat abstraksi yang berbeda — dan pada chapter ini kita akan memetakan perbedaan tersebut lengkap dengan contoh pembagiannya di lapangan.
Fokus dan Pertanyaan yang Dijawab #
Data architecture adalah pekerjaan merancang struktur keseluruhan sistem data: memilih komponen, menetapkan standar, dan menggambar peta bagaimana data mengalir lintas sistem dalam jangka panjang. Pertanyaan khasnya berbunyi: “bagaimana keseluruhan sistem data organisasi ini seharusnya tersusun, sekarang dan tiga tahun ke depan?”
Artefak khas data architect antara lain:
- diagram arsitektur target: peta komponen beserta aliran datanya;
- dokumen keputusan: alasan memilih satu teknologi daripada alternatifnya;
- standar dan prinsip: aturan penamaan, kebijakan retensi, dan batas akses;
- peta ketergantungan: sistem mana yang boleh membaca dari mana.
Data engineering adalah pekerjaan mengimplementasikan dan mengoperasikan rancangan tersebut: menulis job ingestion, membangun model tabel, menyiapkan cluster, dan merespons insiden harian. Pertanyaan khasnya berbunyi: “bagaimana pipeline ini dibangun, dijadwalkan, dan dijaga agar tetap sehat?” Hasil kerjanya berupa sistem hidup — pipeline yang berjalan setiap hari.
Perbandingan Secara Konkret #
| Aspek | Data Engineering | Data Architecture |
|---|---|---|
| Fokus utama | membangun dan menjalankan pipeline data | merancang cetak biru sistem data tingkat organisasi |
| Pertanyaan yang dijawab | “bagaimana rancangan ini diimplementasikan dan dioperasikan?” | “bagaimana keseluruhan sistem data seharusnya tersusun?” |
| Tools khas | Spark, Airflow, dbt | diagram arsitektur, dokumen standar, kerangka tata kelola |
| Output akhir | pipeline produksi, tabel, infrastruktur yang berjalan | arsitektur target, prinsip, keputusan teknologi |
| Kapan dibutuhkan | rancangan sudah ditetapkan dan siap dieksekusi | organisasi membangun sistem data baru atau menata ulang yang ada |
Cara cepat mengingat pembagian ini: data architect menggambar peta, data engineer membangun jalan sesuai peta. Tanpa peta, jalan dibangun asal tersambung dan lama-lama berubah menjadi kumpulan jalur yang saling bertabrakan; tanpa pembangun, peta tetap selembar dokumen.
Arsitektur Menetapkan Aturan, Engineering Menjalankan #
Mari kita lihat satu contoh konkret. Data architect memutuskan bahwa perusahaan memakai pola lakehouse dengan medallion architecture: data mentah masuk layer Bronze, data bersih di layer Silver, dan data siap analisis di layer Gold, semuanya di atas table format terbuka seperti Apache Iceberg .
Keputusan disertai alasan: format terbuka menghindari keterikatan pada satu vendor, dan lapisan berjenjang memisahkan data mentah dari data siap pakai.
Data engineer menerjemahkan keputusan tersebut menjadi implementasi: job ingestion yang menulis event dari Apache Kafka ke tabel Bronze, pipeline pembersihan untuk Silver, dan model dbt yang menyusun Gold.
Data engineer juga menentukan detail teknis yang tidak diatur arsitektur — strategi partition per hari, penanganan data terlambat, dan mekanisme pengujian tiap lapisan. Ketika implementasi menemukan hambatan, temuan tersebut naik kembali ke architect sebagai masukan revisi rancangan.
Bekerja Sama di Praktik #
Keduanya bekerja dalam siklus berkelanjutan, bukan sekali jalan. Arsitektur versi awal hampir selalu berubah setelah sistem berjalan: volume ternyata lebih besar, kebutuhan analitik bertambah, atau biaya melebihi perkiraan. Data architect memantau apakah prinsip masih terpenuhi; data engineer melaporkan kenyataan lapangan dengan angka — durasi pipeline, ukuran data, frekuensi kegagalan.
Di banyak organisasi, peran architect dipegang oleh data engineer senior yang berpengalaman — sinyal bahwa dua ranah ini berada pada satu bidang keahlian yang sama, hanya berbeda ketinggian pandang.
Intisari Perbedaan #
Sebagai pegangan cepat, garis pembagi keduanya dapat diringkas dalam tiga poin:
- Data architecture merancang cetak biru: komponen, standar, dan keputusan teknologi.
- Data engineering menerjemahkan cetak biru menjadi sistem yang berjalan dan terjaga.
- Siklusnya berputar dua arah: hasil implementasi menjadi masukan revisi arsitektur.
Kita sudah membedah tiga peran tetangga: data science, data analysis, dan data architecture. Berikutnya kita naik satu tingkat lagi ke istilah payung yang mencakup keduanya — chapter Data Engineering vs Data Analytics menyusun peta besarnya.