Dua lowongan kerja dengan judul serupa — Data Engineer dan Data Scientist — sering membingungkan pencari kerja maupun perusahaan yang baru membangun tim data. Keduanya memang bekerja di atas data yang sama, tetapi pertanyaan yang dijawab, alat yang dipakai, dan hasil akhir yang dihasilkan berbeda tajam. Memahami garis batas tersebut penting supaya kita memilih jalur belajar yang tepat dan tahu kapan sebuah masalah butuh peran yang mana. Pada chapter ini kita akan membedah keduanya lalu melihat bagaimana keduanya berkolaborasi di praktik.
Fokus dan Pertanyaan yang Dijawab #
Data engineering berfokus pada jalur suplai data: bagaimana data berpindah dari sistem sumber — database aplikasi, log, API — sampai menjadi tabel yang rapi, terjadwal, dan terpercaya di data warehouse. Pertanyaan khasnya berbunyi: “bagaimana data ini sampai ke konsumen dengan benar, lengkap, dan tepat waktu?”
Data science berfokus pada pemodelan dan penemuan pola: apa yang bisa dipelajari dari data yang sudah tersedia, dan prediksi apa yang bisa dibuat darinya. Pertanyaan khasnya berbunyi: “pola apa yang muncul dari data, dan apa yang kemungkinan terjadi selanjutnya?” Seorang data scientist menghabiskan waktu untuk merumuskan hipotesis, melakukan eksperimen statistik, melatih model machine learning, lalu mengomunikasikan temuan kepada pengambil keputusan.
Latar belakang keduanya pun biasanya berbeda. Data scientist kerap berangkat dari statistika atau riset, sedangkan data engineer dari rekayasa perangkat lunak.
Keduanya sama-sama menulis kode, tetapi jenis kodenya berbeda: analisis eksploratif di notebook untuk yang satu, pipeline teruji dan terjadwal untuk yang lain.
Perbandingan Secara Konkret #
Tabel berikut merangkum perbedaan keduanya dalam lima aspek yang konkret:
| Aspek | Data Engineering | Data Science |
|---|---|---|
| Fokus utama | membangun dan merawat pipeline data | membangun model dan mengekstraksi insight dari data |
| Pertanyaan yang dijawab | “bagaimana data sampai ke konsumen dengan benar?” | “pola apa yang tersimpan di data dan apa prediksinya?” |
| Tools khas | Spark, Airflow, dbt, Kafka | pandas, scikit-learn, Jupyter Notebook |
| Output akhir | pipeline produksi, tabel warehouse, infrastruktur data | model prediksi, hasil eksperimen, rekomendasi berbasis analisis |
| Kapan dibutuhkan | data masih tersebar, manual, atau belum terpercaya | data sudah rapi dan organisasi perlu prediksi atau eksperimen |
Perhatikan baris terakhir pada tabel: hubungan keduanya bersifat berurutan, bukan bersaing. Data science tanpa data engineering ibarat laboratorium tanpa pasokan bahan — setiap eksperimen harus dimulai dengan mengumpulkan dan membersihkan data secara manual dari nol.
Cara cepat menguji batas ini saat membaca lowongan kerja: bila tanggung jawab intinya menjaga pasokan data — jadwal, schema, volume, keandalan — posisinya data engineering. Bila intinya prediksi, eksperimen, dan evaluasi model, posisinya data science.
Bekerja Sama di Praktik #
Bayangkan tim e-commerce yang ingin membangun sistem rekomendasi produk. Data engineer membangun pipeline yang mengumpulkan riwayat kunjungan dan pembelian dari database aplikasi, membersihkannya, lalu menyajikannya sebagai tabel fitur yang diperbarui setiap hari.
Data scientist menggunakan tabel tersebut untuk melatih model rekomendasi, mengukur akurasinya, lalu menyerahkan model yang lolos uji ke tahap berikutnya.
Kolaborasi tidak berhenti di situ. Model yang sudah berjalan di produksi tetap membutuhkan data segar untuk menghasilkan rekomendasi — dan jalur data tersebut juga dikelola oleh data engineer, biasanya dalam bentuk feature pipeline.
Ketika kualitas model menurun karena pola perilaku pengguna bergeser, data scientist menganalisis penyebabnya, lalu perbaikan sering jatuh kembali ke sisi pipeline: data yang terlambat, duplikat, atau kehilangan kolom baru. Keduanya memeriksa sisi yang berbeda dari satu sistem yang sama. Perpindahan artefak pun terjadi dua arah: notebook eksperimen yang terbukti berhasil kerap diubah menjadi pipeline terjadwal, dan pekerjaan konversi tersebut hampir selalu dikerjakan data engineer karena menuntut praktik rekayasa perangkat lunak.
Dokumentasi pandas dan Apache Spark adalah dua titik awal belajar yang mewakili kedua dunia: pandas untuk eksplorasi data khas data scientist, Spark untuk pemrosesan skala besar khas data engineer.
Intisari Perbedaan #
Sebagai pegangan cepat, garis pembagi keduanya dapat diringkas dalam tiga poin:
- Data engineering membangun dan menjaga jalur suplai data agar sampai dengan benar dan tepat waktu.
- Data science menemukan pola dan membangun prediksi dari data yang sudah tersedia.
- Urutannya: fondasi data dibenahi lebih dulu, pemodelan menyusul setelah datanya terpercaya.
Setelah data science, peran lain yang sering disandingkan dengan data engineering adalah data analysis. Keduanya lebih dekat daripada kelihatannya — kita akan lihat alasannya pada chapter Data Engineering vs Data Analysis.