Topik ini memetakan posisi data engineering di dalam tim yang bekerja dengan data, dan menandai titik-titik tempat disiplin ini menciptakan nilai. Peran insinyur data dibandingkan dengan data scientist, yakni peran yang membangun model dari data, serta dengan analis data. Pembahasan bergerak dari definisi peran, siklus hidup data yang menjadi kerangka kerjanya, sampai contoh nilai yang dapat diamati. Setelah membaca, lingkup pekerjaan insinyur data beserta batasannya terhadap peran tetangganya dapat dijelaskan.
Peran insinyur data dalam tim data#
Data engineering adalah disiplin yang merancang dan memelihara infrastruktur untuk mengumpulkan, menyimpan, serta mengolah data dalam jumlah besar. Praktisinya dikerjakan oleh insinyur data. Fokus kerjanya bukan menarik kesimpulan dari data, melainkan memastikan data sampai ke tempat yang tepat, dalam bentuk yang tepat, pada waktu yang dijanjikan. Reis dan Housley dalam Fundamentals of Data Engineering merangkum pekerjaan ini sebagai persimpangan antara infrastruktur data, manajemen data, dan arsitektur sistem.
Dua peran lain sering bekerja berdampingan dengan insinyur data. Data scientist mengembangkan model statistik dan pembelajaran mesin (machine learning) di atas data yang sudah siap pakai. Analis data menjawab pertanyaan bisnis melalui query dan dashboard, yaitu tampilan visual ringkas untuk memantau angka penting. Kedua peran tersebut mengonsumsi data, sedangkan insinyur data menyiapkan pasokannya.
| Aspek | Insinyur data | Data scientist | Analis data |
|---|---|---|---|
| Fokus utama | infrastruktur dan aliran data | model statistik dan prediksi | pertanyaan bisnis dan pelaporan |
| Keluaran tipikal | pipeline, tabel termodel, data yang andal | model, eksperimen, rekomendasi | dashboard, laporan, analisis sesuai permintaan |
| Alat harian | Python, SQL, alat orkestrasi, Docker | Python, pustaka pembelajaran mesin, notebook | SQL, alat BI, spreadsheet |
| Ukuran keberhasilan | data tepat waktu, tepat bentuk, dan hemat biaya | akurasi model dan dampaknya | kecepatan jawaban atas pertanyaan |
Batas antarperan tidak selalu tegas. Pada tim kecil, satu orang kerap menjalankan dua peran sekaligus, misalnya membangun pipeline sambil menyusun laporan. Pada tim besar, pembagiannya jauh lebih tajam dan insinyur data biasanya mengerjakan platform. Apa pun ukuran timnya, keputusan pada satu peran memengaruhi kerja peran lainnya.
Siklus hidup data#
Kerja insinyur data paling mudah dipahami melalui siklus hidup data (data lifecycle), yakni rangkaian tahap yang dilalui data sejak muncul sampai dipakai untuk mengambil keputusan. Reis dan Housley memetakan lima tahap utama, yaitu generasi, ingestion, penyimpanan, transformasi, dan penyajian. Diagram berikut menggambarkan kelima tahap itu beserta arah alirannya yang umum.
Tahap generasi adalah saat data lahir dari aplikasi, sensor, dan interaksi pengguna, dan tahap ini umumnya berada di luar kendali insinyur data karena digerakkan oleh sistem operasional. Tahap ingestion memindahkan data dari sistem sumber menuju sistem analitik. Tahap penyimpanan menentukan tempat dan bentuk data disimpan. Data warehouse adalah penyimpanan yang dirancang untuk analisis, sedangkan data lake adalah penyimpanan murah untuk data mentah dalam format aslinya. Tahap transformasi membersihkan, menggabungkan, dan memodelkan data menjadi tabel yang siap dipakai, sedangkan tahap penyajian menyalurkan hasil olahan kepada konsumennya.
Rangkaian proses otomatis yang memindahkan dan mengubah data antartahap disebut pipeline. Setiap panah pada diagram biasanya mewakili satu atau lebih pipeline yang dijalankan secara terjadwal dan terpantau. Umpan balik pada bagian bawah diagram menunjukkan sifat siklusnya, yaitu keputusan yang lahir dari penyajian memunculkan kebutuhan data baru, sehingga lingkaran itu berputar kembali.
Titik penciptaan nilai#
Data engineering menciptakan nilai ketika data berhenti menjadi bahan mentah dan mulai berperan sebagai pasokan yang dapat diandalkan. Keandalan pasokan itu terukur melalui beberapa sifat yang dapat diperiksa pada pipeline mana pun. Daftar berikut merangkum sifat-sifat tersebut beserta wujudnya.
- Keandalan: pipeline berjalan tanpa gagal diam-diam, sehingga tabel analitik selalu terisi sebelum jam kerja dimulai.
- Kesegaran: data tersedia cukup baru untuk keputusan yang diambil darinya.
- Efisiensi biaya: penyimpanan dan komputasi tidak membengkak karena data usang segera dibersihkan.
- Tata kelola data (data governance): asal-usul, kualitas, dan hak akses data terdokumentasi, sehingga setiap angka pada laporan dapat ditelusuri.
Contoh yang paling mudah diamati adalah laporan harian yang selalu terisi. Apabila pipeline yang menyajikannya andal, laporan terisi pukul enam pagi tanpa campur tangan manusia, dan setiap selisih angka dapat ditelusuri sampai sumbernya. Apabila pipeline gagal, kegagalannya diketahui sebelum pengguna laporan menyadarinya. Wujud kerja inilah yang membedakan data engineering dari sekadar menyalin berkas antarsistem.
Kesalahan umum#
Beberapa kekeliruan berikut sering muncul ketika disiplin ini dipraktikkan pertama kali. Daftar ini disusun dari pola yang berulang pada proyek nyata, dan masing-masing butirnya disertai penyebab serta cara memperbaikinya.
- Memandang data engineering sekadar memindahkan data. Pipeline yang ditulis tanpa disiplin rekayasa perangkat lunak cepat rapuh ketika skema sumber berubah. Perlakukan kode pipeline seperti kode aplikasi lain, lengkap dengan pencatatan perubahan (version control), pengujian, dan pemantauan.
- Menunda persoalan kualitas data sampai ada keluhan. Kesalahan yang masuk pada tahap ingestion menjalar ke setiap laporan di hilirnya. Pasang pemeriksaan dasar, misalnya jumlah baris dan nilai ekstrem, sejak data pertama kali diterima.
- Mengganti alat sebelum memahami masalahnya. Alat baru tidak menyelesaikan kebutuhan konsumen yang belum jelas. Pilih alat setelah pola data dan penggunanya dikenali.
- Menganggap pipeline selesai begitu berjalan. Pipeline yang sehat jarang terlihat, sehingga kegagalannya baru disadari ketika laporan kosong. Tambahkan pemberitahuan kegagalan dan catatan eksekusi sejak pipeline pertama berjalan.
Ringkasan#
- Insinyur data membangun dan memelihara infrastruktur yang memindahkan serta mengubah data, sedangkan data scientist dan analis data mengonsumsi hasilnya.
- Siklus hidup data terdiri atas lima tahap, yaitu generasi, ingestion, penyimpanan, transformasi, dan penyajian, lalu berputar kembali melalui umpan balik kebutuhan baru.
- Nilai data engineering terukur dari keandalan, kesegaran, efisiensi biaya, dan tata kelola data.
- Pipeline diperlakukan sebagai perangkat lunak utuh dengan pengujian dan pemantauan, bukan skrip sekali pakai.
Referensi#
- Fundamentals of Data Engineering — O’Reilly — Buku Reis dan Housley yang memetakan siklus hidup data serta blueprint arsitektur data engineering.
- Data Engineering Zoomcamp — DataTalksClub — Kurikulum open source gratis yang menuntun praktik modern data stack dari ingestion sampai orkestrasi.