Model machine learning yang akurat di laboratorium belum tentu berguna di produksi. Agar tetap relevan, model harus dilatih ulang secara berkala dengan data terbaru, disajikan dengan latensi rendah, dan dipantau ketika pola datanya bergeser. Praktik mengoperasikan model tersebut dikenal sebagai MLOps — disiplin yang meminjam pola DevOps untuk kebutuhan khusus machine learning. Data engineering dan MLOps berbeda fokus, tetapi keduanya berbagi satu bahan baku: data. Pada chapter ini kita bedah perbedaan keduanya dan titik temu yang paling sering menuntut kolaborasi.
Fokus dan Pertanyaan yang Dijawab #
Data engineering berfokus pada aliran data: memindahkan data dari sumber ke konsumen secara terjadwal, tervalidasi, dan terpantau. Pertanyaan khasnya: “bagaimana data sampai ke konsumen dengan benar dan tepat waktu?” Konsumen tersebut bisa berupa dashboard, analis, maupun sistem machine learning.
MLOps berfokus pada siklus hidup model di produksi: menyimpan versi dataset dan model, menjalankan pelatihan ulang terjadwal, men-deploy model ke endpoint serving, serta memantau metrik seperti akurasi dan drift — pergeseran pola data dibanding saat model dilatih. Pertanyaan khasnya: “bagaimana model dilatih, disajikan, dipantau, dan diperbarui dengan aman dan berulang?”
Siklus kerja MLOps yang lazim berjalan sebagai lingkaran berikut:
- Versi data pelatihan dan kode model dicatat secara bersamaan.
- Pipeline melatih model baru lalu mengevaluasinya terhadap tolok ukur yang tetap.
- Model yang lolos didaftarkan ke model registry sebagai kandidat rilis.
- Model dirilis bertahap ke endpoint serving, sebagian trafik lebih dulu.
- Pemantauan mengawasi akurasi dan drift; hasilnya memicu siklus berikutnya.
Perbandingan Secara Konkret #
| Aspek | Data Engineering | MLOps |
|---|---|---|
| Fokus utama | pipeline data dari sumber ke konsumen | siklus hidup model machine learning di produksi |
| Pertanyaan yang dijawab | “bagaimana data sampai dengan benar dan tepat waktu?” | “bagaimana model dilatih, disajikan, dan dipantau?” |
| Tools khas | Spark, Airflow, dbt, Kafka | MLflow, Kubeflow, Docker, Kubernetes |
| Output akhir | pipeline dan tabel yang terpercaya | model ter-deploy, pipeline pelatihan ulang, pemantauan drift |
| Kapan dibutuhkan | setiap organisasi yang mengelola data | organisasi yang menjalankan model di produksi |
Perbedaan mendasarnya: pipeline data menghasilkan tabel yang bisa diperiksa langsung, sedangkan pipeline MLOps menghasilkan artefak model — file berisi parameter yang harus diversi, dievaluasi, dan digulirkan ke produksi secara terkendali. Karena artefaknya berbeda, praktik pengelolaannya pun berbeda: versioning model, evaluasi otomatis sebelum deploy, dan rollback ketika performa menurun.
Titik Temu: Feature, Pelatihan Ulang, dan Drift #
Tiga kebutuhan MLOps membuat keduanya sulit dipisahkan. Pertama, feature pipeline: model membutuhkan fitur yang dihitung dari data mentah — rata-rata transaksi tujuh hari, jumlah perangkat unik, recency kunjungan. Perhitungan tersebut adalah pipeline data yang dibangun dan dijaga oleh data engineering, sering lewat komponen bernama feature store agar fitur konsisten antara pelatihan dan serving.
Kedua, pelatihan ulang terjadwal: model prakiraan permintaan misalnya dilatih ulang setiap pekan dengan data terbaru. Penjadwalan tersebut berjalan di atas orchestration yang sama dengan pipeline data — Apache Airflow kerap mengatur keduanya dalam satu tempat.
Ketiga, pemantauan drift: ketika data masuk bergeser polanya, kualitas prediksi turun tanpa pipeline data rusak. Mendeteksi drift membutuhkan pemantauan distribusi data — kemampuan yang tumbuh di sisi data engineering, lalu diteruskan ke sistem MLOps sebagai sinyal.
Bekerja Sama di Praktik #
Ambil contoh sistem deteksi transaksi tidak wajar di aplikasi pembayaran. Data engineering membangun pipeline yang mengalirkan event transaksi dan menghitung fitur perilaku tiap akun setiap hari.
MLOps memakai fitur tersebut untuk melatih model, menyimpannya di model registry, lalu men-deploy model ke endpoint yang dipanggil sistem risiko. Ketika tim fraud melihat akurasi menurun, penyelidikan berjalan di dua sisi sekaligus: apakah pola transaksi memang bergeser (drift), ataukah pipeline feature terlambat mengirim data. Pengemasan lewat Docker membuat pembagian ini mulus — pipeline data dan komponen model berjalan sebagai unit yang sama-sama terstandar.
Intisari Perbedaan #
Sebagai pegangan cepat, garis pembagi keduanya dapat diringkas dalam tiga poin:
- Data engineering mengelola aliran data dari sumber sampai konsumen.
- MLOps mengoperasikan siklus hidup model dari pelatihan sampai pemantauan di produksi.
- Titik temunya ada di feature pipeline, pelatihan ulang terjadwal, dan deteksi drift.
Rangkaian perbandingan peran kini lengkap. Kita beralih dari siapa mengerjakan apa ke bagaimana data bergerak dari hulu ke hilir: chapter Siklus Hidup Data akan menelusuri perjalanan data dari detik penciptaannya sampai dihapus sesuai kebijakan retensi.