Data Engineering untuk Machine Learning

Pahami perbedaan kebutuhan data analytics dan machine learning, kenali data leakage lewat studi kasus fraud TokoKita, dan petakan pekerjaan data engineering yang lahir dari model ML.

Susun dataset training yang jujur dengan memilih strategi pembagian yang meniru cara model dipakai, dan pahami perbedaannya dengan data inference di produksi.

Bangun pipeline yang mengubah event mentah pesanan menjadi fitur RFM per pelanggan dengan cutoff waktu, lengkap dengan metadata fitur dan uji paritas antara pandas dan DuckDB.

Kenali anatomi feature store melalui konsep API Feast, lalu buktikan pentingnya point-in-time correctness ketika menggabungkan snapshot fitur dengan event label menggunakan ASOF JOIN.

Buktikan bahaya training-serving skew lewat dua implementasi fitur yang hampir sama, lalu perbaikinya dengan satu implementasi bersama dan uji paritas berbentuk pytest.

Simpan dataset sebagai snapshot berversi dengan manifest sha256, bandingkan dua versi berdasarkan kunci, lalu pin versi dataset di training config agar setiap model bisa direproduksi.

Jalankan tiga pemeriksaan khas machine learning — validasi skema yang memblokir training, drift distribusi dengan PSI, dan deteksi dini leakage lewat korelasi fitur terhadap label.

Jalankan feature pipeline terjadwal di atas partisi harian parquet dengan DuckDB, tulis snapshot fitur secara idempotent, lalu tangani late event dengan menghitung ulang snapshot terdampak.

Hitung fitur rolling window secara real-time dengan state per pengguna dan watermark, lalu ukur jujur harga kecepatannya: event yang dibuang stream membuat fitur berbeda dari hitungan batch.

Hubungkan seluruh pipeline data ke siklus hidup model di produksi: pantau drift dan performa, gabungkan tiga pemicu retraining menjadi satu keputusan, dan lihat peran data engineer di tim MLOps.