Modul ini menyatukan keterampilan SQL, Python, dan format berkas menjadi pipeline batch yang utuh. Materinya mencakup anatomi pipeline dari ekstrak sampai muat, idempotensi agar pipeline aman dijalankan ulang, pemuatan inkremental dengan watermark, strategi pemuatan ke tabel target, dan pola penanganan error. Semua pola pada modul ini disertai kode yang dapat dijalankan.
Pipeline batch
Membangun pipeline batch: anatomi, idempotensi, pemuatan inkremental, strategi pemuatan, dan penanganan error.
0/0 selesai
- Anatomi pipeline
Menjabarkan anatomi pipeline batch, yaitu tahap ekstrak, validasi, transformasi, dan muat.
- Idempotensi
Merancang pipeline yang aman dijalankan ulang dengan idempotensi sebagai keutamaan inti data engineering.
- Pemuatan inkremental
Membandingkan pemuatan penuh dan inkremental beserta watermark sebagai penandanya.
- Strategi pemuatan
Strategi pemuatan ke tabel target, yaitu truncate-reload, upsert, dan penanganan data terlambat.
- Penanganan error
Pola penanganan error di pipeline, meliputi percobaan ulang dan dead-letter.