Modul ini mengajarkan pola rekayasa data yang membuat pipeline dapat dipercaya: task idempoten yang aman dijalankan ulang, pemrosesan inkremental dengan watermark dan kursor, mekanika backfill dan catchup, serta hook basis data untuk pengelolaan koneksi yang bersih. Pola pada modul ini menjadi dasar pipeline produksi.
Pola rekayasa data
Modul pola data: task idempoten, pemrosesan inkremental, mekanika backfill dan catchup, serta hook basis data.
0/0 selesai
- Task idempoten
Merancang task yang aman dijalankan ulang: operasi idempoten dan penulisan berkas terpartisi.
- Pemrosesan inkremental
Memproses data bertahap dengan watermark, kursor, dan batas partisi per data interval.
- Backfill dan catchup
Memahami mekanika catchup dan menjalankan backfill untuk memuat ulang riwayat dengan aman.
- Hook basis data
Menyambung ke Postgres dan S3 secara bersih melalui hook beserta manajemen koneksinya.