Pengumpulan dan Ingestion Data

Pahami apa itu data ingestion, posisinya di pipeline data, pola push dan pull, sumber data umum, serta tantangan utamanya.

Pelajari pola batch ingestion berbasis jadwal dan jendela waktu, lengkap dengan implementasi mini penggabungan CSV transaksi harian.

Pelajari teknik incremental ingestion dengan watermark dan cursor untuk mengambil hanya data baru pada setiap run.

Bandingkan strategi full load dan incremental load dari sisi kompleksitas, durasi, histori, dan kapan masing-masing masuk akal dipakai.

Bangun ingestion dari file dengan pola folder landing, pengenalan pola nama, validasi dasar, move-to-processed, dan penanganan file setengah jadi.

Ekstraksi data dari database dengan SELECT kolom eksplisit, keyset pagination, snapshot konsisten, dan pengantar change data capture.

Pelajari ingestion dari REST API dengan library requests: autentikasi header, respons JSON, dan penanganan galat dasar dengan server tiruan lokal.

Bangun penerima webhook dengan verifikasi signature HMAC, idempotency key, dan konsep perlindungan replay, diuji dengan handler mini berbasis http.server.

Pelajari pola ingestion dari message queue: decoupling producer dan consumer, consumer loop dengan acknowledgment, serta semantik at-least-once lewat queue.Queue.

Pelajari Change Data Capture: keluar dari pola polling, memanfaatkan log transaksi PostgreSQL, format event CDC, serta simulasi CDC dengan changelog SQLite dan penerapannya ke target.

Pelajari dua strategi pagination API, page-based dan cursor-based, cara melakukan loop sampai halaman kosong, serta jebakan yang sering menjebak pipeline ingestion.

Pelajari cara menangani status 429, menghormati header Retry-After, menerapkan exponential backoff dengan jitter, serta pola circuit breaker agar pipeline tetap sopan terhadap API.

Pelajari cara membangun ingestion yang idempotent: pemilihan dedup key, pola upsert, file staging dengan atomic move, serta simulasi ingestion dua kali dengan hasil tetap sama.

Pelajari validasi data di gerbang ingestion: fail fast, pemeriksaan schema dan nilai, pola karantina untuk baris bermasalah, serta validator baris dengan SQLite dan berkas karantina.

Pelajari cara menangani kegagalan ingestion: klasifikasi kegagalan transien dan permanen, retry yang aman, checkpoint untuk resume, dead letter queue, serta observability dasar.