Data Transformation: ETL dan ELT

Pahami definisi ETL dan ELT, kapan masing-masing pola dipilih, evolusi menuju warehouse modern, lalu bangun mini pipeline Python dari CSV ke SQLite.

Kenali ragam sumber data, seleksi kolom, sampling untuk eksplorasi, dan ekstraksi bertahap dengan generator untuk file besar.

Pelajari lima kategori transformasi data — cleaning, konversi tipe, derivasi kolom, agregasi, dan join — dengan contoh nyata membersihkan string, mengonversi tanggal, dan menghitung total.

Bandingkan pola load penuh, append, truncate-and-load, dan upsert, lalu uji nyata performa executemany dibanding INSERT satu per satu di SQLite.

Tulis transformasi bergaya functional dengan fungsi murni dan compose, kenali pandas melalui groupby sederhana, dan pahami kapan memilih stdlib atau pandas.

Geser transformasi ke dalam database dengan CREATE TABLE AS SELECT, CASE, window function, dan upsert, melalui contoh nyata staging ke dimensi di SQLite.

Pilih strategi join untuk tabel kecil dan tabel besar, bangun agregasi bertingkat dari penjualan harian ke bulanan per kota, dan hindari jebakan agregat-dari-agregat.

Telusuri sumber duplikat dari reprocess dan at-least-once delivery, bandingkan dedup kunci dengan dedup konten, dan terapkan keep-latest dengan ROW_NUMBER serta dict Python.

Pelajari cara memproses hanya data baru dengan watermark, lalu menggabungkan hasil delta ke tabel agregat penjualan harian tanpa membangun ulang seluruh riwayat.

Pahami transformasi yang aman dijalankan ulang, bandingkan pola append yang menduplikasi data dengan full rebuild per partisi, dan buktikan hasil identik setelah dua eksekusi.

Tangani data yang tiba setelah partisi tanggalnya selesai dihitung: pahami event_time vs waktu kedatangan, deteksi baris terlambat, rebuild partisi dalam jendela toleransi, dan lakukan restatement.

Verifikasi data antara sumber dan target dengan pemeriksaan jumlah baris, checksum agregat, dan perbandingan sampel, lalu lacak mismatch hingga ke akar masalahnya.

Terapkan pola dead letter untuk mengkarantina baris yang gagal transformasi, pisahkan penyebab data dan kode, lalu jalankan retry per baris hingga bersih.

Jalankan ulang transformasi atas data historis secara aman: pahami alasan reprocess, syarat idempotent dan versioned output, lalu perbaiki partisi tertentu dengan kode v2.

Putuskan arsitektur transformasi dengan kerangka keputusan yang mempertimbangkan skala data, biaya compute, tooling dbt, keahlian tim, dan regulasi — dilengkapi tabel perbandingan, diagram keputusan, dan tiga studi kasus.