Modul ini menyusun peta lanskap tempat semua pipeline berjalan. Materinya mencakup jenis sistem sumber beserta karakteristik ekstraksinya, perbedaan posisi transformasi pada ETL dan ELT, serta spektrum latensi antara batch dan streaming. Pemahaman lanskap ini menjadi dasar keputusan arsitektur pada modul-modul berikutnya.
Lanskap
Peta lanskap data engineering: sistem sumber, posisi transformasi dalam ETL dan ELT, serta pilihan batch atau streaming.
0/0 selesai
- Sistem sumber
Mengenal jenis sistem sumber data, yaitu basis data OLTP, API, log kejadian, dan alat SaaS, beserta karakteristik ekstraksinya.
- ETL vs ELT
Membandingkan ETL dan ELT dari posisi transformasinya beserta alasan ELT menjadi standar pada stack analitik modern.
- Batch vs streaming
Memetakan spektrum latensi antara batch dan streaming beserta pertimbangan jujur memilih batch sebagai default.