Modul ini melatih Python sebagaimana dipakai di pipeline data, bukan pemrograman umum. Materinya mencakup struktur skrip dan type hint, penanganan berkas besar dengan pathlib, ekstraksi API dengan paginasi dan percobaan ulang, serta pemilihan antara pandas dan Python murni. Kode pada modul ini menjadi fondasi untuk modul format berkas dan pipeline batch.
Python untuk DE
Python yang benar-benar dipakai di pipeline: skrip dan type hint, penanganan berkas, ekstraksi API, dan perbandingan pandas.
0/0 selesai
- Penyegaran Python untuk DE
Penyegaran Python untuk pekerjaan data engineering, yaitu skrip, fungsi, dan type hint yang membuat kode pipeline dapat dipelihara.
- Bekerja dengan berkas
Menjelajah dan mengolah berkas dengan pathlib serta membaca berkas besar secara aman tanpa menghabiskan memori.
- API dan ekstraksi
Menarik data dari API dengan requests, meliputi paginasi, percobaan ulang, dan etika ekstraksi.
- pandas vs Python murni
Membandingkan pandas dan Python murni untuk transformasi data beserta kapan masing-masing unggul.