Mengubah data mentah menjadi data siap analisis memakan porsi besar waktu engineer. Section ini membahas pembacaan berbagai format, pembersihan dan transformasi yang lazim, sampai menyusunnya menjadi pipeline yang dapat diulang.

# Membaca Data CSV

Baca CSV dengan DictReader: konversi tipe eksplisit, baris rusak, delimiter, encoding, dan agregasi sederhana.

Buka → # Membaca Data JSON

Baca JSON records, ndjson, nested flattening, validasi struktur, dan streaming dengan generator untuk file besar.

Buka → # Membaca Data Excel

Baca file Excel dengan openpyxl dan pandas: sheet, rentang sel, tipe data, serta konversi ke CSV dan JSON.

Buka → # Parsing Log Files

Ubah baris log menjadi data terstruktur: parsing split vs regex, filtering level, hitung per jam, dan korelasi error.

Buka → # Membersihkan Data

Deteksi dan tangani data kotor: nilai hilang, duplikat, whitespace, kapitalisasi, koersi tipe, dan outlier.

Buka → # Transformasi Data

Bentuk data siap analisis: field turunan, pengelompokan, agregasi, sorting, reshaping, dan join antar list.

Buka → # Menggabungkan Dataset

Gabungkan dataset: join berbasis kunci, concat, operasi himpunan, resolusi konflik, dan pemeriksaan integritas.

Buka → # Menangani Data Besar

Proses data melebihi memori: streaming, generator pipeline, chunk, dan memindahkan agregasi ke SQLite.

Buka → # Membangun Data Pipeline

Rangkai extract-validate-clean-transform-aggregate-load menjadi pipeline yang bisa diulang, diuji, dan diamati.

Buka →