Modul ini membahas format berkas yang menjadi tulang punggung pekerjaan data engineering. Materinya mencakup jebakan CSV, struktur JSON bersarang dan perataannya, penyimpanan kolom Parquet, Avro beserta evolusi schema, dan pertimbangan kompresi. Keputusan format pada modul ini menentukan performa query dan biaya penyimpanan pada tahap penyimpanan dan transformasi.
Berkas dan format
Format berkas yang menjadi tulang punggung data engineering: CSV, JSON, Parquet, Avro, dan kompresi.
0/0 selesai
- Realitas CSV
Anatomi CSV yang penuh jebakan, yaitu pembatas, encoding, dan alasan berkas CSV rusak di pipeline.
- JSON
Struktur JSON bersarang beserta strategi perataan untuk mengubahnya menjadi tabel analitik.
- Parquet
Anatomi format Parquet, yaitu penyimpanan kolom, kompresi, dan partisi beserta dampaknya pada query.
- Avro dan kesadaran evolusi schema
Peran Avro sebagai format streaming beserta cara evolusi schema dijaga tetap kompatibel.
- Kompresi
Pertimbangan memilih gzip atau zstd dari sisi rasio, kecepatan, dan interaksinya dengan format kolom.