Format dan Serialisasi Data

Pelajari struktur CSV menurut RFC 4180, membaca dan menulis data dengan module csv Python, jebakan tipe string dan encoding, hingga deteksi delimiter otomatis.

Pelajari pemetaan tipe data JSON ke Python, serialisasi dengan json.dumps dan json.loads, struktur nested, serta jebakan key duplikat dan NaN.

Pelajari format JSON Lines untuk streaming: baca baris demi baris secara lazy, tambahkan data dengan mode append, dan bandingkan JSONL dengan array JSON.

Pelajari struktur tree, element, dan attribute XML, parsing serta penulisan dengan xml.etree.ElementTree, penanganan namespace, dan kapan XML masih dipakai.

Pelajari format biner Avro: schema berbasis JSON, baca-tulis file .avro dengan fastavro, schema evolution dengan default, dan ukuran file dibanding JSON Lines.

Pelajari format kolom Parquet: baca-tulis table dengan pyarrow, row group dan kompresi per kolom, column pruning, serta perbandingan ukuran nyata dengan CSV.

Pelajari format kolom ORC untuk ekosistem Hadoop: anatomi stripe dan row index, baca-tulis dengan pyorc, statistik min/max untuk predicate pushdown, serta perbandingan dengan Parquet.

Pelajari Protocol Buffers: skema .proto proto3, field number, serialisasi biner lewat python API, format wire, dan perbandingan ukuran nyata dengan JSON.

Pelajari schema sebagai kontrak data: tipe logis vs fisik, nullable, pemetaan tipe antar SQL, Avro, Parquet, dan Protobuf, serta konversi string ke angka.

Pelajari schema evolution: kompatibilitas backward, forward, dan full, aturan evolusi aman, serta uji nyata membaca file Avro v1 dengan schema v2 memakai fastavro.

Pelajari kompresi data untuk pipeline: file level vs kolom level, karakteristik gzip, snappy, zstd, dan lz4, plus benchmark nyata ukuran dan kecepatan dengan pyarrow.

Kerangka memilih format data yang tepat: CSV untuk pertukaran, JSON Lines untuk streaming, Parquet untuk analitik, dengan studi kasus nyata.