Data Lake dan Lakehouse

Pahami definisi data lake, alasan kemunculannya, prinsip schema-on-read, dan risiko data swamp ketika tata kelola diabaikan.

Pelajari konsep object storage, bucket, path convention, presigned URL, dan cara menirunya secara lokal dengan pathlib.

Susun data lake menjadi zona raw, staging, curated, dan serving dengan alur ingestion yang jelas, metadata tercatat, dan kontrol akses per zona.

Terapkan zona raw yang immutable dan zona curated berschema Parquet lewat pipeline nyata: JSONL mentah, validasi, karantina, lalu penulisan per partisi tanggal.

Pahami hive-style partitioning, cara memilih kolom partisi, dan bukti partition pruning nyata lewat DuckDB EXPLAIN.

Pahami row group, ukuran berkas Parquet ideal, bahaya small files, dan kompaksi 50 berkas kecil menjadi berkas besar dengan pyarrow.

Pahami apa yang diselesaikan table formats: ACID di object storage, schema evolution, time travel, serta anatomi dan perbandingan Iceberg, Delta Lake, dan Hudi.

Bedah arsitektur metadata Apache Iceberg — metadata.json, manifest list, manifest file, hingga data file — lalu praktik nyata membuat tabel, menulis, membaca, dan mengevolusikan schema dengan pyiceberg.

Praktik Delta Lake dengan delta-rs: transaksi _delta_log berformat JSON, time travel antar versi, schema evolution, dan riwayat commit — semuanya diuji nyata secara lokal.

Pahami Apache Hudi secara konseptual: timeline di direktori .hoodie, file group dengan index untuk upsert tingkat record, serta perbedaan tabel Copy on Write dan Merge on Read.

Uji nyata schema enforcement di Delta Lake: penulisan dengan schema salah ditolak dengan galat asli, lalu evolusi kolom yang aman dilakukan lewat schema_mode merge.

Query versi lampau tabel Delta: tiga penulisan menghasilkan tiga keadaan yang bisa dibandingkan, dibaca dengan snapshot isolation, dan dipulihkan dengan restore — divalidasi retensi log dan vacuum.

Tutup section dengan kerangka keputusan: warehouse-only, lake-only, atau lakehouse — dipertimbangkan dari volume, beban ML, tim, biaya, dan investasi yang sudah ada, lengkap dengan pemilihan table format dan tiga studi kasus.