Modul ini membahas sisi penyimpanan yang menentukan separuh kinerja Spark, yaitu format Parquet beserta mekanisme pemangkasan bacaannya, penulisan terpartisi yang menjadikan folder sebagai indeks, pengelolaan mode tulis dan evolusi schema pada data yang terus berubah, serta masalah berkas kecil beserta pemadatannya. Setiap mekanisme dibuktikan melalui rencana eksekusi dan pengamatan langsung pada folder keluaran. Modul ini ditempatkan setelah mekanisme eksekusi dan sebelum bahasan SQL, karena tata letak data yang baik membuat semua lapisan di atasnya lebih murah.
Berkas dan format
Disiplin format berkas: Parquet, penulisan terpartisi, evolusi schema, dan masalah berkas kecil.
0/0 selesai
- Parquet secara mendalam
Penyimpanan kolom, predicate pushdown, dan kompresi.
- Penulisan terpartisi
partitionBy dan tata letak folder sebagai indeks.
- Strategi baca/tulis
Evolusi schema, mergeSchema, dan mode penulisan.
- Masalah berkas kecil
Kompaksi dan ukuran berkas target.