Modul ini membuka mesin di balik API DataFrame, yaitu evaluasi lazy beserta lineage, susunan job, stage, dan task, biaya shuffle, pengelolaan partisi, penyimpanan antara dengan caching, sampai arsitektur klien-server Spark Connect. Materinya menjelaskan sebagian besar masalah kinerja yang kelak ditemui pada data besar, sehingga penempatannya sengaja setelah transformasi dasar dan sebelum bahasan format serta SQL. Setiap mekanisme diperagakan pada data kecil yang keluarannya dapat diperiksa, dengan explain() sebagai jembatan antara kode dan rencana eksekusinya.
Cara Spark berjalan
Model eksekusi di balik API: evaluasi lazy, job, stage, shuffle, partisi, caching, dan Spark Connect.
0/0 selesai
- Evaluasi lazy
Transformasi versus action dan mental model lineage.
- Job, stage, task
DAG pekerjaan dan dependensi wide versus narrow.
- Shuffle
Alasan shuffle mahal dan pemicunya.
- Partisi
Jumlah partisi, ukuran, skew, dan repartition versus coalesce.
- Caching
persist, level penyimpanan, dan kapan cache membantu atau merugikan.
- Spark Connect
Pemisahan client-server dan DataFrame jarak jauh pada era Spark 4.x.