Modul ini menjembatani skrip pembelajaran dengan aplikasi Spark yang nyata. Pengiriman aplikasi dijelaskan lewat spark-submit beserta dua kanal parameter yang berbeda kekuatannya, yaitu opsi peluncur dan argumen aplikasi. Tata letak memori dibedah dari angka heap yang terbaca langsung dari sesi, sehingga spill dan intuisi kegagalan memori berpijak pada pembagian yang benar. Esensi penyetelan dibuktikan lewat rencana eksekusi, dari pilihan partisi shuffle sampai perbedaan broadcast join terhadap SortMergeJoin. Modul ditutup dengan pemantauan, termasuk perekaman event log nyata yang menjadi bahan history server untuk memutar ulang aplikasi yang sudah selesai.
Spark di produksi
Dari skrip lokal ke layanan: submit, memori, penyetelan, pemantauan.
0/0 selesai
- spark-submit
Pengiriman ke cluster, mode deploy, config.
- Model memori
Tata letak memori executor, spill, intuisi OOM.
- Esensi penyetelan
Partisi shuffle, broadcast join, AQE.
- Pemantauan
Spark UI pada cluster, history server.