Modul ini menjadi pembuka jalur Apache Spark. Topiknya menempatkan Spark di antara pandas dan basis data, membedah arsitektur driver, cluster manager, dan executor, lalu menyiapkan lingkungan PySpark mode lokal sampai program pertama berhasil dijalankan. Pemahaman pada modul ini menjadi pijakan seluruh jalur sebelum pembahasan masuk ke API DataFrame.
Mengenal Spark
Modul pembuka: perbandingan Spark dengan pandas dan basis data, arsitekturnya, dan penyiapan lingkungan PySpark.
0/0 selesai
- Apa itu Spark ?
Spark sebagai mesin data terdistribusi, dibandingkan dengan pandas dan basis data.
- Arsitektur
Driver, executor, cluster manager, dan percakapan sebuah job dari ujung ke ujung.
- Penyiapan
Memasang PySpark mode lokal, membersihkan keluaran log, dan menjalankan program pertama.