Pemrosesan Data Skala Besar

Pahami kapan data disebut big data melalui tiga V, batas mesin tunggal, prinsip memindahkan komputasi ke data, model cluster computing, dan posisi Apache Spark dalam ekosistem data.

Bedah arsitektur driver, executor, dan cluster manager Apache Spark, buat SparkSession pertama, lalu pahami lazy evaluation melalui transformation dan action yang dijalankan nyata.

Bangun DataFrame TokoKita dari data mentah, kuasai select, filter, withColumn, dan groupBy, kontraskan schema inferensi dengan schema eksplisit, dan pahami bedanya dengan pandas.

Daftarkan DataFrame sebagai temp view, jalankan query SQL standar di atasnya, campur SQL dengan DataFrame API, dan kelola managed table lewat katalog Spark.

Kuasai inner, left, dan full outer join di Spark, waspadai fan-out yang melipatgandakan baris tanpa sengaja, dan kurangi shuffle dengan broadcast join.

Bedah repartition versus coalesce, tulis Parquet terpartisi dengan partitionBy, buktikan partition pruning saat membaca dengan filter, dan pahami masalah berkas kecil.

Baca execution plan dengan explain(), ukur efek cache() pada agregasi berulang, bandingkan biaya UDF Python versus fungsi built-in, dan pahami peran AQE.

Pahami model micro-batch Structured Streaming, agregasi window berbasis event time dengan watermark, output mode, dan jenis sink lewat demo rate source yang dieksekusi nyata.

Telusuri bagaimana partition menjadi task yang dijadwalkan ke executor, ukur sebaran baris antar task dari eksekusi nyata, dan bandingkan pemrosesan cluster dengan pandas atau DuckDB satu mesin.

Bedah unified memory manager Spark, hitung pool execution dan storage dari heap, lalu paksakan dan ukur spill nyata dengan heap 512 MB pada orderBy empat juta baris.

Pahami shuffle sebagai Exchange di execution plan, buktikan data skew lewat kunci tamu 80000 baris versus 4000, lalu pecahnya dengan salting dan agregasi dua tahap.

Timbang biaya tetap Spark dengan benchmark jujur pandas versus PySpark, bandingkan Spark dengan pandas dan DuckDB, dan ikuti diagram keputusan sebelum membangun cluster.