KAL
Menu

Data Dan AI

Apache Spark

Jalur Apache Spark untuk pemrosesan data skala besar dengan PySpark, dari API DataFrame sampai mendiagnosis job yang berjalan lambat pada produksi.

Apache Spark adalah mesin analitik terdistribusi untuk pemrosesan data berskala besar. Jalur ini mengajarkan PySpark mulai dari API DataFrame untuk analisis harian, mekanisme eksekusi seperti stage dan shuffle, disiplin format berkas, sampai Structured Streaming. Penekanan diberikan pada kemampuan mendiagnosis alasan sebuah job berjalan lambat. Seluruh contoh diuji pada Spark 4.2 dengan Java 17 atau 21 dan berjalan penuh pada mode lokal satu mesin.

Mengenal Spark 3 pelajaran

Modul pembuka: perbandingan Spark dengan pandas dan basis data, arsitekturnya, dan penyiapan lingkungan PySpark.

  1. Apa itu Spark ?Spark sebagai mesin data terdistribusi, dibandingkan dengan pandas dan basis data.
  2. ArsitekturDriver, executor, cluster manager, dan percakapan sebuah job dari ujung ke ujung.
  3. PenyiapanMemasang PySpark mode lokal, membersihkan keluaran log, dan menjalankan program pertama.
SparkSession dan dasar-dasar 4 pelajaran

Titik masuk aplikasi Spark, struktur DataFrame, pembacaan data, dan schema.

  1. SparkSessionTitik masuk, config, dan penamaan aplikasi.
  2. DataFrameBaris dan kolom, bentuk API, dan pencetakan schema.
  3. Membaca dataPembaca CSV, JSON, dan Parquet beserta opsi pentingnya.
  4. SchemaSchema eksplisit versus inferensi dan alasan inferensi berbiaya.
Transformasi DataFrame 6 pelajaran

Operasi harian analisis data di Spark: seleksi, agregasi, join, window, data kotor, dan UDF.

  1. select, filter, withColumnEkspresi kolom dan tiga transformasi yang paling sering dipakai.
  2. AgregasigroupBy, fungsi agg, dan agregasi majemuk.
  3. JoinJenis join, kunci duplikat, dan pengenalan broadcast hint.
  4. Fungsi windowrank, lag, dan total berjalan lintas partisi.
  5. Nilai null dan pembersihancoalesce, dropna, fillna, dan pola data kotor.
  6. UDFKapan UDF terpaksa dipakai, biaya kinerjanya, dan pandas UDF.
Cara Spark berjalan 6 pelajaran

Model eksekusi di balik API: evaluasi lazy, job, stage, shuffle, partisi, caching, dan Spark Connect.

  1. Evaluasi lazyTransformasi versus action dan mental model lineage.
  2. Job, stage, taskDAG pekerjaan dan dependensi wide versus narrow.
  3. ShuffleAlasan shuffle mahal dan pemicunya.
  4. PartisiJumlah partisi, ukuran, skew, dan repartition versus coalesce.
  5. Cachingpersist, level penyimpanan, dan kapan cache membantu atau merugikan.
  6. Spark ConnectPemisahan client-server dan DataFrame jarak jauh pada era Spark 4.x.
Berkas dan format 4 pelajaran

Disiplin format berkas: Parquet, penulisan terpartisi, evolusi schema, dan masalah berkas kecil.

  1. Parquet secara mendalamPenyimpanan kolom, predicate pushdown, dan kompresi.
  2. Penulisan terpartisipartitionBy dan tata letak folder sebagai indeks.
  3. Strategi baca/tulisEvolusi schema, mergeSchema, dan mode penulisan.
  4. Masalah berkas kecilKompaksi dan ukuran berkas target.
SQL di Spark 3 pelajaran

Mesin yang sama melalui dua antarmuka: temp view, paritas API, dan katalog.

  1. Spark SQLTemp view dan menjalankan SQL pada DataFrame.
  2. Paritas APISQL versus DataFrame: mesin yang sama, pilihan mengikuti tugas.
  3. KatalogBasis data, tabel, dan metadata.
Streaming 4 pelajaran

Dari tabel tak berbatas sampai exactly-once: Structured Streaming dari nol.

  1. Konsep streamingModel micro-batch, source dan sink.
  2. Structured StreamingreadStream, transformasi, writeStream, trigger.
  3. WatermarkData terlambat, window dengan semantik waktu.
  4. Checkpoint dan sinkJalur exactly-once, mode output.
Spark di produksi 4 pelajaran

Dari skrip lokal ke layanan: submit, memori, penyetelan, pemantauan.

  1. spark-submitPengiriman ke cluster, mode deploy, config.
  2. Model memoriTata letak memori executor, spill, intuisi OOM.
  3. Esensi penyetelanPartisi shuffle, broadcast join, AQE.
  4. PemantauanSpark UI pada cluster, history server.
Ekosistem 4 pelajaran

Delta Lake, MLlib, peta alternatif, dan cara membaca tentang Spark.

  1. Delta LakeACID di atas data lake, time travel, posisi MERGE.
  2. Pengenalan MLlibKonsep pipeline ML terdistribusi.
  3. Peta alternatifFlink, Trino, DuckDB, BigQuery, kapan Spark bukan pilihan yang tepat.
  4. Membaca tentang SparkConfig, dokumentasi, dan sumber daya komunitas yang penting.
Pengerjaan proyek 4 pelajaran

Dari pemilihan masalah sampai putaran optimasi.

  1. Pemilihan proyekMasalah batch dan streaming dengan data nyata.
  2. Desain pipelineTata letak bergaya medallion, schema, jadwal.
  3. ImplementasiTahap ingest, transform, serve.
  4. Putaran optimasiPemrofilan dan penyetelan berbasis bukti.