Modul ini mengumpulkan transformasi DataFrame yang dipakai hampir setiap hari pada pekerjaan analisis data, mulai dari select, filter, dan withColumn, agregasi dengan groupBy dan agg, join antar tabel, fungsi window, pembersihan nilai null, sampai UDF sebagai jalan terakhir untuk logika khusus. Semua materi dilatih pada data contoh yang kecil sehingga setiap keluaran dapat diperiksa langsung. Modul ini ditempatkan setelah fondasi SparkSession dan DataFrame, dan menjadi bekal langsung bagi modul mekanisme eksekusi yang membahas cara transformasi-transformasi itu dijalankan oleh Spark.
Transformasi DataFrame
Operasi harian analisis data di Spark: seleksi, agregasi, join, window, data kotor, dan UDF.
0/0 selesai
- select, filter, withColumn
Ekspresi kolom dan tiga transformasi yang paling sering dipakai.
- Agregasi
groupBy, fungsi agg, dan agregasi majemuk.
- Join
Jenis join, kunci duplikat, dan pengenalan broadcast hint.
- Fungsi window
rank, lag, dan total berjalan lintas partisi.
- Nilai null dan pembersihan
coalesce, dropna, fillna, dan pola data kotor.
- UDF
Kapan UDF terpaksa dipakai, biaya kinerjanya, dan pandas UDF.