Modul ini membawa pemrosesan data dari kumpulan berbatas ke aliran yang tiba terus-menerus. Konsep streaming diperkenalkan melalui model tabel tak berbatas dan micro-batch, lalu pipeline pertama dirakit dengan readStream, transformasi, writeStream, dan trigger yang dapat direproduksi. Soal data terlambat dijawab dengan agregasi berbasis event time dan watermark, dan efeknya dibuktikan langsung pada data yang sengaja dibuat terlambat. Modul ditutup dengan checkpoint yang benar-benar diuji pada pemulihan kueri, sehingga jaminan pengiriman tidak berhenti sebagai teori. Seluruh contoh memakai source berkas agar dapat diulang persis di satu mesin tanpa infrastruktur tambahan.
Streaming
Dari tabel tak berbatas sampai exactly-once: Structured Streaming dari nol.
0/0 selesai
- Konsep streaming
Model micro-batch, source dan sink.
- Structured Streaming
readStream, transformasi, writeStream, trigger.
- Watermark
Data terlambat, window dengan semantik waktu.
- Checkpoint dan sink
Jalur exactly-once, mode output.