Modul ini membahas keputusan desain yang diambil sebelum topic digunakan secara luas, yaitu jumlah partisi, retensi, log compaction, bentuk payload pesan, dan pemisahan data antar topic. Keputusan tersebut menentukan throughput, kebutuhan penyimpanan, jaminan pengurutan, dan kemudahan pengembangan aplikasi di atas Kafka. Setiap topik memadukan pertimbangan desain dengan perhitungan dan demo yang dapat dijalankan ulang pada lingkungan lokal.
Desain topic
Keputusan desain topic: jumlah partisi, retensi, log compaction, bentuk payload, dan pola pemisahan antar topic.
0/0 selesai
- Jumlah partisi
Menetapkan jumlah partisi dari throughput dan paralelisme consumer beserta biaya mengubahnya di kemudian hari.
- Retensi
Retensi berbasis waktu dan ukuran, konfigurasi dinamis lewat kafka-configs, dan cara membaca data lama.
- Log compaction
Log compaction untuk menyimpan nilai terkini per key dan pola changelog pada topic terkompaksi.
- Desain pesan
Bentuk payload pesan, pemilihan key yang merata, dan standar envelope dengan metadata standar.
- Pola multi-topic
Routing pesan ke beberapa topic, pemilihan antara topic per entitas dan topic bersama, serta pola tabel atas peristiwa.