Apache Kafka

Modul pembuka: posisi log kejadian di antara antrean pesan dan basis data, kosakata inti, serta penyiapan broker lokal pertama.

1. Apa itu Kafka?Log kejadian sebagai model data Kafka dibandingkan dengan antrean pesan tradisional dan basis data, beserta alasan modelnya penting.
2. Konsep intiKosakata inti Kafka: topic, partisi, offset, broker, producer, dan consumer beserta hubungan antar istilahnya.
3. Penyiapan lokalMengunduh Kafka, menjalankan broker tunggal mode KRaft, membuat topic pertama, dan mencoba producer serta consumer CLI.

Interaksi klien dengan broker: konfigurasi producer, key dan partisi, consumer group, pengelolaan offset, rebalancing, dan header pesan.

1. Memproduksi pesanKonfigurasi dasar producer, alur send sampai batch terkirim, dan serialisasi nilai pesan pada klien Python.
2. Key dan partisiHashing key dengan murmur2, jaminan pengurutan per partisi, dan strategi memilih key yang sehat.
3. Consumer groupKoordinasi consumer group: distribusi partisi ke anggota, pembagian beban, dan identitas group.
4. Offset dan commitStrategi commit offset, perintah seeking, reset offset, dan replay data dari awal log.
5. RebalancingPemicu rebalancing, biaya pemutaran konsumsi, dan protokol kooperatif yang memangkas pekerjaan ulang.
6. Header dan metadataHeader pesan untuk metadata tambahan, timestamp yang dipilih broker, dan hook interceptor pada producer.

Keputusan desain topic: jumlah partisi, retensi, log compaction, bentuk payload, dan pola pemisahan antar topic.

1. Jumlah partisiMenetapkan jumlah partisi dari throughput dan paralelisme consumer beserta biaya mengubahnya di kemudian hari.
2. RetensiRetensi berbasis waktu dan ukuran, konfigurasi dinamis lewat kafka-configs, dan cara membaca data lama.
3. Log compactionLog compaction untuk menyimpan nilai terkini per key dan pola changelog pada topic terkompaksi.
4. Desain pesanBentuk payload pesan, pemilihan key yang merata, dan standar envelope dengan metadata standar.
5. Pola multi-topicRouting pesan ke beberapa topic, pemilihan antara topic per entitas dan topic bersama, serta pola tabel atas peristiwa.

Kontrak data lintas tim: alasan skema tercatat, alur Schema Registry, Avro, dan mode kompatibilitas evolusi skema.

1. Mengapa skema pentingBiaya payload tanpa kontrak pada sistem lintas tim dan apa yang diselesaikan skema tercatat.
2. Schema RegistryPeran Schema Registry, strategi subject, dan alur serialisasi dengan ID skema pada header pesan.
3. Avro dalam praktikSkema Avro: record, union, dan nilai default beserta serialisasi klien terhadap Registry.
4. Mode kompatibilitasKompatibilitas backward, forward, dan full beserta contoh evolusi skema yang lolos dan yang ditolak.

Keandalan pengiriman: replikasi dan ISR, ketahanan producer, semantik pengiriman, transaksi, dan pemantauan consumer lag.

1. ReplikasiLeader, follower, ISR, dan peran min.insync.replicas dalam menjaga partisi tetap tersedia dan tahan fault.
2. Ketahanan producerKonfigurasi acks, retries, dan enable.idempotence pada producer beserta trade-off ketahanannya.
3. Semantik pengirimanAt-most-once, at-least-once, dan exactly-once beserta pengaturan klien yang menghasilkan masing-masing.
4. TransaksiTransaksi producer untuk penulisan atomik multi-partisi dan pola consume-transform-produce.
5. Consumer lagMengukur consumer lag lewat CLI dan klien, ambang peringatan, dan pola pikir backpressure.

Pemrosesan stream di dalam Kafka: model pustaka Kafka Streams, primitif transformasi, state store, dan windowing.

1. Kafka StreamsModel pustaka Kafka Streams, topologi pemrosesan, dan posisinya dibandingkan pemroses eksternal seperti Flink dan Spark.
2. Primitif streamOperasi stateless pada KStream: map, filter, flatMap, join, dan groupBy beserta semantiknya.
3. State storeState store lokal dengan RocksDB, changelog topic, dan pemulihan state saat aplikasi restart.
4. WindowingWindow tumbling, hopping, dan session pada agregasi stream beserta perilaku akhir window.

Integrasi ke luar dari Kafka: model connector Kafka Connect, connector umum, multi-cluster, dan peta ekosistem.

1. Kafka ConnectModel connector source dan sink, worker standalone dan distributed, serta konfigurasi connector.
2. Connector umumConnector JDBC, S3, dan Elasticsearch sebagai integrasi yang paling sering digunakan beserta karakternya.
3. Multi-clusterMirrorMaker 2 untuk replikasi antar cluster, topologi active-passive dan active-active, serta terjemahan offsetnya.
4. Peta ekosistemKsqlDB, Flink, Debezium, dan layanan terkelola cloud sebagai bagian peta ekosistem di sekitar Kafka.

Keterampilan operasional: internal cluster KRaft, pemantauan metrik kunci, perhitungan kapasitas, dan ikhtisar keamanan.

1. Internal clusterPeran broker dan controller pada mode KRaft, metadata quorum, dan sebaran partisi antar broker.
2. Inti pemantauanMetrik yang benar-benar dipantau: consumer lag, throughput, kesehatan ISR, dan JMX sebagai sumbernya.
3. Dasar kapasitasPerhitungan diska, jaringan, dan bandwidth partisi untuk perencanaan kapasitas cluster.
4. Ikhtisar keamananLapisan keamanan Kafka: autentikasi SASL, otorisasi ACL, dan enkripsi SSL dalam ikhtisar.

Proyek puncak jalur: pemilihan lingkup, arsitektur kejadian, implementasi klien andal, dan integrasi Streams dengan Connect.

1. Pemilihan proyekMemilih dan membatasi lingkup proyek sistem berbasis kejadian yang menuntut consumer nyata.
2. Arsitektur kejadianMenyusun peta topic, skema, dan kontrak pengiriman sebagai dokumen arsitektur proyek kejadian.
3. Implementasi producer dan consumerImplementasi producer dan consumer yang bertipe, idempoten, dan sadar lag untuk proyek kejadian.
4. Streams dan ConnectMenambahkan pemrosesan real-time Kafka Streams dan integrasi Kafka Connect ke dalam proyek.