Distributed Systems untuk Data

Pahami mengapa platform data modern berjalan di banyak mesin, bagaimana node berkoordinasi lewat pertukaran pesan, dan mengapa kegagalan parsial mengubah cara kita mendesain sistem data.

Bandingkan dua strategi menambah kapasitas — memperbesar satu mesin atau menambah mesin baru — lengkap dengan benchmark kecil sekuensial versus thread versus process.

Bagi dataset besar ke beberapa shard dengan range atau hash, kenali masalah skew pada kunci panas, dan kurangi biaya rebalancing dengan consistent hashing.

Jaga data tetap tersedia dengan salinan di beberapa node: pahami model leader-follower, replication lag yang membuat bacaan basi, dan failover yang bisa kehilangan tulisan.

Pahami kontrak konsistensi pada sistem tereplikasi, lihat anomali eventual consistency seperti pelanggaran monotonic reads, dan perbaikinya dengan session guarantees.

Jaga layanan tetap berjalan saat komponen gagal: retry dengan exponential backoff dan jitter, deteksi node berhenti lewat heartbeat, dan idempotency key untuk tulisan yang aman diulang.

Pelajari masalah koordinasi lintas node, leader election, distributed lock dengan TTL, evolusi ZooKeeper ke KRaft, dan strategi meminimalkan koordinasi.

Pahami prinsip memindahkan komputasi ke data: hierarki bandwidth antara disk lokal dan jaringan, simulasi nyata pengiriman data vs pengiriman tugas, dan cara menjaga lokalitas saat mendesain pipeline.

Pelajari pemrosesan paralel untuk data: data parallelism vs task parallelism, pembagian partisi kerja, benchmark nyata multiprocessing, dan batas percepatan menurut Hukum Amdahl.

Pahami transaksi lintas node: atomicity lokal pada SQLite, protokol two-phase commit beserta kasus blocking, dan pola saga dengan aksi kompensasi sebagai alternatifnya.

Rangkum peta trade-off distributed systems: CAP theorem dan PACELC, anggaran biaya replikasi, matriks keputusan mekanisme, dan kapan sebaiknya tidak mendistribusikan data.