Deployment dan Operasional

Bawa kode pipeline ke production secara berulang dan aman: version stamp pola git describe, artifact immutable ber-MANIFEST sha256, dan pergantian rilis lewat symlink dengan rollback.

Terapkan konfigurasi twelve-factor pada pipeline yang sudah dideploy: layer defaults, overlay per lingkungan, dan environment variable, divalidasi ketat saat startup agar salah ketik gagal cepat.

Rangkai uji, build artifact, dan deploy menjadi satu workflow GitHub Actions: staging otomatis saat push ke main, gerbang manual untuk production, plus strategi deploy khas pipeline batch.

Jalankan pipeline di production dengan disiplin: run ledger JSONL sebagai sumber kebenaran, deteksi window terlewat untuk keputusan catch-up, guard concurrency, audit trigger manual, dan kalender produksi.

Pantau kesehatan run pipeline sebagai beban operasional: success rate, durasi p95, kegagalan berurutan, dan saturasi CPU dari run ledger, lalu rutekan alert ke page, tiket, atau diam dengan dedup dan jendela rawat.

Susuri satu run lintas layanan dengan correlation id yang diteruskan lewat manifest, baca span tree untuk menemukan bagian termahal, lalu kirim log JSON terstruktur ke agregator terpusat dengan OpenTelemetry.

Kelola insiden pipeline data dengan severity SEV1-SEV3, pembagian peran incident commander, timeline insiden nyata dari events JSONL untuk MTTA dan MTTR, serta postmortem blameless.

Susun strategi pemrosesan ulang data setelah bug: backfill vs replay vs dual-write, penelusuran blast radius lewat lineage, perencana reprocessing nyata dari run ledger, dan cara mengomunikasikan angka terkoreksi ke konsumen.

Disiplin rollback deployment pipeline: artefak berversi dengan pointer current, rollback drill nyata yang mendeteksi bug data lalu memutar balik symlink, perbedaan rollback artefak vs rollback data, serta keputusan rollback atau forward fix.

Rencanakan kapasitas platform data dengan regresi linear pada volume historis, headroom dari rasio puncak/rata-rata, dan estimasi titik jebol scratch serta disk sebelum kalender menunjukkannya.

Bedah tagihan bulanan platform data menjadi rincian compute, storage per tier, dan egress; hitung unit economics; lalu cari penghematan terbesar yang bisa dieksekusi dengan disiplin FinOps.

Tetapkan SLI khusus data (freshness, completeness, correctness), hitung pencapaian SLO bulanan dan sisa error budget dari run ledger, pasang alert burn-rate, dan kenali anti-pola SLO pipeline data.