Data Quality dan Observability

Pelajari enam dimensi kualitas data — completeness, validity, uniqueness, consistency, freshness, accuracy — lalu bangun skor kualitas tabel pesanan TokoKita dengan pandas.

Rancang aturan validasi sebagai kerangka yang bisa ditambah dan diaudit: not-null, rentang, format, referential integrity, tingkat keparahan, serta laporan pelanggaran dengan pandas.

Tegakkan schema sebagai kontrak validasi: kolom wajib, tipe data, nullability, dan kolom asing ditangkap dengan pandera sebelum aturan nilai dijalankan.

Ubah kesepakatan kualitas data menjadi kontrak eksplisit berformat YAML: schema, aturan kualitas, SLA freshness, dan kepemilikan — lalu tegakkan dengan pemeriksa kontrak Python.

Ukur umur data dari timestamp dan waktu berkas partisi, tetapkan SLA freshness per tabel, dan deteksi pelanggaran lengkap dengan pembedaan data terlambat versus pipeline berhenti.

Rekonsiliasi kelengkapan data antara manifest upstream dan warehouse: hitung rasio per partisi harian, deteksi partisi hilang dan parsial, serta pilih sumber ekspektasi yang tepat.

Uji konsistensi antar tabel dengan DuckDB: deteksi orphaned foreign key di dua arah, bandingkan agregat lintas tabel dengan toleransi pembulatan, dan telusuri penyebab selisih.

Bangun peta dependensi antar tabel pipeline TokoKita langsung dari kode SQL dan pandas, lakukan analisis dampak downstream dengan BFS, dan visualisasikan graf lineage dengan mermaid.

Rancang logging level pipeline dengan structured logging JSON, run id untuk korelasi antar-stage, event siklus hidup run, timing per stage, dan aturan menjaga PII keluar dari log.

Hitung success rate, volume baris, dan durasi p95 dari riwayat run JSONL, evaluasi aturan alert berbasis threshold, dan rancang notifikasi yang bebas alert fatigue.

Deteksi anomali pada metrik data harian dengan z-score, IQR, dan rolling window, pahami mengapa ketiganya bisa saling tidak setuju, dan waspadai jebakan pola musiman.

Validasi DataFrame pandas dengan Great Expectations GX Core: expectation suite berisi not null, unique, in set, dan between, lalu jalankan validasi nyata pada data yang sehat dan yang bermasalah.

Validasi DataFrame dengan pandera: DataFrameSchema berisi Check ge, in_range, isin, dan str_matches, lazy validation yang mengumpulkan semua kegagalan, DataFrameModel berbasis class, dan integrasi di pintu masuk pipeline.

Selidiki kasus nyata dashboard GMV TokoKita yang anjlok: dari gejala dan daftar hipotesis, query DuckDB yang menyempitkan akar masalah ke perubahan nilai upstream, sampai perbaikan dan lapisan pencegahan.