Data Engineering untuk Analytics

Posisikan analytical data modeling dalam alur kerja analytics, bandingkan pendekatan Kimball, Inmon, dan wide table, lalu bangun One Big Table dari star schema dengan DuckDB.

Kenalkan dbt sebagai framework transformasi SQL: pasang dbt Core dengan adapter, susun dbt_project.yml dan sources.yml, lalu pahami cara kumpulan model membentuk DAG yang dieksekusi dbt run.

Susun model dbt ke dalam tiga layer — staging yang membersihkan sumber, intermediate yang merangkai business logic, dan marts yang siap dibaca alat BI — dengan simulasi DuckDB nyata.

Bangun model dbt yang hanya memproses data baru dengan materialized incremental, unique_key, dan strategi merge, lalu hindari jebakan late-arriving data dengan jendela lookback.

Rekam riwayat perubahan data sumber secara otomatis dengan dbt snapshot: strategi check, kolom dbt_valid_from dan dbt_valid_to, serta query keadaan pada titik waktu tertentu.

Uji isi model dbt dengan generic test (not_null, unique, accepted_values, relationships), singular test, dan custom generic test, lengkap dengan severity serta momen menjalankan test di CI.

Tulis dokumentasi model dbt sebagai kode: deskripsi model dan kolom pada schema.yml, docs block untuk definisi yang dipakai ulang, hingga halaman dokumentasi beserta lineage graph yang dihasilkan otomatis.

Definisikan metrik GMV sekali sebagai semantic model dan metric pada YAML, lalu buktikan konsistensinya lewat resolver mini yang menyusun SQL untuk dua konsumen berbeda.

Hubungkan alat BI ke marts melalui konektor SQL dan ODBC, lalu terapkan row-level security sebagai urusan serving agar dashboard yang sama menjawab sesuai hak akses pembacanya.

Ukur dua strategi penyajian — agregasi fact mentah saat diminta versus mart pre-agregat — pada dua juta pesanan, lalu pilih format dan jalur konsumsi untuk tiap jenis konsumen.