Referensi Data Warehouse

Data warehouse punya dua sisi yang saling melengkapi: sisi desain (bagaimana memodelkan data agar mudah dianalisis) dan sisi platform (bagaimana warehouse modern menjalankan query di atas data berskala besar). Section Data Modeling dan Data Warehouse di course ini membangun fondasi kedua sisi tersebut, dan bab ini menghimpun rujukan resminya: teknik Kimball Group untuk teori dimensional modeling, dokumentasi dbt untuk praktik transformasi, serta dokumentasi Snowflake, BigQuery, dan Redshift sebagai referensi implementasi platform. Seluruh tautan diverifikasi hidup saat course ini ditulis.

Kimball Group: Dimensional Modeling #

Ralph Kimball dan timnya merumuskan teknik dimensional modeling yang sampai sekarang menjadi standar industri — kerangka yang kita pakai di chapter Dimensional Modeling, Star Schema, dan Slowly Changing Dimensions. Situs Kimball Group membagikan arsip tekniknya secara terbuka:

Cara terbaik memakai arsip ini: buka halaman Dimensional Modeling Techniques, pilih satu teknik yang belum dikuasai (misalnya role-playing dimension atau bridge table), lalu telusuri design tip terkait di halaman DW/BI Resources. Setiap teknik pada halaman tersebut merujuk bab buku sumbernya, sehingga kita tahu persis ke mana memperdalam.

Istilah di situs Kimball konsisten dengan istilah course ini karena course ini memang mengambil kerangkanya — fact, dimension, grain, dan SCD memiliki arti yang sama persis di kedua tempat.

dbt: Transformasi dan Modeling Modern #

dbt mengubah pemodelan warehouse menjadi praktik software engineering: model berbentuk SQL, diuji, didokumentasikan, dan dibangun secara bertahap — pendekatan yang kita praktikkan langsung di section Data Engineering untuk Analytics dan proyek Proyek: Pipeline Data dan Dashboard Analitik:

Glossary dbt layak dijadikan marka buku tersendiri: setiap entri menjelaskan satu istilah warehouse dalam dua sampai tiga paragraf dengan sudut pandang praktik, bukan teori akademik. Versi dbt Core yang dipakai course ini adalah 1.12, dan perilaku inti yang dirujuk seluruh tautan di atas — model, ref(), source(), materialization table dan incremental, serta test — konsisten sejak seri 1.5, sehingga dokumentasi tersebut tetap relevan walau versi bergeser.

Dokumentasi Platform Warehouse #

Teori Kimball dan praktik dbt berjalan di atas platform warehouse. Tiga platform di bawah adalah yang paling lazim dijumpai di lowongan kerja; dokumentasi resminya menjadi rujukan saat kita menulis DDL, memilih tipe data, atau mengoptimalkan query:

Meski berbeda vendor, ketiganya mengimplementasi konsep yang sama dari course ini: pemisahan compute dan storage, partisi, dan distribusi data lintas node. Tabel ringkas berikut memetakan istilah platform ke konsep yang telah kita pelajari:

Untuk latihan tanpa biaya, ketiganya menyediakan tingkat percobaan resmi — tautan free tier dan kalkulator harga masing-masing penyedia dikumpulkan di chapter Referensi Cloud.

Buku Rujukan Utama #

Tiga buku berikut melengkapi tautan di atas dan sering dirujuk di lowongan kerja serta wawancara:

1. The Data Warehouse Toolkit (Kimball & Ross) — buku induk dimensional modeling; sumber asli teknik fact, dimension, grain, dan SCD yang kita pakai.
2. The Data Warehouse ETL Toolkit (Kimball & Caserta) — pendalaman sisi ETL: audit, pemulihan kegagalan, dan back room processing.
3. Kimball Dimensional Modeling Techniques — draf teknis yang menjadi cikal bakal halaman web Kimball Techniques di tabel pertama.

Ketiganya tidak menggantikan dokumentasi platform, tetapi melatih insting desain: kapan fact table perlu dipecah, bagaimana memilih grain, dan kapan SCD tipe 2 lebih tepat daripada snapshot. Belilah atau pinjam sesuai kebutuhan — untuk memulai, arsip web Kimball Group di atas sudah mencakup intinya.

Perlu dicatat pemetaan istilah antar sumber: Kimball menyebut bus matrix dan back room, dbt menyebut staging dan marts, sementara course ini memakai istilah keduanya dan menjelaskan asalnya di chapter Model Staging, Intermediate, dan Marts. Tiga istilah berbeda itu sering merujuk pemisahan yang sama antara lapis mentah dan lapis siap pakai.

Jalur Belajar yang Disarankan #

Rangkaian belajar berikut membawa kita dari teori modeling sampai pipeline dbt yang berjalan — setiap langkah menghasilkan artefak nyata, bukan sekadar bacaan:

1. Baca Dimensional Modeling Techniques sambil mencocokkan setiap teknik dengan chapter Dimensional Modeling dan Star Schema.
2. Pilih satu proses bisnis yang dikenal (misalnya pesanan online), lalu rancang bus matrixnya di kertas.
3. Pelajari Models dan SQL Models , lalu bangun ulang model staging dan mart ala proyek Proyek: Pipeline Data dan Dashboard Analitik.
4. Tambahkan Incremental Models saat data sumber mulai membesar.
5. Rekam riwayat dimensi yang berubah dengan Snapshots sebagai latihan SCD tipe 2.
6. Pilih satu platform dari tabel perbandingan di atas, lalu kerjakan tutorial resminya (misalnya Redshift Loading Data ).
7. Tutup dengan best practice performa platform pilihan — misalnya BigQuery Performance Best Practices — agar model dbt yang sama tetap murah saat dijalankan.
8. Simpan dbt CLI Reference di dekat tangan: perintah dbt build menjadi gerbang utama menjalankan seluruh model beserta testnya sekali jalan.

Dari warehouse terstruktur, kita bergerak ke penyimpanan berbasis berkas di object storage. Rujukan untuk table format dan data lake modern terhimpun di chapter Referensi Data Lake — di sana peran dbt berlanjut lewat dbt untuk lakehouse dan peran Kimball berlanjut lewat pemodelan tabel besar yang tetap bertumpu pada fact dan dimension.