Glosarium

Course ini memakai ratusan istilah teknis yang tersebar di 27 section, dan sebagian di antaranya hanya muncul sekali di tengah pembahasan yang padat. Glosarium berikut menghimpun istilah-istilah penting itu dalam satu tempat, dikelompokkan per tema mengikuti alur course: konsep dasar, ingestion dan streaming, penyimpanan, warehouse dan pemodelan, pemrosesan, kualitas dan tata kelola, sampai data untuk machine learning. Setiap entri memuat istilah Inggris apa adanya beserta definisi ringkas berbahasa Indonesia, dan istilah yang memiliki chapter khusus diberi rujukan dibahas di judulnya. Gunakan glosarium ini sebagai kamus cepat saat membaca dokumentasi resmi di chapter-chapter sebelumnya.

Konsep Dasar dan Siklus Hidup Data #

Istilah	Definisi
Data engineering	Disiplin merancang, membangun, dan memelihara sistem pengumpulan, penyimpanan, serta pemrosesan data agar siap dipakai — dibahas di Apa itu Data Engineering?
Data pipeline	Rangkaian tahap otomatis yang memindahkan dan mengubah data dari sumber ke tujuan, misalnya ekstraksi lalu pemuatan ke warehouse
Data platform	Kumpulan layanan dan infrastruktur tempat pipeline berjalan: penyimpanan, compute, orkestrasi, dan pemantauan — dibahas di Data Platform dan Data Infrastructure
Data lifecycle	Perjalanan data dari diciptakan, diproses, dipakai, sampai diarsipkan atau dihapus — dibahas di Siklus Hidup Data
Source system	Aplikasi operasional yang menghasilkan data, misalnya database aplikasi kasir atau log aplikasi web
Ingestion	Proses menyerap data dari source system ke dalam platform data — dibahas di Konsep Data Ingestion
ETL	Extract, Transform, Load: data ditransformasi di luar target sebelum dimuat ke penyimpanan analitik — dibahas di Pengenalan ETL dan ELT
ELT	Extract, Load, Transform: data mentah dimuat lebih dulu, transformasi dijalankan di dalam warehouse atau lakehouse
Batch processing	Pemrosesan sekumpulan data yang dikumpulkan dalam satuan waktu tetap, misalnya harian — dibahas di Batch Processing vs Stream Processing
Stream processing	Pemrosesan data sebagai event yang ditangani segera setelah tiba, tanpa menunggu jadwal batch

Ingestion dan Streaming #

Istilah	Definisi
Full load	Memuat seluruh data sumber pada setiap eksekusi; sederhana namun mahal saat datanya besar
Incremental load	Hanya memuat data baru atau berubah sejak eksekusi terakhir, biasanya berdasarkan watermark waktu
Change Data Capture (CDC)	Teknik menangkap insert, update, dan delete dari log transaksi database sumber alih-alih membaca ulang seluruh tabel — dibahas di Change Data Capture
Topic	Kategori bernama tempat pesan disimpan dan dialirkan di Kafka
Partition	Unit penyimpanan dan paralelisme di dalam topic atau tabel; jaminan urutan data hanya berlaku di dalam satu partition
Offset	Penanda posisi pesan di dalam partition Kafka yang dipakai consumer untuk mencatat kemajuan pembacaan — dibahas di Topics, Partitions, dan Offsets
Producer	Aplikasi yang menulis pesan ke topic Kafka
Consumer	Aplikasi yang membaca pesan dari topic Kafka
Consumer group	Sekelompok consumer yang berbagi partition sebuah topic sehingga pembacaan berjalan paralel — dibahas di Consumer Groups
At-most-once	Jaminan pengiriman pesan boleh hilang tetapi tidak boleh ganda; tercepat, paling lemah
At-least-once	Pesan dijamin sampai tetapi bisa terkirim ganda; konsumen harus idempotent
Exactly-once	Setiap pesan tercatat dan diproses tepat satu kali meski terjadi kegagalan dan percobaan ulang
Event time	Waktu kejadian yang tercatat di dalam data itu sendiri
Processing time	Waktu saat sistem memproses event; bisa jauh berbeda dari event time
Windowing	Mengelompokkan event stream ke dalam jendela waktu (tumbling, sliding, session) sebelum diagregasi — dibahas di Windowing
Watermark (streaming)	Batas waktu event yang masih dianggap sah untuk sebuah window; event lebih tua diperlakukan sebagai late event — dibahas di Watermarks dan Late Events
Late arriving data	Data yang tiba setelah window atau batch penutupnya selesai diproses
Backfill	Mengisi ulang data untuk periode lampau, misalnya saat logika transformasi baru diterapkan retroaktif — dibahas di Backfill
Replay	Menjalankan ulang pemrosesan atas data historis yang sama, misalnya membaca ulang topic Kafka dari offset awal
Deduplikasi	Menghapus baris ganda berdasarkan kunci atau kombinasi kolom tertentu
Idempotent	Sifat operasi yang menghasilkan hasil akhir sama ketika dijalankan berkali-kali — dibahas di Idempotency dan Retries
Schema Registry	Layanan terpusat untuk mendaftarkan dan memvalidasi schema pesan agar producer dan consumer tidak saling melanggar kontrak — dibahas di Schema Registry

Penyimpanan, Format Data, dan Lakehouse #

Istilah	Definisi
Object storage	Penyimpanan yang menampung data sebagai objek di dalam bucket, tanpa direktori sungguhan; contohnya Amazon S3 — dibahas di Object Storage
Columnar storage	Menyimpan data per kolom, bukan per baris, sehingga query analitik hanya membaca kolom yang diperlukan — dibahas di Columnar Storage
Parquet	Format berkas kolomar dengan kompresi dan statistik min/max; format standar data lake modern — dibahas di Parquet
Avro	Format serialisasi berbasis schema yang ringkas dan cepat; umum di pipeline streaming — dibahas di Avro
ORC	Format berkas kolomar dari ekosistem Hadoop dengan index ringkas per blok
Protobuf	Format binary bahasa-netral dari Google untuk pertukaran data antar sistem
Compression	Pengecilan ukuran berkas dengan algoritma seperti Snappy atau Zstd, dengan trade-off kecepatan dekompresi
Schema	Kontrak struktur data: kolom, tipe, dan aturan nilainya
Schema evolution	Kemampuan struktur data berubah (kolom ditambah, tipe diganti) tanpa memutus pembaca versi lama — dibahas di Schema Evolution
Schema enforcement	Penolakan otomatis terhadap penulisan data yang tidak cocok dengan schema tabel — dibahas di Schema Enforcement
Partitioning	Membagi data berdasarkan nilai kolom (misalnya tanggal) ke lokasi berbeda agar query memindai lebih sedikit berkas — dibahas di Partitioning Data
Partition evolution	Mengubah strategi partisi tabel tanpa memindahkan data lama; fitur khas Apache Iceberg
Small files problem	Penurunan performa ketika tabel tersimpan sebagai terlalu banyak berkas kecil
Data lake	Penyimpanan data mentah berskala besar di object storage, tanpa schema yang ketat di awal
Table format	Lapisan metadata di atas berkas Parquet yang memberi jaminan transaksi, evolusi schema, dan time travel — dibahas di Table Formats
Upsert	Operasi gabungan update dan insert: baris ada maka diperbarui, tidak ada maka ditambahkan — pola inti Hudi dan MERGE di Delta
Lakehouse	Arsitektur yang memadai fleksibilitas dan biaya rendah data lake dengan jaminan ACID dan manajemen tabel warehouse — dibahas di Data Warehouse vs Lakehouse
Medallion architecture	Pola pengerjaan berlapis bronze (mentah), silver (bersih), gold (siap analitik) — dibahas di Medallion Architecture
Time travel	Kemampuan membaca keadaan tabel pada titik waktu atau versi tertentu — dibahas di Time Travel dan Versioning Data
Data mesh	Pendekatan pengelolaan data yang desentralisasi: tiap domain bisnis memproduksi dan memiliki datanya sendiri — dibahas di Data Mesh

Data Warehouse dan Pemodelan #

Istilah	Definisi
Data warehouse	Basis data analitik yang menyimpan data terstruktur dari banyak sumber untuk pelaporan dan BI — dibahas di Konsep Data Warehouse
Data mart	Potongan warehouse yang diperuntukkan bagi satu domain atau satu kelompok pengguna — dibahas di Data Marts
Dimensional modeling	Teknik memodelkan data analitik berpusat pada proses bisnis, terdiri dari fact dan dimension — dibahas di Dimensional Modeling
Star schema	Skema dengan satu fact table di pusat yang dikelilingi dimension table — dibahas di Star Schema
Snowflake schema	Variasi star schema dengan dimension yang ternormalisasi menjadi sub-dimension
Fact table	Tabel peristiwa terukur (misalnya transaksi) berisi foreign key ke dimension dan kolom measure — dibahas di Fact Table dan Dimension Table
Dimension table	Tabel konteks yang mendeskripsikan siapa, apa, dan kapan: pelanggan, produk, waktu, lokasi
Grain	Definisi satu baris fact, misalnya satu baris per item pesanan; keputusan paling menentukan dalam pemodelan — dibahas di Grain dalam Data Model
Surrogate key	Kunci buatan tanpa makna bisnis yang menggantikan kunci sumber agar perubahan di sumber tidak merusak riwayat — dibahas di Surrogate Key
Slowly Changing Dimension (SCD)	Pola menangani perubahan atribut dimensi dari waktu ke waktu, dengan tipe SCD 1, 2, dan 3 sebagai yang paling umum — dibahas di Slowly Changing Dimensions
Snapshot table	Tabel yang menyimpan kondisi entitas per periode, misalnya saldo pelanggan per akhir bulan
Semantic layer	Lapisan definisi metrik dan dimensi terpusat agar angka yang sama dihitung sama di semua alat BI — dibahas di Semantic Layer
OLAP	Online Analytical Processing: pola pemrosesan query analitik multi-dimensi yang menjadi dasar rancangan warehouse

Pemrosesan Data dan Performa #

Istilah	Definisi
Distributed processing	Pemrosesan data secara paralel lintas banyak mesin dalam satu cluster
DAG	Directed Acyclic Graph: graf tugas berarah tanpa siklus yang menjadi rencana eksekusi di Spark dan Airflow
Lazy evaluation	Transformasi DataFrame hanya dicatat dan dievaluasi ketika action dipanggil, sehingga optimizer melihat keseluruhan pipeline
Shuffle	Perpindahan data antar partition lintas executor saat join atau agregasi; operasi paling mahal di Spark — dibahas di Shuffle dan Skew
Data skew	Ketimpangan distribusi kunci yang membuat satu task memikul jauh lebih banyak data dari task lain — dibahas di Mengatasi Data Skew
Broadcast join	Strategi join yang menyalin tabel kecil ke semua executor untuk menghindari shuffle
Predicate pushdown	Menekan filter sedekat mungkin ke sumber data agar baris yang dibaca seminimal mungkin — dibahas di Predicate Pushdown
Column pruning	Hanya membaca kolom yang diperlukan query; efektif pada format kolomar
Vectorized execution	Memproses data per batch kolom di atas operasi CPU SIMD, jauh lebih cepat daripada baris-per-baris — dibahas di Vectorized Query Execution
Caching	Menyimpan hasil antara di memori atau disk agar eksekusi berulang tidak menghitung ulang
Query engine	Mesin eksekusi SQL terpisah dari penyimpanan, contohnya DuckDB, Trino, dan ClickHouse — dibahas di Pemilihan Query Engine
MPP	Massively Parallel Processing: arsitektur warehouse yang membagi query ke banyak node compute sekaligus
Query plan	Pohon rencana eksekusi query yang ditampilkan engine sebagai dasar diagnosis performa — dibahas di Query Planning
Checkpointing	Menyimpan titik kemajuan pipeline agar eksekusi gagal bisa lanjut dari titik terakhir, bukan dari awal
Federated query	Menjalankan satu query lintas beberapa sumber data tanpa memindahkan datanya lebih dulu

Kualitas Data, Tata Kelola, dan Operasional #

Istilah	Definisi
Data quality	Tingkat kecocokan data terhadap ekspektasi pemakai: akurat, lengkap, konsisten, dan tepat waktu — dibahas di Dimensi Kualitas Data
Data validation	Pemeriksaan otomatis aturan-aturan data (rentang, keunikan, keberadaan) di dalam pipeline — dibahas di Data Validation
Data reconciliation	Pencocokan angka antara sumber dan hasil pipeline untuk membuktikan tidak ada data yang hilang atau berubah diam-diam
Data contract	Kesepakatan formal antara produsen dan konsumen data tentang schema, semantic, dan jaminan pembaruan — dibahas di Data Contracts
Data lineage	Jejak asal-usul data: dari tabel mana data berasal dan transformasi apa yang dilaluinya — dibahas di Data Lineage
Orchestration	Penjadwalan, pengurutan dependensi, dan pemantauan eksekusi antar task pipeline — dibahas di Konsep Workflow Orchestration
Data catalog	Inventaris terpusat berisi metadata tabel: pemilik, definisi kolom, dan sumber — dibahas di Data Catalog
Data ownership	Penetapan penanggung jawab resmi untuk setiap dataset, domain, atau pipeline
Data freshness	Umur data dibandingkan ekspektasi pembaruannya, misalnya data harus lebih baru dari 24 jam — dibahas di Data Freshness
Observability	Kemampuan memahami keadaan internal sistem dari log, metrik, dan trace yang dihasilkannya
Alerting	Notifikasi otomatis ketika metrik melampaui ambang batas yang ditetapkan
Anomaly detection	Pendeteksian pola data yang menyimpang dari kebiasaan, misalnya volume tabel turun drastis
Data versioning	Praktik menyimpan versi dataset atau model agar hasil analitik dapat direproduksi
SLA / SLO	Service Level Agreement / Objective: komitmen terukur atas layanan data, misalnya data siap pukul 06.00 setiap hari — dibahas di Service Level Objectives

Data untuk Machine Learning #

Istilah	Definisi
Feature	Variabel input yang dihitung dari data mentah untuk dimasukkan ke model machine learning
Feature pipeline	Pipeline yang mengubah data mentah menjadi feature siap latih secara berulang
Feature store	Gudang feature terpusat yang menyimpan definisi dan nilai feature agar pelatihan dan penyajian memakai angka yang sama — dibahas di Feature Store
Point-in-time correctness	Jaminan join feature memakai nilai yang tersedia pada waktu kejadian, bukan nilai masa depan — dibahas di Feature Consistency
Training-serving skew	Perbedaan distribusi antara data pelatihan dan data produksi yang menurunkan performa model
Data leakage	Kebocoran informasi masa depan ke proses pelatihan sehingga evaluasi model terlihat lebih baik dari kenyataan

Dengan glosarium ini, seluruh perangkat belajar course ini lengkap: konsep di 27 section, praktik di 8 proyek, rujukan resmi di section Sumber Belajar, dan kamus istilah di tangan. Selamat membangun pipeline pertama Anda di luar course — mulailah dari data kecil, ukur semuanya, dan biarkan dokumentasi resmi yang telah dipetakan di sini menjadi pegangan berikutnya.