Berlatih data engineering membutuhkan data dengan karakteristik nyata: volume besar, berubah bertahap, kadang kotor, dan tersebar di banyak berkas. Dataset mainan yang selalu bersih justru menyembunyikan masalah yang sesungguhnya kita hadapi di lapangan. Bab ini mengkurasi dataset terbuka dari portal resmi — Registry of Open Data on AWS, Kaggle, portal pemerintah, Our World in Data, dan repositori GitHub — lengkap dengan isi, format, dan keterampilan data engineering yang bisa dilatih dari masing-masing dataset.
Registry of Open Data on AWS #
Registry of Open Data menghimpun dataset besar yang tersimpan di Amazon S3 dan bisa diakses publik — termasuk beberapa yang berukuran petabyte. Karakternya cocok untuk latihan pipeline batch dan penanganan object storage:
| Dataset | Isi | Format | Latihan cocok untuk |
|---|---|---|---|
| Registry of Open Data | Indeks seluruh dataset terbuka di AWS beserta cara aksesnya | Beragam | Menjelajahi katalog dan memilih data untuk pipeline pertama |
| Common Crawl | Arsip hasil crawl web bulanan; satu crawl mencapai ratusan terabyte | WARC, WET, WAT | Pipeline batch skala besar, parsing berkas raksasa, dan partitioning (Pipeline Batch) |
| Sentinel-1 | Citra radar satelit seluruh dunia untuk pemantauan permukaan bumi | GeoTIFF | Menyusun pipeline incremental per orbit dan region (Incremental Ingestion) |
| Sentinel-2 | Citra satelit multispektral seluruh daratan bumi, terus bertambah | GeoTIFF | Incremental ingestion per region dan tanggal, penamaan objek di object storage (Incremental Ingestion) |
| Landsat 8 | Citra satelit pengamatan bumi NASA/USGS sejak 2013 | GeoTIFF | Bandingkan skema penamaan dua program satelit dalam satu zona raw (Zona Data Raw dan Curated) |
| NAIP | Citra udara resolusi tinggi wilayah pertanian Amerika Serikat | JPEG 2000, GeoTIFF | Latihan menyalin subset kecil ke bucket sendiri lalu memprosesnya lokal |
| CBERS | Citra satelit program kerja sama Brasil-Tiongkok | GeoTIFF | Pipeline lintas sumber: menggabungkan dua program satelit dalam satu katalog |
| NOAA GOES | Citra satelit cuaca yang diperbarui setiap beberapa menit | GRIB2, NetCDF | Menyusun zona raw per waktu dan latihan menyalin subset ke bucket sendiri (Zona Data Raw dan Curated) |
| NOAA GHCN | Data iklim harian dari stasiun darat di seluruh dunia | CSV | Konversi CSV jadi Parquet terpartisi, perbandingan ukuran berkas (Parquet) |
| GDELT | Jutaan event dari pemberitaan global, diperbarui tiap 15 menit | CSV | Incremental load berkala, deduplikasi, dan partisi per tanggal (Incremental Transformation) |
| IRS 990 Filings | Jutaan dokumen pengajuan pajak organisasi nirlaba Amerika Serikat | XML | Parsing XML berskala besar dan schema evolution saat struktur dokumen berubah (XML, Schema Evolution) |
Kaggle Datasets #
Kaggle mengelola dataset yang diunggah komunitas dan institusi resmi — termasuk beberapa dengan pemelihara resmi seperti Stack Overflow. Datanya bersifat tabular dan ukurannya ramah laptop, cocok untuk latihan modeling dan validasi:
| Dataset | Isi | Format | Latihan cocok untuk |
|---|---|---|---|
| Kaggle Datasets | Indeks seluruh dataset publik Kaggle dengan filter topik dan lisensi | Beragam | Menjelajah dan memilih data sesuai target latihan |
| Brazilian E-commerce (Olist) | Sekitar 100 ribu pesanan e-commerce Brasil (2016-2018) dalam beberapa tabel relasional | CSV | Merancang star schema dari data normal, join multi-tabel, dan dbt (Dimensional Modeling) |
| NYC Airbnb Open Data | Sekitar 50 ribu listing properti sewa New York dengan nilai kosong dan duplikat | CSV | Data cleaning, validasi, dan penanganan baris rusak (Data Validation) |
| US Accidents | Jutaan catatan kecelakaan lalu lintas dari 49 negara bagian AS | CSV | Konversi CSV besar ke Parquet terpartisi dan optimasi pembacaan (Partitioning Data) |
| Stack Overflow Survey | Hasil survei developer tahunan dengan puluhan ribu responden — dipelihara Stack Overflow sendiri | CSV | Validasi kolom bertipe campuran dan dokumentasi kamus data (Data Contracts) |
| Iris | 150 baris pengukuran bunga iris — dataset klasik paling kecil | CSV | Membangun pipeline mini end-to-end dengan pengujian lengkap (Pipeline Testing) |
Portal Pemerintah dan Organisasi Publik #
Portal pemerintah menyediakan data operasional asli: terbit berkala, berformat tidak seragam, dan kadang lambat diperbarui — justru kondisi ideal untuk melatih ingestion dari API dan menangani pagination:
| Dataset | Isi | Format | Latihan cocok untuk |
|---|---|---|---|
| data.gov | Portal data terbuka pemerintah Amerika Serikat, ratusan ribu dataset | CSV, JSON, API | Ingestion dari API publik dan menangani pagination (Ingestion dari API) |
| Data Catalog data.gov | Katalog mesin-cari seluruh dataset data.gov dengan metadata CKAN | API, CSV | Latihan memakai API CKAN dan menyusun katalog metadata sendiri |
| data.go.id | Portal data terbuka pemerintah Indonesia | CSV, XLS, API | Latihan ingestion paling dekat dengan konteks lokal, pembersihan format campuran |
| Katalog data.go.id | Indeks dataset per instansi dan kategori di portal Indonesia | Beragam | Menjelajah data per daerah dan instansi untuk proyek portofolio lokal |
| Our World in Data | Ribuan indikator sosial-ekonomi dunia yang terus diperbarui penelitinya | CSV, JSON | Dimensi waktu, pemantauan data freshness, dan backfill saat data direvisi (Data Freshness, Backfill) |
| OWID Grapher | Halaman grafik interaktif yang menyediakan unduhan data per indikator | CSV, JSON | Menyusun pipeline unduhan rutin dan menyimpan snapshot versi (Data Versioning) |
| OWID: Emisi CO2 per Kapita | Satu indikator siap unduh lintas negara dan tahun — dataset latihan yang ramping | CSV, JSON | Pipeline mini end-to-end: unduh, validasi, simpan sebagai tabel dimensi waktu |
| OWID: Energi | Konsumsi dan produksi energi dunia per negara | CSV, JSON | Latihan join lintas indikator pada kunci negara-tahun (Join dan Agregasi Data) |
| OWID: Populasi Dunia | Jumlah penduduk per negara sejak masa lampau jauh | CSV, JSON | Membangun tabel dimensi negara yang bersih dan lengkap (Dimension Table) |
Google Cloud Public Datasets dan GitHub #
Dua sumber terakhir ini menyediakan data yang sudah terpasang di infrastruktur analitik atau tersedia sebagai berkas Git — berguna untuk latihan query langsung dan pengelolaan data lewat version control:
| Dataset | Isi | Format | Latihan cocok untuk |
|---|---|---|---|
| Google Cloud Datasets | Program dataset publik Google Cloud, termasuk data siap query di BigQuery | BigQuery, Beragam | Menjalankan SQL analitik di data besar tanpa tahap ingestion (BigQuery di course ini) |
| BigQuery Public Datasets | Daftar dataset publik yang langsung bisa diquery dari konsol BigQuery | BigQuery | Eksplorasi SQL window function dan optimalisasi biaya query (Window Functions) |
| GitHub datasets org | Organisasi GitHub dengan ratusan dataset tabular siap pakai, dipelihara tim Datahub | CSV, JSON | Mengelola data dengan Git: fork, commit, dan rilis versi (Dasar Git) |
| datasets/country-codes | Ratusan kolom kode dan nama negara dalam satu tabel referensi | CSV | Membangun tabel dimensi referensi yang bersih (Dimension Table) |
| datasets/world-cities | Daftar puluhan ribu kota dunia beserta negara dan subnegara | CSV | Latihan deduplikasi dan standarisasi penamaan kota (Deduplikasi Data) |
| datasets/airport-codes | Kode bandara dunia beserta koordinat dan kode IATA/ICAO | CSV | Latihan konflik tipe data antar kode hampir serupa dan validasi format (Data Validation) |
| datasets/gold-prices | Harga emas historis per hari dalam satu berkas | CSV | Latihan data deret waktu: partisi per tahun dan agregasi bulanan (Partitioning Data) |
Pemetaan Dataset ke Proyek Course #
Delapan proyek course ini masing-masing memakai data spesifik yang sudah disediakan. Tabel berikut memetakan dataset terbuka di atas sebagai bahan lanjutan setelah proyek selesai:
| Dataset lanjutan | Melanjutkan dari proyek |
|---|---|
| Olist Brazilian E-commerce | Proyek: Pipeline Data dan Dashboard Analitik — ganti sumber penjualan dengan data relasional serupa |
| data.go.id dan data.gov | Proyek: Pipeline Ingestion API — ganti API sumber dengan portal pemerintah |
| GHCN dan GDELT | Proyek: Pemrosesan Data dengan Spark — beralih dari data internal ke dataset publik berukuran besar |
| Stack Overflow Survey | Proyek: Data Warehouse Penjualan — latih ulang pemodelan pada domain baru |
| Common Crawl | Proyek: Streaming Data dengan Kafka — simulasi aliran berkas WARC sebagai event pipeline |
Cara Memulai Proyek Latihan #
Langkah berikut mengubah satu dataset pilihan menjadi proyek portofolio yang menyelesaikan siklus penuh:
- Pilih satu dataset dari tabel di atas — mulai dari yang formatnya CSV dan strukturnya jelas.
- Tulis dulu kamus data singkat: kolom, tipe, dan artinya — kebiasaan dari chapter Dokumentasi Pipeline.
- Bangun ingestion ke zona raw tanpa mengubah apa pun, lalu simpan salinan mentahnya.
- Tambahkan validasi pada tahap berikutnya: rentang nilai, keunikan kunci, dan kelengkapan kolom.
- Simpan hasil bersih sebagai Parquet terpartisi di zona curated, lalu bandingkan ukurannya.
- Bangun satu tabel analitik (misalnya agregasi bulanan) beserta pengujian sederhananya.
- Tuliskan cara menjalankan ulang seluruh pipeline dalam satu perintah — syarat minimal proyek yang bisa direproduksi.
Dengan sumber belajar dan bahan latihan yang lengkap, tersisa satu alat bantu terakhir untuk menutup course ini: kamus istilah. Seluruh kosakata teknis yang dipakai lintas section dirangkum di chapter Glosarium.