Hampir semua pipeline produksi berjalan di cloud, dan section Cloud dan Infrastruktur Data membahas konsepnya secara vendor-netral: object storage, managed services, autoscaling, sampai infrastructure as code. Setelah konsepnya dikuasai, dokumentasi resmi tiap penyedia menjadi rujukan implementasi. Bab ini mengelompokkan tautan per penyedia, lalu menutup dengan kalkulator harga, free tier, dan perkakas IaC. Seluruh tautan diverifikasi hidup saat course ini ditulis.
AWS: EMR, Glue, dan Athena #
Tiga layanan AWS ini menutup kebutuhan dasar platform data: cluster pemrosesan, ETL terkelola, dan query serverless:
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Amazon EMR Documentation | Dokumentasi resmi EMR: menjalankan cluster Spark dan Hadoop terkelola di AWS | Menengah |
| AWS Glue Developer Guide | Pengenalan resmi Glue: ETL serverless, catalog, dan job berbasis Spark | Menengah |
| Amazon Athena Documentation | Query SQL serverless langsung di atas berkas S3 — praktik query lake tanpa cluster | Menengah |
Google Cloud: Dataproc, Dataflow, dan BigQuery #
Padanan GCP untuk tiga kebutuhan yang sama, ditambah BigQuery sebagai warehouse serverless yang telah kita rujuk di chapter Referensi Data Warehouse:
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Dataproc Documentation | Dokumentasi resmi Dataproc: cluster Spark dan Hadoop terkelola di Google Cloud | Menengah |
| Dataflow Documentation | Pipeline batch dan streaming terkelola berbasis Apache Beam | Lanjutan |
| Dataflow Quickstarts | Latihan pertama menjalankan pipeline Dataflow dari awal sampai selesai | Pemula |
| BigQuery Documentation | Dokumentasi resmi BigQuery sebagai warehouse serverless — rujukan lintas-bab course ini | Menengah |
Azure: Synapse, Data Factory, dan HDInsight #
Azure menyusun layanan datanya dalam tiga produk: Synapse untuk analitik terintegrasi, Data Factory untuk orkestrasi, dan HDInsight untuk cluster open source:
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Azure Synapse Analytics | Dokumentasi resmi Synapse: warehouse, Spark pool, dan pipeline dalam satu ruang kerja | Menengah |
| Azure Data Factory | Dokumentasi resmi ADF: layanan integrasi data dan orkestrasi visual | Menengah |
| Azure HDInsight | Cluster terkelola untuk Spark, Kafka, dan Hadoop di Azure | Lanjutan |
Urutan penyedia di bab ini tidak menyiratkan peringkat — ketiganya setara pada kemampuan inti. Yang biasanya menentukan pilihan di dunia kerja adalah ekosistem yang sudah dipakai perusahaan, bukan fitur individual satu layanan.
Compute Dasar: Mesin Virtual #
Sebelum menyentuh layanan data terkelola, pahami dulu fondasinya: hampir semua layanan data cloud berjalan di atas mesin virtual yang disembunyikan dari kita — konsep yang dibahas di chapter Compute dan Storage. Tiga tautan berikut adalah dokumentasi VM masing-masing penyedia:
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Amazon EC2 Documentation | Mesin virtual AWS: instance type, security group, dan storage | Menengah |
| Compute Engine Documentation | Mesin virtual Google Cloud: machine type, image, dan preemptible VM | Menengah |
| Azure Virtual Machines | Mesin virtual Azure: ukuran, availability set, dan disk | Menengah |
Menjalankan satu VM kecil di free tier selama sehari adalah latihan bernilai tinggi: kita mengalami siklus hidup lengkap — membuat, mengakses lewat SSH, memasang perangkat lunak, lalu menghapus — sebelum menyentuh layanan yang lebih kompleks.
Kalkulator Harga dan Free Tier #
Biaya adalah dimensi desain yang tidak bisa diabaikan — materi chapter Optimasi Biaya. Tiga kalkulator resmi di bawah memperkirakan biaya bulanan sebelum kita menyalakan satu layanan pun:
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| AWS Pricing Calculator | Estimasi biaya layanan AWS dengan skenario konfigurasi tersimpan | Semua |
| Google Cloud Pricing Calculator | Estimasi biaya layanan GCP lengkap dengan simulasi komitmen penggunaan | Semua |
| Azure Pricing Calculator | Estimasi biaya layanan Azure per region dan tier | Semua |
| AWS Free Tier | Daftar layanan AWS yang gratis untuk batas tertentu — cukup untuk latihan dasar | Pemula |
| Google Cloud Free Tier | Kredit awal dan layanan always free GCP, termasuk kuota bulanan tertentu | Pemula |
| Azure Free Account | Kredit awal dan layanan gratis Azure untuk memulai latihan | Pemula |
Docker, Kubernetes, dan Terraform #
Perkakas lintas-cloud ini berjalan di ketiga penyedia sekaligus — ketiganya dibahas di chapter Pengenalan Docker, Container dan Docker, dan Infrastructure as Code:
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Docker Documentation | Panduan resmi Docker: image, container, volume, network, dan Compose | Pemula |
| Docker Compose | Mendefinisikan aplikasi multi-container dalam satu berkas YAML — pola yang dipakai proyek Kafka course ini | Pemula |
| Kubernetes Documentation | Dokumentasi resmi Kubernetes: Pod, Deployment, dan pengelolaan workload terkontainerisasi | Lanjutan |
| Kubernetes Concepts | Penjelasan objek-objek dasar Kubernetes satu per satu — titik masuk terbaik sebelum tutorial | Menengah |
| Terraform Documentation | Dokumentasi resmi Terraform oleh HashiCorp: HCL, provider, state, dan module untuk IaC | Menengah |
| Terraform Tutorials | Tutorial terpandu resmi HashiCorp, dari HCL dasar sampai mengelola state tim | Pemula |
Jalur Belajar Cloud yang Disarankan #
Urutan berikut meminimalkan biaya sambil membawa kita dari akun kosong sampai pipeline data kecil yang berjalan di cloud:
- Daftar satu akun free tier dari satu penyedia — jangan bertiga sekaligus; fokus menghalalkan satu konsol dulu.
- Kerjakan latihan VM di section compute dasar: buat VM, akses lewat SSH, lalu hapus di hari yang sama.
- Buat bucket object storage, unggah berkas Parquet hasil latihan chapter Parquet, lalu atur lifecycle sederhana.
- Jalankan query pertama lewat layanan serverless penyedia tersebut (Athena, BigQuery, atau Synapse serverless).
- Coba satu layanan pemrosesan (EMR, Dataproc, atau Glue) pada data latihan berukuran kecil, lalu matikan sumber dayanya.
- Perkirakan biaya seluruh langkah di atas memakai kalkulator harga, lalu bandingkan dengan tagihan nyata.
- Ulangi langkah 3-6 dengan mendefinisikan sumber daya lewat Terraform, bukan klik konsol — penutup yang menghubungkan ke chapter Infrastructure as Code.
Dengan peta layanan, harga, dan perkakas IaC di atas, infrastruktur latihan tinggal menunggu satu bahan terakhir: data nyata untuk diproses. Kumpulan dataset terbuka yang cocok untuk praktik data engineering terhimpun di chapter Dataset Terbuka.