Pipeline data modern jarang dibangun di satu server milik sendiri. Volume data naik-turun, dan membeli server untuk puncak beban berarti membiarkan sebagian besar kapasitas menganggur di jam sepi.
Cloud computing menjawab dengan sumber daya yang dapat dinyalakan dan dimatikan sesuai kebutuhan, ditagih sesuai pemakaian. Bagi data engineer, memahami model layanan cloud sama pentingnya dengan memahami database — hampir semua arsitektur data baru kini berjalan di atasnya. Chapter ini memetakan model layanan IaaS, PaaS, dan SaaS, lalu menutup peta prasyarat dengan cek kesiapan diri.
Kenapa Cloud Penting untuk Data Engineer #
Tiga keuntungan langsung bagi pekerjaan data:
- Elastisitas — cluster pemrosesan dapat dibuat saat job batch berjalan lalu dihapus setelah selesai, sehingga kita hanya membayar menit pemakaian.
- Layanan terkelola (managed service) — warehouse, message broker, dan orchestration dapat dipakai tanpa mengurus pemasangan maupun perawatan server.
- Object storage berbiaya rendah — fondasi data lake yang menampung data mentah dalam skala terabyte sebelum diolah.
Konsekuensinya, pekerjaan data engineer bergeser dari memasang server ke merancang arsitektur dan menjaga biaya tetap terkendali.
Model Layanan Cloud: IaaS, PaaS, dan SaaS #
Ketiga model tersebut dibedakan oleh satu pertanyaan: seberapa banyak yang dikelola penyedia, dan seberapa banyak yang tetap menjadi tanggung jawab kita.
| Aspek | IaaS | PaaS | SaaS |
|---|---|---|---|
| Dikelola penyedia | mesin fisik dan virtualisasi | ditambah sistem operasi dan runtime | seluruh aplikasi |
| Dikelola kita | sistem operasi, runtime, aplikasi, data | aplikasi dan data | hanya data dan konfigurasi |
| Contoh layanan | Amazon EC2, Azure Virtual Machines, Google Compute Engine | Azure App Service, Google App Engine | Google Workspace, Microsoft 365 |
| Padanan di dunia data | mesin virtual untuk cluster Spark | platform yang menjalankan job tanpa urus server | tool analitik siap pakai |
Semakin ke kanan, kita makin lepas dari urusan operasional — dengan konsekuensi makin sedikit kendali atas lingkungan di bawah aplikasi.
Cloud untuk Pipeline Data #
Arsitektur data di cloud umumnya tersusun dari empat komponen berikut:
- Object storage — penampung berkas berbiaya rendah, contohnya Amazon S3, Google Cloud Storage, dan Azure Blob Storage; menjadi fondasi staging area dan data lake.
- Compute elastis — kapasitas pemrosesan yang menyusut-membesar, dari satu mesin ke ratusan, untuk job PySpark atau pemrosesan batch.
- Managed warehouse — basis analitik siap query seperti Amazon Redshift, Google BigQuery, dan Snowflake, tanpa mengurus server database.
- Managed orchestration dan streaming — layanan terkelola yang menjalankan Apache Airflow atau Kafka sepenuhnya di sisi penyedia.
Alur di atas adalah pola umum pipeline cloud: data mentah mendarat di object storage, diproses oleh compute elastis, dimuat ke managed warehouse, lalu divisualisasikan. Setiap panah adalah komponen yang dapat dipilih sebagai layanan terkelola.
Dokumentasi resmi ketiga penyedia cloud utama dapat dibuka langsung: AWS di https://aws.amazon.com/documentation/ , Microsoft Azure di https://learn.microsoft.com/azure/ , dan Google Cloud di https://cloud.google.com/docs .
Cek Kesiapan Anda #
- Anda siap bila dapat menjelaskan perbedaan IaaS, PaaS, dan SaaS beserta satu contoh layanannya.
- Anda siap bila dapat menyebutkan layanan object storage dari satu penyedia cloud.
- Anda siap bila dapat menjelaskan alasan compute elastis menghemat biaya pipeline batch.
- Anda siap bila dapat membuka halaman dokumentasi resmi penyedia dan menemukan informasi harga layanan dasar.
Peta prasyarat kita kini lengkap: dari pemrograman dan SQL sampai format data dan cloud. Selanjutnya saatnya beranjak dari peta ke praktik — Section Persiapan Lingkungan Kerja memandu pemasangan Python, database, dan Docker di mesin Anda sendiri.