Proyek

Bangun pipeline lengkap dari file CSV mentah hingga tabel PostgreSQL: validasi, pembersihan, deduplikasi, logging, dan pengujian menyeluruh.

Bangun pipeline ingestion dari REST API publik: pagination, rate limit, retry, validasi respons, penyimpanan data mentah, dan mode incremental.

Bangun ETL terjadwal yang idempotent: ekstraksi, transformasi, pemuatan, penanganan kegagalan, monitoring, dan validasi hasil.

Rancang data warehouse penjualan dengan star schema: dimensi, fact table, slowly changing dimensions, kualitas data, dan optimasi query.

Orkestrasi pipeline dengan Apache Airflow: DAG, dependency antar task, scheduling, retry dan timeout, backfill, serta pemantauan eksekusi.

Bangun streaming pipeline dengan Apache Kafka: producer, consumer, topic dan partition, pengelolaan offset, validasi event, dan pemantauan stream.

Proses dataset besar dengan Apache Spark: pembacaan data terdistribusi, transformasi, join dan agregasi, partition, analisis query plan, dan optimasi job.

Bangun pipeline data end-to-end hingga tabel analitik siap dashboard: pengumpulan, pembersihan, model analitik, validasi, dan dokumentasi sistem.