Dunia data engineering bergerak cepat: Apache Airflow pindah ke seri 3 dengan gaya penulisan DAG yang baru, PostgreSQL merilis versi mayor hampir setiap tahun, dan pustaka Python mengubah perilaku API antar versi. Di lingkungan seperti ini, tutorial pihak ketiga cepat usang, sementara dokumentasi resmi selalu mengikuti versi yang benar-benar dirilis oleh vendor atau komunitasnya. Chapter ini adalah meta-referensi untuk seluruh section Sumber Belajar: kita memetakan letak dokumentasi resmi semua teknologi yang dipakai course ini, lalu melatih cara membacanya secara efektif. Chapter-chapter berikutnya membedah referensi per teknologi secara lebih rinci.
Peta Dokumentasi Resmi Course Ini #
Setiap teknologi besar menyimpan dokumentasinya di satu domain resmi milik proyek atau vendornya. Tabel-tabel berikut adalah peta lengkapnya, dikelompokkan sesuai peran teknologi di dalam pipeline data. Seluruh tautan diverifikasi hidup dan hanya berasal dari domain resmi.
Bahasa Python dan Pustaka Inti #
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Dokumentasi Python | Bahasa inti untuk seluruh kode pipeline di course ini | pemula |
| Dokumentasi pandas | Transformasi data tabular dengan DataFrame | pemula |
| Dokumentasi PyArrow | Representasi data kolom in-memory dan baca-tulis Parquet | menengah |
| Dokumentasi pytest | Framework pengujian untuk kode pipeline | pemula |
| Dokumentasi requests | HTTP client untuk ingestion dari API publik | pemula |
Database dan Query Engine #
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Dokumentasi PostgreSQL | Database relasional utama untuk materi transaksional | pemula |
| Dokumentasi SQLite | Database berkas tunggal yang portabel dan tanpa server | pemula |
| Dokumentasi DuckDB | Database analitik untuk query OLAP berbasis kolom | menengah |
| Dokumentasi Trino | Query engine terdistribusi lintas sumber data | mahir |
| Dokumentasi ClickHouse | Columnar database untuk analitik berlatensi rendah | mahir |
Orchestration, Transformation, dan Data Quality #
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Dokumentasi Apache Airflow | Orchestrator workflow utama course ini | menengah |
| Airflow Task SDK | SDK resmi untuk menulis task dan DAG di Airflow 3 | menengah |
| Dokumentasi dbt | Transformasi berbasis SQL di dalam warehouse | menengah |
| Dokumentasi Apache Spark | Pemrosesan data skala besar secara terdistribusi | mahir |
| Dokumentasi Apache Kafka | Platform streaming untuk pipeline berbasis event | mahir |
| Dokumentasi Docker | Container untuk lingkungan kerja yang konsisten | pemula |
| Dokumentasi Dagster | Orchestrator berorientasi data asset | menengah |
| Dokumentasi Prefect | Orchestrator berbasis flow Python | menengah |
| Dokumentasi Great Expectations | Validasi data dengan expectation suite | menengah |
| Dokumentasi Pandera | Validasi schema DataFrame yang ringan | menengah |
Table Format untuk Lakehouse #
| Sumber | Untuk apa | Tingkat |
|---|---|---|
| Dokumentasi Apache Iceberg | Table format dengan snapshot isolation dan time travel | mahir |
| Dokumentasi Delta Lake | Table format yang tumbuh di ekosistem Databricks | mahir |
| Dokumentasi Apache Hudi | Table format dengan upsert dan incremental pull | mahir |
Empat kelompok di atas kira-kira mengikuti urutan course ini: Python sebagai fondasi, lalu database dan query engine, disusul tooling pipeline, dan table format ketika kita membangun lakehouse. Navigasi cepatnya: buka beranda dokumentasi saat menjelajah topik baru, lalu turun ke halaman spesifik saat mengerjakan tugas konkret. Chapter Referensi Python sampai Referensi Apache Airflow di bawah memetakan halaman-halaman spesifik tersebut per teknologi.
Cara Membaca Dokumentasi Secara Efektif #
Dokumentasi teknologi besar memakai pola yang mirip: halaman konsep untuk memahami model mental, halaman how-to untuk tugas spesifik, dan API reference untuk detail parameter. Kebiasaan yang perlu kita bangun adalah memilih jenis halaman sesuai kebutuhan saat itu, bukan membaca dokumentasi dari depan ke belakang seperti buku pelajaran. Kebiasaan tambahan yang menghemat waktu: telusuri dokumentasi dari dalam halaman resminya dulu, dan jatuh ke mesin pencari umum hanya ketika halaman resmi tidak menjawab. Empat kebiasaan berikut adalah yang paling berdampak:
- Cek versi sebelum membaca isi. Halaman dokumentasi hampir selalu punya pemilih versi:
docs.python.org/3/menunjuk seri stabil terbaru, dokumentasi PostgreSQL menyediakan satu buku utuh per versi mayor, danairflow.apache.org/docs/memuat daftar versi lengkap. Contoh kode dari versi berbeda bisa gagal di versi yang kita pakai. - Cari dengan nama fungsi yang eksak. Kolom pencarian internal dokumentasi lebih presisi daripada mesin pencari umum karena penelusurannya terbatas pada halaman versi yang sedang terbuka.
- Baca release notes sebelum meng-upgrade. Changelog resmi mencantumkan perubahan perilaku yang bisa memengaruhi pipeline produksi, termasuk fitur yang dihapus dan nilai default yang berganti.
- Simpan migration guide saat pindah versi mayor. Panduan migrasi menjelaskan langkah wajib dan perubahan yang merusak kompatibilitas; contohnya halaman migrations reference Airflow untuk skema metadata internal.
Selain halaman teknologi, ada halaman-halaman meta lintas versi yang layak dibookmark karena dipakai berulang kali:
| Halaman | Fungsi |
|---|---|
| What’s New in Python | Changelog resmi untuk tiap rilis Python |
| PostgreSQL Release Notes | Daftar rilis dan perbaikan semua versi PostgreSQL |
| Kebijakan Versi PostgreSQL | Jadwal dukungan dan akhir masa layanan tiap versi |
| Airflow Release Notes | Changelog resmi Apache Airflow |
| Airflow Migrations Reference | Referensi migrasi skema database internal Airflow |
Cara memakai tabel meta: sebelum meng-upgrade, baca halaman release notes dari versi saat ini ke versi target, lalu tandai setiap item yang menyentuh fitur yang dipakai pipeline kita. Kebiasaan ini mengubah upgrade dari kejutan menjadi daftar periksa yang bisa dikerjakan.
Menilai Keandalan Sebuah Sumber #
Tidak semua halaman yang berjudul dokumentasi bernilai sama. Sebelum menjadikan sebuah sumber sebagai rujukan kerja, kita perlu memeriksa enam hal berikut:
- Domain resmi: halaman berada di domain milik vendor atau proyeknya, misalnya
docs.python.orgataupostgresql.org, bukan di blog pribadi atau situs agregator. - Keterangan versi: sumber yang baik menyatakan secara eksplisit versi teknologi yang dibahas; sumber tanpa keterangan versi berisiko usang.
- Tanggal pembaruan: konten lama tidak otomatis salah, tetapi untuk tool dengan rilis cepat, usia konten sangat menentukan tingkat kepercayaan.
- Kecocokan dengan API reference: klaim dan contoh kode yang penting perlu dicek ulang terhadap API reference resmi sebelum dipakai di pipeline produksi.
- Motif penulis: rekomendasi dari pihak dengan kepentingan komersial perlu dibaca kritis, terutama saat membandingkan dua produk bersaing.
- Saluran komunitas resmi: issue tracker dan milis resmi proyek sering memuat klarifikasi perilaku yang belum sempat masuk dokumentasi; utasnya bisa dibaca tanpa harus bertanya.
Konvensi yang dipakai section ini: setiap tautan berasal dari domain resmi dan status HTTP-nya diperiksa saat materi ditulis. Dokumentasi tetap bisa memindahkan halaman antar versi, jadi saat sebuah tautan berhenti bekerja, kembalilah ke beranda domain resminya lalu telusuri dari sana — pola URL yang berubah biasanya menandakan perubahan struktur dokumentasi.
Peta di atas adalah pintu masuk umum; setiap kelompok teknologi memiliki dokumen-dokumen kunci yang lebih dalam. Kita bedah satu per satu pada chapter berikutnya, mulai dari Referensi Python, Referensi SQL, dan Referensi Database, lalu berlanjut ke Referensi ETL dan ELT serta Referensi Apache Airflow. Setiap tautan di sana sudah disaring dengan kriteria keandalan pada chapter ini, jadi kita bisa langsung fokus belajar tanpa mempertanyakan sumbernya.