Dunia data engineering bergerak cepat: Apache Airflow pindah ke seri 3 dengan gaya penulisan DAG yang baru, PostgreSQL merilis versi mayor hampir setiap tahun, dan pustaka Python mengubah perilaku API antar versi. Di lingkungan seperti ini, tutorial pihak ketiga cepat usang, sementara dokumentasi resmi selalu mengikuti versi yang benar-benar dirilis oleh vendor atau komunitasnya. Chapter ini adalah meta-referensi untuk seluruh section Sumber Belajar: kita memetakan letak dokumentasi resmi semua teknologi yang dipakai course ini, lalu melatih cara membacanya secara efektif. Chapter-chapter berikutnya membedah referensi per teknologi secara lebih rinci.

Peta Dokumentasi Resmi Course Ini #

Setiap teknologi besar menyimpan dokumentasinya di satu domain resmi milik proyek atau vendornya. Tabel-tabel berikut adalah peta lengkapnya, dikelompokkan sesuai peran teknologi di dalam pipeline data. Seluruh tautan diverifikasi hidup dan hanya berasal dari domain resmi.

Bahasa Python dan Pustaka Inti #

SumberUntuk apaTingkat
Dokumentasi PythonBahasa inti untuk seluruh kode pipeline di course inipemula
Dokumentasi pandasTransformasi data tabular dengan DataFramepemula
Dokumentasi PyArrowRepresentasi data kolom in-memory dan baca-tulis Parquetmenengah
Dokumentasi pytestFramework pengujian untuk kode pipelinepemula
Dokumentasi requestsHTTP client untuk ingestion dari API publikpemula

Database dan Query Engine #

SumberUntuk apaTingkat
Dokumentasi PostgreSQLDatabase relasional utama untuk materi transaksionalpemula
Dokumentasi SQLiteDatabase berkas tunggal yang portabel dan tanpa serverpemula
Dokumentasi DuckDBDatabase analitik untuk query OLAP berbasis kolommenengah
Dokumentasi TrinoQuery engine terdistribusi lintas sumber datamahir
Dokumentasi ClickHouseColumnar database untuk analitik berlatensi rendahmahir

Orchestration, Transformation, dan Data Quality #

SumberUntuk apaTingkat
Dokumentasi Apache AirflowOrchestrator workflow utama course inimenengah
Airflow Task SDKSDK resmi untuk menulis task dan DAG di Airflow 3menengah
Dokumentasi dbtTransformasi berbasis SQL di dalam warehousemenengah
Dokumentasi Apache SparkPemrosesan data skala besar secara terdistribusimahir
Dokumentasi Apache KafkaPlatform streaming untuk pipeline berbasis eventmahir
Dokumentasi DockerContainer untuk lingkungan kerja yang konsistenpemula
Dokumentasi DagsterOrchestrator berorientasi data assetmenengah
Dokumentasi PrefectOrchestrator berbasis flow Pythonmenengah
Dokumentasi Great ExpectationsValidasi data dengan expectation suitemenengah
Dokumentasi PanderaValidasi schema DataFrame yang ringanmenengah

Table Format untuk Lakehouse #

SumberUntuk apaTingkat
Dokumentasi Apache IcebergTable format dengan snapshot isolation dan time travelmahir
Dokumentasi Delta LakeTable format yang tumbuh di ekosistem Databricksmahir
Dokumentasi Apache HudiTable format dengan upsert dan incremental pullmahir

Empat kelompok di atas kira-kira mengikuti urutan course ini: Python sebagai fondasi, lalu database dan query engine, disusul tooling pipeline, dan table format ketika kita membangun lakehouse. Navigasi cepatnya: buka beranda dokumentasi saat menjelajah topik baru, lalu turun ke halaman spesifik saat mengerjakan tugas konkret. Chapter Referensi Python sampai Referensi Apache Airflow di bawah memetakan halaman-halaman spesifik tersebut per teknologi.

Cara Membaca Dokumentasi Secara Efektif #

Dokumentasi teknologi besar memakai pola yang mirip: halaman konsep untuk memahami model mental, halaman how-to untuk tugas spesifik, dan API reference untuk detail parameter. Kebiasaan yang perlu kita bangun adalah memilih jenis halaman sesuai kebutuhan saat itu, bukan membaca dokumentasi dari depan ke belakang seperti buku pelajaran. Kebiasaan tambahan yang menghemat waktu: telusuri dokumentasi dari dalam halaman resminya dulu, dan jatuh ke mesin pencari umum hanya ketika halaman resmi tidak menjawab. Empat kebiasaan berikut adalah yang paling berdampak:

  1. Cek versi sebelum membaca isi. Halaman dokumentasi hampir selalu punya pemilih versi: docs.python.org/3/ menunjuk seri stabil terbaru, dokumentasi PostgreSQL menyediakan satu buku utuh per versi mayor, dan airflow.apache.org/docs/ memuat daftar versi lengkap. Contoh kode dari versi berbeda bisa gagal di versi yang kita pakai.
  2. Cari dengan nama fungsi yang eksak. Kolom pencarian internal dokumentasi lebih presisi daripada mesin pencari umum karena penelusurannya terbatas pada halaman versi yang sedang terbuka.
  3. Baca release notes sebelum meng-upgrade. Changelog resmi mencantumkan perubahan perilaku yang bisa memengaruhi pipeline produksi, termasuk fitur yang dihapus dan nilai default yang berganti.
  4. Simpan migration guide saat pindah versi mayor. Panduan migrasi menjelaskan langkah wajib dan perubahan yang merusak kompatibilitas; contohnya halaman migrations reference Airflow untuk skema metadata internal.

Selain halaman teknologi, ada halaman-halaman meta lintas versi yang layak dibookmark karena dipakai berulang kali:

HalamanFungsi
What’s New in PythonChangelog resmi untuk tiap rilis Python
PostgreSQL Release NotesDaftar rilis dan perbaikan semua versi PostgreSQL
Kebijakan Versi PostgreSQLJadwal dukungan dan akhir masa layanan tiap versi
Airflow Release NotesChangelog resmi Apache Airflow
Airflow Migrations ReferenceReferensi migrasi skema database internal Airflow

Cara memakai tabel meta: sebelum meng-upgrade, baca halaman release notes dari versi saat ini ke versi target, lalu tandai setiap item yang menyentuh fitur yang dipakai pipeline kita. Kebiasaan ini mengubah upgrade dari kejutan menjadi daftar periksa yang bisa dikerjakan.

Menilai Keandalan Sebuah Sumber #

Tidak semua halaman yang berjudul dokumentasi bernilai sama. Sebelum menjadikan sebuah sumber sebagai rujukan kerja, kita perlu memeriksa enam hal berikut:

  • Domain resmi: halaman berada di domain milik vendor atau proyeknya, misalnya docs.python.org atau postgresql.org, bukan di blog pribadi atau situs agregator.
  • Keterangan versi: sumber yang baik menyatakan secara eksplisit versi teknologi yang dibahas; sumber tanpa keterangan versi berisiko usang.
  • Tanggal pembaruan: konten lama tidak otomatis salah, tetapi untuk tool dengan rilis cepat, usia konten sangat menentukan tingkat kepercayaan.
  • Kecocokan dengan API reference: klaim dan contoh kode yang penting perlu dicek ulang terhadap API reference resmi sebelum dipakai di pipeline produksi.
  • Motif penulis: rekomendasi dari pihak dengan kepentingan komersial perlu dibaca kritis, terutama saat membandingkan dua produk bersaing.
  • Saluran komunitas resmi: issue tracker dan milis resmi proyek sering memuat klarifikasi perilaku yang belum sempat masuk dokumentasi; utasnya bisa dibaca tanpa harus bertanya.

Konvensi yang dipakai section ini: setiap tautan berasal dari domain resmi dan status HTTP-nya diperiksa saat materi ditulis. Dokumentasi tetap bisa memindahkan halaman antar versi, jadi saat sebuah tautan berhenti bekerja, kembalilah ke beranda domain resminya lalu telusuri dari sana — pola URL yang berubah biasanya menandakan perubahan struktur dokumentasi.

Peta di atas adalah pintu masuk umum; setiap kelompok teknologi memiliki dokumen-dokumen kunci yang lebih dalam. Kita bedah satu per satu pada chapter berikutnya, mulai dari Referensi Python, Referensi SQL, dan Referensi Database, lalu berlanjut ke Referensi ETL dan ELT serta Referensi Apache Airflow. Setiap tautan di sana sudah disaring dengan kriteria keandalan pada chapter ini, jadi kita bisa langsung fokus belajar tanpa mempertanyakan sumbernya.