Kualitas model dibatasi oleh kualitas data. Section ini membahas praktik pengelolaan data yang menentukan: mencari dan melabeli dataset, menangani ketimpangan kelas, mencegah kebocoran data antar subset, melakukan versioning, dan menjaga privasi pemilik data.

# Sumber Dataset

Petakan sumber dataset publik — Kaggle, Hugging Face Datasets, UCI, torchvision — beserta lisensi, kriteria pemilihan, dan format berkas umum, lalu bangun katalog mini dari sumber lokal sklearn tanpa satu pun unduhan.

Buka → # Dataset Labeling

Bandingkan metode pelabelan — manual, crowdsourcing, weak supervision, model-assisted — lalu ukur kualitas anotator dengan double annotation dan Cohen's kappa yang dihitung manual dari nol memakai NumPy.

Buka → # Data Imbalance

Diagnosis dan penanganan ketimpangan kelas — deteksi distribusi, oversampling minoritas, undersampling mayoritas, dan SMOTE — diimplementasikan dengan NumPy murni pada dataset 80/15/5 dan diuji nyata dengan angka sebelum-sesudah.

Buka → # Class Weighting

Bobot kelas di dalam loss tanpa mengubah satu baris data — rumus n_total/(K x n_k) diterapkan pada CrossEntropyLoss PyTorch dan class_weight sklearn, dengan demo teruji nyata: F1 kelas minoritas 0.167 menjadi 0.337 dan recall 0.100 menjadi 0.850.

Buka → # Data Leakage

Bongkar tiga kebocoran klasik yang menggelembungkan skor test — scaler di-fit pada seluruh data, duplikat lintas split, fitur turunan label — dengan demo terukur nyata: inflasi +0.053, +0.068, dan +0.138 poin akurasi, beserta protokol pencegahannya.

Buka → # Dataset Versioning

Kunci reproducibility dari sisi data — simpan versi dataset dengan folder arsip, hash sha256, dan manifest CSV yang terbukti mendeteksi perubahan satu nilai sensor, lalu kenali DVC dan versioning Hugging Face untuk skala lebih besar.

Buka → # Strategi Data Augmentation

Rancang policy augmentasi per domain — gambar, teks, audio, tabular — dengan aturan train-only dan label-preserving, lalu buktikan policy gabungan noise + geser menaikkan akurasi validasi dari 0.882 ke 0.915 pada digits dengan hanya 80 sampel latih.

Buka → # Synthetic Data

Bangun data baru ketika data asli tak tersedia — generator tabular berbasis aturan dengan constraint, validasi distribusi yang jujur menemukan ketidakcocokan, uji train-on-synthetic test-on-real, dan risiko model collapse yang menyertai data hasil model.

Buka → # Data Privacy

Ukur perlindungan data secara kuantitatif — k-anonymity yang naik dari 1 menjadi 3 lewat generalisasi bertahap, differential privacy dengan derau Laplace pada tiga nilai epsilon, konsep federated learning, serta ancaman balik seperti model inversion.

Buka →