Bersihkan data dunia nyata: missing values, duplikat, tipe yang salah, teks tak konsisten, outlier, dan validasi rentang nilai. Section ini menyusun materi menjadi chapter berurutan; ikuti urutannya karena tiap chapter memakai konsep dari chapter sebelumnya.

# Mengidentifikasi Masalah Data

Memetakan masalah data umum: nilai kosong, duplikat, tipe salah, dan inkonsistensi label.

Buka → # Missing Values

Memahami NaN sebagai penanda nilai kosong dan bagaimana pandas 3.0 menanganinya di tiap dtype.

Buka → # Mendeteksi Nilai Kosong

Memakai isna(), notna(), dan kombinasi dengan sum() untuk menghitung nilai kosong per kolom.

Buka → # Menghapus Nilai Kosong

Membersihkan baris atau kolom dengan dropna() beserta parameter how dan subset.

Buka → # Mengisi Nilai Kosong

Mengganti NaN dengan nilai tertentu, mean/median, atau ffill/bfill melalui fillna().

Buka → # Menangani Nilai Duplikat

Mendeteksi dan menghapus duplikat dengan duplicated() dan drop_duplicates().

Buka → # Memperbaiki Tipe Data

Memperbaiki kolom yang terbaca dengan tipe salah, misalnya angka yang tersimpan sebagai teks.

Buka → # Membersihkan Teks

Menormalkan teks dengan .str.strip(), .str.lower(), dan penghapusan karakter tak diinginkan.

Buka → # Standardisasi Label Kategori

Menyatukan label yang berbeda ejaan, misalnya "Jakarta", "JAKARTA", dan " jakarta ".

Buka → # Mendeteksi Outlier

Mengenali nilai ekstrem dengan statistik deskriptif sebelum memutuskan penanganannya.

Buka → # Menangani Nilai Tidak Valid

Mengoreksi nilai di luar logika domain, seperti umur negatif atau persentase di atas 100.

Buka → # Validasi Rentang Nilai

Memeriksa kolom numerik terhadap rentang yang wajar menggunakan boolean mask.

Buka → # Membuat Laporan Kualitas Data

Merangkum kondisi data sebelum dan sesudah pembersihan menjadi laporan ringkas yang terukur.

Buka →