Data dunia nyata hampir selalu datang dalam kondisi kurang bersih: ada nilai hilang, duplikat, tipe kolom yang salah, teks dengan spasi tak menentu, dan format tanggal yang bercampur. Section ini membahas pemeriksaan data yang sistematis, strategi menangani setiap jenis masalah, penggabungan dan perubahan bentuk dataset, serta validasi akhir sebelum data dinyatakan siap dianalisis.

# Memeriksa Data

Lakukan pemeriksaan awal dataset: ukuran, tipe kolom, nilai unik, dan ringkasan statistik.

Buka → # Menangani Missing Values

Kenali pola nilai hilang dan pilih strategi: hapus, isi dengan konstanta, statistik, atau interpolasi.

Buka → # Menangani Data Duplikat

Temukan duplikat penuh maupun parsial lalu putuskan tindakannya secara sadar.

Buka → # Memperbaiki Tipe Data

Ubah kolom ke tipe yang benar: angka tersimpan sebagai teks, kategori, dan angka dalam format ribuan.

Buka → # Membersihkan Teks

Rapikan kolom teks: spasi berlebih, kapitalisasi, karakter aneh, dan pemisahan nilai gabungan.

Buka → # Menangani Data Tidak Konsisten

Seragamkan nilai yang bermakna sama tetapi tertulis berbeda antar baris maupun antar tabel.

Buka → # Menangani Format Tanggal

Parsing tanggal dari berbagai format dan ekstrak komponen tahun, bulan, serta hari.

Buka → # Menangani Outlier

Deteksi pencilan dengan IQR dan z-score lalu putuskan mengoreksi, menandai, atau mempertahankannya.

Buka → # Menggabungkan Dataset

Gabungkan tabel dengan merge dan concat sesuai kunci serta tipe penggabungannya.

Buka → # Mengubah Bentuk Data

Ubah data antar bentuk lebar dan panjang dengan melt, pivot, dan pivot_table.

Buka → # Validasi Kualitas Data

Susun pemeriksaan kualitas berulang: aturan validasi dan dokumentasi hasil pembersihan.

Buka →