KAL
Menu

Statistik Deskriptif

Ukuran pusat, sebaran, bentuk, dan kapan memilih ukuran yang robust.

Daftar isi

Statistik deskriptif meringkas satu distribusi menjadi beberapa angka yang dapat dibandingkan, dan setiap angka membawa asumsi yang harus dipahami sebelum dipakai. Topik ini membandingkan ukuran pusat, sebaran, dan bentuk pada PM2.5 dataset latihan yang baris sensor rusaknya sudah dibuang, dan menunjukkan kapan ukuran yang robust layak dipilih. Setelah membacanya, ringkasan angka pada laporan tidak lagi berupa deretan describe(), melainkan pilihan yang disadari maknanya.

Ukuran pusat: mean, median, dan trimmed mean#

Mean menjumlahkan seluruh nilai, median memilih nilai tengah, sedangkan trimmed mean menghitung rata-rata setelah sebagian nilai terbesar dan terkecil dibuang dari kedua ujung. Ketiganya menjawab “di mana pusatnya” dengan sensitivitas yang berbeda terhadap nilai ekstrem, dan perbedaan itu adalah seluruh pertimbangannya.

Rata-rata peka penuh terhadap setiap nilai sehingga cocok bila distribusi simetris dan setiap nilai sah. Median hanya peduli urutan sehingga tahan terhadap outlier, dan inilah ukuran yang aman pada data yang menceng atau rawan kegagalan alat. Trimmed mean berdiri di tengah, yaitu tetap memakai informasi dari seluruh nilai tetapi membuang sebagian ujung yang paling ekstrem.

Skrip berikut menghitung ketiganya beserta ukuran sebaran dan bentuk pada data yang sudah bersih dari sensor rusak.

python statistik_deskriptif.py 
"""Ukuran pusat dan sebaran yang jujur untuk data menceng."""
from scipy.stats import trim_mean

import pandas as pd

data = pd.read_csv(
    "ukuran_udara.csv",
    na_values=["kosong", "-999.0"],
    dtype={"pm25": "string", "kelembapan": "string"},
)
data["pm25"] = data["pm25"].astype("float")
data["stasiun"] = (
    data["stasiun"].str.strip().str.replace(r"\s+", " ", regex=True).str.title()
)
pm = data.loc[data["pm25"] < 500, "pm25"].dropna()

print(f"mean   : {pm.mean():.1f} | median: {pm.median():.1f}")
print(f"std    : {pm.std():.1f} | IQR   : {pm.quantile(.75) - pm.quantile(.25):.1f}")
print(f"trim10 : {trim_mean(pm, 0.1):.1f} | skew  : {pm.skew():.2f}")
text Keluaran 
mean   : 44.9 | median: 46.6
std    : 12.2 | IQR   : 19.9
trim10 : 44.6 | skew  : 0.15

Setelah baris sensor rusak dibuang, mean dan median berjarak tipis, yaitu 44.9 berbanding 46.6, dan trimmed mean 44.6 mendekati mean. Kesesuaian tiga angka ini adalah tanda distribusinya tidak mengandung pengaruh ekstrem yang tersisa, sehingga mean boleh dipakai sebagai ukuran pusatnya.

Perbandingannya berbeda pada data mentah sebelum pembersihan, di mana satu baris 9999.0 menarik mean ke 232.7 sementara median tetap 46.7 sebagaimana diperlihatkan pada modul EDA. Angka yang sama dihitung ulang pada dua keadaan data, dan selisih keputusannya jelas terlihat.

Ukuran sebaran: std dan IQR#

Simpangan baku mengukur jarak rata-rata terhadap mean, dan pasangannya yang alami adalah mean karena keduanya dibangun dari nilai yang sama. IQR, yaitu jarak antara kuartil ketiga dan pertama, pasangan dari median, karena keduanya hanya berbicara lewat urutan dan tidak tersentuh nilai ekstrem.

Pada keluaran di atas, std 12.2 dan IQR 19.9 menceritakan sebaran yang sebanding, dan pelaporan yang disiplin menyebut pasangannya bersama, misalnya “median 46.6 dengan IQR 19.9” alih-alih mencampur median dengan std. Pasangan yang tercampur membuat pembaca menghitung ulang dan menebak bentuknya.

Satuan juga menyertai keduanya, yaitu PM2.5 dalam mikrogram per meter kubik, dan angka sebaran tanpa satuan hampir tidak bermakna bagi pembaca laporan. Perbandingan sebaran antar variabel bersatuan berbeda membutuhkan standardisasi yang dibahas pada modul machine learning.

Bentuk distribusi dan keputusan ukuran#

Kemencengan (skewness) menyatakan ketidaksimetrisan distribusi, dan nilainya mendekati nol pada distribusi simetris, positif pada ekor kanan, serta negatif pada ekor kiri. Nilai 0.15 pada data bersih menyatakan bentuk yang hampir simetris dengan kemiringan kecil ke kanan, dan inilah dasar keputusan ukuran pada laporan.

Aturan praktisnya menyimpulkan seluruh topik ini, yaitu distribusi yang simetris dengan nilai sah memakai mean dan std, distribusi yang menceng atau rawan outlier memakai median beserta IQR, dan distribusi dengan ujung yang meragukan dilaporkan keduanya agar pembaca melihat selisihnya. Pelaporan kedua versi bukan keraguan, melainkan kejujuran atas kepekaan angka terhadap ujung data.

Bentuk juga menentukan pilihan grafik, yaitu histogram dan boxplot pada modul visualisasi menampilkan bentuk yang sama yang dihitung di sini, dan angka tanpa gambar sering menyembunyikan dua distribusi dengan ringkasan identik tetapi bentuk berbeda.

Kesalahan umum#

Kesalahan pertama adalah melaporkan mean tanpa memeriksa bentuknya. Angka 232.7 pada data mentah adalah rata-rata yang benar dan tidak menggambarkan satu pun pengukuran, dan pemeriksaan skew serta perbandingan dengan median menutup celahnya.

Kesalahan kedua adalah mencampur pasangan ukuran, misalnya median bersama std dalam satu kalimat ringkasan. Keduanya sah masing-masing, tetapi pasangan yang tidak sehalus membuat pembacaan bentuk menjadi tidak pasti.

Kesalahan ketiga adalah menghapus outlier sebelum menghitung tanpa menyatakannya. Trimmed mean yang dinyatakan adalah metode yang terbuka dan dapat diulang, sedangkan pembuangan diam-diam adalah penyuntingan hasil.

Ringkasan#

  • Ukuran pusat dipilih menurut kepekaannya terhadap ujung data, yaitu mean untuk distribusi simetris yang sah, median untuk data menceng, dan trimmed mean di antara keduanya.
  • Sebaran dilaporkan berpasangan, yaitu mean dengan std dan median dengan IQR, beserta satuannya.
  • Kemencengan menyatakan bentuk dan menjadi dasar keputusan ukuran, dengan 0.15 pada data bersih berarti hampir simetris.
  • Metode apa pun yang membuang ujung data dinyatakan terbuka dan dapat diulang.

Referensi#