Misleading Statistics

“Ada tiga jenis kebohongan: kebohongan, kebohongan busuk, dan statistik.” Kalimat itu kerap dinisbatkan kepada negarawan Inggris Benjamin Disraeli dan dipopulerkan Mark Twain — meski sampai kini tidak ditemukan tulisan Disraeli yang memuatnya, sehingga atribusi kalimatnya sendiri sudah melatih kehati-hatian yang kita bahas di chapter ini. Statistik memang tidak berbohong; yang bisa berbohong adalah pilihan penyajiannya — sumbu yang dipotong, persentase tanpa dasar, perbandingan yang tidak sebanding, dan agregasi yang memutar arah kesimpulan. Chapter ini membedah teknik-teknik itu satu per satu dengan angka yang bisa diikuti, lalu menutup dengan daftar periksa untuk membaca grafik sebelum membagikannya.

Sumbu-y Terpotong dan Format yang Memperbesar Selisih #

Diagram batang membandingkan dua hal lewat panjang batangnya; memotong sumbu-y mengubah perbandingan itu. Cabang A menjual 10.150 unit, cabang B menjual 10.050 unit — selisih 0.99 persen yang nyaris tak terlihat bila sumbu mulai dari nol. Dengan sumbu yang dimulai dari 10.000, tinggi batang menjadi 150 berbanding 50 satuan: secara visual rasio tiga banding satu untuk selisih kurang dari satu persen. Chapter Diagram Batang di Section Visualisasi Data telah menegaskan aturannya — sumbu-y diagram batang sebaiknya mulai dari nol; di sini kita melihat sisi pemakainya, bahwa setiap grafik yang membesarkan selisih kecil patut dicurigai memakai pemotongan ini. Format tiga dimensi pada diagram pai bekerja serupa: perspektif mengubah luas dan sudut yang seharusnya sebanding dengan nilai, sehingga irisan yang jauh lebih kecil tampak sebanding dengan yang besar — alasan diagram pai 3D jarang sekali menjadi pilihan tepat.

Jarak Waktu Tidak Seragam dan Skala Ganda #

Jarak antarlabel waktu yang tidak seragam bisa merenggangkan atau memampatkan bagian cerita yang berbeda. Label 2015, 2020, 2021, 2022, lalu 2022 semester kedua, membuat dua tahun terakhir memenuhi separuh lebar grafik dan perubahan kecil tampak seperti lonjakan. Skala ganda dua sumbu menambah satu kebebasan lagi: karena titik nol dan satuan kedua sumbu bebas dipilih, dua garis bisa dibuat saling mendekat, menjauh, atau berpotongan sesuai kehendak pembuatnya — dan pembaca tidak akan tahu bahwa keputusan kecil pada dua sumbu itulah yang menentukan seluruh kesan. Uji pembandingnya sederhana: bila salah satu sumbu digeser sedikit, apakah ceritanya berubah total? Bila ya, grafik itu tidak sedang menunjukkan data, melainkan mengaturnya.

Persentase Tanpa Dasar dan Perbandingan Tidak Sebanding #

“9 dari 10 pengguna merekomendasikan” adalah angka 90 persen yang maknanya bergantung penuh pada angka 10 itu: sembilan orang dari sepuluh responden yang dipilih entah bagaimana, atau 900 dari 1.000 responden sampel acak. Persentase tanpa n dan tanpa cara pengambilan sampel bukan informasi, melainkan bungkus angka. Persentase dari dasar kecil menyesatkan pada arah lain: kejadian yang naik dari 1 menjadi 4 adalah “naik 300 persen” — benar secara hitungan, jauh dari signifikan secara skala. Variannya adalah perbandingan yang tidak sebanding: kelompok yang dibandingkan diukur pada periode berbeda, definisi berbeda, atau populasi berbeda, sehingga selisih yang tampak sesungguhnya perbedaan cara mengukur. Persoalan komposisi ini membawa kita ke contoh terbesar chapter ini.

Simpson’s Paradox: Ketika Tabel Gabungan Memutar Arah #

Universitas Merdeka (fiktif) merilis angka penerimaan dua fakultasnya. Tingkat penerimaan per kelompok pelamar:

Di Fakultas A, pelamar laki-laki diterima pada tingkat 80 persen — tiga puluh poin persentase di atas pelamar perempuan. Namun pada tabel gabungan, arah kesimpulan berbalik: perempuan diterima 83.33 persen, laki-laki 75 persen. Pembaca yang hanya melihat angka rilis universitas menyimpulkan universitas memihak perempuan; pembaca tabel rinci melihat fakultas dengan pelamar laki-laki terbanyak justru memihak laki-laki, sementara fakultas dengan pelamar perempuan terbanyak memihak perempuan. Penentu arah tabel gabungan bukan proses seleksi per fakultas, melainkan komposisi pelamar: kelompok yang mayoritas mendaftar ke fakultas dengan tingkat penerimaan tinggi akan tampak unggul di agregat. Fenomena ini bernama Simpson’s paradox. Pada bentuk klasiknya — kasus admisi sebuah universitas di AS tahun 1973 yang banyak dibahas buku statistik — arah yang sama muncul hampir di semua departemen, lalu agregat tetap membaliknya karena satu kelompok lebih banyak mendaftar ke departemen dengan tingkat penerimaan rendah. Kita verifikasi seluruh angka tabel di atas:

data = {
    ("A", "laki-laki"): (80, 100),
    ("A", "perempuan"): (10, 20),
    ("B", "laki-laki"): (10, 20),
    ("B", "perempuan"): (90, 100),
}

for (fakultas, kelompok), (diterima, pelamar) in data.items():
    print(f"Fakultas {fakultas}, {kelompok:9s}: {diterima:3d}/{pelamar:3d} = {100 * diterima / pelamar:.1f}%")

for kelompok in ("laki-laki", "perempuan"):
    diterima = sum(v[0] for k, v in data.items() if k[1] == kelompok)
    pelamar = sum(v[1] for k, v in data.items() if k[1] == kelompok)
    print(f"Universitas, {kelompok:9s}: {diterima:3d}/{pelamar:3d} = {100 * diterima / pelamar:.2f}%")

Output yang Dihasilkan:

Fakultas A, laki-laki:  80/100 = 80.0%
Fakultas A, perempuan:  10/ 20 = 50.0%
Fakultas B, laki-laki:  10/ 20 = 50.0%
Fakultas B, perempuan:  90/100 = 90.0%
Universitas, laki-laki:  90/120 = 75.00%
Universitas, perempuan: 100/120 = 83.33%

Mari kita bedah blok di atas: empat baris pertama menghitung tingkat penerimaan per fakultas — 80.0 dan 50.0 persen di Fakultas A, 50.0 dan 90.0 persen di Fakultas B. Dua baris terakhir menjumlahkan diterima dan pelamar lintas fakultas lalu membaginya: laki-laki 90/120 = 75.00 persen, perempuan 100/120 = 83.33 persen (dibulatkan ke dua desimal). Perhatikan dari mana arah agregat itu datang: agregat laki-laki tertarik ke 80 persen karena Fakultas A menampung 100 dari 120 pelamarnya, agregat perempuan tertarik ke 90 persen karena Fakultas B menampung 100 dari 120 pelamarnya — bobot pendaftaran, bukan keputusan seleksi, yang menulis kesimpulan gabungan. Karena itu pertanyaan wajib pada setiap tabel agregat adalah: apakah arah kesimpulan bertahan saat tabel dipecah per subkelompok?

Angka Tanpa Konteks dan Judul yang Melebihi Isi #

Angka juga menyesatkan secara sunyi: disebut tanpa pembandingnya. “Jumlah tertinggi sepanjang masa” pada populasi yang terus membesar bisa sekaligus menjadi “tingkat terendah per kapita dalam dua puluh tahun” — keduanya benar, hanya berbeda penyebut. Judul berita menambah lapisan terakhir: isi studi menulis “asosiasi pada data observasional yang belum mengontrol seluruh variabel pengacau”, judul menulis “penyebab ditemukan”. Selisih antara judul dan isi inilah jembatan ke chapter berikutnya, yang membahas khusus bagaimana korelasi kerap diberitakan sebagai sebab-akibat.

Checklist Memeriksa Grafik #

Sebelum membagikan grafik — sebagai pembaca maupun pembuat — delapan pemeriksaan berikut menutup sebagian besar celah di atas:

1. Di angka berapa sumbu-y dimulai, dan apakah jenis grafiknya menuntut mulai dari nol?
2. Apakah jarak antarlabel waktu seragam?
3. Bila ada dua sumbu: apa yang terjadi pada cerita bila salah satu sumbu digeser?
4. Berapa n di balik setiap persentase, dan bagaimana respondennya dipilih?
5. Apakah kelompok yang dibandingkan diukur dengan definisi, periode, dan populasi yang sama?
6. Apakah kesimpulan bertahan saat tabel dipecah per subkelompok?
7. Apakah angka punya pembanding yang relevan — periode lain, kelompok lain, per kapita?
8. Apakah judul menyatakan persis apa yang didukung isi, termasuk desain studinya?

Statistika yang menyesatkan hampir selalu menyesatkan lewat hubungan: dua angka yang bergerak bersama diberi cerita sebab-akibat. Chapter berikutnya membahas khusus korelasi versus kausalitas dalam pemberitaan dan kebijakan publik — hierarki desain studi, tiga kisah yang akrab menjadi berita, dan panduan melaporkan temuan data secara bertanggung jawab. Pendalaman teknik penyajian dan uji asumsi tersedia di NIST/SEMATECH e-Handbook dan OpenIntro Statistics .