Statistical vs Practical Significance

Chapter Interpretasi Hasil Pengujian di Section Pengujian Hipotesis telah menyinggung satu kalimat penting: p-value kecil menyatakan bukti bahwa efek ada, bukan bahwa efek besar. Kalimat itu layak mendapat satu chapter penuh, karena di sanalah letak salah-baca paling mahal konsekuensinya — program yang mahal dijalankan untuk efek yang nyaris tak terlihat, atau program yang efektif dihentikan karena “tidak signifikan” pada sampel kecil. Chapter ini membedah mekanismenya secara numerik, lalu melengkapinya dengan tiga perangkat tandingan: effect size, lebar confidence interval, dan penilaian biaya-manfaat.

Signifikansi Menjawab Ada atau Tidak #

Uji hipotesis dirancang menjawab satu pertanyaan biner: apakah data memberi bukti bahwa efek berbeda dari nol? Menolak null hypothesis berarti bukti cukup untuk menyimpulkan efek ada di populasi — dan itu seluruh isi keputusan tersebut. Besarnya efek — berapa poin nilai, berapa rupiah, berapa hari — tidak ikut terjawab oleh keputusan tolak atau gagal tolak. Pertanyaan kedua itu dijawab oleh estimasi, bukan oleh pengujian. Mencampur dua pertanyaan inilah sumber utama kebingungan antara signifikansi statistik dan signifikansi praktis.

Mekanisme: Sampel Besar Menurunkan Ambang #

Statistik uji t untuk satu sampel berbentuk:

t = (x̄ - μ0) / (s / √n)

√n duduk di penyebut standard error, sehingga memperbesar n langsung memperbesar t untuk selisih mean yang sama. Kita lanjutkan kasus dari chapter Interpretasi Hasil Pengujian: program belajar baru diduga menaikkan rata-rata nilai; sampel menunjukkan x̄ = 81 terhadap μ0 = 80 dengan s = 8, sehingga selisihnya 1 poin dan Cohen’s d = 1/8 = 0.125. Pada 400 siswa, t = 1 × √400 / 8 = 2.5 dengan p = 0.0128 — H0 ditolak, hasil signifikan. Pada 16 siswa dengan mean dan sebaran identik, t = 1 × 4 / 8 = 0.5 dengan p = 0.6243 — jauh dari ambang, hasil tidak signifikan. Efeknya tidak berubah sedikit pun antara kedua skenario; yang berubah hanyalah ketajaman kaca pembesarnya. Semakin besar n, semakin kecil efek yang mampu melampaui ambang signifikansi — hingga efek yang tak berarti sekalipun.

Effect Size sebagai Jembatan #

Cohen’s d menstandardisasi selisih mean dalam satuan standard deviation sehingga bisa dibandingkan lintas studi; konvensi pembacaan yang lazim adalah 0.2 kecil, 0.5 sedang, 0.8 besar. d = 0.125 berada jauh di bawah ambang kecil — selisih satu poin nilai pada sebaran delapan poin praktis tidak terbedakan oleh guru di kelas. Perhatikan pula bahwa d sama sekali tidak memuat n: memperbesar sampel membuat efek yang sama makin “signifikan”, tetapi tidak membuatnya makin besar. Kombinasi p-value dan effect size adalah pasangan minimal yang layak dibaca — yang pertama bicara kepastian, yang kedua bicara besaran.

Lebar Interval Menyatakan Ketidakpastian #

Confidence interval 95 persen untuk mean populasi memperlihatkan sisi lain dari peran n. Dengan 400 siswa, intervalnya 80.21–81.79 — sempit, dan seluruh isinya berkumpul rapat di sekitar nilai yang secara pedagogis tidak berarti. Dengan 16 siswa, intervalnya 76.74–85.26 — lebar hampir 9 poin, artinya data belum informatif tentang besaran efek. Interval sempit pada efek kecil dan interval lebar pada efek yang belum terketahui sama-sama tidak boleh diputar menjadi keberhasilan; kedua pola itu justru dua wajah dari pertanyaan yang belum dijawab. Materi lengkap perhitungan intervalnya ada pada chapter Confidence Interval di Section Sampling dan Estimasi.

Keputusan Praktis Mempertimbangkan Biaya dan Manfaat #

Signifikansi praktis tidak punya ambang universal; ia ditentukan konteks keputusan. Selisih satu poin nilai bisa berarti layak dijalankan bila programnya gratis dan tanpa risiko, tetapi tidak bila menuntut pelatihan guru selama setahun dan biaya besar per sekolah. Efek kecil pada intervensi yang murah dan aman tetap pantas dipertimbangkan; efek kecil pada perlakuan yang mahal dan berisiko bisa tidak layak. Pertimbangan itu tidak bisa dihitung oleh uji statistik mana pun — uji berhenti pada “berapa besar efeknya dan seberapa pasti”, sementara “layak atau tidak” adalah pekerjaan pengambil keputusan yang memasukkan biaya, manfaat, risiko, dan alternatif lain.

Kontras dalam Satu Tabel #

Verifikasi dengan Python #

Blok berikut menghitung kedua skenario uji sekaligus kedua intervalnya, dengan kasus yang sama (selisih 1 poin, s = 8, x̄ = 81):

from scipy.stats import t

selisih, s, xbar = 1, 8, 81
for n in (400, 16):
    stat = selisih / (s / n**0.5)
    pval = 2 * t.sf(stat, n - 1)
    se = s / n**0.5
    t_kritis = t.ppf(0.975, n - 1)
    print(f"n = {n:3d}: t = {stat:.4f}, p = {pval:.4f}, d = {selisih / s:.4f}")
    print(f"        CI 95% mean = [{xbar - t_kritis * se:.2f}, {xbar + t_kritis * se:.2f}]")

Output yang Dihasilkan:

n = 400: t = 2.5000, p = 0.0128, d = 0.1250
        CI 95% mean = [80.21, 81.79]
n =  16: t = 0.5000, p = 0.6243, d = 0.1250
        CI 95% mean = [76.74, 85.26]

Mari kita bedah blok di atas: baris pertama tiap pasangan menghitung t dua arah lalu p-value dengan t.sf (ekor kanan dikali dua), sementara d dihitung langsung sebagai selisih dibagi s — n = 400 menghasilkan t = 2.5 dengan p = 0.0128 (tolak H0) dan n = 16 menghasilkan t = 0.5 dengan p = 0.6243 (gagal tolak), padahal d = 0.1250 identik pada keduanya. Baris kedua menghitung confidence interval 95 persen dengan nilai kritis t.ppf(0.975, df): [80.21; 81.79] untuk n = 400 dan [76.74; 85.26] untuk n = 16. Tiga angka pada tiap blok — keputusan uji, besaran efek, presisi taksiran — itulah ringkasan minimal sebelum kata “signifikan” diucapkan.

Dengan pembedaan ini, salah-baca yang lebih halus menunggu di belakangnya: laporan yang benar secara statistik tetap bisa disalahartikan oleh cara membacanya. Chapter berikutnya menyusun katalog tujuh kesalahan interpretasi yang paling sering muncul — dari rata-rata dari rata-rata hingga ekstrapolasi linier — masing-masing dengan contoh angka dan koreksinya. Pendalaman topik ini tersedia di Penn State STAT 500 dan NIST/SEMATECH e-Handbook .