Taraf Signifikansi dan Jenis Error

Alpha, error tipe I dan tipe II, serta konsekuensinya.

Daftar isi

Setiap keputusan berbasis p-value membawa dua cara salah, dan peluang keduanya dapat dihitung. Topik ini membahas taraf signifikansi (significance level, $\alpha$ ) sebagai ambang keputusan yang ditetapkan sebelum analisis, serta matriks keputusan dua kali dua. Dua jenis kesalahan pada matriks itu, yaitu error tipe I (Type I error) dan error tipe II (Type II error), dibahas beserta kompromi di antara keduanya. Simulasi pada bagian akhir mengukur laju kedua error pada contoh metode belajar, sehingga nilai 0.05 yang sering dipakai dapat dilihat cara kerjanya secara nyata.

Alpha sebagai ambang keputusan#

Taraf signifikansi adalah batas peluang error tipe I yang ditoleransi, ditetapkan sebelum data dianalisis, dan aturan keputusannya berbunyi menolak $H_0$ apabila p-value lebih kecil daripada $\alpha$ . Nilai 0.05 menjadi konvensi yang paling umum di banyak bidang, sedangkan 0.01 dipakai ketika kesalahan menolak $H_0$ yang benar dinilai lebih mahal. Apa pun nilainya, pilihan itu adalah kebijakan tentang risiko yang bersedia ditanggung, bukan konstanta alam. Karena itu pula $\alpha$ ditetapkan lebih dahulu, sebelum p-value diketahui, sehingga keputusan tidak terkodor oleh keinginan melihat hasil signifikan. Pada contoh metode belajar, $\alpha = 0.05$ berarti bersedia salah menolak $H_0$ pada satu dari sekitar dua puluh pengujian yang $H_0$ -nya benar.

Matriks keputusan dua kali dua#

Kenyataan tentang $H_0$ dan keputusan atas data menghasilkan empat kombinasi, dan dua di antaranya adalah kesalahan. Tabel berikut merangkum keempatnya.

Keputusan	$H_0$ benar	$H_0$ salah
Menolak $H_0$	error tipe I, laju jangka panjangnya $\alpha$	keputusan benar, yaitu efek terdeteksi
Tidak menolak $H_0$	keputusan benar	error tipe II, peluangnya $\beta$

Error tipe I terjadi ketika $H_0$ yang benar ditolak, misalnya menyimpulkan metode B lebih baik padahal keduanya sama, dan lajunya dalam jangka panjang adalah $\alpha$ . Error tipe II terjadi ketika $H_0$ yang salah tidak ditolak, misalnya mengabaikan keunggulan metode B yang sungguh ada, dan peluangnya dilambangkan $\beta$ . Dua kotak sisanya adalah keputusan yang benar, yaitu menolak $H_0$ yang salah atau membiarkan $H_0$ yang benar bertahan. Kedua jenis error berbeda akibat nyatanya, sehingga bobotnya ditentukan konteks. Misalnya, kesalahan menyatakan sebuah metode unggul dan kesalahan mengabaikan metode yang sungguh membantu siswa membawa dampak yang berbeda.

Simulasi laju error tipe I#

Laju error tipe I dapat diukur langsung dengan simulasi, yaitu menjalankan banyak eksperimen yang $H_0$ -nya benar dan menghitung proporsi yang salah menolak. Program berikut membangun distribusi nol selisih rata-rata dari 10.000 eksperimen, menurunkan ambang keputusan untuk $\alpha = 0.05$ dan $\alpha = 0.01$ , kemudian mengujinya pada 2.000 eksperimen baru yang juga $H_0$ -nya benar. Bagian ketiga program menambahkan efek sungguhan 2 poin pada metode B sehingga $H_0$ menjadi salah, dan proporsi gagal tolak pada kondisi itulah $\beta$ .

python laju-tipe-I.py

import numpy as np

# Populasi bersama: rata-rata 72, simpangan baku 8, dua kelompok berisi 25 orang
SD_POPULASI = 8.0

# Langkah 1: distribusi nol selisih rata-rata dari 10.000 eksperimen ketika H0 benar
rng_nol = np.random.default_rng(42)
eksperimen_nol = rng_nol.normal(72, SD_POPULASI, size=(10000, 50))
d_nol = eksperimen_nol[:, :25].mean(axis=1) - eksperimen_nol[:, 25:].mean(axis=1)
kritis_05 = np.quantile(np.abs(d_nol), 0.95)
kritis_01 = np.quantile(np.abs(d_nol), 0.99)

# Langkah 2: 2.000 eksperimen baru ketika H0 benar
rng_baru = np.random.default_rng(43)
eksperimen_baru = rng_baru.normal(72, SD_POPULASI, size=(2000, 50))
d_baru = eksperimen_baru[:, :25].mean(axis=1) - eksperimen_baru[:, 25:].mean(axis=1)
tolak_05 = int(np.sum(np.abs(d_baru) >= kritis_05))
tolak_01 = int(np.sum(np.abs(d_baru) >= kritis_01))
print(f"Ambang keputusan |selisih| (alpha = 0.05): {kritis_05:.4f}")
print(f"Ambang keputusan |selisih| (alpha = 0.01): {kritis_01:.4f}")
print(f"Laju error tipe I, alpha = 0.05          : {tolak_05} dari 2000 = {tolak_05 / 2000:.4f}")
print(f"Laju error tipe I, alpha = 0.01          : {tolak_01} dari 2000 = {tolak_01 / 2000:.4f}")

# Langkah 3: eksperimen serupa tetapi H0 salah, yaitu metode B unggul 2 poin
rng_h1 = np.random.default_rng(44)
eksperimen_h1 = rng_h1.normal(72, SD_POPULASI, size=(2000, 50))
eksperimen_h1[:, 25:] += 2.0
d_h1 = eksperimen_h1[:, :25].mean(axis=1) - eksperimen_h1[:, 25:].mean(axis=1)
beta_05 = np.mean(np.abs(d_h1) < kritis_05)
beta_01 = np.mean(np.abs(d_h1) < kritis_01)
print(f"Error tipe II (beta), alpha = 0.05       : {beta_05:.4f}")
print(f"Error tipe II (beta), alpha = 0.01       : {beta_01:.4f}")

text Keluaran

Ambang keputusan |selisih| (alpha = 0.05): 4.4345
Ambang keputusan |selisih| (alpha = 0.01): 5.8129
Laju error tipe I, alpha = 0.05          : 92 dari 2000 = 0.0460
Laju error tipe I, alpha = 0.01          : 16 dari 2000 = 0.0080
Error tipe II (beta), alpha = 0.05       : 0.8565
Error tipe II (beta), alpha = 0.01       : 0.9550

Angka pada keluaran menegaskan teorinya. Laju error tipe I empiris adalah 0.0460 untuk $\alpha = 0.05$ dan 0.0080 untuk $\alpha = 0.01$ , keduanya dekat dengan nilai nominalnya, dan selisih kecilnya wajar karena hanya 2.000 eksperimen. Artinya, satu dari sekitar dua puluh pengujian yang $H_0$ -nya benar memang akan salah menolak pada $\alpha = 0.05$ , dan hal itu berlaku tanpa memandang benar tidaknya metode belajar yang diuji.

Kompromi antara tipe I dan tipe II#

Bagian ketiga keluaran memperlihatkan sisi biayanya. Ketika metode B sungguh unggul 2 poin, proporsi gagal tolak mencapai 0.8565 untuk $\alpha = 0.05$ , dan angkanya naik menjadi 0.9550 ketika $\alpha$ diperketat menjadi 0.01. Memperkecil laju salah menolak membuat keputusan menjadi lebih konservatif, sehingga peluang melewatkan efek yang sungguh ada ikut membesar. Hubungan terbalik ini adalah inti kompromi antara $\alpha$ dan $\beta$ , dan keduanya tidak dapat diturunkan sekaligus hanya dengan menggeser ambang.

Jalan keluarnya bukan ambang yang lebih ketat, melainkan bukti yang lebih banyak, misalnya ukuran sampel yang lebih besar sehingga selisih rata-rata dapat diestimasi lebih presisi. Pemilihan $\alpha$ pun idealnya menimbang kerugian kedua error, bukan sekadar mengikuti kebiasaan. Kuantitas $\beta$ inilah sisi lain dari kekuatan statistik, yaitu peluang mendeteksi efek yang sungguh ada sebesar $1 - \beta$ .

Kesalahan umum#

Kesalahan pertama adalah mengubah $\alpha$ setelah p-value terlihat, misalnya menaikkannya dari 0.01 menjadi 0.05 agar hasil menjadi signifikan, dan perbaikannya adalah menetapkan $\alpha$ dalam rencana analisis sebelum data dibuka. Kesalahan kedua adalah membaca p = 0.06 sebagai hampir signifikan yang layak disimpulkan, padahal keputusan mengikuti ambang yang ditetapkan dan buktinya cukup dilaporkan apa adanya. Kesalahan ketiga adalah menyamakan tidak menolak $H_0$ dengan $H_0$ terbukti, padahal ketika $\beta$ tinggi, pengujian itu sendiri yang kekurangan peluang deteksi. Mencatat $\alpha$ bersama hipotesis sejak awal analisis menutup celah yang paling sering dipakai. Ketiganya cenderung muncul bersama, karena tekanan untuk memperoleh hasil signifikan menggeser baik ambangnya maupun tafsirannya.

Ringkasan#

$\alpha$ adalah batas laju error tipe I yang ditetapkan sebelum analisis, dan $H_0$ ditolak apabila p-value berada di bawahnya.
Error tipe I adalah menolak $H_0$ yang benar dengan laju $\alpha$ , sedangkan error tipe II adalah gagal menolak $H_0$ yang salah dengan peluang $\beta$ .
Simulasi 2.000 eksperimen menghasilkan laju tipe I 0.0460 pada $\alpha = 0.05$ dan 0.0080 pada $\alpha = 0.01$ , sesuai nilai nominalnya.
Memperketat $\alpha$ menaikkan $\beta$ , sehingga komprominya ditangani dengan bukti yang lebih banyak, misalnya sampel yang lebih besar.

Referensi#

NIST/SEMATECH e-Handbook of Statistical Methods — NIST — Panduan resmi NIST yang membahas error tipe I dan tipe II beserta matriks keputusannya.
OpenIntro Statistics — OpenIntro — Buku pengantar statistika dengan pembahasan taraf signifikansi dan dua jenis error.
scipy.stats — SciPy — Referensi fungsi uji yang melaporkan p-value untuk keputusan berbasis $\alpha$ .