Dari Pertanyaan ke Data

Pekerjaan data yang bernilai tidak dimulai dari dataset, melainkan dari keputusan yang hendak didukung. Topik ini melatih jembatan dari keputusan ke pertanyaan yang dapat dijawab data, lalu dari pertanyaan ke metrik yang didefinisikan dengan tegas. Setelah membacanya, permintaan yang kabur seperti “analisis program literasi” dapat diubah menjadi pertanyaan terukur beserta metrik yang dapat dihitung dari data.

Dari keputusan ke pertanyaan yang dapat diuji#

Keputusan adalah tindakan yang dipilih orang, misalnya melanjutkan program literasi sore atau menambah jam buka ruang baca. Data tidak mengambil keputusan tersebut, tetapi memperkecil ketidakpastiannya. Jembatan pertama adalah mengubah keputusan menjadi pertanyaan yang dapat diuji, dengan tiga syarat yang mudah diperiksa.

1. Pertanyaannya menyebut populasi yang jelas, misalnya pengunjung ruang baca pada bulan tertentu, bukan “masyarakat” yang luas maknanya.
2. Pertanyaannya dapat dijawab dengan data yang benar-benar tersedia atau dapat dikumpulkan dengan biaya yang masuk akal.
3. Jawabannya mengubah tindakan, sebab pertanyaan yang jawabannya tidak dipakai siapa pun adalah pertanyaan yang mahal.

Pertanyaan yang lolos ketiga syarat tersebut hampir selalu berbentuk kalimat dengan pembanding, misalnya “apakah durasi baca pengunjung program literasi sore lebih tinggi daripada sebelum program berjalan”. Pembanding itulah yang kelak menjadi dasar pengujian statistik pada modul statistik.

Metrik yang dapat didefinisikan dan digerakkan#

Metrik adalah definisi angka yang dihitung dari data, dan kekacauan proyek sering bermula di sini. Kalimat “program ini berhasil” tidak berarti apa pun sebelum diterjemahkan menjadi metrik, misalnya “rata-rata durasi baca per kunjungan naik sedikitnya sepuluh persen”. Definisi tersebut memaksa tiga keputusan kecil yang masing-masing penting, yaitu apa yang dihitung, pada satuan apa, dan dibandingkan dengan apa.

Dua sifat membuat metrik berguna. Pertama, metrik yang dapat digerakkan (actionable), yaitu ada tindakan yang secara wajar mengubahnya. Jumlah hujan pada bulan pengukuran adalah angka yang jujur tetapi tidak dapat digerakkan, sehingga berguna sebagai pembanding, bukan sebagai metrik keberhasilan. Kedua, metrik yang tahan manipulasi, yaitu tidak mudah dinaikkan tanpa menghasilkan nilai sungguhhan. Metrik “jumlah buku dibawa pulang” naik jika petugas memaksa setiap pengunjung meminjam, sedangkan “durasi baca per kunjungan” lebih dekat dengan tujuan programnya.

Skrip berikut menunjukkan bagaimana definisi tersebut menjadi kode yang sederhana dan dapat diperiksa ulang.

"""Mendefinisikan metrik keberhasilan program literasi sore.

Keputusan: apakah program literasi sore dilanjutkan tahun depan?
Metrik yang disepakati: rata-rata durasi baca per kunjungan, sebelum dan
sesudah program berjalan satu bulan.
"""

sebelum = [32, 41, 25, 38, 44, 29, 35, 40]     # menit baca per kunjungan
sesudah = [45, 52, 39, 58, 47, 41, 50, 55]

rata_sebelum = sum(sebelum) / len(sebelum)
rata_sesudah = sum(sesudah) / len(sesudah)
perubahan = (rata_sesudah - rata_sebelum) / rata_sebelum * 100

print(f"Rata-rata durasi baca sebelum : {rata_sebelum:.1f} menit")
print(f"Rata-rata durasi baca sesudah : {rata_sesudah:.1f} menit")
print(f"Perubahan relatif             : {perubahan:+.1f}%")

Rata-rata durasi baca sebelum : 35.5 menit
Rata-rata durasi baca sesudah : 48.4 menit
Perubahan relatif             : +36.3%

Keluaran tersebut belum menjadi kesimpulan, karena delapan kunjungan adalah sampel yang kecil dan perbedaannya belum diuji. Yang dicontohkan di sini adalah disiplinnya, yaitu satu metrik, satu definisi, dan satu pembanding yang dituliskan sebelum data besar dibuka.

Metrik utama dan metrik pengawal#

Satu metrik utama memberi arah, sedangkan metrik pengawal (guardrail metric) mencegah keberhasilan yang palsu. Metrik utama program literasi adalah durasi baca per kunjungan, sedangkan metrik pengawalnya dapat berupa jumlah kunjungan yang tidak boleh turun, sebab program yang memaksa pengunjung lama duduk lebih banyak dapat menaikkan durasi sambil mengusir pengunjung baru.

Pola ini berlaku umum, misalnya kecepatan layanan yang tidak boleh dibayar dengan tingkat kesalahan, atau jumlah dokumen terindeks yang tidak boleh dibayar dengan ukuran index yang membengkak. Menetapkan pengawal sejak awal juga menolong saat presentasi, karena pertanyaan “apakah hal lain merosot” sudah dijawab oleh data yang memang disiapkan.

Kesalahan umum#

Kesalahan pertama adalah menerima permintaan “carikan wawasan dari data ini” tanpa keputusan di belakangnya. Hasilnya hampir selalu berupa daftar fakta yang benar tetapi tidak dipakai siapa pun. Perbaikannya adalah satu percakapan singkat tentang tindakan yang mungkin diambil, atau pada batas terburuk memilih sendiri keputusan yang paling wajar dan menuliskannya sebagai asumsi.

Kesalahan kedua adalah metrik ganda yang diam-diam dipilih ulang saat hasil keluar. Apabila durasi baca tidak naik tetapi jumlah kunjungan naik, mengubah metrik di tengah jalan adalah cara memfitnah data sendiri. Metrik dan ambang keberhasilannya dikunci sebelum data pembanding dilihat.

Kesalahan ketiga adalah metrik yang dihitung berbeda antar laporan, misalnya sekali dihitung per kunjungan dan sekali per pengunjung. Definisi metrik yang dipakai dituliskan pada setiap laporan, sekecil apa pun laporannya, dan perbedaannya disebut terbuka.

Ringkasan#

• Keputusan menjadi pertanyaan yang dapat diuji, dan pertanyaan menjadi metrik yang didefinisikan dengan tegas sebelum data besar dibuka.
• Metrik yang berguna dapat digerakkan oleh suatu tindakan dan tahan manipulasi.
• Metrik utama ditemani metrik pengawal agar keberhasilan tidak dibayar dengan kerugian yang tidak terpantau.
• Definisi metrik dituliskan pada setiap laporan sehingga angka antar laporan dapat dibandingkan.

Referensi#

• Data Science Specialization — Johns Hopkins University, Coursera — alur perumusan pertanyaan pada kursus pembuka spesialisasinya.
• User Guide — pandas documentation — perkakas yang dipakai menghitung metrik dari data.