Siklus Hidup Proyek Data

Setiap proyek data yang sehat berjalan melalui siklus yang sama, dari pemahaman masalah sampai penerapan hasilnya, dan kerangka yang paling mapan untuk menggambarkannya adalah Cross-Industry Standard Process for Data Mining (CRISP-DM). Topik ini membedah enam fase CRISP-DM, menjelaskan mengapa siklusnya berputar dan tidak berhenti, serta memetakan fase-fase itu ke perkakas yang dipelajari sepanjang jalur ini. Setelah membacanya, sebuah proyek data tidak lagi tampak sebagai daftar tugas teknis, melainkan sebagai satu alur kerja yang dapat direncanakan dan diomunikasikan.

Enam fase CRISP-DM#

CRISP-DM menyusun pekerjaan data menjadi enam fase yang urutannya jelas tetapi tidak kaku. Diagram berikut memperlihatkan arah utama siklusnya, termasuk jalur kembali ke pemahaman bisnis yang menjadi ciri khasnya.

Urutan tersebut menjelaskan mengapa dua fase pertama mendahului kode apa pun. Pertanyaan yang keliru dirumuskan tidak dapat diselamatkan oleh model yang mahir, sedangkan kualitas data yang baru dipahami setelah pemodelan hampir selalu memaksa pekerjaan diulang dari persiapan.

Mengapa siklusnya berputar#

Penerapan bukanlah ujung pekerjaan, melainkan sumber pertanyaan baru. Hasil yang sudah dipakai menimbulkan umpan balik dari penggunanya, data baru terus masuk, dan asumsi yang tadinya wajar perlahan tidak lagi berlaku. CRISP-DM menggambar putaran tersebut secara eksplisit, yaitu panah dari evaluasi dan penerapan kembali ke pemahaman bisnis.

Putaran ini juga menjelaskan pola kegagalan yang umum. Proyek yang berhenti setelah laporan pertama membiarkan datanya menua, sehingga keputusan yang diambil tahun depan masih bersandar pada angka yang sudah tidak benar. Proyek yang sehat menetapkan jadwal pemutakhiran sejak awal, sekecil apa pun wadahnya, misalnya penyegaran bulanan yang dijalankan oleh satu skrip.

Pada praktiknya, rotasi tersebut sering lebih pendek daripada kesan diagram. Pekerjaan bolak-balik antara persiapan data dan pemodelan terjadi berkali-kali dalam seminggu, sedangkan putaran penuh dari bisnis sampai penerapan biasanya dihitung dalam bulan. Yang penting dari kerangka ini adalah posisi setiap keputusan, bukan kekakuan urutannya.

Di mana waktu benar-benar pergi#

Perkiraan yang berulang di kalangan praktisi menempatkan sebagian besar waktu pada persiapan data, bukan pada pemodelan. Pernyataan ini bukan keluhan, melainkan konsekuensi sifat data nyata yang jarang datang dalam bentuk siap pakai. Berkas dari sistem berbeda memakai penulisan nama yang berbeda, sensor yang mati meninggalkan lubang data, dan gabungan sumber menimbulkan baris yang ganda.

Konsekuensi bagi perencanaan proyek adalah anggaran waktu yang jujur. Apabila pemodelan dijadwalkan memakan separuh waktu proyek, jadwal itu hampir pasti meleset. Jadwal yang lebih sehat menempatkan akuisisi dan pembersihan sebagai pekerjaan utama, dengan pemodelan sebagai verifikasi atas pertanyaan yang sudah dirumuskan dengan baik.

Jalur ini mengikuti pembagian tersebut. Tiga modul setelah perkakas dasar diperuntukkan bagi mendapatkan data dan pembersihan, dua modul bagi eksplorasi dan visualisasi, dan pemodelan hanya mendapat satu modul ikhtisar. Pembagian ini menyerupai porsi pekerjaan nyata, bukan porsi kurikulum yang umum ditemui.

Pemetaan fase ke perkakas jalur ini#

Setiap fase CRISP-DM memiliki perkakas utamanya, dan pemetaannya terhadap modul-modul jalur ini dapat dibaca sebagai peta perjalanan. Pemahaman bisnis dan perumusan metrik dibahas pada modul berpikir data scientist. Akuisisi, pembersihan, dan penggabungan dikerjakan dengan pandas pada modul mendapatkan data dan pembersihan. Eksplorasi serta visualisasi memakai pandas, matplotlib, dan seaborn. Evaluasi statistik memakai scipy, sementara pemodelan memakai scikit-learn.

Pemetaan ini juga menjelaskan dua hal yang sengaja dibahas terpisah. SQL memiliki modul tersendiri karena sebagian besar data produksi berada di basis data, sedangkan komunikasi memiliki modul tersendiri karena laporan yang baik adalah keluaran akhir yang menentukan nilai seluruh siklus.

Kesalahan umum#

Kesalahan pertama adalah melewati fase pemahaman bisnis karena terasa tidak teknis. Akibatnya muncul model yang menyelesaikan pertanyaan yang salah, dan seluruh kerja persiapan data harus diulang ketika pertanyaan yang sebenarnya akhirnya dirumuskan.

Kesalahan kedua adalah memperlakukan siklus sebagai garis lurus. Proyek yang menolak kembali ke persiapan data setelah pemodelan gagal akan menumpuk perbaikan pada tempat yang salah, misalnya menyetel model, padahal yang belum selesai adalah pembersihan datanya.

Kesalahan ketiga adalah memisahkan penerapan dari perencanaan. Apabila bentuk keluaran akhirnya baru dipikirkan setelah analisis selesai, hasilnya kerap berbentuk laporan yang tidak menjawab kebutuhan pembacanya. Menentukan keluaran, misalnya satu halaman ringkasan atau satu dashboard, sejak fase pemahaman bisnis membuat setiap fase mengerucut ke sana.

Ringkasan#

• CRISP-DM menyusun proyek data menjadi enam fase, dari pemahaman bisnis sampai penerapan, dan siklusnya berputar ketika hasil memunculkan pertanyaan baru.
• Urutan fase melindungi proyek dari pertanyaan yang salah dan dari data yang baru dipahami setelah terlambat.
• Sebagian besar waktu nyata habis pada persiapan data, dan jadwal proyek yang jujur mengikuti proporsi tersebut.
• Setiap fase memiliki perkakas utamanya pada jalur ini, dari pandas sampai scikit-learn.

Referensi#

• What is the CRISP-DM methodology? — IBM Think — penjelasan resmi kerangka CRISP-DM beserta enam fase dari IBM.
• User Guide — pandas documentation — panduan resmi pandas untuk fase persiapan data.
• User Guide — scikit-learn documentation — panduan resmi scikit-learn untuk fase pemodelan dan evaluasi.