Pemilihan masalah menentukan arah, ukuran keberhasilan, dan biaya seluruh proyek deep learning, dan keputusan yang salah pada tahap ini tidak dapat diperbaiki oleh pelatihan yang baik. Topik ini menetapkan kriteria kelayakan yang dapat dihitung, membahas pemilihan data dan definisi targetnya, dan menutup dengan pemilihan metrik yang menyatukan seluruh keputusan. Setelah selesai, sebuah proyek masuk ke tahap kampanye pelatihan dengan batas keberhasilan yang tertulis.
Kriteria kelayakan yang dapat dihitung#
Empat kriteria menentukan kelayakan masalah, dan semuanya dapat dinilai sebelum kode pelatihan pertama ditulis. Pertama, nilai bisnis atau ilmiahnya, yaitu keputusan yang akan dibantu prediksinya harus jelas, karena model yang akurat tanpa pemanfaat hanyalah beban pemeliharaan. Kedua, ketersediaan data, yaitu contoh berlabel yang cukup untuk tugasnya, dengan acuan kasar pelatihan dari nol menuntut ribuan contoh per kelas dan paradigma pretraining menurunkannya jauh. Ketiga, kesederhanaan definisi target, karena target yang subjektif seperti kualitas tulisan membutuhkan anotasi ganda dan kesepakatan antar anotatornya. Keempat, biaya kesalahan yang asimetris, karena tugas yang salah satu kesalahannya mahal menuntut ambang keputusan yang dirancang, bukan sekadar argmax.
Kelayakan yang paling sering tersalahkan adalah yang kedua dan ketiga, dan keduanya dapat dihitung lebih awal. Tabel berikut merangkum estimasi kebutuhan data menurut strategi pelatihan yang dipelajari pada modul Transfer learning, dan angkanya menjadi alat perhitungan cepat sebelum komitmen dibuat.
| Strategi pelatihan | Kebutuhan data per kelas | Biaya anotasi |
|---|---|---|
| Pretraining dari nol | Puluhan ribu contoh | Paling mahal |
| Fine-tuning penuh | Ratusan hingga ribuan contoh | Menengah |
| Head saja pada pretrained | Belasan hingga ratusan contoh | Paling murah |
Angka pada tabel adalah titik awal yang menuntut konfirmasi lewat baseline, dan itulah alasan topik Kampanye pelatihan menyisipkan baseline sebelum penalaan apa pun. Yang tidak boleh diputuskan dari tabel ini adalah jawaban sebelum data pertama diperiksa, karena kualitas label sering berbeda dari dugaan pemilik datanya.
Pemilihan data dan definisi target#
Data yang dipilih harus mewakili keadaan nyata yang akan dihadapi model, dan dua jebakan yang paling umum muncul saat pemilihan. Jebakan pertama adalah kemudahan pengumpulan yang mengalahkan kewakilan, misalnya memakai citra dari satu sumber karena mudah diunduh, padahal data produksinya berasal dari sumber lain, dan gejalanya adalah pergeseran distribusi yang dibahas pada topik Mode kegagalan. Jebakan kedua adalah target yang diwarisi tanpa dipertanyakan, misalnya label penilaian manusia yang terbawa dari proses lama beserta biasnya, sebagaimana dipelajari pada topik Etika dan keamanan.
Definisi target yang baik menetapkan tiga hal secara tertulis, yaitu kelas yang saling lepas, aturan penanganan kasus batas, dan prosedur penanganan ketidaksepakatan anotator. Prosedur pembagian train, validation, dan test dari modul Disiplin pelatihan diterapkan sejak data terkumpul, termasuk pembagian kronologis untuk data berurutan, dan ukuran test yang direservasi ditetapkan sebelum eksperimen pertama agar kejujurannya tidak tergoda.
Memilih metrik yang menyatukan keputusan#
Metrik yang dipilih menentukan arah penalaan, dan pilihannya mengikuti biaya kesalahan yang sudah dinilai pada kriteria kelayakan. Akurasi memadai bila kelasnya seimbang dan biaya kesalahannya simetris, presisi dan recall menjadi pasangan wajib bila salah satu jenis kesalahan jauh lebih mahal, dan F1 menggabungkan keduanya bila ketimpangan kelas membuat akurasi menyesatkan. Tugas dengan ambang keputusan menuntut kurva yang memetakan seluruh ambang, bukan satu titik, dan perinciannya dipelajari pada topik Evaluasi dan laporan.
Satu pertanyaan yang menuntun pemilihan metrik adalah pertanyaan yang akan dijawab manajemen atau penerima manfaat, dan jawabannya jarang berupa akurasi. Jawabannya berbentuk berapa banyak kasus penting yang tertangkap pada tinggalan waktu yang tersedia, atau berapa kerugian yang dihindari per seribu keputusan, dan menerjemahkan metrik teknis ke bentuk itu sejak awal menjaga proyek tetap berpihak pada kegunaannya.
Dokumen satu halaman sebelum melatih#
Seluruh keputusan tahap ini dirangkum dalam satu dokumen yang ditulis sebelum pelatihan, dan isinya tujuh baris yang ditetapkan. Masalah yang dijawabnya, keputusan yang dibantu prediksinya, sumber data dan cara pengumpulannya, definisi target dan aturan anotasinya, pembagian data beserta ukuran testnya, metrik keberhasilan beserta ambangnya, dan strategi pelatihan awal berdasarkan tabel kelayakan. Dokumen ini menjadi kontrak yang menahan pergeseran sasaran di tengah jalan, dan perubahannya dicatat dengan alasan, sejalan dengan kaidah pelacakan eksperimen.
Proyek visi dan bahasa memakai dokumen yang sama dengan isian berbeda, karena kriteria kelayakannya identik. Contoh nyatanya adalah klasifikasi keluhan berbahasa Indonesia yang datanya tersedia dari tiket layanan, targetnya tiga kategori yang saling lepas, dan metrik keberhasilannya recall minimal pada kategori yang paling merugikan bila terlewat.
Ringkasan#
- Kelayakan masalah dinilai dari nilai keputusannya, ketersediaan data, ketegasan target, dan biaya kesalahan yang asimetris.
- Kebutuhan data mengikuti strategi pelatihan, dan pretraining menurunkannya dari puluhan ribu menjadi belasan contoh per kelas.
- Data dipilih berdasarkan kewakilan terhadap keadaan produksi, dan targetnya didefinisikan tertulis dengan aturan kasus batas serta anotator.
- Metrik mengikuti biaya kesalahan, diterjemahkan ke bahasa penerima manfaat, dan seluruh keputusan dirangkum dalam dokumen satu halaman sebelum melatih.
Referensi#
- Rules of Machine Learning — Google Developers — Panduan Martin Zinkevich yang menekankan masalah dan data sebelum model.
- Data Quality Fundamentals — Dive into Deep Learning — Bab generalisasi yang mengikat kualitas data ke kinerja.
- A Recipe for Training Neural Networks — Andrej Karpathy — Langkah awal resep yang menetapkan kejelasan data dan target sebelum pelatihan.