Modul ini membahas alat untuk mengekang overfitting dan menala pelatihan. Dropout mengacaukan jaringan agar tidak bergantung pada neuron tertentu, weight decay menghukum bobot yang besar, dan jadwal learning rate mengatur ukuran langkah sepanjang pelatihan. Modul ditutup dengan strategi hyperparameter yang menyatakan parameter mana yang ditala lebih dulu dan berapa anggaran pencarian yang wajar.
Regularisasi dan Penalaan
Modul regularisasi: dropout, weight decay, jadwal learning rate, dan strategi pencarian hyperparameter.
0/0 selesai
- Dropout
Keacakan saat pelatihan sebagai bentuk regularisasi.
- Weight decay
Penalti L2 terhadap bobot dalam praktik optimizer.
- Jadwal learning rate
Jadwal step, cosine, dan warmup untuk learning rate.
- Strategi hyperparameter
Urutan penalaan yang berdampak dan anggaran pencarian yang wajar.