Modul ini memetakan jalan dari tabel Q menuju DQN. Pembaca akan melihat mengapa representasi tabular tidak dapat diterapkan pada ruang state kontinu, bagaimana function approximation menggantikan tabel dengan parameter yang dibagi lintas state, lalu bagaimana DQN menyatukan Q-network, replay buffer, dan target network menjadi satu algoritma yang stabil pada lingkungan Gymnasium. Modul ditutup dengan dua penyempurnaan, yaitu Double DQN dan dueling head, beserta keterbatasannya. Seluruh contoh dijalankan pada CPU dengan jaringan kecil dan seed penuh agar keluarannya dapat direproduksi.
Aproksimasi fungsi dan DQN
Kelemahan tabel pada ruang state nyata, fungsi nilai aproksimasi, DQN, peran replay dan target network, serta penyempurnaan DQN.
0/0 selesai
- Mengapa tabel gagal
Ruang state nyata dan kutukan dimensionalitas.
- Fungsi nilai aproksimasi
Generalisasi antar-state dengan fitur dan jaringan.
- DQN
Q-network, replay buffer, dan target network.
- Mengapa replay dan target network ada
Triad instabilitas pada Q-learning nonlinear, pada tingkat pengenalan.
- Penyempurnaan DQN
Double DQN dan dueling head, beserta keterbatasannya.