Modul ini berpindah dari mempelajari fungsi nilai ke mempelajari kebijakan secara langsung, yaitu memparametrisasi dan menaikkan probabilitas aksi yang menghasilkan return tinggi melalui gradient ascent. REINFORCE menjadi titik mula sebagai metode Monte Carlo tanpa bootstrap, lalu varians REINFORCE ditekan melalui rewards-to-go dan baseline yang memunculkan gagasan advantage. Perjumpaan antara estimator gradien dan bootstrapping diberi bentuk konkret pada actor-critic, sehingga perbedaan antara varians rendah dan bias akibat pembaruan satu langkah dapat diamati langsung pada kode.
Gradien kebijakan
Pembelajaran kebijakan secara langsung, REINFORCE, reduksi varians dengan rewards-to-go dan baseline, serta actor-critic.
0/0 selesai
- Pembelajaran kebijakan secara langsung
Tanpa perantara Q-table, parameter menunjuk langsung ke aksi.
- REINFORCE
Gradien kebijakan Monte Carlo, diturunkan secara ringan.
- Reduksi varians
Rewards-to-go, baseline, dan gagasan advantage.
- Actor-critic
Actor ditambah critic dan kompromi praktisnya.