Modul ini mengasumsikan bahwa dinamika lingkungan diketahui sepenuhnya, sehingga perhitungan nilai dapat dilakukan tanpa berinteraksi dengan lingkungan. Tiga topik di dalamnya menyusun jalan yang berurutan: persamaan Bellman sebagai rekursi yang dipenuhi fungsi nilai, lalu operator evaluasi dan perbaikan kebijakan, dan diakhiri iterasi nilai serta kebijakan yang konvergen menuju kebijakan optimal. Setiap topik menjalankan backup Bellman pada gridworld mini agar sifat rekursif dan penyebaran informasi antar-state dapat dilihat secara konkret.
Pengenalan pemrograman dinamis
Persamaan Bellman, evaluasi dan perbaikan kebijakan, serta iterasi nilai dan kebijakan ketika model diketahui sepenuhnya.
0/0 selesai
- Persamaan Bellman
Rekursi yang dipenuhi fungsi nilai.
- Evaluasi dan perbaikan kebijakan
Kedua operator tersebut dan cara keduanya tersusun menjadi iterasi.
- Iterasi nilai dan kebijakan
Konvergen menuju optimal ketika model diketahui sepenuhnya.