Modul ini membahas agen yang belajar tanpa mengetahui dinamika lingkungan, melainkan hanya dari sampel pengalaman berupa transisi state, aksi, dan reward. Pembelajaran temporal-difference memperkenalkan bootstrapping, yaitu memperbarui estimasi nilai berdasarkan estimasi nilai berikutnya yang belum sepenuhnya akurat, sehingga belajar bisa dilakukan dari satu langkah tunggal. Dua algoritma tabular yang menjadi tulang punggung pendekatan ini, yaitu Q-learning yang bersifat off-policy dan SARSA yang bersifat on-policy, dijelaskan berdampingan beserta kontrasnya pada kasus cliff-walking. Setelah modul ini, pembaca memperoleh fondasi algoritmik yang dipakai seluruh metode pembelajaran tanpa model pada modul-modul berikutnya.
Pembelajaran temporal-difference
Pembelajaran tanpa model, pembaruan TD, Q-learning, dan SARSA dengan bootstrap dari sampel pengalaman.
0/0 selesai
- Pembelajaran tanpa model
Dari dinamika yang diketahui menuju sampel pengalaman.
- Pembaruan TD
Bootstrapping estimasi nilai dari satu langkah tunggal.
- Q-learning
Metode tabular off-policy yang menjadi tulang punggung, aturan pembaruan demi aturan pembaruan.
- SARSA
Pembelajaran on-policy dan kontrasnya pada kasus cliff-walking.