Reinforcement learning melatih agen mengambil keputusan berurutan dari umpan balik berupa reward, bukan dari label yang tersedia di awal. Section ini membahas kerangka MDP, keluarga metode berbasis value dan policy, serta bagaimana neural network memperluas keduanya ke ruang state yang besar.

# Dasar Reinforcement Learning

Kenali paradigma belajar dari interaksi: agent mengambil aksi, environment membalas state dan reward tanpa label, lalu ukur performa agen acak pada GridWorld 1D mini sebagai titik nol.

Buka → # Agent, Environment, dan Reward

Bedah anatomi loop agent-environment langkah demi langkah, bedakan observasi dari state serta reward sparse dari dense, lalu buktikan pada dunia lumpur 2x4 bahwa dua desain reward menghasilkan kebijakan optimal yang berlawanan arah.

Buka → # Markov Decision Process

Formalkan dunia dan reward ke dalam lima komponen MDP, pahami Markov property dan return diskonto gamma=0.9, lalu hitung kebijakan optimal dengan value iteration NumPy yang konvergen dalam empat iterasi.

Buka → # Value Function

Bedakan V(s) dari Q(s,a), baca kebijakan greedy langsung dari tabel Q, lalu latih Q-learning tabular pada GridWorld 4x4 hingga Q konvergen dan jalur optimal enam langkah muncul dari tabel.

Buka → # Policy Gradient

Ubah kebijakan menjadi distribusi softmax yang dapat dibediferensiasi, pahami rumus REINFORCE log-prob dikali return beserta masalah variansnya, lalu latih REINFORCE mini berbasis PyTorch hingga reward naik dari 0.02 ke 0.40.

Buka → # Deep Q-Network

Ganti tabel Q yang runtuh di ruang state besar dengan jaringan Q, atasi korelasi data dan target berpindah lewat replay buffer serta target network, lalu latih DQN mini PyTorch hingga reward naik dari -1.35 ke +0.73.

Buka → # Actor-Critic

Gabungkan jaringan kebijakan dan jaringan nilai dalam satu arsitektur, ganti return episode REINFORCE dengan keunggulan TD yang variansnya rendah, lalu buktikan critic menaksir V(0) tepat 0.29 pada dunia 1D.

Buka → # Exploration vs Exploitation

Pahami dilema mencoba aksi baru lawan memakai aksi terbaik yang diketahui, bandingkan epsilon-greedy tetap, epsilon meluruh, dan inisialisasi optimistik, lalu lihat empat strategi menghasilkan kurva belajar yang berbeda di GridWorld 4x4.

Buka → # Evaluasi Reinforcement Learning

Ukur agen dengan mean return, success rate, dan sample efficiency, pisahkan evaluasi greedy dari return training, tunjukkan variansi antar seed dengan lima pelatihan, lalu rapikan kurva belajar dengan rata-rata bergerak.

Buka →