KAL
Menu

Data Dan AI

Reinforcement Learning

Jalur reinforcement learning dari pembingkaian masalah dan MDP hingga bandit, TD, DQN, gradien kebijakan, dan PPO, dengan agen yang benar-benar dilatih di Gymnasium dan PyTorch.

Jalur ini menelusuri reinforcement learning dari pembingkaian masalah hingga metode modern yang dipakai industri, dengan agen yang benar-benar dilatih di Gymnasium dan PyTorch pada setiap topik. Sembilan modul menyusun urutan bertumpuk: siklus agen-lingkungan dan MDP, lalu bandit, pemrograman dinamis, temporal-difference, aproksimasi fungsi dengan DQN, gradien kebijakan, dan ditutup oleh PPO serta kampanye pelatihan. Setiap potongan kode dapat dieksekusi di sandbox dan keluarannya ditempelkan apa adanya, sehingga pembaca memverifikasi sendiri perilaku tiap algoritma.

Mengenal Reinforcement Learning 4 pelajaran

Modul pembuka: apa itu reinforcement learning, posisinya di dalam pembelajaran mesin, prasyarat yang diasumsikan, dan penyiapan lingkungan Gymnasium serta PyTorch.

  1. Apa itu reinforcement learning ?Pembelajaran dari interaksi dan reward, bukan dari data berlabel.
  2. Di mana reinforcement learning beradaPerbandingan dengan ML terawasi serta ranah permainan, robotika, sistem rekomendasi, dan RLHF.
  3. Peta prasyaratFondasi machine-learning dan deep-learning yang diasumsikan serta petunjuk matematika.
  4. Penyiapan lingkunganInstalasi Gymnasium dan PyTorch lalu uji asap dengan agen acak.
Siklus agen-lingkungan 4 pelajaran

Siklus inti mengamati-bertindak-menerima reward, beserta state, observasi, aksi, dan return yang menyusunnya.

  1. Siklus agen-lingkunganMengamati, bertindak, mengumpulkan reward, dan mengamati kembali sebagai siklus inti.
  2. State dan observasiObservabilitas penuh versus parsial dan apa yang sebenarnya dilihat agen.
  3. Aksi dan ruang aksiAksi diskret versus kontinu dan di antaranya apa yang dipilih kebijakan.
  4. Reward dan returnHipotesis reward serta tugas episodik versus berkelanjutan.
Proses keputusan Markov 4 pelajaran

Properti Markov, anatomi MDP, kebijakan, dan fungsi nilai sebagai bahasa formal reinforcement learning.

  1. Properti MarkovKapan masa kini meringkas masa lalu dan kapan properti ini menyesatkan.
  2. Anatomi MDPState, aksi, dinamika, reward, dan faktor diskon gamma.
  3. KebijakanKebijakan deterministik dan stokastik sebagai objek yang dipelajari RL.
  4. Fungsi nilaiV(s) dan Q(s,a) sebagai nilai dari perilaku yang baik.
Bandit 4 pelajaran

Reinforcement learning dengan satu state: eksplorasi versus eksploitasi, epsilon-greedy, dan eksplorasi yang lebih cerdas.

  1. Bandit multi-lenganSatu state dan pilihan berulang, RL dengan bagian yang bergerak ditiadakan.
  2. Eksplorasi vs eksploitasiDilema yang mendefinisikan seluruh bidang reinforcement learning.
  3. Epsilon-greedyStrategi dasar yang menjadi titik awal semua orang.
  4. Eksplorasi yang lebih cerdasPeluruhan epsilon, inisialisasi optimistis, dan UCB sebatas pengenalan.
Pengenalan pemrograman dinamis 3 pelajaran

Persamaan Bellman, evaluasi dan perbaikan kebijakan, serta iterasi nilai dan kebijakan ketika model diketahui sepenuhnya.

  1. Persamaan BellmanRekursi yang dipenuhi fungsi nilai.
  2. Evaluasi dan perbaikan kebijakanKedua operator tersebut dan cara keduanya tersusun menjadi iterasi.
  3. Iterasi nilai dan kebijakanKonvergen menuju optimal ketika model diketahui sepenuhnya.
Pembelajaran temporal-difference 4 pelajaran

Pembelajaran tanpa model, pembaruan TD, Q-learning, dan SARSA dengan bootstrap dari sampel pengalaman.

  1. Pembelajaran tanpa modelDari dinamika yang diketahui menuju sampel pengalaman.
  2. Pembaruan TDBootstrapping estimasi nilai dari satu langkah tunggal.
  3. Q-learningMetode tabular off-policy yang menjadi tulang punggung, aturan pembaruan demi aturan pembaruan.
  4. SARSAPembelajaran on-policy dan kontrasnya pada kasus cliff-walking.
Aproksimasi fungsi dan DQN 5 pelajaran

Kelemahan tabel pada ruang state nyata, fungsi nilai aproksimasi, DQN, peran replay dan target network, serta penyempurnaan DQN.

  1. Mengapa tabel gagalRuang state nyata dan kutukan dimensionalitas.
  2. Fungsi nilai aproksimasiGeneralisasi antar-state dengan fitur dan jaringan.
  3. DQNQ-network, replay buffer, dan target network.
  4. Mengapa replay dan target network adaTriad instabilitas pada Q-learning nonlinear, pada tingkat pengenalan.
  5. Penyempurnaan DQNDouble DQN dan dueling head, beserta keterbatasannya.
Gradien kebijakan 4 pelajaran

Pembelajaran kebijakan secara langsung, REINFORCE, reduksi varians dengan rewards-to-go dan baseline, serta actor-critic.

  1. Pembelajaran kebijakan secara langsungTanpa perantara Q-table, parameter menunjuk langsung ke aksi.
  2. REINFORCEGradien kebijakan Monte Carlo, diturunkan secara ringan.
  3. Reduksi variansRewards-to-go, baseline, dan gagasan advantage.
  4. Actor-criticActor ditambah critic dan kompromi praktisnya.
RL modern dan pengerjaan proyek 3 pelajaran

Pengenalan PPO, arah gerak RL termasuk RLHF, serta kampanye pelatihan dengan seed, kurva pembelajaran, dan analisis kegagalan.

  1. Pengenalan PPOPembaruan kebijakan terpotong sebagai metode andalan industri, pada tingkat konsep.
  2. Ke mana reinforcement learning bergerakRLHF dan alignment LLM, dirujuk silang dengan llm-apps.
  3. Kampanye pelatihanSeed, kurva pembelajaran, protokol evaluasi, dan analisis kegagalan.