Di mana reinforcement learning berada

Reinforcement learning bukan satu-satunya paradigma pembelajaran mesin, dan posisinya paling jelas ketika dibandingkan dengan pembelajaran terawasi serta tanpa pengawasan. Topik ini menempatkan reinforcement learning di dalam peta pembelajaran mesin lewat tabel perbandingan tiga paradigma, menyusun ranah di mana RL lazim dipakai, dan menutup dengan pratinjau singkat RLHF sebagai contoh penerapan modern. Setelah membaca topik ini, batas antara ketiga paradigma serta ranah di mana RL paling tepat dipakai menjadi jelas.

Tiga paradigma pembelajaran mesin#

Pembelajaran mesin lazim dibagi menjadi tiga paradigma berdasarkan sumber data dan sinyal belajarnya. Pembelajaran terawasi memakai pasangan input dan label, pembelajaran tanpa pengawasan memakai input tanpa label untuk menemukan struktur, dan reinforcement learning memakai urutan interaksi beserta reward. Pembagian ini tidak kaku, sebab metode modern sering menggabungkan paradigma, tetapi pembedaan membantu memahami di mana reinforcement learning berbeda secara mendasar.

Tabel berikut merangkum ketiganya.

Perhatikan bahwa sinyal belajar pada reinforcement learning bersifat evaluatif, bukan instruktif. Label pada pembelajaran terawasi langsung menyatakan jawaban benar, sedangkan reward hanya menilai aksi yang dipilih tanpa memberi tahu apakah ada aksi lain yang lebih baik. Sifat evaluatif inilah yang memaksa agen melakukan eksplorasi, sebab agen tidak akan pernah tahu aksi terbaik bila tidak mencoba yang belum dipilih.

Bentuk datanya pun berbeda. Pembelajaran terawasi menyimpan himpunan pasangan input dan label, sedangkan reinforcement learning menyimpan urutan transisi yang masing-masing terdiri atas keadaan, aksi, reward, dan keadaan berikutnya. Potongan berikut memperlihatkan kedua bentuk data secara berdampingan.

import warnings
warnings.filterwarnings("ignore")
import numpy as np
np.random.seed(0)
# supervised: himpunan pasangan input dan label
data_label = [(np.array([0.2, -0.1]), 0), (np.array([0.5, 0.3]), 1)]
# RL: urutan transisi (state, action, reward, next_state) dari satu episode
transisi = [
    (np.array([0.2, 0.0]), 1, 1.0, np.array([0.25, 0.05])),
    (np.array([0.25, 0.05]), 0, 1.0, np.array([0.20, 0.02])),
]
print("data berlabel:")
for x, y in data_label:
    print(f"  x={np.array2string(x, precision=4)}, y={y}")
print("transisi RL:")
for s, a, r, s2 in transisi:
    print(f"  a={a}, r={r:.4f}, s_next={np.array2string(s2, precision=4)}")

data berlabel:
  x=[ 0.2 -0.1], y=0
  x=[0.5 0.3], y=1
transisi RL:
  a=1, r=1.0000, s_next=[0.25 0.05]
  a=0, r=1.0000, s_next=[0.2  0.02]

Pada pembelajaran terawasi, satu pasangan input dan label berdiri sendiri. Pada reinforcement learning, sebuah transisi hanya bermakna dalam konteks urutan, sebab reward sekarang bergantung pada keadaan yang ditentukan oleh aksi sebelumnya. Ketergantungan inilah yang menjadi akar masalah yang akan diformalkan sebagai proses keputusan Markov.

Ranah di mana reinforcement learning berdaya#

Reinforcement learning paling berdaya pada ranah di mana tiga syarat terpenuhi: keputusan berurutan, umpan balik berupa konsekuensi, dan tidak ada jawaban benar yang dapat dilabeli sebelumnya. Permainan menjadi contoh paling nyata. Pada Atari, agen belajar dari layar piksel dan skor, sedangkan pada Go, agen belajar dari posisi papan dan kemenangan atau kekalahan di akhir permainan. Kedua ranah ini menjadi tolok ukur klasik karena aturannya tertutup dan simulasi dapat dijalankan jutaan kali tanpa biaya di luar komputasi.

Robotika memakai reinforcement learning pada kendali gerak, di mana aksi berupa torsi atau sudut sendi, dan reward berupa posisi yang dicapai atau energi yang dihemat. Berbeda dengan permainan, robotika menuntut keselamatan karena aksi pada dunia fisik dapat merusak perangkat. Karena itu, pelatihan sering dimulai di simulasi sebelum dipindahkan ke perangkat nyata, sebuah proses yang dikenal sebagai sim-to-real.

Sistem rekomendasi memakai reinforcement learning untuk menyeimbangkan rekomendasi yang sudah diketahui disukai dengan eksplorasi minat baru. Aksi berupa item yang direkomendasikan, dan reward berupa klik atau durasi tonton. Di sini umpan balik sering tertunda dan bercampur dengan kebisingan, sehingga penerapan RL biasanya dilakukan dengan hati-hati dan dikombinasikan dengan metode terawasi sebagai garis dasar yang kuat.

Satu tema yang menyatukan ketiga ranah di atas adalah ketergantungan pada simulasi atau data berulang. Reinforcement learning menuntut banyak percobaan sebelum perilaku baik muncul, sebab agen harus menjelajahi aksi yang belum dicoba untuk mengetahui nilainya. Pada permainan dan robotika simulasi, percobaan ini relatif murah, tetapi pada sistem produksi langsung, biaya eksplorasi menjadi penghalang utama. Karena itu, penerapan RL di luar simulasi hampir selalu memakai pendekatan pelatihan dalam simulasi sebelum disebarkan.

RLHF sebagai jembatan modern#

RLHF, atau reinforcement learning from human feedback, menghubungkan reinforcement learning dengan preferensi manusia. Alih-alih reward berupa angka dari lingkungan, model bahasa dilatih dari perbandingan antar keluaran yang diberi penilaian manusia, lalu agen dioptimalkan terhadap model preferensi tersebut. Pendekatan ini menjadi pendorong utama penyelarasan model bahasa besar, dan akan dibahas kembali sebagai arah gerak RL pada modul penutup.

Minat terhadap RLHF menghidupkan kembali perhatian pada reinforcement learning setelah metode ini lama dianggap sulit diterapkan di luar permainan. Alasannya bukan karena RL tiba-tiba menjadi mudah, melainkan karena model bahasa menyediakan kebijakan awal yang sudah kuat, sehingga RL hanya perlu menyempurnakan, bukan membangun dari nol. Pada modul ini cukup dipahami bahwa RLHF memakai mekanisme RL inti yang sama, hanya sumber rewardnya yang berbeda.

Ringkasan#

• Tiga paradigma pembelajaran mesin dibedakan oleh sumber data dan sinyal belajarnya. Reinforcement learning bersifat evaluatif: reward menilai aksi tanpa menyatakan aksi terbaik.
• RL paling berdaya pada keputusan berurutan dengan umpan balik berupa konsekuensi: permainan, robotika, sistem rekomendasi, dan kini RLHF untuk penyelarasan model bahasa.
• RLHF mengganti reward lingkungan dengan model preferensi manusia, tetapi memakai mekanisme optimasi RL yang sama.

Referensi#

• Reinforcement Learning: An Introduction — Sutton & Barto — Bab 1.1 menempatkan reinforcement learning di antara paradigma pembelajaran mesin dan menyebut ranah permainan, robotika, serta pembelajaran dari konsekuensi.
• Spinning Up — OpenAI — Pengantar ringkas yang merangkum posisi reinforcement learning dan kategori masalah yang cocok didekati dengannya.