Pengenalan PPO

PPO, atau Proximal Policy Optimization, adalah algoritma gradien kebijakan yang membatasi besarnya pembaruan per langkah sehingga pelatihan menjadi lebih stabil tanpa memerlukan optimasi kuadratik yang mahal. Topik ini memperkenalkan PPO pada tingkat konsep, menjelaskan rasio probabilitas yang menjadi intinya, lalu membandingkan mekanisme pemotongan clipped surrogate objective dengan pendekatan TRPO yang lebih awal. Pembaca tidak akan menjalankan PPO penuh di sini, sebab pelatihannya mahal dan menjadi inti topik kampanye pelatihan, namun akan memahami mengapa PPO menjadi pilihan andalan industri.

Rasio probabilitas sebagai inti#

PPO memperbarui kebijakan dengan gradien kebijakan, namun membatasi seberapa jauh kebijakan baru boleh berbeda dari kebijakan lama. Ukuran perbedaan tersebut dinyatakan melalui rasio probabilitas

dengan $\pi_{\theta_\text{lama}}$ kebijakan yang menghasilkan data dan $\pi_\theta$ kebijakan yang sedang dioptimalkan. Rasio satu berarti kebijakan baru identik dengan yang lama pada pasangan $(s_t,a_t)$, sedangkan rasio jauh dari satu berarti kebijakan telah bergeser signifikan. Membatasi rasio inilah yang menjaga pembaruan tetap dekat dengan data, sehingga pelatihan tidak melompat terlalu jauh dari perilaku yang diketahui baik.

Pendekatan terdahulu, TRPO, membatasi pergeseran kebijakan melalui batasan kepercayaan (trust region) formal yang diselesaikan dengan optimasi kuadratik pada setiap langkah. TRPO stabil namun mahal secara komputasi, sebab setiap pembaruan memerlukan inversi matriks Fisher. PPO mengganti batasan formal dengan pemotongan langsung pada objective yang disebut clipped surrogate objective, sehingga optimasi menjadi SGD biasa. Pertukarannya adalah jaminan teoretis TRPO diganti dengan heuristik pemotongan yang lebih murah dan dalam praktik cukup andal.

Clipped surrogate objective#

Objective PPO memaksimalkan minimum dari dua bentuk,

dengan $A_t$ advantage yang biasanya diestimasi oleh critic seperti pada actor-critic. Bentuk pertama adalah objective gradien kebijakan biasa yang dibobot advantage. Bentuk kedua memotong rasio ke dalam rentang $[1-\epsilon, 1+\epsilon]$, dengan $\epsilon$ kecil, biasanya 0,2. Mengambil minimum dari keduanya berarti pembaruan dihentikan ketika rasio keluar dari rentang yang diizinkan, sehingga kebijakan baru tidak boleh bergeser terlalu jauh dari yang lama.

Mekanisme pemotongan ini bersifat asimetris secara praktis. Ketika advantage positif, pemotongan atas pada $1+\epsilon$ mencegah kebijakan terlalu sering memilih aksi yang baik. Ketika advantage negatif, pemotongan bawah pada $1-\epsilon$ mencegah kebijakan terlalu jarang memilih aksi yang buruk. Dalam kedua kasus, tujuannya sama, yaitu menjaga rasio tetap dekat satu, sehingga kebijakan baru tidak menyimpang terlalu jauh dari data yang dihasilkannya. Karena optimasi hanya berupa SGD, PPO dapat diskalakan ke lingkungan besar dan model besar, yang menjadi alasan utamanya menjadi pilihan andalan industri.

PPO dalam praktik#

PPO jarang dijalankan murni dengan clipped surrogate objective saja. Sebagian besar implementasi menambahkan entropi untuk menjaga eksplorasi, value function clipping untuk menstabilkan critic, dan normalisasi advantage agar skala tetap konsisten. Pelatihan biasanya dilakukan dalam beberapa epoch per batch data, dengan rasio dipantau agar tidak melebihi ambang batas yang ditetapkan. Karena PPO bersifat on-policy, data lama tidak dapat dipakai ulang seperti pada DQN, sehingga pengumpulan data yang paralel menjadi faktor penting pada skala besar.

Pada level produksi, PPO dipakai untuk melatih kebijakan robotika, kontrol game kompleks, dan penyelarasan model bahasa melalui RLHF. Pemilihannya bukan karena PPO unggul secara teoretis, melainkan karena keseimbangan antara stabilitas, biaya komputasi, dan kemudahan penyetelan. Algoritma yang lebih baru seperti SAC atau GRPO menawarkan keunggulan pada kasus tertentu, namun PPO tetap menjadi titik awal yang lazim karena perilakunya yang dapat diprediksi di berbagai lingkungan.

Kesalahan umum#

Mengabaikan batas rasio selama pelatihan. Penyebabnya, pemotongan dipasang namun tidak dipantau sehingga rasio sering melebihi $1+\epsilon$. Akibatnya, manfaat stabilitas PPO hilang dan pelatihan dapat menjadi tidak stabil seperti gradien kebijakan tanpa batas. Perbaikannya, catat statistik rasio pada setiap epoch dan hentikan pembaruan lebih awal bila rasio rata-rata mendekati ambang batas.

Memakai terlalu banyak epoch per batch. Penyebabnya, data mahal sehingga ingin dimanfaatkan sebanyak mungkin dengan beberapa epoch. Akibatnya, kebijakan bergeser terlalu jauh dari data yang dihasilkannya, melanggar asumsi on-policy. Perbaikannya, batasi jumlah epoch, biasanya tiga hingga sepuluh, dan pantau rasio untuk menghentikan lebih awal bila perlu.

Ringkasan#

• PPO membatasi pergeseran kebijakan melalui rasio probabilitas $r_t(\theta)=\pi_\theta(a_t\mid s_t)/\pi_{\theta_\text{lama}}(a_t\mid s_t)$, mengganti batasan formal TRPO dengan pemotongan yang lebih murah.
• Clipped surrogate objective memaksimalkan $\min(r_t A_t, \text{clip}(r_t, 1-\epsilon, 1+\epsilon) A_t)$ dengan $\epsilon$ kecil, sehingga pembaruan berhenti ketika rasio keluar dari rentang yang diizinkan.
• PPO menjadi pilihan andalan industri karena keseimbangan stabilitas, biaya komputasi, dan kemudahan penyetelan, bukan karena keunggulan teoretis.

Referensi#

• Proximal Policy Optimization Algorithms — Schulman et al. 2017 — Makalah PPO yang memperkenalkan clipped surrogate objective.
• Trust Region Policy Optimization — Schulman et al. 2015 — Makalah TRPO yang menjadi dasar batasan kepercayaan yang PPO sederhanakan.