KAL
Menu

Ke mana reinforcement learning bergerak

RLHF dan alignment LLM, dirujuk silang dengan llm-apps.

Daftar isi

Arah gerak reinforcement learning dalam beberapa tahun terakhir bergeser dari permainan menuju penyelarasan model bahasa, yang membawa paradigma RLHF ke pusat praktik industri. Topik ini memetakan dua arah utama, yaitu RLHF sebagai penerapan RL pada model bahasa dan tantangan yang muncul bersamanya, serta peningkatan efisiensi sampel yang menjadi syarat RL berlaku pada lingkungan mahal. Pembaca akan memahami bagaimana alat-alat sepanjang jalur ini disatukan kembali dalam konteks model bahasa, dan di mana melanjutkan penjelajahan pada jalur aplikasi model bahasa.

RLHF dan penyelarasan model bahasa#

Reinforcement learning from human feedback, atau RLHF, menyelaraskan model bahasa yang sudah dilatih secara terawasi dengan preferensi manusia. Alurnya terdiri atas tiga tahap. Pertama, model bahasa dilatih terawasi pada data instruksi. Kedua, sebuah model reward dilatih dari pasangan perbandingan yang diberi anotator manusia, sehingga model reward belajar memprediksi preferensi. Ketiga, model bahasa dioptimalkan dengan PPO terhadap reward yang dipelajari, dengan penalti KL agar keluaran tidak menyimpang terlalu jauh dari model awal. Tahap ketiga inilah yang menghubungkan kembali alat-alat sepanjang jalur ini, sebab actor adalah model bahasa, critic mengestimasi nilai, dan PPO menjadi optimizernya.

Tantangan utama RLHF adalah biaya dan stabilitas. Setiap langkah pelatihan memerlukan inferensi model bahasa untuk menghasilkan keluaran, inferensi model reward untuk menilai, serta pembaruan actor dan critic yang melibatkan gradien pada model besar. Akibatnya, RLHF jauh lebih mahal daripada pelatihan terawasi, dan ketidakstabilan PPO pada model besar menjadi perhatian nyata. Metode yang lebih baru seperti DPO menghapus kebutuhan model reward dengan mengoptimalkan langsung dari pasangan preferensi, sedangkan GRPO menyederhanakan critic dengan estimasi grup. Pilihan antara metode-metode ini bergantung pada struktur data dan sumber daya yang tersedia.

Efisiensi sampel dan RL dunia nyata#

Pada permainan Atari atau Mujoco, satu episode interaksi murah sehingga agen dapat mengumpulkan jutaan transisi. Pada robotika fisik atau dialog dengan manusia, setiap interaksi mahal, sehingga efisiensi sampel menjadi penentu kelayakan. Arah riset menargetkan dua hal. Pertama, model dunia yang mempelajari dinamika lingkungan sehingga agen dapat berlatih di dalam model yang lebih murah. Kedua, transfer lintas tugas yang memungkinkan kebijakan dilatih pada satu lingkungan dan disesuaikan ke lingkungan lain dengan sedikit data.

Pendekatan lain adalah offline RL, yang mempelajari kebijakan dari dataset tetap tanpa interaksi baru. Offline RL menjanjikan efisiensi tinggi karena memakai ulang data yang sudah ada, namun menghadapi tantangan distribusi, sebab kebijakan yang dipelajari dapat mengevaluasi aksi yang tidak pernah muncul dalam data. Konservatisme dalam estimasi nilai menjadi kunci agar kebijakan tidak terlalu optimis pada aksi yang tidak diketahui. Arah-arah ini menunjukkan bahwa RL bergerak dari perolehan data yang melimpah menuju pemanfaatan data yang langka, yang merupakan kondisi yang lebih dekat dengan penerapan nyata.

Lanjutan pada jalur aplikasi model bahasa#

Topik ini berhenti pada tingkat konsep karena penerapan RLHF penuh memerlukan model bahasa berukuran besar yang tidak dapat dilatih di sandbox. Pembaca yang ingin melanjutkan ke penyelarasan model bahasa, fine-tuning terawasi sebelum RLHF, dan inferensi model bahasa dapat melanjutkan ke jalur aplikasi model bahasa, yang membahas fondasi LLM secara terpisah. Pengetahuan tentang gradien kebijakan, advantage, dan PPO dari jalur ini menjadi prasyarat yang berguna, sebab konsep-konsep tersebut muncul kembali dalam bentuk yang disesuaikan untuk model bahasa.

Keterhubungan dua jalur ini bukan kebetulan. RLHF pada dasarnya adalah actor-critic dengan model bahasa sebagai actor, sehingga pemahaman tentang dekomposisi actor-critic, advantage satu langkah, dan stabilisasi melalui PPO menjadi modal langsung. Topik ini menutup jalur dengan menegaskan bahwa RL bukan disiplin tertutup, melainkan terus berkembang menyesuaikan konteks penerapannya, dan alat-alat dasar yang dipelajari sepanjang jalur tetap menjadi fondasi yang relevan.

Kesalahan umum#

Menganggap RLHF menggantikan pelatihan terawasi. Penyebabnya, RLHF dipandang sebagai metode pelatihan utama model bahasa. Akibatnya, tahap pelatihan terawasi yang menjadi dasar model diabaikan, sehingga RLHF dimulai dari model yang belum mampu mengikuti instruksi. Perbaikannya, latih model terlebih dahulu secara terawasi pada data instruksi, lalu terapkan RLHF sebagai penyelarasan tambahan.

Mengabaikan penalti KL pada RLHF. Penyebabnya, penalti KL dianggap opsional sehingga model bebas bergeser jauh dari model awal. Akibatnya, keluaran model menjadi tidak konsisten atau halusinatif karena terlalu mengoptimalkan reward yang sempit. Perbaikannya, pertahankan penalti KL yang memaksa keluaran tetap dekat dengan distribusi model awal, sebab stabilitas model bahasa bergantung pada penalti KL tersebut.

Ringkasan#

  • RLHF menyelaraskan model bahasa dalam tiga tahap, yaitu pelatihan terawasi, pelatihan model reward dari preferensi manusia, dan optimasi model bahasa dengan PPO terhadap reward yang dipelajari.
  • Tantangan RLHF adalah biaya inferensi model besar dan ketidakstabilan PPO, yang mendorong metode alternatif seperti DPO dan GRPO.
  • Arah lain RL menargetkan efisiensi sampel melalui model dunia, transfer lintas tugas, dan offline RL, sebab interaksi pada lingkungan nyata mahal dan data langka.

Referensi#