KAL
Menu

Peta lanskap LLM

Model bergaya GPT, prompting versus pelatihan, dan batasannya.

Daftar isi

Model bahasa besar, yang disingkat LLM dari large language model, adalah transformer decoder yang dilatih memprediksi token berikutnya pada korpus masif, dan keluarga modelnya berkembang dari GPT hingga model terbuka berukuran beragam. Topik ini menjelaskan resep arsitekturnya, memetakan lanskap model beserta ukuran parameternya, dan menetapkan urutan keputusan antara prompting, fine-tuning, dan melatih dari nol. Setelah selesai, perbedaan keluarga model dan pilihan cara memakainya berdiri di atas struktur yang sama dengan modul ini.

Resep arsitektur decoder#

LLM pada dasarnya adalah blok transformer dari topik Blok transformer yang diulang banyak kali, dengan tiga keputusan tambahan yang menandainya sebagai decoder generatif. Pertama, self-attention-nya bertopeng kausalitas agar prediksi token berikutnya tidak mencuri lihat masa depan. Kedua, tujuan pelatihannya adalah prediksi token berikutnya (next-token prediction), yaitu cross-entropy yang dihitung di seluruh posisi sekaligus sehingga satu sekuens menghasilkan sejumlah sinyal pembelajaran. Ketiga, keluarannya adalah distribusi peluang atas kosakata di setiap posisi, dan generasi berjalan dengan sampling dari distribusi itu.

Pelatihan berjalan paralel penuh karena seluruh posisi memprediksi token berikutnya secara bersamaan, dan inilah keunggulan struktural yang membuat skala pelatihan korpus terabita layak dijalankan. Ukuran model yang dilaporkan pada lanskap biasanya menghitung parameter blok-blok ini ditambah embedding-nya, dan rumus perkiraannya dibawa dari topik Blok transformer, yaitu sekitar 12dmodel2 12 d_{\text{model}}^2 per blok ditambah tabel embedding.

Memetakan lanskap dengan angka#

Perbedaan antar model pada satu keluarga sering berupa dua bilangan, yaitu jumlah blok dan dimensi model, dan tabel berikut menghitung ulang parameternya dengan rumus di atas untuk beberapa ukuran yang terdokumentasi.

python Contoh: perkiraan parameter model bergaya GPT dari ukuran blok 
def perkiraan_parameter(n_layer, d_model, vocab):
    blok = 12 * d_model * d_model
    embedding = vocab * d_model + panjang_posisi * d_model
    return n_layer * blok + embedding

panjang_posisi = 1024
model = [("GPT-2 kecil", 12, 768, 50257),
         ("GPT-2 medium", 24, 1024, 50257),
         ("GPT-2 besar", 36, 1280, 50257)]
for nama, n_layer, d_model, vocab in model:
    n = perkiraan_parameter(n_layer, d_model, vocab)
    print(f"{nama:14s}: ~{n / 1e6:.0f} juta parameter")
text Keluaran 
GPT-2 kecil   : ~124 juta parameter
GPT-2 medium  : ~355 juta parameter
GPT-2 besar   : ~773 juta parameter

Perkiraan GPT-2 kecil yang mendekati 124 juta parameter cocok dengan angka yang dilaporkan resminya, dan selisih kecilnya berasal dari detail normalisasi serta bias yang tidak termasuk rumus kasar. Dua pola penting terbaca dari tabel. Parameter tumbuh kuadratik terhadap dimensi model, sehingga melipatgandakan dimensi melipatempatkan parameternya, dan embedding menyumbang porsi yang tidak dapat diabaikan pada model kecil karena kosakatanya besar.

Lanskap yang lebih luas di luar satu keluarga dapat dipetakan ke tiga kelompok besar. Model tertutup yang hanya diakses lewat API menyembunyikan bobotnya, model terbuka yang bobotnya dapat diunduh mendominasi ekosistem riset dan on-premise, dan model terbuka kecil yang muat di satu GPU menjadi pilihan fine-tuning. Pemilihan di antara ketiganya menyangkut biaya, kendali data, dan kebutuhan penyesuaian, dan keseimbangannya berbeda pada setiap proyek.

Prompting versus pelatihan#

Urutan keputusan memakai LLM dimulai dari opsi yang paling murah. Prompting menyampaikan tugas lewat teks pada konteks tanpa menyentuh bobot sama sekali, dan kemampuan in-context learning-nya menyelesaikan banyak tugas tanpa satu langkah pelatihan. Keterbatasannya juga jelas, yaitu konteks yang terbatas, kinerja yang bergantung pada penulisan prompt, dan tidak ada jaminan konsistensi pada tugas domain yang sangat khusus.

Fine-tuning menyusul bila prompting tidak cukup, dengan pilihan strategi dari topik Fine-tuning yang berlaku persis, mulai dari melatih head hingga membuka seluruh model, plus keluarga metode hemat parameter seperti LoRA yang menyesuaikan matriks peringkat rendah alih-alih seluruh bobot. Melatih dari nol adalah opsi terakhir yang biayanya hanya masuk akal untuk penyedia besar atau domain yang benar-benar baru, dan kaidah kerjanya tetap sama dengan paradigma pretraining, yaitu jangan melatih dari nol bila bobot yang dekat sudah tersedia.

Tiga pertimbangan melengkapi urutan itu. Evaluasi LLM lebih sulit daripada klasifikasi karena keluarannya bebas, sehingga set perbandingan yang jujur disiapkan sejak awal. Biaya inference berulang setiap hari sering lebih menentukan daripada biaya sekali pelatihan, sehingga model kecil yang cukup baik memenangkan keputusan bisnis. Terakhir, model yang dibangun untuk generasi tetap bisa diukur, dan metrik jujurnya mengikuti kaidah modul Pengerjaan proyek, bukan kesan pembacaan.

Batas yang perlu diketahui#

Lanskap ini bergerak cepat dan nomor-versinya basi dalam hitungan bulan, sehingga yang layak dibawa dari modul ini adalah strukturnya, bukan daftar nama terbarunya. Struktur itu terdiri atas arsitektur decoder berlapis blok, tujuan prediksi token berikutnya, dan urutan keputusan prompting, fine-tuning, lalu pelatihan dari nol. Halusinasi, yaitu keluaran yang lancar tetapi salah, adalah mode kegagalan bawaan tujuan pelatihannya yang menghukum bentuk keluaran dan bukan kebenarannya, dan mitigasinya berupa grounding pada sumber eksternal dibahas pada modul Production dan etika.

Ringkasan#

  • LLM adalah transformer decoder bertopeng kausalitas yang dilatih prediksi token berikutnya secara paralel di seluruh posisi.
  • Parameter tumbuh kuadratik terhadap dimensi model dengan rumus kasar 12dmodel2 12 d_{\text{model}}^2 per blok, dan embedding menyumbang porsi nyata pada model kecil.
  • Urutan keputusan pemakaian adalah prompting, fine-tuning dengan strategi hemat bila perlu, dan pelatihan dari nol sebagai pilihan terakhir.
  • Evaluasi yang jujur dan biaya inference harian mendahului kesan kemampuan saat memilih model, dan halusinasi adalah mode kegagalan yang wajib diantisipasi.

Referensi#