Sebelas chapter sebelumnya membangun Transformer makalah 2017 sampai ke sekrup terakhir: attention, positional encoding, blok encoder, blok decoder ber-mask, rakitan encoder-decoder utuh, hingga penerapannya pada citra. Chapter ini menarik kamera ke belakang dan memetakan apa yang terjadi setelahnya — dari satu makalah menjadi rumpun arsitektur yang menguasai NLP, computer vision, audio, hingga multimodal. Kita akan mengelompokkan keturunannya ke dalam tiga keluarga besar berdasarkan bagian arsitektur yang dipertahankan, membedah tiga teknik yang membuat skala ratusan miliar parameter menjadi terjangkau, lalu merangkum sembilan tahun perkembangannya dalam satu garis waktu. Seluruh komponen yang disebut di sini sudah pernah kita bangun manual, jadi setiap istilah baru akan langsung terhubung ke bata yang dikenal.
Tiga Keluarga dari Satu Makalah #
Makalah Attention Is All You Need merakit encoder dan decoder penuh untuk terjemahan mesin. Keturunannya justru tumbuh dengan membuang sebagian badan. BERT (arXiv:1810.04805 ) hanya menyisakan tumpukan encoder — persis blok dari chapter Transformer Encoder — dan melatihnya dengan masked language modeling (MLM): sekitar 15% token masukan disembunyikan, model harus menebaknya dari konteks kiri dan kanan. Karena dua arah, BERT kuat pada tugas pemahaman: klasifikasi teks, pengenalan entitas, dan question answering ekstraktif.
GPT berlawanan arah: hanya tumpukan decoder dengan self-attention kausal yang kita hitung di chapter Masked Self-Attention , dilatih memprediksi token berikutnya satu per satu. Sifat autoregressive inilah yang membuat GPT bisa menghasilkan teks. T5 (arXiv:1910.10683 ) dan BART memilih jalan tengah: encoder-decoder lengkap seperti chapter Encoder-Decoder Transformer , dengan pra-pelatihan berupa teks rusak yang harus dibangun ulang — T5 menutup rentang token berurutan dengan penanda khusus, BART menghapus dan mengacak kalimat. Seluruh tugas dinyatakan sebagai teks-ke-teks: terjemahan, ringkasan, sampai klasifikasi. ViT melengkapi peta ini sebagai cabang domain vision yang kita bangun sendiri di chapter Vision Transformer (arXiv:2010.11929 ).
Diagram di atas memperlihatkan bahwa perbedaan utama ketiga keluarga bukan komponen, melainkan bagian yang dipertahankan dan objective pra-pelatihannya — ringkasan pada tabel berikut:
| Keluarga | Bagian arsitektur | Pra-pelatihan | Kegunaan khas |
|---|---|---|---|
| BERT | encoder-only, attention dua arah | MLM: tebak token tersembunyi | pemahaman: klasifikasi, NER, QA ekstraktif |
| GPT | decoder-only, attention kausal | prediksi token berikutnya | generasi teks, chat, few-shot in-context |
| T5 / BART | encoder-decoder | denoising: bangun ulang teks rusak | transformasi sekuens: terjemahan, ringkasan |
Era Efisiensi: RoPE, FlashAttention, Mixture-of-Experts #
Skala besar membawa tiga hambatan lama, dan tiga teknik modern menjawabnya satu per satu. RoPE (rotary position embedding, arXiv:2104.09864
) mengganti positional encoding sinus dari chapter Positional Encoding
: tiap pasang dimensi pada query dan key diputar dengan sudut sebanding posisi token, sehingga hasil perkalian titik Q · K hanya bergantung pada jarak relatif kedua token. Posisi tidak lagi dijumlahkan sebagai vektor tetapi menempel langsung pada mekanisme attention, membuat generalisasi ke konteks panjang lebih baik — alasan varian modern seperti LLaMA memakainya.
FlashAttention (arXiv:2205.14135
) menyerang biaya memori. Attention standar dari chapter Scaled Dot-Product Attention
menyimpan matriks skor N x N di memori GPU; untuk N = 128.000 token, satu matriks itu saja sudah terlalu besar. FlashAttention menghitung attention secara bertumpuk (tiling) langsung di memori cepat dengan softmax berjalan, lalu menghitung ulang bagian yang diperlukan saat backward — hasilnya eksak (bukan pendekatan), dengan memori yang tumbuh linear terhadap panjang urutan. Mixture-of-experts (MoE) menyasar sisi parameter: layer feed-forward dari chapter Transformer Encoder
diganti banyak pakar (expert), dan router hanya mengaktifkan sedikit pakar per token. Jumlah parameter tumbuh besar tanpa biaya komputasi yang sebanding — resep di balik Switch Transformer dan Mixtral.
| Teknik | Hambatan yang dijawab | Efek | Contoh pemakai |
|---|---|---|---|
| RoPE | posisi absolut sulit digeneralisasi | skor attention bergantung jarak relatif; konteks panjang lebih stabil | LLaMA, Qwen |
| FlashAttention | memori O(N^2) pada matriks skor | attention eksak dengan memori linear | PyTorch 2 (SDPA), hampir semua LLM modern |
| Mixture-of-experts | parameter besar = biaya komputasi besar | parameter tumbuh, FLOPs per token tetap | Switch Transformer, Mixtral |
Sembilan Tahun dalam Satu Garis Waktu #
Garis waktu di atas merangkum lima fase yang saling menumpuk, bukan saling menggantikan. Fase 2017 membuktikan attention cukup tanpa rekurensi; fase 2018-2019 menetapkan resep pra-pelatihan-lalu-fine-tuning untuk tiap keluarga; fase 2020 menunjukkan kemampuan tumbuh mengikuti skala — GPT-3 (arXiv:2005.14165 ) dengan 175 miliar parameter mengerjakan tugas baru hanya dari beberapa contoh di prompt, tanpa satu pun bobot diubah; fase 2022 mengubah model bahasa menjadi asisten percakapan lewat instruction tuning; fase efisiensi yang berjalan sampai hari ini membuat semua fase sebelumnya terjangkau biayanya — konteks ratusan ribu token, ribuan permintaan per detik, dan model terbuka yang bisa dijalankan di perangkat lokal.
Keluarga, resep pra-pelatihan, dan teknik efisiensi di atas adalah seluruh bekal struktural yang dibutuhkan untuk membicarakan model bahasa berskala besar secara serius. Section berikutnya, mulai dari chapter Pengenalan LLM , membahasnya sebagai subjek tersendiri: bagaimana model raksasa ini dilatih, disesuaikan dengan instruksi manusia, dijalankan secara hemat, dan dievaluasi secara bertanggung jawab.