Transformer menggantikan perulangan rekuren dengan attention yang menghubungkan setiap posisi langsung ke seluruh posisi lain. Section ini membedah mekanisme tersebut dari dasar query, key, dan value hingga arsitektur encoder-decoder lengkap, dengan implementasi dari nol di setiap langkah.

# Keterbatasan RNN

Ukur tiga hambatan struktural RNN — komputasi berurutan yang tak bisa diparalelkan, pudarnya pengaruh token jauh, dan context vector berukuran tetap — sebelum Transformer menggantikannya.

Buka → # Attention Mechanism

Pahami ide dasar attention dari Bahdanau: decoder tidak lagi menerima satu context vector tetap, melainkan rata-rata berbobot dinamis dari seluruh hidden state encoder.

Buka → # Query, Key, dan Value

Bedah tiga peran attention — query bertanya, key diindeks, value berisi — beserta tiga proyeksi linear WQ, WK, WV yang membentuknya dari input yang sama.

Buka → # Scaled Dot-Product Attention

Implementasikan rumus softmax(QK^T/√d)V dengan NumPy, buktikan kenapa pembagi √d mencegah softmax jenuh, dan verifikasi hasilnya terhadap fungsi resmi PyTorch.

Buka → # Multi-Head Attention

Jalankan beberapa head attention pada subspace berbeda secara paralel, rangkai hasilnya dengan proyeksi WO, dan verifikasi implementasi manual terhadap torch.nn.MultiheadAttention.

Buka → # Positional Encoding

Beri urutan pada token yang diproses paralel dengan gelombang sinus-kosinus, verifikasi properti rotasinya dengan angka, dan kenali alternatif modern seperti learned embedding dan RoPE.

Buka → # Transformer Encoder

Rangkai multi-head attention dan feed-forward menjadi satu blok encoder ber-residual connection dan layer normalization, bandingkan post-LN dengan pre-LN, dan susun beberapa blok menjadi tumpukan.

Buka → # Transformer Decoder

Bangun blok decoder tiga sub-layer: masked self-attention yang memutus pandangan ke masa depan, cross-attention yang membaca keluaran encoder, dan feed-forward; verifikasi kausalitas dan jalur memori dengan angka nyata.

Buka → # Encoder-Decoder Transformer

Rakit Transformer lengkap dari embedding, positional encoding, tumpukan encoder-decoder, hingga layer linear; latih pada tugas salin-geser dengan teacher forcing, jalankan inferensi autoregressive, dan baca aturan yang dipelajari model langsung dari bobot cross-attention.

Buka → # Masked Self-Attention

Buktikan dengan angka nyata mengapa attention autoregressive wajib dibatasi: isi skor posisi terlarang dengan -inf sebelum softmax sehingga bobot masa depan dan token <pad> menjadi nol persis, lalu gabungkan mask kausal dan mask padding dalam satu matriks.

Buka → # Vision Transformer

Rakit Vision Transformer utuh dalam PyTorch: potong digits 8x8 menjadi 16 patch 2x2, proyeksikan linear, tambahkan token [CLS] dan positional embedding terlatih, jalankan blok encoder, lalu latih sampai akurasi uji nyata dan baca sorotan [CLS] atas grid patch.

Buka → # Arsitektur Transformer Modern

Petakan keturunan Transformer dari makalah 2017: BERT encoder-only dengan masked language modeling, GPT decoder-only autoregressive, T5 dan BART encoder-decoder, lalu tiga teknik efisiensi modern — RoPE, FlashAttention, dan mixture-of-experts — yang menopang model berskala besar masa kini.

Buka →