Modul ini membahas arsitektur yang menjadi fondasi model bahasa modern. Attention diperkenalkan dari intuisi query, key, dan value, lalu scaled dot-product attention dihitung langkah demi langkah pada tensor kecil. Multi-head attention, blok transformer, dan positional encoding melengkapi arsitektur yang setiap bloknya diulang untuk membangun model penuh.
Transformer dan Attention
Modul transformer: intuisi attention, self-attention, multi-head, blok transformer, dan informasi posisi.
0/0 selesai
- Intuisi attention
Query, key, dan value sebagai gagasan besar attention.
- Mekanika self-attention
Scaled dot-product attention langkah demi langkah dengan tensor kecil.
- Multi-head attention
Banyak perspektif per layer dan perannya.
- Blok transformer
Attention, FFN, residual, dan norm dalam satu blok yang diulang.
- Informasi posisi
Mengapa urutan token harus disuntikkan dan bentuk positional encoding.