Modul ini membahas representasi makna kata dalam bentuk vektor. Empat topiknya bergerak dari hipotesis distribusional, arsitektur word2vec berupa skip-gram dan CBOW, peta era vektor statis berupa GloVe dan fastText, hingga batas-batas vektor statis pada kata polisemi. Urutannya menempatkan embedding statis sebelum embedding kontekstual karena vektor era word2vec mengajarkan hal yang kemudian digeneralisasi oleh embedding LLM.
Embedding kata
Modul semantik vektor: hipotesis distribusional, word2vec, GloVe dan fastText, hingga batas vektor statis.
0/0 selesai
- Hipotesis distribusional
Prinsip bahwa makna kata dapat dikenali dari kata-kata yang kerap menyertainya.
- word2vec
Arsitektur skip-gram dan CBOW pada tingkat intuisi beserta pelatihan pada korpus kecil.
- Era vektor statis
Pengenalan GloVe dan fastText serta vektor praterlatih sebagai komoditas.
- Hidup dengan vektor statis
Kemiripan kata, aritmetika analogi, dan batas polisemi pada vektor statis.