Modul ini membahas pengolahan data sekuens dengan PyTorch, meliputi representasi tensor untuk teks dan time series, rekurensi pada RNN dan LSTM beserta keterbatasannya, representasi vektor kata melalui nn.Embedding, serta mental model attention berbasis query, key, dan value. Modul berada setelah pembahasan arsitektur CNN dan transfer learning, sehingga contoh kodenya mengikuti kebiasaan modul-modul tersebut. Seluruh contoh dirancang untuk berjalan pada build CPU.
Sekuens dan Attention
Modul sekuens: representasi data sekuens, RNN dan LSTM, embedding, serta intuisi attention.
0/0 selesai
- Data sekuens
Representasi teks dan *time series* sebagai data sekuens.
- Pengenalan RNN/LSTM
Rekurensi pada RNN dan LSTM beserta keterbatasannya.
- Embedding
nn.Embedding dan representasi vektor kata.
- Intuisi attention
Mental model query, key, value, dan posisi attention pada transformer.