Teks, deret waktu, dan sinyal audio berbagi satu sifat: urutan mempunyai makna. Section ini membahas keluarga model rekuren yang memproses data sekuens langkah demi langkah, masalah gradien yang muncul pada urutan panjang, serta mekanisme gate LSTM dan GRU yang menjawabnya.

# Data Sekuens

Kenali struktur data berurutan — teks, deret waktu, audio — lalu ubah menjadi dataset supervised dengan windowing, padding, dan truncation dalam bentuk batch (N, T, D).

Buka → # Recurrent Neural Network

Pahami hidden state yang dibawa antar langkah waktu, implementasikan RNN cell murni dengan NumPy, lalu verifikasi hasilnya cocok angka demi angka dengan torch.nn.RNN.

Buka → # Backpropagation Through Time

Unroll RNN menjadi rantai langkah waktu lalu jalankan backpropagation biasa: turunkan gradien lintas langkah secara manual dengan NumPy dan verifikasi terhadap finite difference.

Buka → # Vanishing Gradient pada RNN

Lihat secara kuantitatif mengapa perkalian matriks Wh berulang menyusutkan gradien secara eksponensial, ukur normanya untuk T = 5 sampai 40, dan pahami akibatnya bagi dependensi jangka panjang.

Buka → # Long Short-Term Memory

Bedah tiga gate LSTM dan cell state yang menyediakan jalur gradien hampir konstan, implementasikan LSTM cell murni dengan NumPy, dan verifikasi cocok dengan torch.nn.LSTM.

Buka → # Gated Recurrent Unit

Pelajari GRU dengan dua gate — reset dan update — yang lebih ramping dari LSTM, implementasikan murni dengan NumPy, dan verifikasi cocok dengan torch.nn.GRU.

Buka → # Bidirectional RNN

Gabungkan hidden state maju dan mundur agar setiap langkah melihat konteks masa lalu sekaligus masa depan, lalu verifikasi penggabungan manual cocok dengan torch.nn.LSTM bidirectional.

Buka → # Sequence-to-Sequence

Susun encoder dan decoder menjadi model yang mengubah satu sekuens menjadi sekuens lain, latih pada tugas salin-geser sintetis, dan kenali bottleneck context vector.

Buka → # Teacher Forcing

Latih decoder dengan token asli sebagai masukan langkah berikutnya agar konvergen cepat, lalu ukur exposure bias yang muncul saat inferensi memakai prediksi model sendiri.

Buka →