Teks harus diubah menjadi angka sebelum dapat dipelajari model. Section ini membahas seluruh rantai transformasi tersebut: pembersihan teks, tokenization, pembentukan vocabulary, hingga word embedding yang menangkap makna kata sebagai vektor, lalu menerapkannya pada klasifikasi teks dan pelabelan sekuens.

# Preprocessing Teks

Bersihkan teks mentah bahasa Indonesia sebelum masuk model: normalisasi unicode NFKC, pembersihan tanda baca, stop words dengan perlindungan negasi, serta konsep stemming dan lemmatization.

Buka → # Tokenization

Pecah teks menjadi token — unit terkecil yang dipahami model — dengan tiga granularitas: word, subword ala BPE, dan karakter, beserta konsekuensi ukuran vocabulary dan OOV.

Buka → # Vocabulary dan Token ID

Bangun kamus token-ke-integer dari korpus, lengkapi dengan token khusus <pad>, <unk>, <sos>, <eos>, atasi OOV, dan setarakan panjang sekuens dengan padding sebelum data masuk model.

Buka → # Word Embedding

Wakili kata sebagai vektor berdimensi rendah yang maknanya terukur: kemiripan kosinus, hipotesis distribusional, aritmetika vektor raja - pria + wanita = ratu, serta alasan one-hot tidak cukup.

Buka → # Word2Vec dan fastText

Latih word embedding dari korpus dengan skip-gram dan negative sampling di PyTorch, pahami CBOW versus skip-gram, lalu lihat fastText menangani kata berimbuhan lewat subword n-gram.

Buka → # Embedding Layer

Bedah torch.nn.Embedding sebagai tabel pencari: shape weight (vocab, d), lookup batch token ID menjadi (N, T, d), kesetaraan dengan one-hot, padding_idx, serta mode trainable versus frozen.

Buka → # Text Classification

Rangkai pipeline klasifikasi teks lengkap — tokenisasi, vocabulary, embedding, encoder mean pooling, classifier linear — menjadi satu model PyTorch utuh pada dataset ulasan mini, lengkap dengan bedah arsitektur encoder populer.

Buka → # Sentiment Analysis

Bedah studi kasus text classification paling populer — sentimen positif, negatif, netral — pada ulasan produk dan media sosial, lalu uji nyata TF-IDF + LogisticRegression yang gagal pada negasi 'tidak bagus' dan pulih lewat bigram.

Buka → # Named Entity Recognition

Tandai entitas orang, lokasi, organisasi, dan tanggal di dalam kalimat bahasa Indonesia dengan format BIO, lalu latih classifier fitur sederhana per token dan baca bias kesalahannya pada dataset mini 20 kalimat.

Buka → # Sequence Labeling

Generalisasi NER menjadi keluarga tugas tag-per-token — POS tagging, chunking, NER — dengan struktur input-output sejajar, loss CrossEntropy yang mengabaikan padding, dan perbedaan penting evaluasi token-level vs entity-level.

Buka → # Evaluasi Model NLP

Peta lengkap metrik NLP — akurasi token vs entity-level dengan presisi, recall, dan F1 per jenis entitas, exact match, BLEU dengan clipping dan brevity penalty, serta perplexity — semuanya dihitung manual langkah demi langkah pada contoh mini.

Buka →