Modul ini membahas teks mentah sebagai bahan data yang perlu diolah sebelum model apa pun bekerja. Empat topiknya bergerak dari token dan tokenisasi, normalisasi huruf besar-kecil serta tanda baca, fungsi daftar stop word, hingga stemming dan lemmatisasi. Modul ini berada di dasar jalur, sehingga setiap keputusan di modul-modul selanjutnya bertumpu pada padatannya.
Teks sebagai data
Modul fondasi: mengubah teks mentah menjadi data terukur melalui tokenisasi, normalisasi, stop word, dan lemmatisasi.
0/0 selesai
- Token dan tokenisasi
Apa itu token dan mengapa komputer memotong teks dengan aturan yang berbeda dari para linguis.
- Normalisasi teks
Penyeragaman huruf besar-kecil, tanda baca, dan angka, beserta informasi yang hilang pada tiap pilihan.
- Stop word dan kosakata
Fungsi daftar stop word dan kondisi ketika membuangnya justru merugikan model.
- Stemming dan lemmatisasi
Perbandingan stemming bergaya Porter dengan lemma berbasis kamus pada spaCy dan NLTK.