KAL
Menu

Data Dan AI

NLP Klasik

Jalur pemrosesan bahasa alami klasik pra-LLM: tokenisasi, regex, klasifikasi teks, embedding kata, sampai pipeline production.

Jalur ini membahas pemrosesan bahasa alami klasik, yakni teknik pra-LLM yang membuat bahasa dapat dihitung dan tetap menjalankan banyak sistem production hingga kini. Materi bergerak dari tokenisasi dan regex menuju klasifikasi teks, embedding kata, pelabelan barisan, dan pemodelan topik, lalu ditutup dengan pipeline production serta keputusan antara pendekatan klasik dan LLM. Perangkat utama adalah Python dengan spaCy sebagai pipeline kerja, didampingi NLTK dan scikit-learn sebagai alat bantu pengajaran. Prasyarat lingkungan berupa Python 3.10 ke atas dengan pustaka spaCy, NLTK, scikit-learn, dan Gensim.

Mengenal NLP 3 pelajaran

Modul pembuka: definisi NLP klasik, posisi jalur ini di antara kurikulum lain, dan penyiapan perangkat kerja.

  1. Apa itu NLP ?Perangkat pra-LLM dan alasan mengapa NLP klasik masih menjalankan banyak sistem production.
  2. Posisi dalam seri kurikulumPosisi NLP klasik di antara kurikulum machine-learning dan llm-apps beserta pembagian kerjanya.
  3. Penyiapan perangkatInstalasi Python, spaCy, NLTK, scikit-learn, dan Gensim beserta uji coba pipeline pertama.
Teks sebagai data 4 pelajaran

Modul fondasi: mengubah teks mentah menjadi data terukur melalui tokenisasi, normalisasi, stop word, dan lemmatisasi.

  1. Token dan tokenisasiApa itu token dan mengapa komputer memotong teks dengan aturan yang berbeda dari para linguis.
  2. Normalisasi teksPenyeragaman huruf besar-kecil, tanda baca, dan angka, beserta informasi yang hilang pada tiap pilihan.
  3. Stop word dan kosakataFungsi daftar stop word dan kondisi ketika membuangnya justru merugikan model.
  4. Stemming dan lemmatisasiPerbandingan stemming bergaya Porter dengan lemma berbasis kamus pada spaCy dan NLTK.
Regular expression untuk teks 4 pelajaran

Modul pola teks deterministik: dasar regex, struktur pola, perilaku greedy, dan resep pola praktis.

  1. Dasar-dasar regexLiteral, kelas karakter, dan kuantifier sebagai keterampilan pemulihan teks berantakan.
  2. Anchor, group, dan alternasiPola terstruktur dengan anchor, grup penangkap, dan alternasi beserta pengambilan potongannya.
  3. Greedy versus lazyPerilaku backtracking pada kuantifier greedy dan cara mengendalikannya dengan kuantifier lazy.
  4. Resep pola praktisPola untuk tanggal, alamat surel, harga, dan pengenal, beserta kondisi ketika regex adalah alat yang salah.
Pengenalan struktur linguistik 4 pelajaran

Modul tinjauan linguistik komputasional: morfologi, kelas kata, penguraian dependensi, dan entitas bernama.

  1. Kata dan morfologiStruktur internal token, perilaku kata majemuk, dan kata di luar kosakata.
  2. Pelabelan kelas kataApa itu tag POS dan cara tagger modern menentukan labelnya.
  3. Penguraian dependensiRelasi head dan child pada pohon dependensi sebagai cara membaca struktur kalimat.
  4. Sekilas entitas bernamaEntitas bernama sebagai jembatan dari teks menuju pengetahuan terstruktur.
Klasifikasi teks cara klasik 5 pelajaran

Modul klasifikasi: bag of words, TF-IDF, Naive Bayes, regresi logistik, dan evaluasi yang tepat untuk teks.

  1. Bag of wordsRepresentasi dokumen sebagai hitungan kata dengan kosakata sebagai ruang fitur.
  2. TF-IDFPembobotan ulang hitungan kata berdasarkan kelangkaan kata di seluruh korpus.
  3. Naive BayesBaseline probabilistik untuk klasifikasi teks yang tetap sulit dikalahkan pada data kecil.
  4. Regresi logistik atas kataModel linear dengan fitur n-gram dan koefisien yang dapat dibaca.
  5. Evaluasi untuk teksValidasi silang terstratifikasi, ketimpangan kelas, dan trade-off presisi-recall.
Embedding kata 4 pelajaran

Modul semantik vektor: hipotesis distribusional, word2vec, GloVe dan fastText, hingga batas vektor statis.

  1. Hipotesis distribusionalPrinsip bahwa makna kata dapat dikenali dari kata-kata yang kerap menyertainya.
  2. word2vecArsitektur skip-gram dan CBOW pada tingkat intuisi beserta pelatihan pada korpus kecil.
  3. Era vektor statisPengenalan GloVe dan fastText serta vektor praterlatih sebagai komoditas.
  4. Hidup dengan vektor statisKemiripan kata, aritmetika analogi, dan batas polisemi pada vektor statis.
Pelabelan barisan 4 pelajaran

Modul sequence labeling: skema BIO, Hidden Markov Model, conditional random field, dan penggantinya.

  1. Penandaan sebagai barisanSkema penandaan BIO dan alasan NER bukan klasifikasi per token.
  2. Hidden Markov ModelModel generatif klasik untuk pelabelan barisan pada tingkat pengenalan.
  3. Conditional random fieldModel diskriminatif dengan fitur atas barisan untuk pelabelan barisan.
  4. Apa yang menggantikan keduanyaPelabel barisan neural dan prompting LLM sebagai pengganti HMM dan CRF, dengan penempatan yang jujur.
Pemodelan topik dan dokumen 4 pelajaran

Modul tanpa supervisi: penemuan topik dengan LDA, pembacaan model topik, dan kemiripan dokumen.

  1. Teks tanpa supervisiPenemuan struktur sebagai tugas kelas satu saat label tidak tersedia.
  2. LDALatent Dirichlet allocation pada tingkat pengenalan dengan topik sebagai distribusi.
  3. Membaca model topikSkor koherensi, penilaian manusia, dan jebakan interpretasi berlebihan.
  4. Kemiripan dokumenTF-IDF dan ruang embedding untuk pengelompokan serta deteksi dokumen hampir duplikat.
Pipeline dan jembatan menuju transformer 4 pelajaran

Modul penutup: pipeline spaCy di production, penskalaan pemrosesan, dan keputusan klasik atau LLM.

  1. Pipeline spaCy di productionArsitektur pipeline, komponen kustom, dan gabungan aturan dengan statistik.
  2. Penskalaan pemrosesan teksPemrosesan batch, streaming, dan caching untuk korpus besar pada tingkat pengenalan.
  3. Jembatan menuju transformerPerubahan yang dibawa attention pada 2017-2018 dan arah menuju kurikulum deep-learning.
  4. Keputusan klasik atau LLMBiaya, latensi, determinisme, dan privasi sebagai penentu pilihan pendekatan beserta serah terima ke llm-apps.