Modul ini membahas tahap pertama pipeline compiler, yaitu mengubah kode sumber berupa teks menjadi deret token yang siap diproses parser. Empat topik di dalamnya bergerak dari konsep kelas token dan pelacakan posisi, intuisi bagaimana pencocokan pola regex ditangani otomata hingga, penulisan scanner dengan loop utama dan tabel kata kunci, hingga penanganan error leksikal beserta pemulihan agar satu kesalahan karakter tidak menggagalkan seluruh proses. Modul ini menjadi fondasi yang dipakai modul parsing.
Lexing
Mengubah kode sumber menjadi deret token: kelas token, intuisi DFA, scanner tulis tangan, dan penanganan error leksikal.
0/0 selesai
- Token dan Lexeme
Kelas token, lexeme, dan pelacakan posisi pada kode sumber untuk diagnostik.
- Intuisi dari Regex ke DFA
Bagaimana pencocokan pola berbasis regex ditangani oleh otomata hingga pada lexer.
- Menulis Lexer
Scanner tulis tangan: tabel kata kunci, prinsip maximal munch, dan loop utama.
- Error Leksikal
Pemulihan error leksikal, pesan yang menjelaskan masalah, dan pelaporan lokasi.