Keputusan klasik atau LLM

Keputusan antara pendekatan klasik dan LLM bukan keputusan mengganti semuanya, melainkan keputusan per tugas. Topik ini merangkum lima faktor penentunya, yaitu biaya, latensi, determinisme, privasi, dan pemeliharaan, lalu menutupnya dengan demo determinisme serta matriks keputusan dua sisi. Setelah membacanya, pemilihan pendekatan untuk sebuah tugas NLP dapat disertai alasan yang terukur, dan kelanjutan ke kurikulum llm-apps dapat ditempatkan dengan jelas.

Faktor penentu keputusan#

Lima faktor di bawah ini muncul pada hampir setiap keputusan teknologi teks, dan empat di antaranya dapat dibandingkan secara langsung dalam satu tabel. Pembacaan tabelnya sederhana, yaitu kolom tengah menggambarkan pendekatan klasik seperti regex, kamus, dan model statistik kecil, sedangkan kolom kanan menggambarkan LLM yang dipanggil sebagai layanan.

Faktor pemeliharaan sering terlewat padahal keberadaannya terasa cepat. Sistem klasik menuntut pola yang diperbarui ketika format berubah, sedangkan sistem berbasis LLM menuntut prompt yang diuji ulang setiap layanan mengganti versi modelnya. Keduanya membutuhkan perawatan, hanya saja jenis pekerjaannya berbeda, sehingga keputusannya menyesuaikan keahlian tim yang tersedia. Biaya karenanya tidak hanya biaya panggilan, tetapi juga biaya orang yang menjaganya.

Bobot setiap faktor berbeda antarproyek. Sistem internal yang melayani ratusan permintaan per hari memandang biaya dan latensi sebagai faktor penentu, sedangkan sistem yang keluarannya menjadi dasar keputusan organisasi memandang determinisme dan privasi lebih tinggi. Menyatakan bobot faktor tersebut secara tertulis sejak awal menjadikan keputusan pendekatan dapat diperiksa kembali, bukan sekadar mengikuti kebiasaan.

Kapan pendekatan klasik menang#

Pendekatan klasik menang ketika tugasnya berpola tetap, volumenya besar, dan keputusannya perlu diperiksa. Filter atas format tetap, misalnya tanggal, nomor dokumen, dan kode internal, diselesaikan regex dalam milidetik tanpa biaya per permintaan, dan hasilnya identik setiap dijalankan ulang. Identitas keluaran itu bukan sekadar keindahan teknis, melainkan prasyarat pengujian otomatis, karena pasangan masukan dan keluaran yang disimpan dapat dibandingkan pada setiap rilis. Jejak audit pun mudah disusun, sebab aturan yang menentukan sebuah keluaran dapat ditunjuk baris demi baris.

Kondisi lain yang memihak klasik adalah privasi dan latensi. Data yang tidak boleh keluar dari sistem diproses lokal tanpa pengiriman ke layanan mana pun, dan langkah yang berjalan di depan pengguna menuntut latensi yang tidak mungkin diberikan panggilan jaringan. Perlu dicatat bahwa klasik bukan berarti tanpa kemampuan, karena model statistik kecil pada pipeline spaCy tetap menyelesaikan tugas seperti tag POS dan NER dengan cepat sekaligus deterministik pada saat menjalankan inferensi.

Kapan LLM menang#

LLM menang ketika tugasnya terbuka dan bahasanya beragam. Perumusan ulang surat dengan nada resmi, penjelasan istilah untuk pembaca awam, dan penyusunan jawaban atas pertanyaan bebas membutuhkan nuansa bahasa yang tidak dapat ditulis sebagai pola. Tugas tanpa data berlabel juga memihak LLM, karena prompting bekerja tanpa pelatihan sama sekali, sedangkan model klasik menuntut contoh yang diberi label terlebih dahulu. Nilai tambah tersebut dibayar dengan biaya per permintaan, latensi yang lebih besar, dan konsistensi yang tidak dijamin. Batas ini juga berpindah seiring waktu, karena kemampuan LLM bertambah pada setiap generasi model, sedangkan kemampuan aturan statis tidak berubah.

Pemilihan LLM pun tetap menuntut pengukuran. Bila keluaran sistem menjadi dasar keputusan bisnis, keluaran LLM perlu divalidasi oleh lapisan klasik, misalnya pemeriksaan format, kamus istilah yang dibenarkan, dan daftar larangan. Kombinasi ini menurunkan risiko keluaran yang tampak rapi tetapi salah, dan biaya validasinya jauh lebih murah daripada kesalahan yang lolos.

Demo determinisme pada tugas ekstraksi#

Determinisme paling mudah dibuktikan dengan menghitung ulang tugas yang sama. Skrip berikut mengekstrak nomor tiket dan tanggal dari tiga permintaan menggunakan regex murni, menjalankan ekstraksi itu dua kali, lalu mencetak hasil eksekusi pertama dan status perbandingannya.

import json
import re

def ekstrak(teks):
    tiket = re.search(r"TIK-\d{4}-[A-Z]{3}", teks)
    tanggal = re.search(r"\d{2}/\d{2}/\d{4}", teks)
    return {
        "tiket": tiket.group() if tiket else None,
        "tanggal": tanggal.group() if tanggal else None,
    }

permintaan = [
    "Tiket TIK-2024-ABC dibuat pada 03/07/2024 untuk piket sore.",
    "Tiket TIK-2024-MNP dibuat pada 12/07/2024 untuk pemeliharaan ruang baca.",
    "Permintaan tanpa nomor tiket dibuat pada 15/07/2024.",
]
eksekusi_pertama = [ekstrak(t) for t in permintaan]
eksekusi_kedua = [ekstrak(t) for t in permintaan]

print(json.dumps(eksekusi_pertama, ensure_ascii=False, indent=2))
print("identik:", eksekusi_pertama == eksekusi_kedua)

[
  {
    "tiket": "TIK-2024-ABC",
    "tanggal": "03/07/2024"
  },
  {
    "tiket": "TIK-2024-MNP",
    "tanggal": "12/07/2024"
  },
  {
    "tiket": null,
    "tanggal": "15/07/2024"
  }
]
identik: True

Kedua eksekusi menghasilkan struktur data yang identik, dan keputusan identik: True dicetak langsung dari pembandingannya, bukan dari dugaan. Kasus ketiga memperlihatkan perilaku default yang aman, yaitu permintaan tanpa nomor tiket memperoleh nilai None, bukan tebakan. Format JSON yang dicetak juga memudahkan penyimpanan keluaran referensi, karena struktur objeknya tetap ketika daftar permintaan bertambah. Determinisme semacam ini menjadikan pengujian otomatis sederhana, sebab keluaran referensi yang tersimpan dapat dibandingkan pada setiap rilis. Pada LLM, pengaturan temperature nol, yaitu parameter yang menekan keacakan keluaran, tetap tidak menjamin kesamaan keluaran yang persis antarversi model, sehingga uji ulang diperlukan setiap layanan diperbarui.

Matriks keputusan dua sisi#

Matriks berikut memadukan kelima faktor ke dalam situasi nyata yang sering dijumpai. Pembacaannya per baris, dan setiap baris menunjuk satu pilihan bersama alasannya. Baris yang menyebut RAG tidak menandai satu-satunya bentuk pemakaian, melainkan situasi yang membutuhkan penggabungan isi dokumen, dan detail tekniknya dibahas pada kurikulum yang bersangkutan.

Matriks tersebut juga menjelaskan bentuk serah terima antarkurikulum. Prompting dan RAG menjadi inti kurikulum llm-apps, sedangkan jalur ini menyerahkan lapisan praproses, penyaringan, dan validasi yang mengelilingi panggilan LLM. Satu sistem nyata hampir selalu memuat keduanya, sehingga keahlian klasik tidak digantikan, melainkan dipindahkan ke posisi yang sesuai dengan kekuatannya.

Keputusan juga bukan dokumen yang dikunci sekali untuk selamanya. Volume bertambah, format berganti, dan kemampuan layanan berubah, sehingga matriks ini ditinjau ulang bersama pengukuran biaya dan latensinya. Kombinasi yang sama dapat berpindah pilihan pada masa mendatang, dan peninjauan yang terjadwal menjadikan perpindahan itu keputusan yang sadar, bukan reaksi yang terburu-buru.

Kesalahan umum#

1. Memilih LLM untuk tugas yang polanya sudah tetap. Biaya per permintaan dan latensi dibayar tanpa nilai tambah, padahal regex menyelesaikannya lebih cepat dan lebih murah. Periksa kestabilan polanya terlebih dahulu, lalu naikkan kompleksitas pendekatan hanya bila polanya memang berubah-ubah.
2. Menganggap keluaran LLM dengan temperature nol sepenuhnya deterministik. Versi model pada layanan dapat berganti tanpa pemberitahuan, dan perubahan kecil pada bobot dapat menggeser keluaran. Simpan keluaran referensi, jalankan ulang pengujian setiap pembaruan layanan, dan perlakukan keluaran LLM sebagai data yang perlu divalidasi.
3. Mengirim data pribadi ke layanan pihak ketiga tanpa pemeriksaan. Kebocoran data bukan risiko teknis semata, melainkan risiko kepatuhan. Kelompokkan data berdasarkan tingkat kerahasiaannya, lalu pilih pemrosesan lokal atau anonimisasi untuk data yang terbatas.

Ringkasan#

• Pemilihan pendekatan ditentukan lima faktor, yaitu biaya, latensi, determinisme, privasi, dan kebutuhan pemeliharaan.
• Pendekatan klasik menang pada pola tetap, volume besar, keteraturan audit, dan data yang tidak boleh keluar sistem.
• LLM menang pada nuansa bahasa, tugas terbuka, dan kondisi tanpa data berlabel, dengan konsekuensi biaya dan konsistensi yang tidak dijamin.
• Prompting dan RAG menjadi kelanjutan di kurikulum llm-apps, sedangkan komponen klasik tetap mengerjakan praproses, penyaringan, dan validasi di sekelilingnya.

Referensi#

• Speech and Language Processing, draf edisi ke-3 — Jurafsky & Martin, Stanford — Draf edisi ketiga yang memuat bab transformer dan model bahasa besar, termasuk pembahasan prompting.
• spaCy 101 — Explosion — Pengenalan pipeline statistik, anotasi linguistik, dan perangkat dasar NLP yang menjadi lapisan klasik pada keputusan ini.