Setiap gagasan besar di Course ini — convolution, attention, diffusion — pertama kali hidup sebagai paper penelitian sebelum menjadi API di framework. Membaca paper adalah keterampilan yang dapat dilatih, bukan bakat bawaan: peneliti berpengalaman pun tidak membaca paper dari baris pertama sampai terakhir seperti novel. Yang membedakan mereka adalah punya urutan baca, anggaran waktu, dan kebiasaan memverifikasi pemahaman lewat implementasi kecil. Chapter ini mengajarkan urutan baca yang praktis, memetakan paper milestone yang membentuk bidang ini dari era perceptron hingga LoRA, lalu menunjukkan tempat mengikuti penelitian terbaru.
Urutan Membaca Paper yang Praktis #
Paper ditulis dengan struktur baku — abstrak, pendahuluan, metode, eksperimen, kesimpulan — tetapi urutan membacanya tidak harus baku. Urutan berikut terbukti efisien untuk mayoritas paper arsitektur dan pelatihan:
- Judul, abstrak, dan gambar — lima menit pertama dialokasikan di sini; gambar dan tabel sering merangkum kontribusi utama tanpa perlu membaca teks.
- Pendahuluan dan kesimpulan — penulis menyatakan masalah, klaim kontribusi, dan batasannya; setelah bagian ini kita bisa memutuskan apakah paper layak dibaca penuh.
- Metode — jantung paper; baca perlahan dengan kertas untuk mencatat notasi, dan jangan berhenti di setiap detail yang belum jelas pada bacaan pertama.
- Eksperimen — periksa pembanding, pengaturan, dan tabel ablasi; ablasi adalah bagian paling jujur dari sebuah paper karena memperlihatkan kontribusi tiap komponen.
Dua kebiasaan penutup membuat bacaan melekat. Pertama, tuliskan tiga kalimat ringkasan dengan kata sendiri: masalahnya apa, solusinya apa, buktinya di mana. Kedua, jalankan bacaan kedua hanya untuk bagian yang benar-benar dipakai — paper ditujukan untuk dibaca berlapis, bukan sekali habis.
Paper Milestone Bidang Ini #
Sebelum tabelnya, satu catatan sejarah penting: arXiv sendiri baru berdiri tahun 1991, sehingga empat paper pendiri bidang ini lebih tua dari arXiv dan hanya tersedia di jurnal serta prosiding — kolom tautan pada empat baris pertama tabel berikut sengaja kosong untuk mereka, dan kutipannya cukup ditelusuri lewat nama penulis dan tahun terbit.
| Tahun | Paper | Kontribusi satu baris | Tautan |
|---|---|---|---|
| 1958 | Perceptron (Rosenblatt, Psychological Review) | Model saraf pertama yang dapat dilatih dengan aturan pembelajaran | — |
| 1986 | Backpropagation (Rumelhart, Hinton & Williams, Nature) | Melatih jaringan berlapis lewat perambatan galat mundur | — |
| 1998 | LeNet-5 (LeCun dkk., Proceedings of the IEEE) | CNN end-to-end untuk pengenalan digit tulisan tangan | — |
| 2012 | AlexNet (Krizhevsky dkk., NeurIPS) | CNN dalam berlatih di GPU yang memenangkan ImageNet dan memicu era modern | — |
| 2014 | VGG | Kedalaman seragam konvolusi 3×3 membuktikan kedalaman sebagai kunci | arxiv.org/abs/1409.1556 |
| 2014 | GoogLeNet (Inception) | Modul multi-skala yang hemat parameter | arxiv.org/abs/1409.4842 |
| 2015 | ResNet | Koneksi residual memungkinkan jaringan ratusan lapis | arxiv.org/abs/1512.03385 |
| 2017 | Transformer | Membuang rekurensi; attention menjadi satu-satunya mekanisme | arxiv.org/abs/1706.03762 |
| 2018 | BERT | Pretraining dua arah untuk pemahaman bahasa | arxiv.org/abs/1810.04805 |
| 2020 | GPT-3 | Skala besar memunculkan kemampuan few-shot | arxiv.org/abs/2005.14165 |
| 2020 | DDPM | Diffusion probabilistic untuk pembangkitan gambar berkualitas | arxiv.org/abs/2006.11239 |
| 2021 | CLIP | Ruang bersama gambar-teks dari ratusan juta pasangan kontras | arxiv.org/abs/2103.00020 |
| 2021 | LoRA | Adaptasi berperingkat rendah yang menekan biaya fine-tuning model besar | arxiv.org/abs/2106.09685 |
Alur enam puluh tahun tersebut dapat dipadatkan menjadi garis era berikut — dan setiap era sudah memiliki rumahnya di Course ini:
Pemetaannya ke Course: perceptron dan backpropagation dibedah tuntas di section Dasar Neural Network ; era CNN dari LeNet hingga ResNet dihuni section Convolutional Neural Network mulai chapter LeNet dan AlexNet ; Transformer dan keluarganya di section Attention dan Transformer ; BERT, GPT, dan LoRA di section Large Language Model ; CLIP di chapter Contrastive Image-Text Learning ; diffusion di chapter Diffusion Model . Membaca paper aslinya setelah chapter terkait selesai adalah urutan terbaik: Course membangun intuisi dulu, paper menyempurnakan detailnya.
Tempat Mengikuti Penelitian #
arXiv (arxiv.org
) adalah tempat mayoritas paper deep learning muncul pertama kali. Halaman abstraknya (arxiv.org/abs/...) berisi ringkasan, penulis, dan nomor versi — cukup untuk menilai relevansi sebelum mengunduh PDF. Perlu diingat sifatnya: arXiv adalah repositori preprint, artinya naskah belum tentu lolos penelaahan sejawat ketika diunggah. Google Scholar (scholar.google.com
) melengkapi sebagai mesin pencari lintas sumber, dengan fitur sitasi dan notifikasi yang berguna untuk memantau kelanjutan paper yang kita sukai. Untuk menelusuri karya yang telah ditelaah sejawat, prosiding tiga venue utama — NeurIPS, ICML, dan CVPR — tersedia terbuka di situs masing-masing dan menjadi penanda kualitas yang dapat dipercaya.
Dari paper, perjalanan belajar tiba pada inventaris terakhir: istilah. Sepanjang Course ini kita telah mengumpulkan puluhan istilah teknis yang dipakai konsisten dari chapter pertama hingga terakhir. Chapter penutup merangkum semuanya menjadi glosarium A sampai Z — halaman yang dirancang untuk dikunjungi ulang, bukan dibaca sekali.