PyTorch

Modul pembuka: posisi PyTorch di ranah deep learning, prasyarat yang diperlukan, dan penyiapan lingkungan kerja.

1. Apa itu PyTorch ?Posisi PyTorch sebagai framework deep learning: standar riset, ekosistemnya, dan karakter eager execution-nya.
2. Peta prasyaratPrasyarat jalur: Python dan NumPy, aliran data dari array NumPy ke tensor, dan kapan deep learning bukan alat yang tepat.
3. Penyiapan lingkunganInstalasi PyTorch, perbedaan build CUDA dan CPU, pemeriksaan device, dan smoke test pertama.

Modul fondasi: membuat tensor, membaca atributnya, mengindeks, mengubah bentuk, broadcasting, dan memindahkan tensor antara device.

1. Pembuatan tensorMembuat tensor dari list, dari array NumPy, dan dengan zeros, ones, serta rand.
2. Atribut tensorTrio atribut yang selalu diperiksa: shape, dtype, dan device.
3. Pengindeksan dan slicePengindeksan dan slice tensor dengan konvensi NumPy, disertai anotasi bentuk.
4. Pengubahan bentukMengubah bentuk tensor dengan view, reshape, squeeze, unsqueeze, dan permute.
5. BroadcastingAturan broadcasting ala NumPy pada tensor beserta jebakan operasi in-place.
6. Pindah ke GPUMemindahkan tensor ke GPU dengan to(device) dan pola kode yang agnostik terhadap device.

Modul autograd: graf komputasi, pelacakan gradien melalui requires_grad dan backward, mode inferensi, hingga penurunan gradien manual.

1. Penyegaran turunanPenyegaran konsep gradien dan alasan pelatihan jaringan saraf membutuhkannya.
2. requires_gradMekanisme graf komputasi dan pelacakan operasi melalui atribut requires_grad.
3. backward()Memanggil backward() untuk menghitung gradien dan membaca hasilnya di atribut grad.
4. no_grad dan detachMode inferensi dengan no_grad dan penghentian pelacakan dengan detach.
5. Penurunan gradien manualMeminimalkan sebuah fungsi hanya dengan autograd, tanpa optimizer.

Modul pembangunan model: nn.Module, layer bawaan, parameter, fungsi loss, dan optimizer.

1. nn.ModulePola kelas model dengan nn.Module dan peran method forward().
2. Tur layerLayer bawaan torch.nn: Linear dan fungsi aktivasi ReLU serta sigmoid.
3. ParameterMenelusuri bobot model dengan named_parameters dan menghitung jumlah parameternya.
4. Fungsi lossMSELoss dan CrossEntropyLoss beserta bentuk (shape) masukan yang dituntutnya.
5. OptimizerOptimizer SGD, Adam, dan AdamW serta peran learning rate.

Modul data: kelas Dataset, DataLoader, dataset bawaan torchvision, transformasi, dan dataset kustom.

1. Kelas DatasetKontrak kelas Dataset: method __len__ dan __getitem__.
2. DataLoaderBatching, shuffling, dan jumlah worker pada DataLoader.
3. Dataset bawaanMengunduh MNIST dan CIFAR-10 dari torchvision sebagai contoh dataset bawaan.
4. TransformasiCompose, ToTensor, dan normalisasi pada pipeline torchvision.
5. Dataset kustomMembungkus citra atau teks milik sendiri menjadi sebuah Dataset.

Modul inti pelatihan: anatomi perulangan pelatihan yang ditulis manual, mode training vs eval, hingga ritual debug overfit satu batch.

1. Anatomi perulanganLima baris inti perulangan pelatihan: zero_grad, forward, loss, backward, step.
2. Mengapa setiap baris adaAlasan setiap baris perulangan pelatihan ada, dijelaskan tanpa abstraksi dini.
3. Mode training vs evalPerbedaan model.train() dan model.eval() serta perilaku dropout dan batchnorm.
4. Epoch dan pelacakan kemajuanMelacak kurva loss antara epoch dan menampilkan kemajuan dengan tqdm.
5. Ritual overfit satu batchRitual debug nomor satu: memastikan model mampu menghafal satu batch sebelum pelatihan penuh.

Modul evaluasi: perulangan evaluasi, metrik di luar akurasi, disiplin train/val/test, dan penyimpanan model.

1. Perulangan evaluasiPerulangan evaluasi dengan no_grad dan penghitungan akurasi.
2. Metrik di luar akurasiConfusion matrix dan akurasi per kelas sebagai pelengkap akurasi.
3. Disiplin train/val/testPemisahan data train, validation, dan test beserta early stopping.
4. Menyimpan dan memuatstate_dict, penyimpanan checkpoint, dan memuat kembali model.

Modul CNN: alasan konvolusi, mekanika Conv2d, pooling, batch normalization, arsitektur klasik, dan data augmentation.

1. Mengapa konvolusiLokalitas, pembagian bobot, dan prior citra yang menjadikan konvolusi pilihan alami.
2. Mekanika Conv2dKernel, stride, padding, dan rumus shape keluaran Conv2d.
3. PoolingMax pooling dan average pooling beserta efeknya pada shape.
4. Batch normalizationApa yang distabilkan batch normalization dan perbedaan perilaku mode train dan mode eval.
5. Arsitektur klasikMembangun ulang jaringan kecil bergaya VGG dari blok konvolusi.
6. Data augmentationFlip, crop, dan ColorJitter untuk memperkaya data citra.

Modul transfer learning: model pretrained torchvision, pembekuan backbone dan penggantian head, serta praktik fine-tuning.

1. Model pretrainedModel zoo torchvision dan cara memuat bobot pretrained.
2. Pembekuan dan penggantian headFeature extraction vs fine-tuning: membekukan backbone dan mengganti head.
3. Praktik fine-tuningPraktik fine-tuning yang sehat, termasuk learning rate diskriminatif.

Modul sekuens: representasi data sekuens, RNN dan LSTM, embedding, serta intuisi attention.

1. Data sekuensRepresentasi teks dan *time series* sebagai data sekuens.
2. Pengenalan RNN/LSTMRekurensi pada RNN dan LSTM beserta keterbatasannya.
3. Embeddingnn.Embedding dan representasi vektor kata.
4. Intuisi attentionMental model query, key, value, dan posisi attention pada transformer.

Modul pelatihan lanjutan: mixed precision, gradient clipping, jadwal learning rate, TensorBoard, dan disiplin eksperimen.

1. Mixed precisionautocast dan GradScaler beserta konteks kapan mixed precision penting.
2. Gradient clippingMenjaga stabilitas pelatihan jaringan dalam dengan gradient clipping.
3. Jadwal learning rateStepLR, cosine, dan warmup untuk mengatur learning rate sepanjang pelatihan.
4. TensorBoardMencatat eksperimen ke TensorBoard dan membacanya secara visual.
5. Disiplin eksperimenSeed, config, dan kebiasaan yang membuat eksperimen dapat direproduksi.

Modul penutup: torch.compile, ekspor ONNX, dan layanan inferensi sederhana dengan FastAPI.

1. torch.compileAkselerasi melalui torch.compile dan kompatibilitas yang perlu dipahami.
2. Pengenalan ekspor ONNXMemindahkan model keluar dari Python melalui ekspor ONNX.
3. Layanan inferensiServer model sederhana dengan FastAPI untuk melayani inferensi.