Data berlabel mahal, sedangkan data mentah melimpah. Self-supervised learning mengubah data mentah menjadi sinyal supervisi sendiri: menyamakan pasangan positif, membedakan pasangan negatif, atau menebak bagian yang disembunyikan. Section ini membahas pola-pola tersebut dan cara memakai representation hasilnya.

# Supervised vs Self-Supervised

Bandingkan biaya label beranotasi dengan sinyal supervisi gratis dari data mentah, lalu lihat tugas pretext membelah vektor membangun prediktor tanpa satu pun label.

Buka → # Contrastive Learning

Tarik pasangan sejenis mendekat dan dorong pasangan berbeda menjauh lewat loss InfoNCE dengan temperatur, lalu ukur kualitas representation hasil pretraining lewat linear probe.

Buka → # Positive dan Negative Pairs

Bangun pasangan positif-negatif dari data tanpa label, pahami in-batch negatives, hard negative, dan risiko false negative lewat statistik jarak pada cluster sintetis.

Buka → # Masked Language Modeling

Sembunyikan sebagian token dan tebak dari konteks kiri dan kanan sekaligus: cara BERT belajar representation bahasa dua arah tanpa satu label, dibuktikan lewat MLM mini pada korpus karakter.

Buka → # Masked Image Modeling

Belah gambar menjadi patch, sembunyikan sebagian besar, dan rekonstruksi pikselnya: pola MAE yang memindahkan MLM dari token ke citra, dibuktikan lewat autoencoder mini pada dataset digits.

Buka → # Representation Learning

Setiap layer jaringan menyimpan fitur berjenjang; ukur kualitasnya secara adil dengan linear probe di atas backbone beku, dan lihat angka nyata fitur terlatih melawan fitur acak.

Buka → # Embedding dan Similarity

Ukur kemiripan antar embedding dengan kosinus dan euclidean, bangun matriks kemiripan beserta pencarian nearest neighbor, lalu pahami mengapa skala jutaan vektor membutuhkan ANN.

Buka → # Penggunaan Pretrained Representation

Naiki tangga freeze, linear probe, fine-tune dengan anggaran label kecil, kenali risiko domain mismatch, dan pakai ekosistem pretrained model dari Hugging Face sebagai penutup section.

Buka →