Pembagian Data Training, Validasi, dan Testing

"""Pembagian data training/validasi/testing dengan stratified split.

Dataset sintetis 3 kelas berproporsi 50/30/20 dibagi dua tahap memakai
train_test_split: tahap pertama memisahkan test (20%), tahap kedua
memisahkan validasi dari sisa (25% dari 80% = 20% total). Stratify
menjaga proporsi kelas di ketiga subset. Model kecil lalu dilatih pada
train, dipantau lewat validasi, dan diuji SEKALI di akhir pada test.
"""

import torch
import torch.nn as nn
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from torch.utils.data import DataLoader, TensorDataset

torch.manual_seed(42)

# ---------- 1. Dataset sintetis 3 kelas, proporsi tidak seimbang ----------
X, y = make_classification(
    n_samples=600,
    n_features=8,
    n_informative=6,
    n_redundant=2,
    n_classes=3,
    weights=[0.5, 0.3, 0.2],
    flip_y=0.03,
    class_sep=1.3,
    random_state=42,
)

# ---------- 2. Dua tahap pembagian: test dulu, lalu validasi ----------
X_sisa, X_test, y_sisa, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42
)
X_latih, X_val, y_latih, y_val = train_test_split(
    X_sisa, y_sisa, test_size=0.25, stratify=y_sisa, random_state=42
)


def proporsi(label):
    """Proporsi tiap kelas dalam persen, dipisah tanda '/'. """
    total = len(label)
    return " / ".join(f"{(label == k).mean() * 100:4.1f}%" for k in (0, 1, 2))


print("===== PEMBAGIAN DUA TAHAP (stratified) =====")
print(f"total     : {len(y):3d} sampel | proporsi kelas {proporsi(y)}")
print(f"latih     : {len(y_latih):3d} sampel | proporsi kelas {proporsi(y_latih)}")
print(f"validasi  : {len(y_val):3d} sampel | proporsi kelas {proporsi(y_val)}")
print(f"test      : {len(y_test):3d} sampel | proporsi kelas {proporsi(y_test)}")
print("rasio akhir 60/20/20; proporsi kelas terjaga di ketiga subset")

# ---------- 3. Latih model kecil, pantau lewat validasi ----------
def buat_model():
    """Model dengan inisialisasi bobot identik untuk tiap pelatihan."""
    torch.manual_seed(7)
    return nn.Sequential(
        nn.Linear(8, 16),
        nn.ReLU(),
        nn.Linear(16, 3),
    )


model = buat_model()
loss_fn = nn.CrossEntropyLoss()
optimizer = torch.optim.SGD(model.parameters(), lr=0.5)

dataset_latih = TensorDataset(
    torch.tensor(X_latih, dtype=torch.float32),
    torch.tensor(y_latih, dtype=torch.long),
)
loader = DataLoader(
    dataset_latih,
    batch_size=32,
    shuffle=True,
    generator=torch.Generator().manual_seed(42),
)
X_val_t = torch.tensor(X_val, dtype=torch.float32)
y_val_t = torch.tensor(y_val, dtype=torch.long)

print()
print("===== PELATIHAN (30 epoch, dipantau lewat validasi) =====")
JUMLAH_EPOCH = 30
for epoch in range(1, JUMLAH_EPOCH + 1):
    model.train()
    for X_batch, y_batch in loader:
        optimizer.zero_grad()
        loss = loss_fn(model(X_batch), y_batch)
        loss.backward()
        optimizer.step()

    if epoch % 10 == 0:
        model.eval()
        with torch.no_grad():
            akurasi_val = (model(X_val_t).argmax(dim=1) == y_val_t).float().mean().item()
        print(f"epoch {epoch:2d} | akurasi validasi {akurasi_val:.3f}")

# ---------- 4. Sentuh test tepat satu kali, di paling akhir ----------
model.eval()
def akurasi(X_np, y_np):
    with torch.no_grad():
        pred = model(torch.tensor(X_np, dtype=torch.float32)).argmax(dim=1)
    return (pred == torch.tensor(y_np)).float().mean().item()

print()
print("===== EVALUASI AKHIR (test dievaluasi sekali saja) =====")
print(f"akurasi latih    : {akurasi(X_latih, y_latih):.3f}")
print(f"akurasi validasi : {akurasi(X_val, y_val):.3f}")
print(f"akurasi test     : {akurasi(X_test, y_test):.3f}")

===== PEMBAGIAN DUA TAHAP (stratified) =====
total     : 600 sampel | proporsi kelas 49.2% / 30.5% / 20.3%
latih     : 360 sampel | proporsi kelas 49.2% / 30.3% / 20.6%
validasi  : 120 sampel | proporsi kelas 49.2% / 30.8% / 20.0%
test      : 120 sampel | proporsi kelas 49.2% / 30.8% / 20.0%
rasio akhir 60/20/20; proporsi kelas terjaga di ketiga subset

===== PELATIHAN (30 epoch, dipantau lewat validasi) =====
epoch 10 | akurasi validasi 0.800
epoch 20 | akurasi validasi 0.833
epoch 30 | akurasi validasi 0.883

===== EVALUASI AKHIR (test dievaluasi sekali saja) =====
akurasi latih    : 0.850
akurasi validasi : 0.883
akurasi test     : 0.842