KAL
Menu

Etika dan keamanan

Bias, penyalahgunaan, dan asal-usul dataset.

Daftar isi

Etika dan keamanan pada deep learning menyertai model sejak pemilihan dataset sampai pemasangannya, dan tiga tanggung jawab intinya adalah mengelola bias, mengantisipasi penyalahgunaan, dan menjaga asal-usul data. Topik ini memeragakan bias pada data sintetis yang tidak seimbang, menetapkan daftar periksa asal-usul dataset, dan memetakan penyalahgunaan beserta pertahanannya. Setelah selesai, pertimbangan etis berhenti menjadi lampiran naratif dan menjadi daftar periksa yang dapat dijalankan.

Bias yang masuk lewat data#

Bias pada model bukan keanehan algoritma, melainkan cermin dari data yang dilatihnya, dan tiga jalur masuknya yang paling umum dapat dikenali sebelum pelatihan. Jalur pertama adalah representasi, yaitu kelompok tertentu yang kehadirannya jauh lebih sedikit sehingga model kurang belajar tentangnya. Jalur kedua adalah label yang mengandung penilaian historis, misalnya data rekrutmen masa lalu yang mengandung kecondongan lamanya. Jalur ketiga adalah fitur yang menjadi proksi kelompok yang dilindungi, sehingga model tetap membedakan tanpa menyentuh atributnya secara langsung.

Peraga berikut membangun data dua kelompok yang distribusinya identik tetapi ukurannya timpang, lalu mengukur akurasi model pada masing-masing kelompok. Data sengaja dibuat tanpa perbedaan struktural, sehingga selisih akurasi yang muncul semata-mata milik ketimpangan representasi.

python Contoh: ketimpangan representasi dan akurasi per kelompok 
import torch
import torch.nn as nn

torch.manual_seed(0)
pusat = torch.tensor([[0.0, 0.0], [2.5, 2.5]])
def sampel(n, kelompok):
    return torch.randn(n, 2) + pusat[kelompok]

X_sedikit = torch.cat([sampel(60, 0), sampel(940, 1)])
t_sedikit = torch.cat([torch.zeros(60), torch.ones(940)]).long()
model = nn.Linear(2, 2)
opt = torch.optim.Adam(model.parameters(), lr=0.05)
for _ in range(300):
    opt.zero_grad()
    nn.functional.cross_entropy(model(X_sedikit), t_sedikit).backward()
    opt.step()

def akurasi_kelompok(kelompok):
    X = sampel(2000, kelompok)
    t = torch.full((2000,), kelompok).long()
    with torch.no_grad():
        return float((model(X).argmax(1) == t).float().mean())

a0, a1 = akurasi_kelompok(0), akurasi_kelompok(1)
print(f"akurasi kelompok kecil : {a0:.3f}")
print(f"akurasi kelompok besar : {a1:.3f}")
print(f"selisih                : {abs(a0 - a1):.3f}")
text Keluaran 
akurasi kelompok kecil : 0.840
akurasi kelompok besar : 0.995
selisih                : 0.155

Akurasi kelompok besar nyaris sempurna sedangkan kelompok kecil turun berlipat, padahal datanya dibangun tanpa perbedaan bentuk apa pun, dan itulah pesan yang paling keras dari peraga ini, yaitu ketimpangan representasi sendiri sudah cukup membuat model berpihak. Tindakannya juga terukur, yaitu menyeimbangkan sampel saat pelatihan, menimbang loss per kelompok, atau mengumpulkan data tambahan untuk kelompok yang kurang, dan setiap tindakan dievaluasi dengan metrik per kelompok dan bukan akurasi rata-rata yang menyembunyikan selisihnya.

Asal-usul dataset dan daftar periksa#

Dataset yang dipakai tanpa pemeriksaan asal-usulnya menanggung risiko hukum, etis, dan teknis sekaligus, sehingga pemeriksaannya dibakukan sebelum baris pertama dilatih. Daftar periksa yang dipakai jalur ini berisi lima pertanyaan. Pertama, dari mana data dikumpulkan dan dengan persetujuan apa. Kedua, siapa saja kelompok yang terwakili beserta proporsinya. Ketiga, apa lisensinya dan apakah pemakaian tujuan ini diizinkannya. Keempat, apakah ada atribut sensitif yang menjadi proksi tanpa disadari. Kelima, bagaimana data itu akan diperbarui seiring waktu.

Jawaban lima pertanyaan itu dicatat bersama catatan eksperimen sebagaimana kaidah pelacakan, karena dokumentasi dataset yang lazim dipakai ekosistem seperti datasheet dan data card mengikat informasi yang sama. Dataset publik yang terkenal pun tidak kebal, karena biasnya terdokumentasi lama setelah dipakai luas, dan kebiasaan membaca dokumentasi asal-usul sebelum memakai dataset adalah pertahanan yang paling murah.

Penyalahgunaan dan pertahanannya#

Kemampuan generatif pada modul sebelumnya memperluas permukaan penyalahgunaan, dan tiga bentuknya yang paling nyata adalah deepfake yang memalsukan wajah dan suara orang nyata, generasi teks yang menyebar informasi keliru dalam skala besar, dan ekstraksi model yang mencuri bobot pretrained melalui antarmuka pemakaiannya. Setiap bentuknya menuntut pertahanan yang berbeda tingkatannya, dari watermark pada konten generatif, penandaan keterbukaan pada teks yang dibuat mesin, hingga pembatasan laju dan deteksi pola penyalahgunaan pada antarmuka model.

Pertahanan yang menyertai penyerbunya melengkapi daftar ini, yaitu kerapuhan adversarial dari topik Mode kegagalan yang dipakai menyerang sistem persepsi, dan kebocoran data pelatihan yang memungkinkan rekonstruksi informasi pribadi dari model yang dilatih terlalu dekat pada data sensitif. Kaidah yang menyatukan semuanya adalah keterbukaan yang terukur, yaitu melaporkan batas model, datasetnya, dan evaluasi per kelompoknya, sebagaimana kartu model yang menjadi konvensi ekosistem.

Ringkasan#

  • Bias masuk melalui representasi yang timpang, label historis, dan proksi fitur, dan efeknya diukur dengan akurasi per kelompok bukan rata-rata.
  • Ketimpangan representasi sendiri sudah cukup membuat model berpihak, dan tindakannya adalah penyeimbangan sampel, pembobotan loss, atau data tambahan.
  • Asal-usul dataset diperiksa lewat lima pertanyaan tentang sumber, representasi, lisensi, proksi sensitif, dan pembaruan, lalu dicatat bersama eksperimen.
  • Penyalahgunaan generatif ditegakkan dengan watermark, penandaan keterbukaan, pembatasan antarmuka, dan keterbukaan yang terukur.

Referensi#