Model multimodal mempelajari representasi bersama dari gambar, teks, audio, dan video sehingga dapat menerima masukan campuran dan menjawab lintas modalitas. Section ini membahas pola penyatuan modalitas, pelatihan kontrastif image-text, arsitektur vision-language, hingga model suara dan video.

# Pengenalan Multimodal Learning

Pahami mengapa model harus menggabungkan gambar, teks, dan suara: jenis kombinasi modalitas, tiga tantangan utama penyatuan ruang representasi, serta demo fusi dua encoder mini dengan bentuk tensor nyata.

Buka → # Image-Text Representation

Bangun ruang representasi bersama untuk gambar dan teks: encoder CNN dan embedding kata diproyeksikan ke dimensi sama, diselaraskan dengan loss MSE, lalu periksa statistik kosinusnya -- termasuk jebakan degenerasi yang menuntut solusi kontrastif.

Buka → # Contrastive Image-Text Learning

Bangun mini CLIP dengan loss InfoNCE simetris: caption lain di batch menjadi negatif, dua encoder dipaksa ke ruang bersama yang terpisah per konsep, lalu uji retrieval gambar-teks dan klasifikasi zero-shot dengan akurasi nyata.

Buka → # Vision-Language Model

Bedah arsitektur VLM: vision encoder menghasilkan visual token, adapter memproyeksikannya ke ruang LLM, dan cross-attention menyatukan pertanyaan dengan isi gambar -- dibuktikan simulasi mekanis mini yang menjawab dua pertanyaan berbeda untuk satu gambar.

Buka → # Audio-Text Model

Olah suara sebagai data: dari waveform ke spektrogram magnitudo lewat FFT berbingkai, lalu latih model kecil pengklasifikasi nada dengan akurasi nyata -- plus peta arah audio-text dari speech-to-text hingga model gabungan.

Buka → # Speech Recognition

Pipeline ASR dari audio ke teks — fitur akustik per bingkai, encoder akustik, decoder — plus intuisi CTC untuk alignment monotonic dengan token blank, fusi model bahasa, dan ASR mainan tiga tahap yang mentranskripsi pola nada morse dengan akurasi nyata.

Buka → # Text-to-Speech

Pipeline TTS neural dari teks ke suara: analisis linguistik, model akustik yang memprediksi spektrogram mel, dan vocoder yang membentuk waveform — dituntaskan demo mini prosodi pernyataan/pertanyaan yang disintesis menjadi berkas WAV sungguhan.

Buka → # Video Understanding

Olah video sebagai tensor (T, C, H, W): peta tugas dari klasifikasi aksi hingga retrieval momen, tiga keluarga arsitektur (temporal pooling, CNN 3D, video transformer), dan demo dua model pendeteksi arah gerak yang bersaing dengan akurasi nyata.

Buka → # Evaluasi Model Multimodal

Metrik per tugas multimodal — recall@K untuk retrieval, BLEU/CIDEr untuk captioning, akurasi VQA dengan anotasi multi-manusia, dan WER untuk speech recognition — dihitung nyata pada contoh mini, ditutup tantangan halusinasi VLM dan bias komposisional sebagai sintesis penutup section.

Buka →