Data Science

Kenali definisi data science, komponen pembentuknya, dan contoh pertanyaan yang dijawabnya.

Lihat bagaimana berbagai industri memakai data science dan peran tim data di dalam organisasi.

Pahami persamaan dan perbedaan data science dengan data analysis dari sisi tujuan, alat, dan keluaran.

Bedakan data science dan machine learning beserta hubungan keduanya dalam satu ekosistem.

Lihat pembagian kerja antara data scientist dan data engineer dalam membangun sistem data.

Ikuti tahapan umum proyek data science dari perumusan masalah hingga pemeliharaan hasil.

Bedah contoh kasus nyata: deteksi churn, prakiraan permintaan, dan segmentasi pelanggan.

Kuasai operasi aljabar, variabel, dan manipulasi persamaan yang menjadi bahasa rumus data science.

Pahami konsep fungsi, cara membacanya, dan menghubungkan rumus dengan bentuk grafiknya.

Pelajari notasi penjumlahan berulang yang muncul di hampir semua rumus statistika.

Selesaikan persamaan dan pertidaksamaan linear serta kuadrat dengan pendekatan yang bisa diprogram.

Kenali vektor dan matriks sebagai cara menyusun data beserta interpretasi geometrinya.

Kerjakan penjumlahan, perkalian skalar, dan perkalian matriks yang menjadi dasar komputasi data.

Dapatkan gambaran turunan dan integral tanpa kehilangan inti matematisnya.

Pasang Python dan verifikasi instalasinya di Windows, macOS, dan Linux.

Isolasi dependensi tiap proyek dengan venv agar versi library tidak saling bertabrakan.

Pasang NumPy, pandas, matplotlib, dan scikit-learn beserta cara memverifikasi versinya.

Kenali arsitektur Jupyter, cara menjalankannya, dan anatominya satu notebook.

Kuasai cell kode, cell teks, kernel, dan alur kerja analisis interaktif di notebook.

Kelola dependensi proyek dengan requirements.txt dan pembekuan versi library.

Susun folder proyek analisis yang rapi: data, notebook, skrip, dan dokumentasi.

Mulai dari nol: menjalankan Python, struktur program, dan kebiasaan penulisan yang baik.

Kenali variabel beserta tipe data inti Python yang paling sering dipakai saat mengolah data.

Gunakan operator aritmatika, perbandingan, dan logika untuk menghitung serta memfilter data.

Arahkan alur program dengan if, elif, dan else untuk pengambilan keputusan berbasis kondisi.

Proses data berulang dengan for dan while beserta kendali break dan continue.

Pilih struktur data yang tepat: list, tuple, dictionary, dan set beserta kegunaannya.

Bungkus logika menjadi fungsi yang bisa dipakai ulang dan organisasikan kode dalam modul.

Tulis transformasi data ringkas dan mudah dibaca dengan list comprehension.

Baca dan tulis file teks dan CSV sederhana langsung dari Python bawaan.

Tangani galat runtime dengan try-except agar program analisis tetap terkendali.

Pahami class dan object untuk membaca kode library data science dengan percaya diri.

Kenali ndarray, broadcasting, dan operasi vektor yang membuat komputasi numerik cepat.

Mulai bekerja dengan Series dan DataFrame: membaca data, memilih kolom, dan filter baris.

Buat grafik pertama Anda dengan struktur figure, axes, dan pemetaan data ke bentuk visual.

Definisikan data, informasi, dan pengetahuan beserta contoh konkret keterkaitannya.

Klasifikasikan data menurut sifat, sumber, dan struktur pembentuknya.

Bedakan data kualitatif dan kuantitatif beserta konsekuensinya pada pemilihan analisis.

Kuasai empat skala pengukuran — nominal, ordinal, interval, dan rasio — beserta operasi yang sah.

Kenali struktur penyimpanan data umum: tabular, deret waktu, hierarkis, jaringan, dan spasial.

Bedah anatomi tabel data: baris, kolom, tipe kolom, dan relasi antar tabel.

Pahami spektrum data terstruktur, semi-terstruktur, dan tidak terstruktur beserta contohnya.

Kenali format CSV, JSON, Excel, Parquet, dan SQL dump beserta kelebihan serta kekurangannya.

Pelajari metadata: kamus data, asal-usul, dan informasi teknis yang menempel pada dataset.

Nilai kualitas data dari enam dimensi: akurasi, kelengkapan, konsistensi, ketepatan waktu, keunikan, dan validitas.

Petakan sumber data yang tersedia untuk proyek analisis beserta pertimbangan memilihnya.

Bedakan data primer dan sekunder beserta konsekuensi biaya, kendali, dan kebaruan datanya.

Rancang pengumpulan data manual: formulir, pedoman pencatatan, dan pencegahan kesalahan entri.

Baca file CSV dengan pandas: pemisah, encoding, header, dan nilai yang gagal terbaca.

Baca workbook Excel dengan pandas: memilih sheet, melewati baris, dan menangani sel gabungan.

Baca data JSON bertingkat dengan json bawaan Python dan pandas.

Ambil data dari REST API dengan requests: parameter, header, paginasi, dan penanganan galat.

Sambungkan Python ke database SQL dengan sqlite3 dan baca hasil query ke pandas.

Ekstrak data dari halaman web dengan requests dan BeautifulSoup secara etis dan terkendali.

Kenali data geospasial: koordinat, GeoJSON, dan membacanya dengan Python.

Catat asal-usul data — sumber, tanggal ambil, transformasi — agar analisis dapat ditelusuri.

Lakukan pemeriksaan awal dataset: ukuran, tipe kolom, nilai unik, dan ringkasan statistik.

Kenali pola nilai hilang dan pilih strategi: hapus, isi dengan konstanta, statistik, atau interpolasi.

Temukan duplikat penuh maupun parsial lalu putuskan tindakannya secara sadar.

Ubah kolom ke tipe yang benar: angka tersimpan sebagai teks, kategori, dan angka dalam format ribuan.

Rapikan kolom teks: spasi berlebih, kapitalisasi, karakter aneh, dan pemisahan nilai gabungan.

Seragamkan nilai yang bermakna sama tetapi tertulis berbeda antar baris maupun antar tabel.

Parsing tanggal dari berbagai format dan ekstrak komponen tahun, bulan, serta hari.

Deteksi pencilan dengan IQR dan z-score lalu putuskan mengoreksi, menandai, atau mempertahankannya.

Gabungkan tabel dengan merge dan concat sesuai kunci serta tipe penggabungannya.

Ubah data antar bentuk lebar dan panjang dengan melt, pivot, dan pivot_table.

Susun pemeriksaan kualitas berulang: aturan validasi dan dokumentasi hasil pembersihan.

Ubah tujuan bisnis menjadi pertanyaan analisis yang terukur dan bisa dijawab data.

Bedah struktur dataset: dimensi, kolom, makna baris, dan kunci penghubung antar tabel.

Buat ringkasan dataset dengan describe, agregasi groupby, dan tabel kontingensi.

Hitung frekuensi dan proporsi kategori lalu bacalah maknanya untuk data yang timpang sekalipun.

Bentuk bentuk sebaran data: simetris, miring, ekor panjang, dan multimodal.

Analisis variabel kategorikal: mode, tabulasi silang, dan proporsi berlapis.

Rangkum variabel numerik dengan tendensi sentral, penyebaran, dan bentuk distribusi.

Telusuri hubungan antar variabel: numerik-numerik, kategorikal-numerik, dan kategorikal-kategorikal.

Lihat data dari lensa waktu: tren, musiman, dan perbandingan antar periode.

Kenali pola berulang serta nilai yang menyimpang dari pola sebagai kandidat investigasi.

Rangkai seluruh teknik menjadi alur EDA yang runtut pada satu dataset utuh.

Pahami prinsip dasar visualisasi: kejujuran data, hierarki persepsi, dan pengurangan gangguan.

Pilih jenis grafik yang tepat berdasarkan pertanyaan dan tipe data yang dimiliki.

Bandingkan nilai antar kategori dengan bar chart dan variasinya.

Tampilkan sebaran data dengan histogram, density plot, dan violin plot.

Perlihatkan hubungan dua variabel dengan scatter plot dan line plot beserta anotasi korelasi.

Visualisasikan data waktu: garis tren, highlight periode, dan format sumbu tanggal.

Visualisasikan proporsi dan komposisi kategori dengan pie chart, stacked bar, dan count plot.

Tampilkan tiga variabel atau lebih sekaligus dengan warna, ukuran, dan small multiples.

Kuasai dua grafik paling sering dipakai untuk memeriksa sebaran satu variabel numerik.

Bedah scatter plot: korelasi, pencilan, overplotting, dan pola yang perlu diwaspadai.

Gunakan matplotlib secara mendalam: dua API, subplots, gaya, dan penyimpanan gambar.

Percepat visualisasi statistik dengan seaborn: plot relasi, distribusi, dan kategorikal.

Petakan data berkoordinat dengan scatter peta, choropleth, dan geo pandas.

Kenali dan perbaiki praktik visualisasi yang menyesatkan: sumbu terpotong, 3D berlebihan, dan skala ganda.

Bedakan populasi dan sampel serta implikasinya terhadap kesimpulan analisis.

Kenali random, systematic, stratified, dan cluster sampling beserta risiko biasnya.

Hitung mean, median, dan mode serta pilih ukuran yang tepat untuk distribusi miring.

Ukur sebaran data dengan range, IQR, varians, dan simpangan baku.

Gunakan persentil dan kuartil untuk memposisikan nilai dalam sebaran data.

Bangun intuisi probabilitas dengan ruang sampel, kejadian, dan frekuensi relatif.

Terapkan aturan penjumlahan dan perkalian untuk kejadian gabungan maupun saling lepas.

Hitung probabilitas bersyarat dan kemerdekaan kejadian dengan tabel kontingensi.

Perbarui keyakinan dengan Teorema Bayes lewat contoh diagnosis yang konkret.

Kenali variabel acak diskrit dan kontinu beserta nilai harapannya.

Pahami distribusi umum: uniform, binomial, Poisson, dan eksponensial.

Kuasai distribusi normal, standardisasi z-score, dan aturan empiris 68-95-99.7.

Lihat sebaran statistik sampel lewat simulasi dan pahami galat standar.

Buktikan lewat simulasi mengapa rata-rata sampel konvergen ke rata-rata populasi.

Simulasikan mengapa distribusi rata-rata sampel menuju normal untuk n yang membesar.

Estimasi parameter populasi dengan estimator titik dan sifat tanpa bias.

Bangun interval kepercayaan mean dan proporsi lalu tafsirkan maknanya dengan benar.

Jalankan uji hipotesis lengkap: hipotesis, statistik uji, keputusan, dan tafsiran.

Pahami p-value secara jujur: definisi, cara baca, dan kesalahpahaman yang umum.

Bedakan dua jenis kesalahan uji beserta relasinya dengan kekuatan uji.

Laporkan besaran efek — Cohen's d — bukan sekadar signifikansi statistik.

Hitung kovarians dan korelasi Pearson serta Spearman beserta batas tafsirnya.

Analisis satu variabel secara tuntas sebagai fondasi sebelum analisis yang lebih kompleks.

Analisis hubungan dua variabel dengan teknik yang sesuai kombinasi tipenya.

Lihat data dari sudut banyak variabel sekaligus dan kendalikan confounder.

Terapkan analisis korelasi dengan pandas dan scipy beserta pembacaan heatmap.

Bangun model regresi linear dengan statsmodels dan baca tabel hasilnya.

Modelkan hasil biner dengan regresi logistik dan tafsirkan koefisien peluangnya.

Analisis tabel kontingensi dengan chi-square dan proporsi berlapis.

Bandingkan antar kelompok dengan uji t dan ANOVA satu arah.

Susun segmentasi berbasis aturan dan kuantil sebelum bertemu clustering.

Uji dugaan yang dirumuskan di awal secara terstruktur agar eksplorasi tidak berubah bentuk.

Uji keandalan kesimpulan terhadap perubahan asumsi dan pilihan analisis.

Tafsirkan hasil secara disiplin: besaran, ketidakpastian, konteks, dan batas kesimpulan.

Pahami konsep fitur, matriks fitur, dan mengapa feature engineering menentukan hasil model.

Kenali ragam transformasi variabel dan tujuan masing-masing sebelum menyentuh model.

Ubah kategori menjadi angka dengan one-hot, ordinal, dan frequency encoding.

Skalakan fitur ke rentang [0,1] dengan MinMaxScaler dan kenali kapan dibutuhkan.

Pusatkan dan skala fitur dengan StandardScaler sebagai default penskalaan.

Luruskan sebaran miring dengan log dan transformasi Yeo-Johnson.

Ekstrak fitur dari kolom tanggal: komponen kalender, penanda akhir pekan, dan selisih waktu.

Bangun lag dan window fitur untuk masalah prediksi berbasis waktu.

Rangkum data transaksi menjadi fitur level entitas dengan groupby dan agregasi berganda.

Kenali multikolinearitas dan kurangi fitur yang saling berkorelasi kuat.

Pilih fitur dengan filter, wrapper, dan embedded method secara sistematis.

Ringkas banyak fitur menjadi sedikit komponen utama dengan PCA.

Kenali ragam kebocoran data — leakage dari target, waktu, dan preprocessing — lalu cegah.

Pahami apa itu machine learning, kapan dipakai, dan bagaimana machine learning berbeda dari pemrograman biasa.

Petakan supervised, unsupervised, dan reinforcement learning beserta contoh masalahnya.

Bandingkan dua paradigma inti dengan dataset contoh yang sama.

Kenali anatomi dataset berlabel: fitur, target, dan format data yang diminta scikit-learn.

Pisahkan matriks fitur X dan vektor target y dengan konvensi scikit-learn.

Bagi data latihan dan pengujian dengan train_test_split tanpa kebocoran informasi.

Bangun baseline sederhana sebagai patokan yang harus dikalahkan model kompleks.

Ikuti alur baku fit-predict-evaluate dari awal hingga akhir.

Pahami kemampuan model bekerja pada data baru dan cara mengukurnya dengan jujur.

Kenali dua penyakit model dari kurva belajar lalu rawat dengan cara yang tepat.

Pilih model berdasarkan jenis masalah, ukuran data, interpretabilitas, dan biaya.

Latih model regresi linear dengan scikit-learn dan baca koefisiennya.

Tangkap hubungan melengkung dengan fitur polinomial dan jaga diri dari overfitting.

Klasifikasikan dua kelas dengan logistic regression dan probabilitas keluarannya.

Bangun model pohon keputusan dan pahami aturan pemisahannya.

Gabungkan banyak pohon menjadi random forest yang lebih kokoh.

Pahami cara kerja boosting lalu terapkan GradientBoosting dan XGBoost.

Klasifikasi dengan tetangga terdekat dan pilih k yang tepat.

Pahami hyperplane, margin, dan kernel pada SVM lalu gunakannya dengan penskalaan yang benar.

Terapkan Naive Bayes pada data teks sederhana dan pahami asumsi kemerdekaannya.

Pahami gagasan clustering, matriks jarak, dan skala permasalahannya.

Kelompokkan data dengan K-Means dan pilih k dengan elbow serta silhouette.

Bangun hierarki cluster dengan agglomerative clustering dan dendrogram.

Temukan cluster bentuk bebas dan pencilan dengan DBSCAN.

Evaluasi hasil clustering dengan silhouette, Davies-Bouldin, dan stabilitas.

Pahami intuisi dan penerapan PCA untuk meringkas informasi banyak fitur.

Visualisasikan data berdimensi tinggi dengan t-SNE beserta perangkapnya.

Temukan pola beli bersama dengan algoritma Apriori sederhana yang kita bangun sendiri.

Beri nama dan makna pada cluster melalui profil fitur dan visualisasi.

Pahami mengapa data wajib dibagi dan bagaimana membaginya dengan benar.

Ukur model regresi dengan MAE, MSE, RMSE, dan R-squared beserta tafsirannya.

Kenali akurasi, presisi, recall, dan F1 beserta kapan masing-masing menjadi prioritas.

Baca confusion matrix dengan teliti dan turunkan semua metrik darinya.

Dalami presisi, recall, dan trade-off keduanya lewat F1 dan ambang keputusan.

Gambar kurva ROC, hitung AUC, dan bandingkan dengan kurva precision-recall.

Validasi silang dengan k-fold agar estimasi performa tidak bergantung satu pembagian.

Jaga proporsi kelas saat membagi data yang timpang dengan stratifikasi.

Cari konfigurasi terbaik dengan GridSearchCV dan RandomizedSearchCV.

Evaluasi model pada data timpang tanpa terjebak angka akurasi yang tinggi semu.

Bedah kesalahan model per segmen untuk menemukan langkah perbaikan berikutnya.

Bandingkan beberapa model secara adil dengan metrik dan prosedur yang sama.

Putuskan model akhir dengan menimbang performa, kesederhanaan, dan biaya operasional.

Kenali ciri data deret waktu, indeks waktu pandas, dan resampling.

Pisahkan pengertian tren, musiman, dan siklus dari data nyata.

Uji stasioneritas secara visual dan statistik lalu stabilkan dengan differencing.

Pecah deret menjadi komponen tren, musiman, dan sisa dengan statsmodels.

Haluskan deret dengan simple dan centered moving average sebagai alat baca tren.

Ramalkan dengan pemulusan eksponensial dan Holt-Winters.

Pahami model AR dari persamaan dan ACF/PACF hingga penerapannya.

Bangun model ARIMA dengan menentukan orde dari data hingga peramalan.

Ubah peramalan menjadi masalah supervised dengan fitur lag dan model gradient boosting.

Evaluasi ramalan dengan MAE, MAPE, dan pembanding naive.

Validasi dengan time series split yang menjaga urutan waktu.

Pahami batas peramalan: perubahan struktural, horizon panjang, dan interval ketidakpastian.

Deteksi pencilan tak berlabel dengan Isolation Forest dan Local Outlier Factor.

Tangani data timpang dengan class weight, resampling, dan SMOTE.

Gabungkan model dengan voting, bagging, boosting, dan stacking.

Buka kotak hitam model dengan permutation importance dan surrogat sederhana.

Baca dan membandingkan feature importance dari berbagai jenis model dengan kritis.

Pahami dasar penalaran kausal: confounder, DAG, dan perbedaan korelasi-kausalitas.

Perbarui keyakinan secara bertahap dengan analisis Bayesian pada contoh proporsi.

Laporkan ketidakpastian prediksi dengan interval dan prediksi kuantil.

Kenali data drift dan konsep drift model pada sistem produksi.

Analisis data berkoordinat dengan geopandas: join spasial dan statistik area.

Olah teks dengan Bag-of-Words dan TF-IDF lalu klasifikasikan dokumen.

Pahami neural network dari MLPClassifier scikit-learn sebagai jembatan menuju deep learning.

Kenali biaya, risiko, dan kapan teknik lanjutan tidak sepadan manfaatnya.

Ubah kebutuhan stakeholder menjadi masalah analitik yang jelas dan terukur.

Tetapkan metrik keberhasilan yang relevan sebelum analisis dimulai.

Rencanakan pengumpulan data dan pahami isinya sebelum menganalisis.

Susun rencana analisis bertahap yang bisa dikomunikasikan ke tim.

Rangkai langkah pembersihan dan transformasi menjadi pipeline yang dapat diulang.

Buat analisis yang dapat direproduksi: seed, data tetap, dan eksekusi dari awal.

Kelola perubahan kode dan data dengan Git serta DVC secara ringkas.

Catat setiap eksperimen: parameter, data, hasil, dan keputusan.

Tulis dokumentasi dataset yang membuat orang lain bisa memakai datamu.

Kunci lingkungan proyek agar analisis tetap berjalan di komputer lain.

Periksa kualitas hasil analisis sebelum menyerahkannya ke pemakai.

Bangun alur cerita dari data mentah ke insight yang mudah diikuti pembaca.

Sampaikan temuan dengan struktur konteks-temuan-bukti-implikasi.

Jelaskan interval, risiko, dan asumsi dengan bahasa yang dipahami non-statistikawan.

Komunikasikan hubungan variabel secara jujur tanpa klaim sebab-akibat yang berlebihan.

Susun laporan teknis yang lengkap: metodologi, hasil, dan lampiran yang bisa ditelusuri.

Sederhanakan laporan tanpa mendistorsi makna bagi pembaca non-teknis.

Formulasikan rekomendasi yang bisa ditindaklanjuti beserta dasar pertimbangannya.

Tulis ringkasan eksekutif satu halaman yang mengutamakan keputusan.

Simpan dan muat kembali model terlatih dengan joblib dan pickle.

Rangkai preprocessing dan model menjadi satu pipeline yang konsisten.

Bungkus model menjadi layanan prediksi minimal dengan FastAPI.

Terapkan model pada banyak baris data sekaligus secara terjadwal.

Pantau kesehatan model produksi: performa, latensi, dan distribusi prediksi.

Kenali gejala data drift dan konsep pengujian distribusi sebagai alarm dini.

Jadwalkan retraining dan kelola versi model secara tertib.

Pahami kapan deployment tidak diperlukan dan kewajiban yang melekat begitu model dipakai orang.

Pahami prinsip privasi, PII, dan teknik anonimisasi serta pseudonymisasi.

Amankan data dan aksesnya: prinsip minimum, kredensial, dan kebiasaan aman.

Kenali sumber bias data dan model beserta langkah audit keadilannya.

Pahami dasar persetujuan pemrosesan data dan praktik pengumpulan yang jujur.

Kaitkan kualitas data dan jejak asal-usulnya dengan tanggung jawab analisis.

Dokumentasikan keterbatasan model secara terbuka agar penggunaan tidak melampaui kelayakannya.

Rancang analisis agar orang lain dapat memeriksa dan mengulangnya.

Pahami tanggung jawab profesional data scientist terhadap manusia yang terdampak.

Analisis data penjualan ritel dari awal hingga laporan: validasi, pembersihan, eksplorasi, analisis, visualisasi, dan pelaporan.

Analisis pergerakan harga komoditas pangan: validasi, pembersihan, statistik deskriptif, tren dan musiman, hingga laporan.

Segmentasi pelanggan dengan K-Means: menyiapkan fitur, clustering, evaluasi, interpretasi segmen, dan laporan.

Prediksi harga komoditas dengan machine learning: fitur lag, baseline, model, evaluasi, analisis kesalahan, dan ketidakpastian.

Analisis mandiri pada dataset publik: memilih dataset, merumuskan pertanyaan, memilih teknik, hingga laporan akhir.

Kenali dokumentasi resmi library inti data science dan cara memakainya secara efektif.

Jelajahi sumber dataset terbuka untuk berlatih: Kaggle, UCI, data.go.id, dan Statistik BPS.

Rujukan belajar matematika untuk data science: aljabar linear, kalkulus, dan probabilitas.

Rujukan statistika klasik dan modern untuk memperdalam materi inferensi.

Rujukan resmi Python, NumPy, pandas, dan ekosistem pengembangannya.

Rujukan teknik analisis data, visualisasi, dan storytelling dengan data.

Rujukan machine learning dari konsep hingga praktik industri.

Kamus istilah data science dari A hingga Z dalam Bahasa Indonesia.