Pandas

Mengenal pandas sebagai library analisis data Python: definisi, sejarah singkat, dan alasan library ini menjadi standar industri.

Menjelajahi bidang penerapan pandas: analisis data, data cleaning, pelaporan, dan persiapan data untuk machine learning.

Membandingkan pandas dan NumPy: perbedaan struktur data, tipe data, dan kapan masing-masing lebih tepat dipakai.

Memetakan query SQL seperti SELECT, WHERE, dan JOIN ke operasi pandas yang setara.

Memetakan kebiasaan spreadsheet seperti VLOOKUP dan Pivot Table ke operasi pandas yang setara.

Memetakan posisi pandas di antara NumPy, Matplotlib, scikit-learn, dan library data Python lainnya.

Mengenal dua struktur data inti pandas: Series satu dimensi dan DataFrame dua dimensi beserta komponennya.

Menilai kapan pandas adalah alat yang tepat dan kapan lebih baik memakai Python murni, NumPy, atau SQL.

Menyiapkan Python 3.12 sebagai prasyarat pandas di Windows, macOS, dan Linux.

Mengisolasi dependensi proyek dengan modul venv agar instalasi pandas tidak mengganggu proyek lain.

Memasang pandas dengan pip beserta dependensinya dan memverifikasi hasil instalasi.

Memasang NumPy sebagai fondasi numerik pandas dan memahami hubungan keduanya.

Menguji kode pandas cepat lewat REPL Python sebelum menulisnya ke file skrip.

Menyiapkan Jupyter Notebook sebagai lingkungan eksplorasi data interaktif.

Memeriksa versi pandas, NumPy, dan dependensi lain untuk memastikan lingkungan kerja konsisten.

Mengenal Series sebagai array satu dimensi berlabel yang menjadi blok dasar DataFrame.

Membuat Series dari list, tuple, dictionary, dan nilai skalar dengan pd.Series().

Memisahkan dan memahami dua komponen utama Series: label index dan array values.

Memberi label index sendiri saat membuat Series dan memahami perannya dalam pencarian data.

Mengambil satu atau beberapa elemen Series melalui label maupun posisi integer.

Memotong Series dengan slicing berbasis posisi dan berbasis label beserta perbedaan aturannya.

Menjelajahi atribut bawaan Series seperti dtype, shape, size, name, dan hasnans.

Memahami dtype Series: int64, float64, str baru di pandas 3.0, bool, dan datetime64.

Menerapkan operasi aritmetika dan perbandingan pada Series beserta cara index menjajarkan hasil.

Mengenal DataFrame sebagai tabel dua dimensi berlabel yang tersusun dari Series-Series sejajar.

Membuat DataFrame dengan pd.DataFrame() dari berbagai sumber data Python.

Membangun DataFrame dari dict of lists dan dict of Series beserta aturan panjang datanya.

Membuat DataFrame dari list of lists dan array NumPy serta mengatur nama kolomnya.

Membedakan sumbu index dan columns, memeriksa isinya, dan memahami peran keduanya.

Menggunakan atribut dan method dasar untuk mengintip bentuk, tipe, dan isi DataFrame.

Mengintip sebagian baris DataFrame dengan head(), tail(), dan sample() untuk eksplorasi cepat.

Merangkum struktur dan statistik DataFrame dengan info() dan describe().

Membaca ukuran tabel melalui shape dan tipe tiap kolom melalui dtypes.

Mengganti index DataFrame dengan set_index() dan memilih kolom yang tepat sebagai identifier.

Mengimpor file CSV ke DataFrame dengan pd.read_csv() dan mengenali perilaku default-nya.

Mengekspor DataFrame ke file CSV dengan to_csv() dan mengatur index serta encoding-nya.

Bekerja dengan file .xlsx menggunakan read_excel() dan to_excel() dengan engine openpyxl.

Mengimpor data JSON semi terstruktur dengan read_json() dan memahami orientasinya.

Meratakan JSON bersarang dari API menjadi tabel datar dengan pd.json_normalize().

Menyimpan dan membaca format kolom Parquet yang efisien untuk data berukuran besar.

Menggunakan format Feather untuk pertukaran data berkecepatan tinggi antara pandas dan tools lain.

Menarik tabel dari halaman HTML dengan read_html() dan memahami persyaratannya.

Membaca dataset langsung dari URL dan menangani ketergantungan jaringannya dengan bijak.

Mengambil hasil query database ke DataFrame dengan read_sql() dan SQLAlchemy.

Menyimpan DataFrame ke tabel database dengan to_sql() dan mengatur mode penulisannya.

Menguasai parameter read_csv() yang sering dipakai: sep, header, usecols, dtype, dan na_values.

Membandingkan CSV, Excel, JSON, Parquet, dan Feather untuk memilih format yang sesuai kebutuhan.

Mengambil satu kolom DataFrame sebagai Series lewat akses kurung siku dan memahami konsekuensinya.

Mengambil beberapa kolom sekaligus sebagai DataFrame beserta pengaturan urutannya.

Memilih baris berdasarkan label index dengan .loc, termasuk slicing label yang inklusif.

Memilih baris dan kolom berdasarkan posisi integer dengan .iloc.

Menggabungkan potongan baris dan kolom dalam satu operasi .loc atau .iloc.

Menyaring baris dengan kondisi boolean seperti df[df["umur"] > 25].

Menggabungkan beberapa kondisi filter dengan operator & (AND), | (OR), dan ~ (NOT).

Menyaring baris berdasarkan daftar nilai dan rentang nilai dengan isin() dan between().

Menulis filter sebagai string ekspresi dengan query() agar kode lebih mudah dibaca.

Memahami array boolean sebagai fondasi di balik semua operasi seleksi kondisional pandas.

Memahami mengapa chained assignment tidak lagi berfungsi di pandas 3.0 dan memakai .loc sebagai gantinya.

Membentuk subset kolom dan menghapus kolom yang tidak diperlukan dengan drop().

Menambahkan kolom baru dari perhitungan, konstanta, atau Series lain.

Mengubah nilai sel tertentu dengan .loc dan at() secara langsung dan aman.

Mengganti nilai secara kondisional dengan where() dan mask() tanpa membuang baris.

Mengganti nama kolom dan label index dengan rename() beserta mapping-nya.

Menghapus baris dan kolom dengan drop() beserta parameter axis dan columns.

Mengurutkan DataFrame berdasarkan nilai kolom dengan sort_values().

Mengurutkan dengan beberapa kolom sekaligus dan arah ascending berbeda per kolom.

Mengurutkan DataFrame berdasarkan index dengan sort_index() dan memahami urutannya.

Mengembalikan index menjadi kolom biasa dan menomori ulang baris dengan reset_index().

Mengonversi tipe kolom dengan astype() dan menangani kegagalan konversi dengan aman.

Memanipulasi kolom teks melalui accessor .str seperti .str.upper() dan .str.strip().

Memahami kapan data tersalin di era Copy-on-Write dan kapan .copy() benar-benar dibutuhkan.

Memetakan masalah data umum: nilai kosong, duplikat, tipe salah, dan inkonsistensi label.

Memahami NaN sebagai penanda nilai kosong dan bagaimana pandas 3.0 menanganinya di tiap dtype.

Memakai isna(), notna(), dan kombinasi dengan sum() untuk menghitung nilai kosong per kolom.

Membersihkan baris atau kolom dengan dropna() beserta parameter how dan subset.

Mengganti NaN dengan nilai tertentu, mean/median, atau ffill/bfill melalui fillna().

Mendeteksi dan menghapus duplikat dengan duplicated() dan drop_duplicates().

Memperbaiki kolom yang terbaca dengan tipe salah, misalnya angka yang tersimpan sebagai teks.

Menormalkan teks dengan .str.strip(), .str.lower(), dan penghapusan karakter tak diinginkan.

Menyatukan label yang berbeda ejaan, misalnya "Jakarta", "JAKARTA", dan " jakarta ".

Mengenali nilai ekstrem dengan statistik deskriptif sebelum memutuskan penanganannya.

Mengoreksi nilai di luar logika domain, seperti umur negatif atau persentase di atas 100.

Memeriksa kolom numerik terhadap rentang yang wajar menggunakan boolean mask.

Merangkum kondisi data sebelum dan sesudah pembersihan menjadi laporan ringkas yang terukur.

Menjalankan penjumlahan, pengurangan, perkalian, dan pembagian pada Series dan DataFrame.

Menghitung kolom baru dari kombinasi kolom lain, misalnya total = harga dikali jumlah.

Menghitung agregat dasar per kolom dan memahami penanganan NaN oleh masing-masing method.

Menemukan nilai terkecil, terbesar, dan jumlah data yang tidak kosong per kolom.

Mengukur sebaran data dengan var() dan std() beserta makna parameter ddof-nya.

Memotong distribusi data dengan quantile() dan menghubungkannya dengan median serta IQR.

Menyusun peringkat dengan rank() dan mengambil nilai teratas atau terbawah dengan nlargest() dan nsmallest().

Mengukur hubungan linear antar kolom dengan corr() dan membaca nilai korelasinya.

Menghitung kovarians dengan cov() dan membedakannya dari korelasi.

Mengontrol arah agregasi dengan axis=0 untuk per kolom dan axis=1 untuk per baris.

Menghitung nilai berjalan dengan cumsum(), cummax(), dan cummin().

Menghitung frekuensi nilai unik pada sebuah kolom, termasuk parameter normalize dan dropna.

Merangkum distribusi data numerik dan kategorikal dengan describe() dalam sekali panggil.

Menerapkan fungsi kustom ke Series dan DataFrame dengan apply().

Memetakan nilai ke nilai lain dengan map() dan mengganti nilai tertentu dengan replace().

Menambah kolom baru secara berantai (method chaining) tanpa mengubah DataFrame asli.

Merangkai fungsi transformasi besar menjadi pipeline yang mudah dibaca dengan pipe().

Membedakan transform() yang mempertahankan bentuk data dan aggregate() yang meringkasnya.

Mengoper fungsi per baris dengan axis=1 dan per kolom dengan axis=0 pada apply().

Menulis transformasi ringkas satu baris dengan lambda di apply(), assign(), dan map().

Mengubah nilai teks menjadi kategori terkelola dan memetakan label lama ke label baru.

Membagi data numerik kontinu ke dalam bin berdasarkan rentang nilai dengan pd.cut().

Membagi data ke dalam bin berdasarkan kuantil sehingga isi tiap bin seimbang.

Mengubah kolom kategori menjadi kolom biner dengan pd.get_dummies().

Mengubah label teks menjadi kode numerik dengan factorize() sebagai alternatif one-hot encoding.

Menyekalakan data numerik dengan min-max normalization dan z-score standardization.

Memahami tiga tahap groupby: memecah data, menerapkan fungsi, dan menggabungkan hasil.

Mengelompokkan data berdasarkan satu kolom dan menghitung agregat per kelompok.

Mengelompokkan data berdasarkan beberapa kolom sekaligus dan membaca MultiIndex hasilnya.

Menggunakan fungsi agregasi bawaan seperti sum, mean, count, min, dan max pada groupby.

Menerapkan beberapa fungsi agregasi sekaligus pada satu atau beberapa kolom.

Menamai kolom hasil agregasi langsung saat menulis groupby agar hasilnya rapi.

Menghasilkan nilai agregat per kelompok dengan ukuran yang sama seperti data asli.

Menyaring kelompok utuh berdasarkan kondisi agregat, misalnya kelompok dengan total tertentu.

Memahami bagaimana groupby memperlakukan NaN pada kunci kelompok dan data yang diagregasi.

Menghitung kontribusi setiap baris terhadap total kelompoknya dengan transform dan div.

Menggabungkan seluruh teknik groupby untuk menjawab pertanyaan analisis nyata.

Menggabungkan beberapa DataFrame dengan pd.concat() beserta parameter join dan ignore_index.

Menumpuk data vertikal dari berbagai sumber dengan axis=0 dan penanganan kolom berbeda.

Menyandingkan data secara horizontal dengan axis=1 dan menjajarkan index-nya.

Mengisi nilai yang hilang dari satu DataFrame dengan nilai DataFrame lain menggunakan combine_first() dan update().

Menggabungkan dua tabel berdasarkan kolom kunci seperti JOIN di SQL dengan pd.merge().

Menggabungkan hanya baris dengan kunci yang cocok di kedua tabel menggunakan how="inner".

Mempertahankan baris dari satu atau kedua tabel dengan how="left", "right", dan "outer".

Menggabungkan tabel berdasarkan kombinasi beberapa kolom kunci sekaligus.

Menjaga kebenaran relasi one-to-one dan one-to-many dengan parameter validate.

Mengatasi nama kolom yang sama di kedua tabel dengan suffixes saat merge.

Menemukan perbedaan sel demi sel antara dua DataFrame dengan compare() untuk kebutuhan audit dan rekonsiliasi.

Menggabungkan data berdasarkan kunci waktu terdekat untuk data deret waktu.

Menggabungkan data terurut dengan merge_ordered() serta menemukan baris tanpa pasangan menggunakan anti-join.

Membentuk tabel lebar dari data panjang dengan pivot() dan pivot_table().

Melelehkan tabel lebar menjadi format panjang dengan melt() agar siap dianalisis.

Mengubah kolom berisi list menjadi baris terpisah dengan explode() agar setiap elemen bisa dianalisis.

Memindahkan level index ke kolom dan sebaliknya dengan stack() dan unstack().

Memahami dua konvensi bentuk tabel dan kapan masing-masing lebih sesuai dipakai.

Membuat tabel frekuensi silang antara dua kolom kategori dengan pd.crosstab().

Mengenal dtype datetime64 di pandas 3.0 beserta resolusi unit waktunya.

Mengubah teks tanggal menjadi datetime dengan pd.to_datetime() dan format eksplisit.

Mengurai format tanggal beragam dengan parameter format, dayfirst, dan errors.

Menjadikan datetime sebagai index DataFrame untuk membuka fitur deret waktu.

Mengambil data untuk tanggal, rentang, bulan, dan tahun tertentu dari datetime index.

Mengubah granularitas data waktu dengan resample(), dari harian ke bulanan dan sebaliknya.

Mengagregasi data berbasis waktu per kelompok menggunakan pd.Grouper saat kolom tanggal bukan index.

Memahami alias frekuensi seperti D, W, ME, dan YE serta date_range untuk membuat deret.

Menghitung rata-rata dan statistik bergerak dengan rolling() untuk memperhalus tren.

Menghitung statistik kumulatif yang terus bertambah dengan expanding().

Memberi bobot lebih pada data terbaru dengan ewm() untuk perhitungan yang responsif.

Menggeser data maju dan mundur dengan shift() untuk membandingkan nilai antar periode.

Menghitung selisih antar periode dengan diff() untuk melihat perubahan absolut dan persentase.

Menghitung dan mengolah durasi waktu dengan to_timedelta, Timedelta, serta accessor .dt untuk analisis jeda antar peristiwa.

Bekerja dengan Period, period_range, dan konversi timezone dengan tz_localize dan tz_convert.

Menemukan tanggal yang hilang pada deret waktu dan mengisinya dengan asfreq dan interpolasi.

Menggabungkan resampling, rolling, dan shift untuk menganalisis tren data deret waktu.

Memanfaatkan accessor .str untuk memproses kolom teks secara vectorized.

Mencari pola dan mengganti teks dalam kolom dengan .str.contains() dan .str.replace().

Memecah kolom teks dengan .str.split() dan mengekstrak bagian tertentu dengan .str.extract().

Menyaring dan mengekstrak teks dengan pola regex pada method .str dan .replace().

Menyeragamkan teks: lowercase, strip, menghapus tanda baca, dan menyatukan spasi ganda.

Mengenal dtype category untuk data teks dengan nilai berulang yang terbatas.

Menambah, menghapus, dan mengganti kategori melalui .cat accessor dan set_categories().

Mendefinisikan urutan kategori bermakna agar perbandingan dan sort menjadi logis.

Menghitung distribusi kategori dengan value_counts() dan groupby pada data categorical.

Mengukur dan memangkas penggunaan memori dengan mengonversi teks berulang menjadi kategori.

Mengenali pola hilangnya data: MCAR, MAR, dan MNAR serta dampaknya pada pilihan penanganan.

Mengisi nilai kosong dari data sebelum atau sesudahnya dengan ffill() dan bfill().

Mengisi nilai kosong dengan estimasi antar titik data menggunakan interpolate().

Memahami perilaku NaN pada kunci kelompok dan agregasi beserta cara mengendalikannya.

Mendeteksi nilai ekstrem dengan aturan IQR dan menandainya sebagai boolean mask.

Mendeteksi outlier berdasarkan jarak dari mean dalam satuan standard deviation.

Membatasi nilai ekstrem ke batas kuantil atau ambang tertentu dengan clip().

Menyusun keputusan penanganan missing dan outlier berdasarkan konteks dan tujuan analisis.

Mengenal method .plot() pandas sebagai jembatan cepat dari DataFrame ke Matplotlib.

Menggambar grafik garis untuk melihat tren data sepanjang sumbu x dengan .plot.line().

Membandingkan nilai antar kategori dengan .plot.bar(), termasuk bar bertumpuk dan horizontal.

Melihat distribusi data numerik dengan .plot.hist() dan mengatur jumlah bin-nya.

Merangkum distribusi, median, dan outlier per kolom dengan .plot.box().

Memvisualisasikan hubungan dua variabel numerik dengan .plot.scatter().

Menampilkan besaran kumulatif antar kategori sepanjang waktu dengan .plot.area().

Mengubah matriks korelasi menjadi scatter matrix dan visualisasi yang mudah dibaca.

Menyempurnakan judul, label sumbu, dan legend pada plot pandas via parameter .plot().

Menggabungkan plot pandas dengan objek figure dan axes Matplotlib untuk layout kompleks.

Mengubah DataFrame menjadi laporan yang menarik dengan Styler: format angka, gradasi warna, bar, dan ekspor ke Excel serta HTML.

Mengganti mesin plot pandas ke backend interaktif seperti Plotly dengan parameter backend.

Memahami fondasi NumPy di balik pandas dan pertukaran data antara keduanya.

Mengontrol visualisasi DataFrame lebih jauh dengan API Matplotlib.

Membuat visualisasi statistik yang elegan langsung dari DataFrame dengan seaborn.

Melengkapi analisis pandas dengan uji statistik dan fungsi ilmiah dari scipy.

Mengalirkan DataFrame ke pipeline machine learning scikit-learn dengan benar.

Memahami peran SQLAlchemy sebagai engine koneksi database bagi read_sql dan to_sql.

Mengoptimalkan tampilan DataFrame dan alur kerja eksplorasi di Jupyter Notebook.

Mengubah DataFrame menjadi array NumPy dan sebaliknya dengan to_numpy() dan from_records().

Bertukar data dengan pyarrow table, dictionary Python, dan struktur data lainnya.

Mengenali operasi pandas yang mahal dan faktor yang memengaruhi waktu eksekusinya.

Mengganti iterrows dan loop Python dengan operasi vectorized yang jauh lebih cepat.

Menerapkan pola vectorized untuk filter dan transformasi data berukuran besar.

Menurunkan konsumsi memori dengan memilih int32, float32, category, dan pyarrow dtypes.

Mengukur memory_usage() dan menerapkan teknik penurunan konsumsi memori DataFrame.

Memproses file berukuran besar secara bertahap dengan chunksize pada read_csv().

Mempercepat pembacaan CSV dengan usecols, dtype, engine c, dan pyarrow backend.

Memahami perilaku Copy-on-Write pandas 3.0 dan dampaknya terhadap performa.

Mengukur waktu eksekusi operasi dengan %timeit, timeit, dan perf_counter.

Menghitung penghematan nyata dtype category pada kolom teks berulang.

Mengenali batas memori pandas dan alternatif seperti Polars, DuckDB, dan PySpark.

Membuat dan membaca index bertingkat (hierarchical index) pada Series dan DataFrame.

Menavigasi dan memanipulasi level index dengan xs(), swaplevel(), dan stack/unstack.

Mengenali label duplikat pada index, perilaku loc saat label ganda, dan cara melarangnya dengan set_flags.

Menggabungkan MultiIndex, .loc, dan slicer IndexSlice untuk seleksi data bertingkat.

Menulis fungsi agregasi kustom sendiri dan memasangkannya pada groupby dan agg.

Mengulas rolling, expanding, dan ewm secara utuh untuk analisis berbasis jendela.

Mengevaluasi ekspresi kolom dengan numexpr melalui eval() untuk DataFrame besar.

Membangun ekspresi kolom yang dapat dibaca ulang dengan pd.col() untuk assign, loc, dan query.

Memahami sistem dtype ekstensi pandas dan kapan menggunakannya.

Memakai Int64, Float64, boolean, dan str dengan penanda missing yang konsisten.

Mengaktifkan dtype pyarrow untuk performa dan memori yang lebih efisien.

Memigrasi kolom teks dari object ke dtype str pandas 3.0 termasuk pemeriksaan dan jebakan umum.

Menghemat memori untuk data yang didominasi satu nilai dengan SparseDtype.

Memahami kebijakan deprecation pandas dan cara menjaga kode tetap kompatibel.

Memahami aturan Copy-on-Write di pandas 3.0: mengapa chained assignment tidak lagi berfungsi dan bagaimana cara mengubah data dengan aman.

Mengatur perilaku tampilan dan lingkungan pandas dengan set_option, option_context, dan reset_option.

Mengurai pesan KeyError, IndexError, dan ValueError pandas untuk menemukan akar masalah.

Melacak masalah hasil operasi yang tidak terduga akibat perbedaan index.

Memeriksa jumlah baris dan kunci join saat hasil merge tidak sesuai ekspektasi.

Menemukan konversi tipe yang berubah diam-diam saat membaca dan memproses data.

Menulis unit test untuk DataFrame dengan pytest dan pola perbandingan yang tepat.

Membandingkan dua DataFrame secara ketat dengan utilitas testing pandas.

Memeriksa nama kolom, dtype, dan bentuk data terhadap kontrak yang disepakati.

Menguji fungsi transformasi dengan input kecil, output terdefinisi, dan kasus tepi.

Menjadikan pipeline data dapat direproduksi dengan seed, versi, dan data uji tetap.

Menyusun tahapan extract, transform, load menjadi fungsi-fungsi pandas yang terstruktur.

Menggabungkan data dari CSV, Excel, JSON, dan database dalam satu pipeline.

Menerapkan pembersihan dan transformasi standar pada tahap transform pipeline.

Memasang gerbang validasi schema dan aturan bisnis sebelum data diekspor.

Mencatat jalannya pipeline dengan module logging dan menangani kegagalan tahapan.

Menulis hasil pipeline ke beberapa format output dengan penamaan yang konsisten.

Membungkus pipeline menjadi skrip CLI yang siap dijalankan terjadwal.

Memproses data cuaca harian: menangani data hilang, menganalisis pola, dan merangkum data harian.

Menganalisis tren penjualan dari waktu ke waktu: agregasi per periode, deteksi tren, dan ringkasan deret waktu.

Mengimpor, membersihkan, dan membandingkan pergerakan harga beberapa komoditas antar periode.

Menganalisis dataset transaksi penjualan dari pembersihan data hingga ringkasan kinerja produk.

Menjelajahi dataset terbuka pilihan dari pemahaman struktur hingga penyusunan temuan analisis.

Membangun pipeline ETL lengkap: mengambil data dari banyak sumber, mentransformasi, memvalidasi, dan mengekspor data bersih.

Panduan menjelajah situs dokumentasi resmi pandas: user guide, getting started, dan community.

Menavigasi API reference pandas untuk menemukan signature dan perilaku method dengan cepat.

Daftar buku dan referensi cetak yang direkomendasikan untuk mendalami pandas.

Tutorial resmi, cheatsheet, dan sumber artikel berkualitas untuk melatih keterampilan pandas.

Sumber dataset terbuka yang aman dipakai untuk berlatih analisis data dengan pandas.

Repositori contoh kode resmi pandas dan cara memanfaatkannya untuk belajar.

Kamus istilah pandas dan analisis data yang dipakai sepanjang Course ini.