Kerjakan data besar dengan efisien: vectorization, dtype yang tepat, hemat memori, chunking, dan profiling operasi. Section ini menyusun materi menjadi chapter berurutan; ikuti urutannya karena tiap chapter memakai konsep dari chapter sebelumnya.

# Memahami Biaya Operasi DataFrame

Mengenali operasi pandas yang mahal dan faktor yang memengaruhi waktu eksekusinya.

Buka → # Menghindari Loop yang Tidak Perlu

Mengganti iterrows dan loop Python dengan operasi vectorized yang jauh lebih cepat.

Buka → # Vectorization dan Boolean Masking

Menerapkan pola vectorized untuk filter dan transformasi data berukuran besar.

Buka → # Memilih dtype yang Efisien

Menurunkan konsumsi memori dengan memilih int32, float32, category, dan pyarrow dtypes.

Buka → # Mengurangi Penggunaan Memori

Mengukur memory_usage() dan menerapkan teknik penurunan konsumsi memori DataFrame.

Buka → # Membaca Data dalam Chunks

Memproses file berukuran besar secara bertahap dengan chunksize pada read_csv().

Buka → # Optimasi read_csv()

Mempercepat pembacaan CSV dengan usecols, dtype, engine c, dan pyarrow backend.

Buka → # Copy vs View

Memahami perilaku Copy-on-Write pandas 3.0 dan dampaknya terhadap performa.

Buka → # Profiling Operasi Pandas

Mengukur waktu eksekusi operasi dengan %timeit, timeit, dan perf_counter.

Buka → # Categorical dan Memory Usage

Menghitung penghematan nyata dtype category pada kolom teks berulang.

Buka → # Batasan Pandas untuk Data Besar

Mengenali batas memori pandas dan alternatif seperti Polars, DuckDB, dan PySpark.

Buka →