Modul ini memperkenalkan sisi SQL dari Spark melalui tiga topik yang saling menyambung. Pertama, DataFrame didaftarkan sebagai temp view agar pernyataan SQL dapat dijalankan langsung pada data yang sedang diproses. Kedua, paritas antara SQL dan API DataFrame dibuktikan dengan rencana eksekusi yang identik, sehingga pemilihan antarmuka menjadi soal keterbacaan alih-alih kinerja. Ketiga, katalog dijelajahi sebagai indeks metadata yang menerjemahkan nama tabel dan view menjadi rencana maupun lokasi data. Setelah modul ini, kueri SQL dan kode Python dapat dicampur dalam satu alur secara sadar karena keduanya berujung pada mesin eksekusi yang sama.
SQL di Spark
Mesin yang sama melalui dua antarmuka: temp view, paritas API, dan katalog.
0/0 selesai
- Spark SQL
Temp view dan menjalankan SQL pada DataFrame.
- Paritas API
SQL versus DataFrame: mesin yang sama, pilihan mengikuti tugas.
- Katalog
Basis data, tabel, dan metadata.