Mendiagnosis masalah biaya dan performa menggunakan antarmuka pengguna Spark

Panduan ini memandu Anda melalui cara menggunakan Spark UI untuk mendiagnosis masalah biaya dan performa. Ini adalah panduan langkah demi langkah, dan ini adalah cara praktis. Daripada hanya memberi Anda penjelasan tentang apa yang dilakukan setiap halaman di UI Spark, itu memberi tahu Anda apa yang harus dicari dan apa artinya. Jika Anda tidak terbiasa dengan konsep driver, pekerja, pelaksana, tahapan, dan tugas, Anda mungkin ingin meninjau arsitektur Spark.

Jika Anda mencari daftar komprehensif berbagai alat pengoptimalan, gunakan panduan Pengoptimalan Databricks. Bagian panduan pengoptimalan direferensikan dalam panduan UI Spark ini.

Menggunakan panduan ini

Untuk menavigasi melalui panduan, gunakan tautan yang disematkan di setiap halaman untuk dibawa ke langkah berikutnya. Panduan ini berisi langkah-langkah berikut secara berurutan:

1. Gunakan Garis Waktu Pekerjaan untuk mengidentifikasi masalah utama
2. Lihat tahap terpanjang
3. Cari ke condong atau tumpahan
4. Menentukan apakah fase terpanjang bergantung pada I/O
5. Cari penyebab lain dari waktu proses tahap yang lambat

Mari kita mulai!

Cara membuka Spark UI

1. Navigasi ke halaman kluster Anda:

   Komputasi

2. Klik Spark UI:

   SparkUI

Langkah berikutnya

Sekarang setelah Anda membuka Spark UI, tinjau garis waktu peristiwa berikutnya untuk mengetahui selengkapnya tentang alur atau kueri Anda. Lihat garis waktu pekerjaan.