Memantau Azure Databricks

Azure Databricks adalah layanan analitik berbasis Apache Sparkyang cepat dan kuat yang memudahkan untuk mengembangkan dan menyebarkan solusi analitik big data dan kecerdasan buatan (AI). Banyak pengguna memanfaatkan kesederhanaan notebook dalam solusi Azure Databricks mereka. Untuk pengguna yang memerlukan opsi komputasi yang lebih kuat, Azure Databricks mendukung eksekusi terdistribusi kode aplikasi kustom.

Pemantauan adalah bagian penting dari solusi tingkat produksi apa pun, dan Azure Databricks menawarkan fungsionalitas yang kuat untuk memantau metrik aplikasi kustom, peristiwa kueri streaming, dan pesan log aplikasi. Azure Databricks dapat mengirim data pemantauan ini ke layanan pengelogan yang berbeda.

Artikel berikut menunjukkan cara mengirim data pemantauan dari Azure Databricks ke Azure Monitor, platform data pemantauan untuk Azure.

• Mengirim log aplikasi Azure Databricks ke Azure Monitor
• Menggunakan dasbor untuk memvisualisasikan metrik Azure Databricks
• Memecahkan masalah hambatan performa

Pustaka kode yang menyertai artikel ini memperluas fungsionalitas pemantauan inti Azure Databricks untuk mengirim metrik, peristiwa, dan informasi pengelogan Spark ke Azure Monitor.

Audiens untuk artikel ini dan pustaka kode yang menyertainya adalah pengembang solusi Apache Spark dan Azure Databricks. Kode harus dibangun ke dalam file Java Archive (JAR) lalu disebarkan ke kluster Azure Databricks. Kode ini adalah kombinasi dari Scala dan Java, dengan sekumpulan file Maven project object model (POM) yang sesuai untuk membangun file JAR output. Pemahaman tentang Java, Scala, dan Maven direkomendasikan sebagai prasyarat.

Langkah berikutnya

Mulailah dengan membangun pustaka kode dan menyebarkannya ke kluster Azure Databricks Anda.

Sumber daya terkait

• Arsitektur analitik modern dengan Azure Databricks
• Penyerapan, ETL (ekstrak, transformasi, muat), dan alur pemrosesan aliran dengan Azure Databricks
• Mengatur MLOps dengan menggunakan Azure Databricks