Panduan migrasi Log Analytics untuk klaster Azure HDInsight

Azure HDInsight adalah layanan klaster terkelola yang siap untuk perusahaan. Layanan ini menjalankan kerangka kerja analitik sumber terbuka seperti Apache Spark, Hadoop, HBase, dan Kafka pada Azure. Azure HDInsight telah terintegrasi dengan layanan Azure lainnya untuk memungkinkan konsumen mengelola aplikasi analitik big data mereka dengan lebih baik.

Log Analytics menyediakan alat di portal Azure untuk mengedit dan menjalankan kueri log. Kueri berasal dari data yang dikumpulkan oleh Azure Monitor Logs dan secara interaktif menganalisis hasilnya. Konsumen dapat menggunakan kueri Log Analytics untuk mengambil rekaman yang sesuai dengan kriteria tertentu. Mereka juga dapat menggunakan kueri untuk mengidentifikasi tren, menganalisis pola, dan memberikan wawasan tentang data mereka.

Azure HDInsight mengaktifkan integrasi dengan Log Analytics pada tahun 2017. Konsumen HDInsight dengan cepat mengadopsi fitur ini untuk memantau klaster HDInsight mereka dan mengkueri log di klaster. Selagi adopsi fitur ini meningkat, konsumen telah memberikan tanggapan tentang integrasi:

• Konsumen tidak dapat memutuskan log mana yang akan disimpan, dan penyimpanan semua log akan berbiaya besar.
• Log skema HDInsight saat ini tidak mengikuti konvensi penamaan yang konsisten dan beberapa tabel berulang.
• Konsumen menginginkan dasbor out-of-box untuk memantau KPI dari klaster HDInsight mereka dengan mudah.
• Konsumen harus melompat ke Log Analytics untuk menjalankan kueri sederhana.

Ikhtisar solusi

Dengan mempertimbangkan tanggapan konsumen, tim Azure HDInsight berinvestasi dalam integrasi dengan Azure Monitor. Integrasi ini memungkinkan:

• Set tabel baru di ruang kerja Log Analytics konsumen. Tabel baru dikirimkan melalui alur Log Analytics baru.
• Ketahanan yang lebih tinggi
• Pengiriman log yang lebih cepat
• Pengelompokan tabel berbasis sumber daya dan kueri default

Manfaat integrasi Azure Monitor baru

Dokumen ini menguraikan perubahan pada integrasi Azure Monitor dan menyediakan praktik terbaik untuk menggunakan tabel baru.

Skema yang didesain ulang: Pemformatan skema untuk integrasi Azure Monitor baru lebih terorganisir dan mudah dipahami. Ada pengurangan skema sebesar dua pertiga untuk menghilangkan sebanyak mungkin ambiguitas dalam skema warisan.

Pengelogan Selektif: Terdapat log dan metrik yang tersedia melalui Analitik Log. Untuk membantu Anda menghemat biaya pemantauan, kami akan merilis fitur pencatatan selektif baru. Gunakan fitur ini untuk mengaktifkan dan menonaktifkan log dan sumber metrik yang berbeda. Dengan fitur ini, Anda hanya perlu membayar apa yang Anda gunakan. Untuk detail selengkapnya, lihat Pengelogan Selektif

Integrasi portal klaster log: Panel Log baru di portal Klaster HDInsight. Siapa pun yang memiliki akses ke klaster bisa membuka panel ini untuk mengkueri tabel tempat sumber daya klaster mengirim rekaman. Pengguna tidak memerlukan akses ke ruang kerja Log Analytics lagi untuk melihat rekaman untuk sumber daya klaster tertentu.

Integrasi portal klaster Insights: Panel Insights juga merupakan fitur baru di portal Klaster HDInsight. Setelah mengaktifkan integrasi Azure Monitor baru, Anda dapat memilih panel Insight sehingga dasbor log dan metrik out-of-box khusus untuk jenis klaster akan secara otomatis diisi untuk Anda. Dasbor ini telah ditingkatkan dari solusi Azure kami sebelumnya. Ia memberi Anda wawasan mendalam tentang kinerja dan kesehatan klaster Anda.

Skenario konsumen

Bagian berikut ini menjelaskan cara konsumen menggunakan integrasi Azure Monitor baru dalam skenario yang berbeda. Bagian Mengaktifkan integrasi Azure Monitor baru menguraikan cara mengaktifkan dan menggunakan integrasi Azure Monitor baru. Bagian Migrasi dari Azure Monitor Classic ke Integrasi Azure Monitor baru menyertakan informasi tambahan untuk pengguna yang bergantung pada integrasi Azure Monitor lama.

Mengaktifkan integrasi Azure Monitor baru

Aktifkan integrasi baru dengan membuka halaman portal klaster Anda dan menggulirkan ke bawah menu di sebelah kiri hingga Anda mencapai bagian Pemantauan. Di bagian Pemantauan, pilih Pantau integrasi. Kemudian, pilih Aktifkan dan Anda dapat memilih ruang kerja Log Analytics yang Anda inginkan untuk dikirim ke log Anda. Pilih Simpan setelah Anda memilih ruang kerja Anda.

Mengakses tabel baru

Ada dua cara untuk mengakses tabel baru.

Pendekatan 1:

Cara pertama untuk mengakses tabel baru adalah melalui ruang kerja Log Analytics.

1. Buka ruang kerja Log Analytics yang Anda pilih saat mengaktifkan integrasi.
2. Gulirkan ke bawah di menu di sisi kiri layar dan pilih Log. Editor kueri Log akan muncul dengan daftar semua tabel di ruang kerja.
3. Jika tabel dikelompokkan menurut Solusi, tabel HDI baru berada di bawah bagian Manajemen Log.
4. Jika Anda mengelompokkan tabel menurut Jenis Sumber Daya, tabel berada di bawah bagian Klaster HDInsight seperti yang ditampilkan di gambar di bawah ini.

Pendekatan 2:

Cara kedua untuk mengakses tabel baru adalah melalui akses portal Klaster.

1. Arahkan ke halaman portal Klaster Anda dan gulirkan ke bawah menu di sisi kiri hingga Anda melihat bagian Pemantauan. Di bagian ini, Anda akan melihat panel Log.
2. Pilih Log dan editor kueri Log muncul. Editor berisi semua log yang terkait dengan sumber daya klaster. Anda mengirim log ke ruang kerja Log Analytics saat mengaktifkan integrasi. Log ini menyediakan akses berbasis sumber daya (RBAC). Dengan RBAC, pengguna yang memiliki akses ke klaster tetapi tidak memiliki akses ke ruang kerja dapat melihat log yang terkait dengan klaster.

Sebagai perbandingan, tangkapan layar berikut menampilkan tampilan ruang kerja integrasi warisan dan tampilan ruang kerja integrasi baru:

Tampilan ruang kerja integrasi warisan

Tampilan ruang kerja integrasi baru

Menggunakan tabel baru

Integrasi ini dapat membantu Anda menggunakan tabel baru:

Kueri default untuk digunakan dengan tabel baru

Di editor kueri Logs Anda, atur pengalih ke Kueri di atas daftar tabel. Pastikan Anda mengelompokkan kueri berdasarkan Jenis Sumber Daya dan tidak ada filter yang diatur untuk jenis sumber daya selain Klaster HDInsight. Gambar berikut menampilkan tampilan hasilnya saat dikelompokkan berdasarkan Jenis Sumber Daya dan difilter untuk Klaster HDInsight. Cukup pilih satu dan ia muncul di editor kueri Log. Pastikan untuk membaca komentar yang disertakan dalam kueri, karena beberapa mengharuskan Anda memasukkan beberapa informasi, seperti nama klaster Anda, agar kueri berhasil dijalankan.

Membuat kueri Anda sendiri

Anda bisa memasukkan kueri Anda sendiri di editor kueri Log. Kueri yang digunakan pada tabel lama tidak akan valid pada tabel baru karena sebagian besar tabel baru memiliki skema baru yang disempurnakan. Kueri default adalah referensi hebat untuk membentuk kueri pada tabel baru.

Insights

Insights adalah dasbor visualisasi khusus klaster yang dibuat menggunakan Azure Buku Kerja. Dasbor ini memberi Anda grafik dan visualisasi terperinci tentang cara klaster Anda berjalan. Dasbor memiliki bagian untuk setiap jenis, YARN, metrik sistem, dan log komponen klaster. Anda dapat mengakses dasbor klaster dengan mengunjungi halaman klaster di portal, menggulirkan ke bawah ke bagian Pemantauan, dan memilih panel Insights. Dasbor dimuat secara otomatis jika Anda telah mengaktifkan integrasi baru. Biarkan selama beberapa detik agar grafik dimuat karena grafik mengkueri log.

Buku Kerja Azure Kustom

Anda bisa membuat buku kerja Azure Anda sendiri dengan grafik dan visualisasi kustom. Di halaman portal klaster Anda, gulirkan ke bawah ke bagian Pemantauan dan pilih panel Buku Kerja di menu di sebelah kiri. Anda dapat mulai menggunakan templat kosong atau menggunakan salah satu templat di bawah bagian Klaster HDInsight. Ada templat untuk setiap jenis klaster. Templat berguna jika Anda ingin menyimpan kustomisasi tertentu yang tidak menyediakan HDInsight Insights default. Jangan ragu untuk mengirim permintaan untuk fitur baru di HDInsight Insights jika Anda merasa ada kekurangan.

Peringatan

Anda bisa menambahkan peringatan kustom ke klaster dan ruang kerja Anda di editor kueri Log. Buka editor kueri Log dengan memilih panel Log dari portal klaster atau ruang kerja Anda. Jalankan kueri lalu pilih Aturan Peringatan Baru seperti yang ditampilkan dalam cuplikan layar berikut ini. Untuk informasi selengkapnya, baca tentang mengonfigurasi peringatan.

Migrasi ke Integrasi Azure Monitor yang baru

Jika Anda menggunakan integrasi Azure Monitor klasik, Anda perlu membuat beberapa penyesuaian pada format tabel baru setelah beralih ke integrasi Azure Monitor baru.

Untuk mengaktifkan integrasi Azure Monitor baru, ikuti langkah-langkah yang diuraikan di bagian Mengaktifkan integrasi Azure Monitor baru.

Menjalankan kueri di Log Analytics

Karena format tabel baru berbeda dari yang sebelumnya, kueri Anda harus dikerjakan ulang agar Anda dapat menggunakan tabel baru kami. Setelah mengaktifkan integrasi Azure Monitor baru, Anda dapat menelusuri tabel dan skema untuk mengidentifikasi bidang yang digunakan dalam kueri lama Anda.

Kami menyediakan tabel pemetaan antara tabel lama ke tabel baru untuk membantu Anda menemukan bidang baru yang perlu Anda gunakan dengan cepat untuk memigrasikan dasbor dan kueri Anda.

Kueri default: Kami membuat kueri default yang menampilkan cara menggunakan tabel baru untuk situasi umum. Kueri default juga menampilkan informasi apa yang tersedia di setiap tabel. Anda bisa mengakses kueri default dengan mengikuti instruksi di bagian Kueri default untuk digunakan dengan tabel baru di artikel ini.

Memperbarui dasbor untuk klaster HDInsight

Jika Anda telah membuat beberapa dasbor untuk memantau klaster HDInsight, Anda perlu menyesuaikan kueri di balik tabel setelah mengaktifkan integrasi Azure Monitor baru. Nama tabel atau nama bidang mungkin berubah dalam integrasi baru, tetapi semua informasi yang Anda miliki dalam integrasi lama disertakan.

Lihat tabel pemetaan antara tabel/skema lama ke tabel/skema baru untuk memperbarui kueri di balik dasbor.

Dasbor out-of-box

Kami juga meningkatkan dasbor out-of-box di semua tingkat klaster. Ada tombol di kanan atas setiap grafik yang memungkinkan Anda melihat kueri yang mendasari yang menghasilkan informasi. Grafik adalah cara yang bagus untuk membiasakan diri dengan cara mengkueri tabel baru secara efektif.

Mengaktifkan semua integrasi untuk mempercepat migrasi

Anda dapat mengaktifkan integrasi Azure Monitor klasik dan baru secara bersamaan pada klaster yang memenuhi syarat untuk semua integrasi untuk bermigrasi ke integrasi Azure Monitor baru dengan cepat. Integrasi baru tersedia untuk semua klaster yang dibuat setelah pertengahan September 2020.

Dengan cara ini, Anda dapat dengan mudah melakukan perbandingan berdampingan untuk kueri yang Anda gunakan.

Mengaktifkan integrasi klasik

Jika menggunakan klaster yang dibuat setelah pertengahan September 2020, Anda akan melihat pengalaman portal baru di portal klaster Anda. Untuk mengaktifkan alur baru, Anda bisa mengikuti langkah-langkah yang diuraikan di bagian Mengaktifkan integrasi Azure Monitor baru. Untuk mengaktifkan integrasi klasik pada klaster ini, buka halaman portal klaster Anda. Pilih panel Pantau integrasi di bagianPemantauan dari menu di sisi kiri halaman portal klaster Anda. Pilih Konfigurasikan Azure Monitor untuk integrasi klaster HDInsight (klasik). Konteks sampingan muncul dengan peralihan yang dapat Anda gunakan untuk mengaktifkan dan menonaktifkan integrasi Azure Monitor klasik.

Pembuatan kluster baru dengan integrasi Azure Monitor klasik tidak akan tersedia setelah 1 Juli 2023.

Linimasa rilis dan dukungan

• Integrasi Azure Monitoring klasik tidak tersedia setelah 15 Oktober 2021. Anda tidak dapat mengaktifkan integrasi Azure Monitor klasik setelah tanggal tersebut.
• Penyerapan integrasi Azure Monitoring klasik tidak akan berfungsi setelah 31 Agustus 2024.
• Kluster HDInsight dengan integrasi Azure Monitor (pratinjau) tidak akan didukung melebihi 1 Februari 2025.
• Integrasi Azure Monitor yang ada (pratinjau) akan terus berfungsi, hingga 31 Januari 2025. Akan ada dukungan terbatas untuk integrasi Azure Monitor (pratinjau).
  • Jika solusi memerlukan perubahan gambar, konsumen harus pindah ke integrasi baru.
  • Microsoft tidak akan menambal kluster integrasi Azure Monitor (pratinjau) kecuali untuk masalah keamanan penting.

Lampiran: Pemetaan tabel

Untuk pemetaan tabel log dari integrasi Azure Monitor klasik ke yang baru, lihat Pemetaan tabel log.

Konten terkait

Mengkueri log Azure Monitor untuk memantau kluster Microsoft Azure HDInsight