Memilih ukuran VM yang tepat untuk kluster Azure HDInsight Anda
Artikel ini membahas cara memilih ukuran VM yang tepat untuk berbagai node di kluster HDInsight Anda.
Mulailah dengan memahami bagaimana properti komputer virtual seperti pemrosesan CPU, ukuran RAM, dan latensi jaringan memengaruhi pemrosesan beban kerja Anda. Selanjutnya, pikirkan tentang aplikasi Anda dan bagaimana kecocokannya dengan hal yang dioptimalkan untuk kumpulan VM yang berbeda. Pastikan bahwa kumpulan VM yang ingin Anda gunakan kompatibel dengan jenis kluster yang Anda rencanakan untuk digunakan. Untuk daftar semua ukuran VM yang didukung dan direkomendasikan untuk setiap jenis kluster, lihat Konfigurasi node yang didukung Azure HDInsight. Terakhir, Anda dapat menggunakan proses penetapan tolok ukur untuk menguji beberapa contoh beban kerja dan memeriksa SKU dalam kumpulan yang tepat untuk Anda.
Untuk informasi selengkapnya tentang merencanakan aspek lain dari kluster Anda seperti memilih jenis penyimpanan atau ukuran kluster, lihat Perencanaan kapasitas untuk kluster HDInsight.
Properti VM dan beban kerja big data
Ukuran dan jenis VM ditentukan oleh daya pemrosesan CPU, ukuran RAM, dan latensi jaringan:
CPU: Ukuran VM menentukan jumlah inti. Semakin banyak core, semakin besar tingkat komputasi paralel yang dapat dicapai setiap node. Selain itu, beberapa jenis VM memiliki inti yang lebih cepat.
RAM: Ukuran VM juga menentukan jumlah RAM yang tersedia di VM. Untuk beban kerja yang menyimpan data dalam memori untuk diproses, daripada membaca dari disk, pastikan node pekerja Anda memiliki memori yang cukup agar sesuai dengan data.
Jaringan: Untuk sebagian besar jenis kluster, data yang diproses oleh kluster tidak terdapat dalam disk lokal, melainkan di layanan penyimpanan eksternal seperti Data Lake Storage atau Microsoft Azure Storage. Pertimbangkan bandwidth dan throughput jaringan antara VM node dan layanan penyimpanan. Bandwidth jaringan yang tersedia untuk VM biasanya meningkat dengan ukuran yang lebih besar. Untuk detailnya, lihat Ringkasan ukuran VM.
Memahami pengoptimalan VM
Kumpulan mesin virtual di Azure dioptimalkan agar sesuai dengan berbagai kasus penggunaan. Dalam tabel berikut, Anda dapat menemukan beberapa kasus penggunaan paling populer dan keluarga VM yang cocok dengan mereka.
| Jenis | Ukuran | Deskripsi |
|---|---|---|
| Tingkat Awal | Av2 |
Memiliki kinerja CPU dan konfigurasi memori yang paling cocok untuk beban kerja tingkat pemula seperti pengembangan dan pengujian. Mereka ekonomis dan menyediakan opsi bernilai rendah untuk mulai menggunakan Azure. |
| Tujuan umum | D, , DSv2Dv2 |
Rasio CPU-ke-memori yang diseimbangkan. Ideal untuk pengujian dan pengembangan, database kecil hingga menengah, dan server web lalu lintas rendah hingga menengah. |
| Dioptimalkan untuk komputasi | F |
Rasio CPU-ke-memori tinggi. Cocok untuk server web lalu lintas sedang, peralatan jaringan, proses batch, dan server aplikasi. |
| Memori Dioptimalkan | Esv3, Ev3 |
Rasio memori-ke-CPU tinggi. Sangat cocok untuk server database relasional, cache sedang hingga besar, dan analitik dalam memori. |
- Untuk informasi tentang harga instans VM yang tersedia di seluruh wilayah yang didukung HDInsight, lihat Harga HDInsight.
Jenis VM hemat biaya untuk beban kerja ringan
Jika Anda memiliki persyaratan pemrosesan ringan, seri F dapat menjadi pilihan yang baik untuk memulai dengan HDInsight. Dengan harga daftar per jam yang lebih rendah, seri F adalah nilai terbaik dalam performa harga dalam portofolio Azure berdasarkan Azure Compute Unit (ACU) per vCPU.
Tabel berikut ini menjelaskan tipe kluster dan tipe node, yang dapat dibuat dengan VM seri Fsv2.
| Jenis Kluster | Versi | Node Pekerja | Node Kepala | Node Zookeeper |
|---|---|---|---|---|
| Spark | Semua | F4 ke atas | no | no |
| Hadoop | Semua | F4 ke atas | no | no |
| Kafka | Semua | F4 ke atas | no | no |
| HBase | Semua | F4 ke atas | no | no |
| LLAP | dinonaktifkan | no | no | no |
Untuk melihat spesifikasi setiap SKU seri F, lihat ukuran VM seri F.
Penetapan Tolok Ukur/Benchmarking
Tolok ukur adalah proses menjalankan beban kerja yang disimulasikan pada VM yang berbeda untuk mengukur seberapa baik performanya untuk beban kerja produksi Anda.
Untuk informasi selengkapnya tentang penetapan tolok ukur untuk komputer virtual SKU dan ukuran kluster, lihat Perencanaan kapasitas kluster di Azure HDInsight .