Mulai cepat: Membuat HDInsight pada kumpulan kluster AKS menggunakan Azure CLI

HDInsight pada AKS memperkenalkan konsep kumpulan kluster dan kluster, yang memungkinkan Anda memaksimalkan nilai dari data lakehouse.

• Kumpulan kluster adalah pengelompokan kluster yang logis dan memelihara sekumpulan kluster dalam kumpulan yang sama, yang membantu membangun interoperabilitas yang kuat di beberapa jenis kluster. Ini dapat dibuat dalam jaringan virtual yang ada atau di luar jaringan virtual.

  Kumpulan kluster di HDInsight pada AKS sesuai dengan satu kluster dalam infrastruktur AKS.

• Clusters adalah beban kerja komputasi individual, seperti Apache Spark, Apache Flink, atau Trino, yang dapat dibuat di kumpulan kluster yang sama.

Untuk setiap jenis kluster, Anda harus memiliki kumpulan kluster. Ini dapat dibuat secara independen atau Anda dapat membuat kumpulan kluster baru selama pembuatan kluster. Dalam panduan cepat ini, Anda akan mempelajari cara membuat kumpulan kluster menggunakan Azure CLI.

Prasyarat

Pastikan Anda menyelesaikan prasyarat langganan sebelum membuat kumpulan kluster.

Luncurkan Azure Cloud Shell

Azure Cloud Shell adalah shell interaktif yang dapat Anda gunakan untuk menjalankan langkah-langkah dalam artikel ini. Ini memiliki alat Azure umum yang telah diinstal sebelumnya dan dikonfigurasi untuk digunakan dengan akun Anda.

• • Gunakan lingkungan Bash di Azure Cloud Shell. Untuk informasi selengkapnya, lihat Panduan Cepat untuk Bash di Azure Cloud Shell.

    

  • Jika Anda lebih suka menjalankan perintah referensi CLI secara lokal, instal Azure CLI. Jika Anda menjalankan di Windows atau macOS, pertimbangkan untuk menjalankan Azure CLI dalam kontainer Docker. Untuk informasi selengkapnya, lihat Cara menjalankan Azure CLI dalam kontainer Docker.

    • Jika Anda menggunakan penginstalan lokal, masuk ke Azure CLI dengan menggunakan perintah az login. Untuk menyelesaikan proses autentikasi, ikuti langkah-langkah yang ditampilkan di terminal Anda. Untuk opsi masuk lainnya, lihat Masuk dengan Azure CLI.

    • Saat diminta, instal ekstensi Azure CLI saat pertama kali digunakan. Untuk informasi selengkapnya tentang ekstensi, lihat Menggunakan ekstensi dengan Azure CLI.

    • Jalankan az versi untuk menemukan versi dan pustaka dependen yang diinstal. Untuk meningkatkan ke versi terbaru, jalankan az upgrade.

• Artikel ini memerlukan Azure CLI versi 2.56.0 atau yang lebih tinggi. Jika Anda menggunakan Azure Cloud Shell, versi terbaru sudah diinstal di sana.

• Jika Anda memiliki beberapa langganan Azure, pilih ID langganan yang sesuai di mana sumber daya harus ditagih menggunakan perintah az account set. Untuk informasi selengkapnya, lihat Cara mengelola langganan Azure – Azure CLI.

• Anda juga dapat membuka Cloud Shell di tab browser terpisah dengan masuk ke https://shell.azure.com/bash.

Menentukan variabel lingkungan

Langkah pertama adalah menentukan variabel lingkungan. Variabel lingkungan umumnya digunakan di Linux untuk memusatkan data konfigurasi untuk meningkatkan konsistensi dan pemeliharaan sistem. Buat variabel lingkungan berikut untuk menentukan nama sumber daya yang Anda buat nanti dalam tutorial ini:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

Masuk ke Azure menggunakan CLI

Untuk menjalankan perintah di Azure menggunakan CLI, Anda perlu masuk terlebih dahulu. Masuk menggunakan perintah az login.

Membuat grup sumber daya

Grup sumber daya adalah kontainer untuk sumber daya terkait. Semua sumber daya harus ditempatkan dalam grup sumber daya. Perintah az group create membuat grup sumber daya dengan parameter $ResourceGroup dan $Region yang ditentukan sebelumnya.

az group create --name $ResourceGroup --location $Region

Hasil:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

Membuat HDInsight pada kumpulan kluster AKS

Untuk membuat HDInsight pada kumpulan kluster AKS di grup sumber daya ini, gunakan perintah az hdinsight-on-aks clusterpool create:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

Berikut adalah contohnya:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

Dibutuhkan beberapa menit untuk membuat HDInsight pada kumpulan kluster AKS. Contoh output berikut menunjukkan operasi yang dibuat berhasil.

Hasil:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Membersihkan sumber daya

Jika tidak lagi diperlukan, bersihkan sumber daya yang tidak perlu untuk menghindari biaya Azure. Anda dapat menghapus grup sumber daya, kumpulan kluster, dan semua sumber daya lainnya dalam grup sumber daya menggunakan perintah az group delete.