Hızlı Başlangıç: Azure CLI kullanarak AKS küme havuzunda HDInsight oluşturma

AKS üzerinde HDInsight, veri lakehouse'un tam değerini ortaya çıkarmanızı sağlayan küme havuzları ve kümeler kavramını tanıtır.

• Küme havuzları, kümelerden oluşan mantıksal bir gruplandırmadır ve birden çok küme türü arasında güçlü birlikte çalışabilirlik oluşturmaya yardımcı olan küme kümesini aynı havuzda tutar. Mevcut bir sanal ağ içinde veya sanal ağ dışında oluşturulabilir.

  AKS üzerinde HDInsight'taki bir küme havuzu, AKS altyapısındaki bir kümeye karşılık gelir.

• Kümeleri, aynı küme havuzunda oluşturulabilen Apache Spark, Apache Flink veya Trino gibi tek tek işlem iş yükleridir.

Her küme türü için bir küme havuzuna sahip olmanız gerekir. Bağımsız olarak oluşturulabilir veya küme oluşturma sırasında yeni küme havuzu oluşturabilirsiniz. Bu hızlı başlangıçta, Azure CLI kullanarak küme havuzu oluşturmayı öğreneceksiniz.

Önkoşullar

Küme havuzu oluşturmadan önce abonelik önkoşullarını tamamladığınızdan emin olun.

Azure Cloud Shell'i başlatma

Azure Cloud Shell, bu makaledeki adımları çalıştırmak için kullanabileceğiniz etkileşimli bir kabukdur. Yaygın Azure araçları önceden yüklenmiş ve hesabınızla birlikte kullanılacak şekilde yapılandırılmıştır.

• • Azure Cloud Shellbash ortamını kullanın. Daha fazla bilgi için bkz. Azure Cloud Shell'de Bash için Hızlı Başlangıç.

    

  • CLI başvuru komutlarını yerel olarak çalıştırmayı tercih ediyorsanız Azure CLI' yükleyin. Windows veya macOS üzerinde çalıştırıyorsanız Azure CLI'yi bir Docker kapsayıcısında çalıştırmayı göz önünde bulundurun. Daha fazla bilgi için bkz. Azure CLI'yi docker kapsayıcısında çalıştırma.

    • Yerel yükleme kullanıyorsanız az login komutunu kullanarak Azure CLI'da oturum açın. Kimlik doğrulama işlemini tamamlamak için terminalinizde görüntülenen adımları izleyin. Diğer oturum açma seçenekleri için bkz. Azure CLI ile oturum açma.

    • İstendiğinde, ilk kullanımda Azure CLI uzantısını yükleyin. Uzantılar hakkında daha fazla bilgi için bkz. Azure CLI ile uzantıları kullanma.

    • Yüklü sürümü ve bağımlı kitaplıkları bulmak için az version çalıştırın. En son sürüme yükseltmek için az upgradeçalıştırın.

• Bu makale, Azure CLI sürüm 2.56.0 veya üzerini gerektirir. Azure Cloud Shell kullanıyorsanız en son sürüm zaten orada yüklüdür.

• Birden fazla Azure aboneliğiniz varsa, kaynakların faturalandırılacağı abonelik kimliğini belirlemek için az account set komutunu kullanarak uygun aboneliği seçin. Daha fazla bilgi için bkz. Azure aboneliklerini yönetme – Azure CLI .

• Cloud Shell'i https://shell.azure.com/bashgiderek ayrı bir tarayıcı sekmesinde de açabilirsiniz.

Ortam değişkenlerini tanımlama

İlk adım, ortam değişkenlerini tanımlamaktır. Ortam değişkenleri, sistemin tutarlılığını ve sürdürülebilirliğini geliştirmek üzere yapılandırma verilerini merkezileştirmek için Linux'ta yaygın olarak kullanılır. Bu öğreticinin ilerleyen bölümlerinde oluşturduğunuz kaynakların adlarını belirtmek için aşağıdaki ortam değişkenlerini oluşturun:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

CLI kullanarak Azure'da oturum açma

CLI kullanarak Azure'da komutları çalıştırmak için önce oturum açmanız gerekir. az login komutunu kullanarak oturum açın.

Kaynak grubu oluşturma

Kaynak grubu, ilgili kaynaklar için bir kapsayıcıdır. Tüm kaynaklar bir kaynak grubuna yerleştirilmelidir. az group create komutu, önceden tanımlanmış $ResourceGroup ve $Region parametreleriyle bir kaynak grubu oluşturur.

az group create --name $ResourceGroup --location $Region

Çıktı:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

AKS küme havuzunda HDInsight oluşturma

Bu kaynak grubundaki AKS küme havuzunda HDInsight oluşturmak için az hdinsight-on-aks clusterpool create komutunu kullanın:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

İşte bir örnek:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

AKS küme havuzunda HDInsight'ın oluşturulması birkaç dakika sürer. Aşağıdaki örnek çıktı, oluşturulan işlemin başarılı olduğunu gösterir.

Çıktı:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Kaynakları temizleme

Artık gerekli olmadığında, Azure ücretlerinden kaçınmak için gereksiz kaynakları temizleyin. az group delete komutunu kullanarak kaynak grubu, küme havuzu ve kaynak grubundaki diğer tüm kaynakları kaldırabilirsiniz.