Aracılığıyla paylaş


Hızlı Başlangıç: Azure CLI kullanarak AKS küme havuzunda HDInsight oluşturma

Önemli

AKS üzerinde Azure HDInsight 31 Ocak 2025'te kullanımdan kaldırıldı. Bu duyuru ilehakkında daha fazlasını öğrenin.

İş yüklerinizin aniden sonlandırılmasını önlemek için iş yüklerinizi Microsoft Fabric veya eşdeğer bir Azure ürününe geçirmeniz gerekir.

Önemli

Bu özellik şu anda önizleme aşamasındadır. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz. AKS üzerindeki Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen ayrıntıları içeren askHDInsight bir istek gönderin ve azure HDInsight Community hakkında daha fazla güncelleştirme için bizi izleyin.

AKS üzerinde HDInsight, veri lakehouse'un tam değerini ortaya çıkarmanızı sağlayan küme havuzları ve kümeler kavramını tanıtır.

  • Küme havuzları, kümelerden oluşan mantıksal bir gruplandırmadır ve birden çok küme türü arasında güçlü birlikte çalışabilirlik oluşturmaya yardımcı olan küme kümesini aynı havuzda tutar. Mevcut bir sanal ağ içinde veya sanal ağ dışında oluşturulabilir.

    AKS üzerinde HDInsight'taki bir küme havuzu, AKS altyapısındaki bir kümeye karşılık gelir.

  • Kümeleri, aynı küme havuzunda oluşturulabilen Apache Spark, Apache Flink veya Trino gibi tek tek işlem iş yükleridir.

Her küme türü için bir küme havuzuna sahip olmanız gerekir. Bağımsız olarak oluşturulabilir veya küme oluşturma sırasında yeni küme havuzu oluşturabilirsiniz. Bu hızlı başlangıçta, Azure CLI kullanarak küme havuzu oluşturmayı öğreneceksiniz.

Önkoşullar

Küme havuzu oluşturmadan önce abonelik önkoşullarını tamamladığınızdan emin olun.

Azure Cloud Shell'i başlatma

Azure Cloud Shell, bu makaledeki adımları çalıştırmak için kullanabileceğiniz etkileşimli bir kabukdur. Yaygın Azure araçları önceden yüklenmiş ve hesabınızla birlikte kullanılacak şekilde yapılandırılmıştır.

  • Bu makale, Azure CLI sürüm 2.56.0 veya üzerini gerektirir. Azure Cloud Shell kullanıyorsanız en son sürüm zaten orada yüklüdür.

  • Birden fazla Azure aboneliğiniz varsa, kaynakların faturalandırılacağı abonelik kimliğini belirlemek için az account set komutunu kullanarak uygun aboneliği seçin. Daha fazla bilgi için bkz. Azure aboneliklerini yönetme – Azure CLI .

  • Cloud Shell'i https://shell.azure.com/bashgiderek ayrı bir tarayıcı sekmesinde de açabilirsiniz.

Ortam değişkenlerini tanımlama

İlk adım, ortam değişkenlerini tanımlamaktır. Ortam değişkenleri, sistemin tutarlılığını ve sürdürülebilirliğini geliştirmek üzere yapılandırma verilerini merkezileştirmek için Linux'ta yaygın olarak kullanılır. Bu öğreticinin ilerleyen bölümlerinde oluşturduğunuz kaynakların adlarını belirtmek için aşağıdaki ortam değişkenlerini oluşturun:

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

CLI kullanarak Azure'da oturum açma

CLI kullanarak Azure'da komutları çalıştırmak için önce oturum açmanız gerekir. az login komutunu kullanarak oturum açın.

Kaynak grubu oluşturma

Kaynak grubu, ilgili kaynaklar için bir kapsayıcıdır. Tüm kaynaklar bir kaynak grubuna yerleştirilmelidir. az group create komutu, önceden tanımlanmış $ResourceGroup ve $Region parametreleriyle bir kaynak grubu oluşturur.

az group create --name $ResourceGroup --location $Region

Çıktı:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

AKS küme havuzunda HDInsight oluşturma

Bu kaynak grubundaki AKS küme havuzunda HDInsight oluşturmak için az hdinsight-on-aks clusterpool create komutunu kullanın:

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

İşte bir örnek:

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

AKS küme havuzunda HDInsight'ın oluşturulması birkaç dakika sürer. Aşağıdaki örnek çıktı, oluşturulan işlemin başarılı olduğunu gösterir.

Çıktı:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

Not

Küme havuzu CLI komutları hakkında daha fazla bilgi için bkz. komutları.

Kaynakları temizleme

Artık gerekli olmadığında, Azure ücretlerinden kaçınmak için gereksiz kaynakları temizleyin. az group delete komutunu kullanarak kaynak grubu, küme havuzu ve kaynak grubundaki diğer tüm kaynakları kaldırabilirsiniz.

Not

Küme havuzunu silmek için küme havuzunda etkin küme olmadığından emin olun.