Hızlı Başlangıç: Azure CLI kullanarak AKS küme havuzunda HDInsight oluşturma
Önemli
AKS üzerinde Azure HDInsight 31 Ocak 2025'te kullanımdan kaldırıldı. Bu duyuru ilehakkında daha fazlasını öğrenin.
İş yüklerinizin aniden sonlandırılmasını önlemek için iş yüklerinizi Microsoft Fabric veya eşdeğer bir Azure ürününe geçirmeniz gerekir.
Önemli
Bu özellik şu anda önizleme aşamasındadır. Microsoft Azure Önizlemeleri için Ek Kullanım Koşulları beta, önizleme aşamasında olan veya henüz genel kullanıma sunulmamış Azure özellikleri için geçerli olan daha fazla yasal hüküm içerir. Bu belirli önizleme hakkında bilgi için bkz. AKS üzerindeki Azure HDInsight önizleme bilgileri. Sorular veya özellik önerileri için lütfen ayrıntıları içeren askHDInsight bir istek gönderin ve azure HDInsight Community hakkında daha fazla güncelleştirme için bizi izleyin.
AKS üzerinde HDInsight, veri lakehouse'un tam değerini ortaya çıkarmanızı sağlayan küme havuzları ve kümeler kavramını tanıtır.
Küme havuzları, kümelerden oluşan mantıksal bir gruplandırmadır ve birden çok küme türü arasında güçlü birlikte çalışabilirlik oluşturmaya yardımcı olan küme kümesini aynı havuzda tutar. Mevcut bir sanal ağ içinde veya sanal ağ dışında oluşturulabilir.
AKS üzerinde HDInsight'taki bir küme havuzu, AKS altyapısındaki bir kümeye karşılık gelir.
Kümeleri, aynı küme havuzunda oluşturulabilen Apache Spark, Apache Flink veya Trino gibi tek tek işlem iş yükleridir.
Her küme türü için bir küme havuzuna sahip olmanız gerekir. Bağımsız olarak oluşturulabilir veya küme oluşturma sırasında yeni küme havuzu oluşturabilirsiniz. Bu hızlı başlangıçta, Azure CLI kullanarak küme havuzu oluşturmayı öğreneceksiniz.
Önkoşullar
Küme havuzu oluşturmadan önce abonelik önkoşullarını tamamladığınızdan emin olun.
Azure Cloud Shell'i başlatma
Azure Cloud Shell, bu makaledeki adımları çalıştırmak için kullanabileceğiniz etkileşimli bir kabukdur. Yaygın Azure araçları önceden yüklenmiş ve hesabınızla birlikte kullanılacak şekilde yapılandırılmıştır.
-
Azure Cloud Shellbash ortamını kullanın. Daha fazla bilgi için bkz. Azure Cloud Shell'de Bash için Hızlı Başlangıç.
CLI başvuru komutlarını yerel olarak çalıştırmayı tercih ediyorsanız Azure CLI' yükleyin. Windows veya macOS üzerinde çalıştırıyorsanız Azure CLI'yi bir Docker kapsayıcısında çalıştırmayı göz önünde bulundurun. Daha fazla bilgi için bkz. Azure CLI'yi docker kapsayıcısında çalıştırma.
Yerel yükleme kullanıyorsanız az login komutunu kullanarak Azure CLI'da oturum açın. Kimlik doğrulama işlemini tamamlamak için terminalinizde görüntülenen adımları izleyin. Diğer oturum açma seçenekleri için bkz. Azure CLI ile oturum açma.
İstendiğinde, ilk kullanımda Azure CLI uzantısını yükleyin. Uzantılar hakkında daha fazla bilgi için bkz. Azure CLI ile uzantıları kullanma.
Yüklü sürümü ve bağımlı kitaplıkları bulmak için az version çalıştırın. En son sürüme yükseltmek için az upgradeçalıştırın.
Bu makale, Azure CLI sürüm 2.56.0 veya üzerini gerektirir. Azure Cloud Shell kullanıyorsanız en son sürüm zaten orada yüklüdür.
Birden fazla Azure aboneliğiniz varsa, kaynakların faturalandırılacağı abonelik kimliğini belirlemek için az account set komutunu kullanarak uygun aboneliği seçin. Daha fazla bilgi için bkz. Azure aboneliklerini yönetme – Azure CLI .
Cloud Shell'i https://shell.azure.com/bashgiderek ayrı bir tarayıcı sekmesinde de açabilirsiniz.
Ortam değişkenlerini tanımlama
İlk adım, ortam değişkenlerini tanımlamaktır. Ortam değişkenleri, sistemin tutarlılığını ve sürdürülebilirliğini geliştirmek üzere yapılandırma verilerini merkezileştirmek için Linux'ta yaygın olarak kullanılır. Bu öğreticinin ilerleyen bölümlerinde oluşturduğunuz kaynakların adlarını belirtmek için aşağıdaki ortam değişkenlerini oluşturun:
export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"
CLI kullanarak Azure'da oturum açma
CLI kullanarak Azure'da komutları çalıştırmak için önce oturum açmanız gerekir.
az login
komutunu kullanarak oturum açın.
Kaynak grubu oluşturma
Kaynak grubu, ilgili kaynaklar için bir kapsayıcıdır. Tüm kaynaklar bir kaynak grubuna yerleştirilmelidir.
az group create komutu, önceden tanımlanmış $ResourceGroup
ve $Region
parametreleriyle bir kaynak grubu oluşturur.
az group create --name $ResourceGroup --location $Region
Çıktı:
{
"id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
"location": "eastus",
"managedBy": null,
"name": "HDIonAKSCLI",
"properties": {
"provisioningState": "Succeeded"
},
"tags": null,
"type": "Microsoft.Resources/resourceGroups"
}
AKS küme havuzunda HDInsight oluşturma
Bu kaynak grubundaki AKS küme havuzunda HDInsight oluşturmak için az hdinsight-on-aks clusterpool create
komutunu kullanın:
az hdinsight-on-aks clusterpool create --cluster-pool-name
--resource-group
[--api-server-authorized-ip-ranges]
[--cluster-pool-version]
[--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
[--la-workspace-id]
[--location]
[--managed-rg-name]
[--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
[--outbound-type {loadBalancer, userDefinedRouting}]
[--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
[--subnet-id]
[--tags]
[--workernode-size]
İşte bir örnek:
az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion
AKS küme havuzunda HDInsight'ın oluşturulması birkaç dakika sürer. Aşağıdaki örnek çıktı, oluşturulan işlemin başarılı olduğunu gösterir.
Çıktı:
{
"aksClusterProfile": {
"aksClusterAgentPoolIdentityProfile": {
"msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
"msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
"msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
},
"aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
"aksVersion": "1.27.9"
},
"aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
"clusterPoolProfile": {
"clusterPoolVersion": "1.1"
},
"computeProfile": {
"count": 3,
"vmSize": "Standard_E4s_v3"
},
"deploymentId": "00000000000000000000XXXX",
"id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
"location": "EastUS",
"managedResourceGroupName": "hdi-00000000000000000000XXXX",
"name": "contosopool",
"provisioningState": "Succeeded",
"resourceGroup": "HDIonAKSCLI",
"status": "Running",
"systemData": {
"createdAt": "2024-05-31T15:02:42.2172295Z",
"createdBy": "john@contoso.com",
"createdByType": "User",
"lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
"lastModifiedBy": "john@contoso.com",
"lastModifiedByType": "User"
},
"type": "microsoft.hdinsight/clusterpools"
}
Kaynakları temizleme
Artık gerekli olmadığında, Azure ücretlerinden kaçınmak için gereksiz kaynakları temizleyin.
az group delete
komutunu kullanarak kaynak grubu, küme havuzu ve kaynak grubundaki diğer tüm kaynakları kaldırabilirsiniz.
Not
Küme havuzunu silmek için küme havuzunda etkin küme olmadığından emin olun.