Azure CLI kullanarak Küme oluşturma ve sağlama

Bu makalede, Azure Komut Satırı Arabirimi (AzCLI) kullanılarak bir Kümenin nasıl oluşturulacağı açıklanmaktadır. Bu belgede ayrıca kümenin durumunu denetleme, güncelleştirme veya silme işlemi de gösterilir.

Önkoşullar

• Azure bölgenizde Network Fabric Controller ve Cluster Manger'ın mevcut olduğunu doğrulayın
• Network Fabric'in başarıyla sağlandığını doğrulayın

API kılavuzu ve ölçümleri

API kılavuzu, kaynak sağlayıcıları ve kaynak modelleri ile API'ler hakkında bilgi sağlar.

Günlük verilerinden oluşturulan ölçümler Azure İzleyici ölçümlerinde kullanılabilir.

Sınırlamalar

• Adlandırma - Adlandırma kuralları burada bulunabilir.

Küme Oluşturma

Altyapı Kümesi kaynağı, Küme Yöneticisi içindeki platformun şirket içi dağıtımını temsil eder. Platforma özgü diğer tüm kaynaklar yaşam döngüleri için buna bağımlıdır.

Bu şirket içi dağıtımdan önce Network Fabric'i oluşturmanız gerekir. Her İşleç Nexus şirket içi örneğinin Ağ Dokusu ile bire bir ilişkisi vardır.

Azure CLI kullanarak Küme oluşturma:

az networkcloud cluster create --name "$CLUSTER_NAME" --location "$LOCATION" \
  --extended-location name="$CL_NAME" type="CustomLocation" \
  --resource-group "$CLUSTER_RG" \
  --analytics-workspace-id "$LAW_ID" \
  --cluster-location "$CLUSTER_LOCATION" \
  --network-rack-id "$AGGR_RACK_RESOURCE_ID" \
  --rack-sku-id "$AGGR_RACK_SKU"\
  --rack-serial-number "$AGGR_RACK_SN" \
  --rack-location "$AGGR_RACK_LOCATION" \
  --bare-metal-machine-configuration-data "["$AGGR_RACK_BMM"]" \
  --storage-appliance-configuration-data '[{"adminCredentials":{"password":"$SA_PASS","username":"$SA_USER"},"rackSlot":1,"serialNumber":"$SA_SN","storageApplianceName":"$SA_NAME"}]' \
  --compute-rack-definitions '[{"networkRackId": "$COMPX_RACK_RESOURCE_ID", "rackSkuId": "$COMPX_RACK_SKU", "rackSerialNumber": "$COMPX_RACK_SN", "rackLocation": "$COMPX_RACK_LOCATION", "storageApplianceConfigurationData": [], "bareMetalMachineConfigurationData":[{"bmcCredentials": {"password":"$COMPX_SVRY_BMC_PASS", "username":"$COMPX_SVRY_BMC_USER"}, "bmcMacAddress":"$COMPX_SVRY_BMC_MAC", "bootMacAddress":"$COMPX_SVRY_BOOT_MAC", "machineDetails":"$COMPX_SVRY_SERVER_DETAILS", "machineName":"$COMPX_SVRY_SERVER_NAME"}]}]'\
  --managed-resource-group-configuration name="$MRG_NAME" location="$MRG_LOCATION" \
  --network fabric-id "$NF_ID" \
  --cluster-service-principal application-id="$SP_APP_ID" \
    password="$SP_PASS" principal-id="$SP_ID" tenant-id="$TENANT_ID" \
  --subscription "$SUBSCRIPTION_ID" \
  --secret-archive "{key-vault-id:$KVRESOURCE_ID, use-key-vault:true}" \
  --cluster-type "$CLUSTER_TYPE" --cluster-version "$CLUSTER_VERSION" \
  --tags $TAG_KEY1="$TAG_VALUE1" $TAG_KEY2="$TAG_VALUE2"

Küme işlemleri için parametreler

Küme Kimliği

Müşteri, 2024-07-01 API sürümünden başlayarak yönetilen kimliği kümeye atayabilir. Hem Sistem tarafından atanan hem de Kullanıcı Tarafından Atanan yönetilen kimlikler desteklenir.

Eklendikten sonra, Kimlik şu anda yalnızca API çağrısı aracılığıyla kaldırılabilir.

Operatör Nexus Kümeleri için yönetilen kimlikler hakkında daha fazla bilgi için bkz . Yönetilen Kimlikler için Azure Operatör Nexus Kümesi Desteği ve Kullanıcı Tarafından Sağlanan Kaynaklar .

Azure Resource Manager şablon düzenleyicisini kullanarak Küme oluşturma

Küme oluşturmanın alternatif bir yolu ARM şablonu düzenleyicisidir.

Kümeyi bu şekilde oluşturmak için bir şablon dosyası (cluster.jsonc) ve parametre dosyası (cluster.parameters.jsonc) sağlamanız gerekir. 8 Raflı 2M16C SKU kümesine yönelik örnekleri şu iki dosyayı kullanarak bulabilirsiniz:

cluster.jsonc , cluster.parameters.jsonc

1. Web tarayıcısında Azure portalına gidin ve oturum açın.
2. Azure portalı arama çubuğunda 'Özel şablon dağıtma' araması yapın ve kullanılabilir hizmetlerden seçin.
3. Düzenleyicide Kendi şablonunuzu oluşturun'a tıklayın.
4. Dosya yükle'ye tıklayın. cluster.jsonc şablon dosyanızı bulun ve karşıya yükleyin.
5. Kaydet'e tıklayın.
6. Parametreleri düzenle'ye tıklayın.
7. Dosya yükle'ye tıklayın. cluster.parameters.jsonc parameters dosyanızı bulun ve karşıya yükleyin.
8. Kaydet'e tıklayın.
9. Doğru Aboneliği seçin.
10. Zaten var olup olmadığını görmek için Kaynak grubunu arayın. Aksi takdirde yeni bir Kaynak grubu oluşturun.
11. Tüm Örnek Ayrıntılarının doğru olduğundan emin olun.
12. Gözden geçir ve oluştur’a tıklayın.

Küme doğrulama

Başarılı bir Operatör Nexus Kümesi oluşturma işlemi, aboneliğinizin içinde bir Azure kaynağı oluşturulmasına neden olur. Başarılı bir cluster createsonuç olarak küme kimliği, küme sağlama durumu ve dağıtım durumu döndürülür.

Kümenin durumunu görüntüleyin:

az networkcloud cluster show --cluster-name "<clusterName>" /
--resource-group "<resourceGroupName>" /
--subscription <subscriptionID>

Kaynak gösterildiğinde provisioningState Küme oluşturma işlemi tamamlanır: "provisioningState": "Succeeded"

Küme günlüğüne kaydetme

Küme oluşturma Günlükleri aşağıdaki konumlarda görüntülenebilir:

1. Azure portalı Resource/ResourceGroup Etkinlik günlükleri.
2. Komut satırında bayrağı geçirilen Azure CLI --debug .

Dağıtım eşiklerini ayarlama

Küme dağıtımından önce kümede ayarlanabilen iki tür dağıtım eşiği vardır. Ve şeklindedirler compute-deployment-thresholdupdate-strategy.

--compute-deployment-threshold - Ortam donanımı doğrulaması sırasında işlem düğümlerinin izin verilebilen hatalarını gösteren doğrulama eşiği.

Ayarlanmadıysa compute-deployment-threshold varsayılan değerler aşağıdaki gibidir:

      "strategyType": "Rack",
      "thresholdType": "PercentSuccess",
      "thresholdValue": 80,
      "waitTimeMinutes": 1

Müşteri varsayılan %80'den farklı olduğunu isterse compute-deployment-threshold aşağıdaki küme güncelleştirme komutunu çalıştırabilirsiniz.

Aşağıdaki örnek, %97 başarı oranına sahip "PercentSuccess" türü isteyen bir müşteri içindir.

az networkcloud cluster update --name "<clusterName>" /
--resource-group "<resourceGroup>" /
--compute-deployment-threshold type="PercentSuccess" grouping="PerCluster" value=97 /
--subscription <subscriptionID>

Güncelleştirmeyi doğrulama

az networkcloud cluster show --resource-group "<resourceGroup>" --name "<clusterName>" | grep -a3 computeDeploymentThreshold

  "clusterType": "MultiRack",
  "clusterVersion": "<CLUSTER_VERSION>",
  "computeDeploymentThreshold": {
    "grouping": "PerCluster",
    "type": "PercentSuccess",
    "value": 97

Bu örnekte, dağıtılan işlem düğümlerinin %97'sinden azı donanım doğrulamasını geçerse küme dağıtımı başarısız olur. NOT: Tüm kubernetes kontrol düzlemi (KCP) ve nexus yönetim düzlemi (NMP) donanım doğrulamasını geçmelidir. Dağıtılan işlem düğümlerinin %97'sinin veya daha fazlasının donanım doğrulamasını geçmesi durumunda küme dağıtımı önyükleme sağlama aşamasına devam eder. İşlem önyüklemesi sağlama sırasında, update-strategy işlem düğümleri için (aşağıdaki) kullanılır.

--update-strategy - Önyükleme sağlama sırasında izin verilebilen işlem düğümü hatalarını gösteren kümeyi güncelleştirme stratejisi.

Müşteri varsayılan %80'den farklı bir update-strategy eşik isterse aşağıdaki küme güncelleştirme komutunu çalıştırabilirsiniz.

az networkcloud cluster update --name "<clusterName>" /
--resource-group "<resourceGroup>" /
--update-strategy strategy-type="Rack" threshold-type="PercentSuccess" /
threshold-value="<thresholdValue>" wait-time-minutes=<waitTimeBetweenRacks> /
--subscription <subscriptionID>

Strateji türü "Raf" (Rafa Göre Raf) VEYA "PauseAfterRack" (Müşteri yanıtının devam etmesi için bekleyin) olabilir.

Eşik türü "PercentSuccess" VEYA "CountSuccess" olabilir.

updateStrategy ayarlanmadıysa, varsayılanlar aşağıdaki gibidir:

      "strategyType": "Rack",
      "thresholdType": "PercentSuccess",
      "thresholdValue": 80,
      "waitTimeMinutes": 1

Aşağıdaki örnek, %60 Başarı Yüzdesi ve 1 dakikalık duraklama ile Rack by Rack stratejisini kullanan bir müşteriye yöneliktir.

az networkcloud cluster update --name "<clusterName>" /
--resource-group "<resourceGroup>" /
--update-strategy strategy-type="Rack" threshold-type="PercentSuccess" /
threshold-value=60 wait-time-minutes=1 /
--subscription <subscriptionID>

Güncelleştirmeyi doğrulama:

az networkcloud cluster show --resource-group "<resourceGroup>" /
--name "<clusterName>" /
--subscription <subscriptionID>| grep -a5 updateStrategy

      "strategyType": "Rack",
      "thresholdType": "PercentSuccess",
      "thresholdValue": 60,
      "waitTimeMinutes": 1

Bu örnekte, bir rafta sağlanan işlem düğümlerinin %60'tan azı sağlanmazsa (raf temelinde bir rafta), küme dağıtımı başarısız olur. İşlem düğümlerinin %60'ı veya daha fazlası başarıyla sağlanırsa, küme dağıtımı işlem düğümlerinin sonraki rafa taşınır.

Aşağıdaki örnek, raf başına 10 düğüm ve 1 dakikalık duraklama içeren CountSuccess eşik türüne sahip Rack by Rack stratejisini kullanan bir müşteriye yöneliktir.

az networkcloud cluster update --name "<clusterName>" /
--resource-group "<resourceGroup>" /
--update-strategy strategy-type="Rack" threshold-type="CountSuccess" /
threshold-value=10 wait-time-minutes=1 /
--subscription <subscriptionID>

Güncelleştirmeyi doğrulama:

az networkcloud cluster show --resource-group "<resourceGroup>" /
--name "<clusterName>" /
--subscription <subscriptionID>| grep -a5 updateStrategy

      "strategyType": "Rack",
      "thresholdType": "CountSuccess",
      "thresholdValue": 10,
      "waitTimeMinutes": 1

Bu örnekte, bir rafta sağlanan 10'dan az işlem düğümü sağlanmazsa (raf temelinde bir rafta), küme dağıtımı başarısız olur. İşlem düğümlerinden 10 veya daha fazlası başarıyla sağlanırsa, küme dağıtımı işlem düğümlerinin bir sonraki rafa taşınır.

KümeYi Dağıtma

Kümeyi dağıtma eylemi, Küme oluşturulduktan sonra tetiklenebilir. Kümeyi dağıt eylemi bootstrap görüntüsünü oluşturur ve Kümeyi dağıtır.

Küme Dağıtma, Küme Yöneticisi'nde gerçekleşen bir olay dizisi başlatır.

1. Küme/raf özelliklerinin doğrulanması.
2. Kısa ömürlü önyükleme kümesi için önyüklenebilir görüntü oluşturma (Altyapı Doğrulaması).
3. Hedeflenen önyükleme makinesinin Akıllı Platform Yönetim Arabirimi (IPMI) arabirimiyle etkileşim.
4. Donanım doğrulama denetimleri gerçekleştirme.
5. Küme dağıtım işlemini izleme.

Şirket içi Kümeyi dağıtma:

az networkcloud cluster deploy \
  --name "$CLUSTER_NAME" \
  --resource-group "$CLUSTER_RG" \
  --subscription "$SUBSCRIPTION_ID" \
  --no-wait --debug

Donanım doğrulaması ile Küme Dağıtımı

Küme dağıtma işlemi sırasında, yürütülen adımlardan biri donanım doğrulamasıdır. Donanım doğrulama yordamı, kümenin raf tanımı aracılığıyla sağlanan makinelerde çeşitli test ve denetimler çalıştırır. Bu denetimlerin sonuçlarına ve kullanıcı tarafından atlanan makinelere bağlı olarak, dağıtımın devam etmesi için gerekli eşikleri karşılamak için yeterli düğümlerin geçirilip geçirilmediği ve/veya kullanılabilir olup olmadığı belirlenir.

Varsayılan olarak, donanım doğrulama işlemi sonuçları yapılandırılan Kümeye analyticsWorkspaceIdyazar. Ancak Log Analytics Çalışma Alanı veri toplama ve şema değerlendirmesinin doğası gereği, birkaç dakika veya daha uzun sürebilecek alım gecikmesi olabilir. Bu nedenle, Sonuçları Log Analytics Çalışma Alanına yazma hatası olsa bile Küme dağıtımı devam eder. Bu olası olayın ele alınmasına yardımcı olmak için yedeklilik sonuçları da Küme Yöneticisi'ne kaydedilir.

Sağlanan Küme nesnesinin Log Analytics Çalışma Alanında, Ön ek ve sonek *_CL olarak Küme adını içeren yeni bir özel tablo görünmelidir. LAW kaynağının Günlükler bölümünde, yeni *_CL Özel Günlük tablosunda bir sorgu yürütülebilir.

Belirli çıplak makineyi atlayan Küme Dağıtımı

parametresi, --skip-validation-for-machines kümedeki donanım doğrulaması sırasında atlanması gereken çıplak makinelerin adlarını temsil eder. Atlanan düğümler doğrulanmaz ve düğüm havuzuna eklenmez. Ayrıca, atlanan düğümler eşik hesaplamaları tarafından kullanılan toplama göre sayılmaz.

az networkcloud cluster deploy \
  --name "$CLUSTER_NAME" \
  --resource-group "$CLUSTER_RG" \
  --subscription "$SUBSCRIPTION_ID" \
  --skip-validations-for-machines "$COMPX_SVRY_SERVER_NAME"

Küme Dağıtımı başarısız oldu

Zaman uyumsuz bir işlemin durumunu izlemek için bayrağı etkin olarak --debug çalıştırın. Belirtildiğinde --debug , isteğin ilerleme durumu izlenebilir. İşlem durumu URL'si, oluşturma isteğine http yanıtının veya Location üst bilgisinin arandığı Azure-AsyncOperation hata ayıklama çıkışı incelenerek bulunabilir. Üst bilgiler HTTP API çağrısında kullanılan alanı sağlayabilir OPERATION_ID .

OPERATION_ID="aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e*99399E995..."
az rest -m GET -u "https://management.azure.com/subscriptions/${SUBSCRIPTION_ID}/providers/Microsoft.NetworkCloud/locations/${LOCATION}/operationStatuses/${OPERATION_ID}?api-version=2022-12-12-preview"

Çıkış, JSON yapısı örneğine benzer. Hata kodu olduğundaHardwareValidationThresholdFailed, hata iletisi donanım doğrulamasında başarısız olan çıplak makinelerin listesini içerir (örneğin, , COMP0_SVR0_SERVER_NAMECOMP1_SVR1_SERVER_NAME). Bu adlar, daha fazla ayrıntı için günlükleri ayrıştırmak için kullanılabilir.

{
  "endTime": "2023-03-24T14:56:59.0510455Z",
  "error": {
    "code": "HardwareValidationThresholdFailed",
    "message": "HardwareValidationThresholdFailed error hardware validation threshold for cluster layout plan is not met for cluster $CLUSTER_NAME in namespace nc-system with listed failed devices $COMP0_SVR0_SERVER_NAME, $COMP1_SVR1_SERVER_NAME"
  },
  "id": "/subscriptions/$SUBSCRIPTION_ID/providers/Microsoft.NetworkCloud/locations/$LOCATION/operationStatuses/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e*99399E995...",
  "name": "aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e*99399E995...",
  "resourceId": "/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$CLUSTER_RESOURCE_GROUP/providers/Microsoft.NetworkCloud/clusters/$CLUSTER_NAME",
  "startTime": "2023-03-24T14:56:26.6442125Z",
  "status": "Failed"
}

Başka bir örnek için Azure CLI Kullanarak Zaman Uyumsuz İşlemleri İzleme makalesine bakın. Belirli makineler doğrulama veya dağıtımda başarısız olduğunda yararlı olabilecek daha fazla bilgi için BMM sağlama sorunlarını giderme makalesine bakın.

Küme dağıtımı doğrulaması

Kümenin durumunu portalda veya Azure CLI aracılığıyla görüntüleyin:

az networkcloud cluster show --resource-group "$CLUSTER_RG" \
  --name "$CLUSTER_NAME"

detailedStatus olarak ayarlandığında Deploying ve detailedStatusMessage dağıtımın ilerleme durumunu gösterdiğinde Küme dağıtımı devam ediyordur. AyrıntılıStatusMessage'da gösterilen dağıtım ilerleme durumunun bazı örnekleri şunlardır Hardware validation is in progress. : (küme donanım doğrulaması ile dağıtıldıysa), Cluster is bootstrapping., KCP initialization in progress., Management plane deployment in progress., Cluster extension deployment in progress., , waiting for "<rack-ids>" to be readyvb.

detailedStatus olarak ayarlandığında Running ve detailedStatusMessage iletisi Cluster is up and runninggörüntülendiğinde Küme dağıtımı tamamlanır.

Kümenin yönetim sürümünü görüntüleyin:

az k8s-extension list --cluster-name "$CLUSTER_NAME" --resource-group "$MRG_NAME" --cluster-type connectedClusters --query "[?name=='nc-platform-extension'].{name:name, extensionType:extensionType, releaseNamespace:scope.cluster.releaseNamespace,provisioningState:provisioningState,version:version}" -o table --subscription "$SUBSCRIPTION_ID"

Küme dağıtımı Günlüğü

Küme oluşturma Günlükleri aşağıdaki konumlarda görüntülenebilir:

1. Azure portalı Resource/ResourceGroup Etkinlik günlükleri.
2. Komut satırında bayrağı geçirilen Azure CLI --debug .

Küme silme

Küme silindiğinde Azure'daki kaynaklar ve şirket içi ortamda bulunan küme silinir.

az networkcloud cluster delete --name "$CLUSTER_NAME" --resource-group "$CLUSTER_RG"