Fürt létrehozása és kiépítése az Azure CLI használatával

Ez a cikk azt ismerteti, hogyan hozhat létre fürtöt az Azure Parancssori felület (AzCLI) használatával. Ez a dokumentum azt is bemutatja, hogyan ellenőrizheti a fürtök állapotát, frissítését vagy törlését.

Előfeltételek

• Ellenőrizze, hogy a Network Fabric-vezérlő és a fürtkezelő létezik-e az Azure-régióban
• Ellenőrizze, hogy a Network Fabric sikeresen ki van-e építve

API-útmutató és metrikák

Az API-útmutató információkat nyújt az erőforrás-szolgáltatókról és az erőforrásmodellokról, valamint az API-król.

A naplózási adatokból létrehozott metrikák az Azure Monitor-metrikákban érhetők el.

Korlátozások

• Elnevezés – Az elnevezési szabályok itt találhatók.

Fürt létrehozása

Az infrastruktúrafürt-erőforrás a platform helyszíni üzembe helyezését jelöli a Fürtkezelőben. Minden más platformspecifikus erőforrás függ az életciklusuktól.

A helyszíni üzembe helyezés előtt létre kell hoznia a Network Fabricet. Minden helyszíni Nexus operátorpéldány egy-az-egyhez társítással rendelkezik a Network Fabrichez.

Hozza létre a fürtöt az Azure CLI használatával:

az networkcloud cluster create --name "$CLUSTER_NAME" --location "$LOCATION" \
  --extended-location name="$CL_NAME" type="CustomLocation" \
  --resource-group "$CLUSTER_RG" \
  --analytics-workspace-id "$LAW_ID" \
  --cluster-location "$CLUSTER_LOCATION" \
  --network-rack-id "$AGGR_RACK_RESOURCE_ID" \
  --rack-sku-id "$AGGR_RACK_SKU"\
  --rack-serial-number "$AGGR_RACK_SN" \
  --rack-location "$AGGR_RACK_LOCATION" \
  --bare-metal-machine-configuration-data "["$AGGR_RACK_BMM"]" \
  --storage-appliance-configuration-data '[{"adminCredentials":{"password":"$SA_PASS","username":"$SA_USER"},"rackSlot":1,"serialNumber":"$SA_SN","storageApplianceName":"$SA_NAME"}]' \
  --compute-rack-definitions '[{"networkRackId": "$COMPX_RACK_RESOURCE_ID", "rackSkuId": "$COMPX_RACK_SKU", "rackSerialNumber": "$COMPX_RACK_SN", "rackLocation": "$COMPX_RACK_LOCATION", "storageApplianceConfigurationData": [], "bareMetalMachineConfigurationData":[{"bmcCredentials": {"password":"$COMPX_SVRY_BMC_PASS", "username":"$COMPX_SVRY_BMC_USER"}, "bmcMacAddress":"$COMPX_SVRY_BMC_MAC", "bootMacAddress":"$COMPX_SVRY_BOOT_MAC", "machineDetails":"$COMPX_SVRY_SERVER_DETAILS", "machineName":"$COMPX_SVRY_SERVER_NAME"}]}]'\
  --managed-resource-group-configuration name="$MRG_NAME" location="$MRG_LOCATION" \
  --network fabric-id "$NF_ID" \
  --cluster-service-principal application-id="$SP_APP_ID" \
    password="$SP_PASS" principal-id="$SP_ID" tenant-id="$TENANT_ID" \
  --subscription "$SUBSCRIPTION_ID" \
  --secret-archive "{key-vault-id:$KVRESOURCE_ID, use-key-vault:true}" \
  --cluster-type "$CLUSTER_TYPE" --cluster-version "$CLUSTER_VERSION" \
  --tags $TAG_KEY1="$TAG_VALUE1" $TAG_KEY2="$TAG_VALUE2"

Fürtműveletek paraméterei

Fürt identitása

A 2024-07-01 API-verziótól kezdve az ügyfél hozzárendelhet felügyelt identitást egy fürthöz. A rendszer által hozzárendelt és a felhasználó által hozzárendelt felügyelt identitások egyaránt támogatottak.

A hozzáadás után az identitás jelenleg csak az API-hívással távolítható el.

Az operátori Nexus-fürtök felügyelt identitásainak kezeléséről további információt az Azure Operator Nexus-fürttámogatása és a felhasználó által biztosított erőforrások című témakörben talál.

A fürt létrehozása az Azure Resource Manager sablonszerkesztőjével

A fürt létrehozásának másik módja az ARM-sablonszerkesztő.

A fürt ilyen módon való létrehozásához meg kell adnia egy sablonfájlt (cluster.jsonc) és egy paraméterfájlt (cluster.parameters.jsonc). A 8-Rack 2M16C termékváltozat-fürtre az alábbi két fájl használatával talál példákat:

cluster.jsonc , cluster.parameters.jsonc

1. Nyissa meg az Azure Portalt egy webböngészőben, és jelentkezzen be.
2. Keressen rá az "Egyéni sablon üzembe helyezése" kifejezésre az Azure Portal keresősávján, majd válassza ki az elérhető szolgáltatások közül.
3. Kattintson a Saját sablon létrehozása elemre a szerkesztőben.
4. Kattintson a Fájl betöltése elemre. Keresse meg a cluster.jsonc sablonfájlt, és töltse fel.
5. Kattintson a Mentés gombra.
6. Kattintson a Paraméterek szerkesztése elemre.
7. Kattintson a Fájl betöltése gombra. Keresse meg a cluster.parameters.jsonc paraméterfájlt, és töltse fel.
8. Kattintson a Mentés gombra.
9. Válassza ki a megfelelő előfizetést.
10. Keressen rá az erőforráscsoportra, és ellenőrizze, hogy létezik-e már. Ha nem, hozzon létre egy új erőforráscsoportot.
11. Győződjön meg arról, hogy minden példány adatai helyesek.
12. Kattintson a Felülvizsgálat + létrehozás elemre.

Fürt érvényesítése

A nexusfürt sikeres létrehozása egy Azure-erőforrás létrehozását eredményezi az előfizetésen belül. A rendszer a fürtazonosítót, a fürt kiépítési állapotát és az üzembe helyezési állapotot egy sikeres cluster createművelet eredményeként adja vissza.

A fürt állapotának megtekintése:

az networkcloud cluster show --cluster-name "<clusterName>" /
--resource-group "<resourceGroupName>" /
--subscription <subscriptionID>

A fürt létrehozása akkor fejeződik be, ha az provisioningState erőforrás a következőt jeleníti meg: "provisioningState": "Succeeded"

Fürtnaplózás

A fürt létrehozási naplói a következő helyeken tekinthetők meg:

1. Az Azure Portal resource/ResourceGroup tevékenységnaplói.
2. Az Azure CLI a parancssorban átadott jelzővel --debug .

Üzembehelyezési küszöbértékek beállítása

A fürt üzembe helyezése előtt kétféle üzembehelyezési küszöbérték állítható be egy fürtön. Ők és compute-deployment-thresholdupdate-strategy.

--compute-deployment-threshold – A számítási csomópontok környezeti hardverellenőrzés során megengedett hibáit jelző érvényességi küszöbérték.

Ha compute-deployment-threshold nincs beállítva, az alapértelmezett értékek a következők:

      "strategyType": "Rack",
      "thresholdType": "PercentSuccess",
      "thresholdValue": 80,
      "waitTimeMinutes": 1

Ha az ügyfél azt kéri compute-deployment-threshold , hogy az eltérjen a 80%-os alapértelmezett értéktől, futtassa a következő fürtfrissítési parancsot.

Az alábbi példa egy "PercentSuccess" típusú ügyfélre vonatkozik, amelynek sikerességi aránya 97%.

az networkcloud cluster update --name "<clusterName>" /
--resource-group "<resourceGroup>" /
--compute-deployment-threshold type="PercentSuccess" grouping="PerCluster" value=97 /
--subscription <subscriptionID>

Frissítés ellenőrzése

az networkcloud cluster show --resource-group "<resourceGroup>" --name "<clusterName>" | grep -a3 computeDeploymentThreshold

  "clusterType": "MultiRack",
  "clusterVersion": "<CLUSTER_VERSION>",
  "computeDeploymentThreshold": {
    "grouping": "PerCluster",
    "type": "PercentSuccess",
    "value": 97

Ebben a példában, ha az üzembe helyezett számítási csomópontok kevesebb mint 97%-a felel meg a hardverérvényesítésnek, a fürt üzembe helyezése sikertelen lesz. MEGJEGYZÉS: Minden kubernetes vezérlősíknak (KCP) és a nexus-kezelő síknak (NMP) hardverérvényesítést kell végrehajtania. Ha az üzembe helyezett számítási csomópontok 97%-a megfelel a hardverérvényesítésnek, a fürt üzembe helyezése a rendszerindítási kiépítési fázisig tart. A számítási rendszerindítás kiépítése során a rendszer az update-strategy (alábbi) számítási csomópontokat használja.

--update-strategy – A fürt frissítésének stratégiája, amely a rendszerindítási pont kiépítése során a számítási csomópontok engedélyezett hibáit jelzi.

Ha az ügyfél olyan update-strategy küszöbértéket kér, amely eltér az alapértelmezett 80%-tól, futtassa a következő fürtfrissítési parancsot.

az networkcloud cluster update --name "<clusterName>" /
--resource-group "<resourceGroup>" /
--update-strategy strategy-type="Rack" threshold-type="PercentSuccess" /
threshold-value="<thresholdValue>" wait-time-minutes=<waitTimeBetweenRacks> /
--subscription <subscriptionID>

A stratégia típusa lehet "Rack" (Rack by Rack) VAGY "PauseAfterRack" (Várja meg, amíg az ügyfél válasza folytatódik).

A küszöbérték típusa lehet "PercentSuccess" vagy "CountSuccess".

Ha az updateStrategy nincs beállítva, az alapértelmezett értékek a következők:

      "strategyType": "Rack",
      "thresholdType": "PercentSuccess",
      "thresholdValue": 80,
      "waitTimeMinutes": 1

Az alábbi példa a Rack by Rack stratégiát 60%-os sikerességgel és 1 perces szünettel használó ügyfelekre vonatkozik.

az networkcloud cluster update --name "<clusterName>" /
--resource-group "<resourceGroup>" /
--update-strategy strategy-type="Rack" threshold-type="PercentSuccess" /
threshold-value=60 wait-time-minutes=1 /
--subscription <subscriptionID>

Frissítés ellenőrzése:

az networkcloud cluster show --resource-group "<resourceGroup>" /
--name "<clusterName>" /
--subscription <subscriptionID>| grep -a5 updateStrategy

      "strategyType": "Rack",
      "thresholdType": "PercentSuccess",
      "thresholdValue": 60,
      "waitTimeMinutes": 1

Ebben a példában, ha az állványban kiépített számítási csomópontok kevesebb mint 60%-a nem tud kiépíteni (állvány alapján), a fürt üzembe helyezése sikertelen lesz. Ha a számítási csomópontok 60%-a vagy nagyobb része sikeresen ki van építve, a fürt üzembe helyezése a számítási csomópontok következő állványára kerül.

Az alábbi példa a Rack by Rack stratégiát használó ügyfelek számára készült, állványonként 10 csomópontból álló CountSuccess küszöbértékekkel és 1 perces szünettel.

az networkcloud cluster update --name "<clusterName>" /
--resource-group "<resourceGroup>" /
--update-strategy strategy-type="Rack" threshold-type="CountSuccess" /
threshold-value=10 wait-time-minutes=1 /
--subscription <subscriptionID>

Frissítés ellenőrzése:

az networkcloud cluster show --resource-group "<resourceGroup>" /
--name "<clusterName>" /
--subscription <subscriptionID>| grep -a5 updateStrategy

      "strategyType": "Rack",
      "thresholdType": "CountSuccess",
      "thresholdValue": 10,
      "waitTimeMinutes": 1

Ebben a példában, ha egy állványon kevesebb mint 10 számítási csomópont kiépítése meghiúsul (állvány alapján), a fürt üzembe helyezése sikertelen lesz. Ha a számítási csomópontok közül 10 vagy több sikeresen ki van építve, a fürt üzembe helyezése a következő számítási csomópontokra kerül.

Fürt üzembe helyezése

A fürt üzembe helyezése művelet a fürt létrehozása után aktiválható. A Fürt üzembe helyezése művelet létrehozza a rendszerindító lemezképet, és üzembe helyezi a fürtöt.

A Fürt üzembe helyezése a Fürtkezelőben előforduló események sorozatát kezdeményezi.

1. A fürt/állvány tulajdonságainak ellenőrzése.
2. Rendszerindító rendszerkép létrehozása a rövid élettartamú bootstrap-fürthöz (Infrastruktúra ellenőrzése).
3. Interakció a célzott bootstrap-gép intelligens platformkezelési felületével (IPMI).
4. Hardverérvényesítési ellenőrzések végrehajtása.
5. A fürt üzembehelyezési folyamatának monitorozása.

A helyszíni fürt üzembe helyezése:

az networkcloud cluster deploy \
  --name "$CLUSTER_NAME" \
  --resource-group "$CLUSTER_RG" \
  --subscription "$SUBSCRIPTION_ID" \
  --no-wait --debug

Fürt üzembe helyezése hardveres ellenőrzéssel

A fürt üzembe helyezése során a végrehajtott lépések egyike a hardveres ellenőrzés. A hardverérvényesítési eljárás különböző teszteket futtat, és ellenőrzi a fürt állványdefinícióján keresztül biztosított gépeket. Ezen ellenőrzések és a felhasználó által kihagyott gépek eredményei alapján megállapítást végeznek arról, hogy elegendő csomópont haladt-e át, és/vagy rendelkezésre állnak-e az üzembe helyezés folytatásához szükséges küszöbértékek teljesítéséhez.

A hardverérvényesítési folyamat alapértelmezés szerint a konfigurált fürtbe analyticsWorkspaceIdírja az eredményeket. A Log Analytics-munkaterület adatgyűjtésének és sémaértékelésének természete miatt azonban a betöltési késleltetés akár több percet is igénybe vehet. Ezért a fürt üzembe helyezése akkor is folytatódik, ha nem sikerült az eredményeket a Log Analytics-munkaterületre írni. A lehetséges esemény kezelése érdekében a redundancia eredményei is naplózásra kerülnek a Fürtkezelőben.

A megadott fürtobjektum Log Analytics-munkaterületén meg kell jelennie egy új egyéni táblának, amelynek a fürt neve előtagként és utótagként *_CL szerepel. A LAW erőforrás Naplók szakaszában lekérdezést lehet végrehajtani az új *_CL egyéni naplótáblán.

Fürt üzembe helyezése adott operációs rendszer nélküli gép kihagyásával

A --skip-validation-for-machines paraméter a fürtben lévő operációs rendszer nélküli gépek nevét jelöli, amelyeket a hardverellenőrzés során ki kell hagyni. A kihagyott csomópontok nincsenek érvényesítve, és nem lesznek hozzáadva a csomópontkészlethez. Emellett a kihagyott csomópontok nem számítanak bele a küszöbérték-számítások által használt összegbe.

az networkcloud cluster deploy \
  --name "$CLUSTER_NAME" \
  --resource-group "$CLUSTER_RG" \
  --subscription "$SUBSCRIPTION_ID" \
  --skip-validations-for-machines "$COMPX_SVRY_SERVER_NAME"

A fürt üzembe helyezése sikertelen

Az aszinkron művelet állapotának nyomon követéséhez futtassa az --debug engedélyezett jelölőt. Ha --debug meg van adva, a kérés állapota figyelhető. A műveletállapot URL-címe a létrehozási kérelemre adott HTTP-válaszban található hibakeresési kimenet Azure-AsyncOperation vizsgálatával Location található. A fejlécek meg tudják adni a OPERATION_ID HTTP API-hívásban használt mezőt.

OPERATION_ID="aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e*99399E995..."
az rest -m GET -u "https://management.azure.com/subscriptions/${SUBSCRIPTION_ID}/providers/Microsoft.NetworkCloud/locations/${LOCATION}/operationStatuses/${OPERATION_ID}?api-version=2022-12-12-preview"

A kimenet hasonló a JSON-struktúra példájához. Ha a hibakód azHardwareValidationThresholdFailed, akkor a hibaüzenet tartalmazza a hardverérvényesítést meghiúsuló operációs rendszer nélküli gépek listáját (például COMP0_SVR0_SERVER_NAME: ). COMP1_SVR1_SERVER_NAME Ezek a nevek a naplók további részleteinek elemzéséhez használhatók.

{
  "endTime": "2023-03-24T14:56:59.0510455Z",
  "error": {
    "code": "HardwareValidationThresholdFailed",
    "message": "HardwareValidationThresholdFailed error hardware validation threshold for cluster layout plan is not met for cluster $CLUSTER_NAME in namespace nc-system with listed failed devices $COMP0_SVR0_SERVER_NAME, $COMP1_SVR1_SERVER_NAME"
  },
  "id": "/subscriptions/$SUBSCRIPTION_ID/providers/Microsoft.NetworkCloud/locations/$LOCATION/operationStatuses/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e*99399E995...",
  "name": "aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e*99399E995...",
  "resourceId": "/subscriptions/$SUBSCRIPTION_ID/resourceGroups/$CLUSTER_RESOURCE_GROUP/providers/Microsoft.NetworkCloud/clusters/$CLUSTER_NAME",
  "startTime": "2023-03-24T14:56:26.6442125Z",
  "status": "Failed"
}

Egy másik példáért tekintse meg az Aszinkron műveletek nyomon követése az Azure CLI használatával című cikket. További információt a BMM kiépítésének hibaelhárítása című cikkben talál, amely hasznos lehet adott gépek sikertelen érvényesítése vagy üzembe helyezése esetén.

Fürt üzembe helyezésének ellenőrzése

A fürt állapotának megtekintése a portálon vagy az Azure CLI-n keresztül:

az networkcloud cluster show --resource-group "$CLUSTER_RG" \
  --name "$CLUSTER_NAME"

A fürt üzembe helyezése folyamatban van, ha a részletesStatus értéke be van állítva Deploying , a részletesStatusMessage pedig az üzembe helyezés előrehaladását mutatja. A részletesStatusMessage-ben Hardware validation is in progress. látható üzembe helyezési folyamat néhány példája (ha a fürt hardveres ellenőrzéssel van üzembe helyezve), Cluster is bootstrapping., KCP initialization in progress., Management plane deployment in progress., Cluster extension deployment in progress.stb waiting for "<rack-ids>" to be ready.

A fürt üzembe helyezése akkor fejeződik be, ha a részletesStatus értéke be van állítva Running , és a részletesStatusMessage üzenet jelenik Cluster is up and runningmeg.

A fürt felügyeleti verziójának megtekintése:

az k8s-extension list --cluster-name "$CLUSTER_NAME" --resource-group "$MRG_NAME" --cluster-type connectedClusters --query "[?name=='nc-platform-extension'].{name:name, extensionType:extensionType, releaseNamespace:scope.cluster.releaseNamespace,provisioningState:provisioningState,version:version}" -o table --subscription "$SUBSCRIPTION_ID"

Fürt üzembe helyezésének naplózása

A fürt létrehozási naplói a következő helyeken tekinthetők meg:

1. Az Azure Portal resource/ResourceGroup tevékenységnaplói.
2. Az Azure CLI a parancssorban átadott jelzővel --debug .

Fürt törlése

A fürt törlése törli az Azure-beli erőforrásokat és a helyszíni környezetben található fürtöt.

az networkcloud cluster delete --name "$CLUSTER_NAME" --resource-group "$CLUSTER_RG"