Gyorsútmutató: HDInsight létrehozása AKS-fürtkészleten az Azure CLI használatával
Fontos
Az Azure HDInsight on AKS 2025. január 31-én megszűnt. Tudj meg többet erről a bejelentésről .
A számítási feladatok hirtelen leállásának elkerülése érdekében migrálnia kell a Microsoft Fabric-re vagy egy azzal egyenértékű Azure-termékre.
Fontos
Ez a funkció jelenleg előzetes verzióban érhető el. A Microsoft Azure Previews kiegészítő használati feltételei további jogi feltételeket tartalmaznak, amelyek a bétaverzióban, előzetes verzióban vagy más módon még nem általánosan elérhető Azure-funkciókra vonatkoznak. Erről a konkrét előzetes verzióról további információkért lásd: Azure HDInsight az AKS-hez készült előzetes verzióra vonatkozó információk. Ha kérdése vagy funkciójavaslata van, küldjön egy kérést AskHDInsight a részletekkel, és kövessen minket további frissítésekért Azure HDInsight Community.
Az AKS platformon futó HDInsight bevezeti a fürtkészletek és -fürtök fogalmát, amely lehetővé teszi a Data Lakehouse teljes értékének kihasználását.
fürtkészletek a fürtök logikai csoportosítása, és fürtök készletének fenntartása ugyanabban a készletben, amely segít a robusztus együttműködés kialakításában több fürttípus között. Létrehozható egy meglévő virtuális hálózaton belül vagy egy virtuális hálózaton kívül.
Az AKS HDInsight fürtkészlete az AKS-infrastruktúrában egy fürtnek felel meg.
A klaszterek olyan egyéni számítási feladatok, mint például az Apache Spark, Apache Flink vagy a Trino, amelyek ugyanabban a klaszterkészletben hozhatók létre.
Minden fürttípushoz fürtkészletnek kell lennie. Létrehozhatja önállóan, vagy új fürtkészletet is létrehozhat a fürt létrehozása során. Ebben a gyors kezdési útmutatóban megtudhatja, hogyan hozhat létre csomópontkészletet az Azure CLI használatával.
Előfeltételek
Mielőtt fürtkészletet hoz létre, ellenőrizze, hogy teljesítette a előfizetés előfeltételeit.
Az Azure Cloud Shell elindítása
Az Azure Cloud Shell egy interaktív rendszerhéj, amellyel a cikkben ismertetett lépéseket futtathatja. Az általánosan használt Azure-eszközök előre telepítve és konfigurálva vannak a fiókjával való használatra.
-
Használja a Bash-környezetet a Azure Cloud Shell-ben. További információkért lásd a Az Azure Cloud Shell Bash gyorsindítását.
Ha inkább helyi cli-referenciaparancsokat szeretne futtatni, telepítse az Azure CLI-t. Ha Windows vagy macOS rendszeren fut, fontolja meg az Azure CLI docker-tárolóban való futtatását. További információ: Az Azure CLI futtatása Docker-tárolóban.
Ha helyi telepítést használ, jelentkezzen be az Azure CLI-be az az login paranccsal. A hitelesítési folyamat befejezéséhez kövesse a terminálban megjelenő lépéseket. További bejelentkezési lehetőségekért lásd: az Azure CLI-vel való bejelentkezést.
Amikor a rendszer kéri, először telepítse az Azure CLI-bővítményt. További információért a bővítményekről lásd a következőt: Bővítmények használata az Azure CLI.
Futtassa az version parancsot a telepített verzió és függő kódtárak megkereséséhez. A legújabb verzióra való frissítéshez futtassa az upgrade.
Ez a cikk az Azure CLI 2.56.0-s vagy újabb verzióját igényli. Az Azure Cloud Shell használata esetén a legújabb verzió már telepítve van.
Ha több Azure-előfizetéssel rendelkezik, válassza ki a megfelelő előfizetés-azonosítót, amelyben az erőforrásokat az az account set paranccsal kell számlázni. További információ: Azure-előfizetések kezelése – Azure CLI.
A Cloud Shellt egy külön böngészőlapon is megnyithatja, ha a https://shell.azure.com/bashhivatkozásra kattint.
Környezeti változók definiálása
Az első lépés a környezeti változók definiálása. A környezeti változókat a Linuxban gyakran használják a konfigurációs adatok központosítására a rendszer konzisztenciájának és karbantarthatóságának javítása érdekében. Az oktatóanyag későbbi részében létrehozott erőforrások nevének megadásához hozza létre a következő környezeti változókat:
export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"
Bejelentkezés az Azure-ba a parancssori felület használatával
Ahhoz, hogy parancsokat futtasson az Azure-ban a parancssori felület használatával, először be kell jelentkeznie. Jelentkezz be a az login
parancs használatával.
Erőforráscsoport létrehozása
Az erőforráscsoportok a kapcsolódó erőforrások tárolói. Minden erőforrást egy erőforráscsoportba kell helyezni. Az az group create parancs létrehoz egy erőforráscsoportot a korábban definiált $ResourceGroup
és $Region
paraméterekkel.
az group create --name $ResourceGroup --location $Region
Kimenet:
{
"id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
"location": "eastus",
"managedBy": null,
"name": "HDIonAKSCLI",
"properties": {
"provisioningState": "Succeeded"
},
"tags": null,
"type": "Microsoft.Resources/resourceGroups"
}
Hozza létre a HDInsight az AKS klaszterkészleten
Ebben az erőforráscsoportban az AKS-klászterkészletben való HDInsight létrehozásához, használja a az hdinsight-on-aks clusterpool create
parancsot:
az hdinsight-on-aks clusterpool create --cluster-pool-name
--resource-group
[--api-server-authorized-ip-ranges]
[--cluster-pool-version]
[--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
[--la-workspace-id]
[--location]
[--managed-rg-name]
[--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
[--outbound-type {loadBalancer, userDefinedRouting}]
[--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
[--subnet-id]
[--tags]
[--workernode-size]
Íme egy példa:
az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion
Az HDInsight létrehozása az AKS-fürt csoportján néhány percet vesz igénybe. Az alábbi példakimenet azt mutatja, hogy a létrehozott művelet sikeres volt.
Kimenet:
{
"aksClusterProfile": {
"aksClusterAgentPoolIdentityProfile": {
"msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
"msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
"msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
},
"aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
"aksVersion": "1.27.9"
},
"aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
"clusterPoolProfile": {
"clusterPoolVersion": "1.1"
},
"computeProfile": {
"count": 3,
"vmSize": "Standard_E4s_v3"
},
"deploymentId": "00000000000000000000XXXX",
"id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
"location": "EastUS",
"managedResourceGroupName": "hdi-00000000000000000000XXXX",
"name": "contosopool",
"provisioningState": "Succeeded",
"resourceGroup": "HDIonAKSCLI",
"status": "Running",
"systemData": {
"createdAt": "2024-05-31T15:02:42.2172295Z",
"createdBy": "john@contoso.com",
"createdByType": "User",
"lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
"lastModifiedBy": "john@contoso.com",
"lastModifiedByType": "User"
},
"type": "microsoft.hdinsight/clusterpools"
}
Jegyzet
További információ a fürtkészlet parancssori felületének parancsairól: parancsok.
Erőforrások törlése
Ha már nincs rá szükség, törölje a felesleges erőforrásokat az Azure-díjak elkerülése érdekében. A az group delete
paranccsal eltávolíthatja az erőforráscsoportot, a fürtkészletet és az erőforráscsoport összes többi erőforrását.
Jegyzet
Fürtkészlet törléséhez győződjön meg arról, hogy nincsenek aktív fürtök a fürtkészletben.