빠른 시작: Azure CLI를 사용하여 AKS 클러스터 풀에서 HDInsight 만들기

AKS의 HDInsight는 데이터 레이크하우스의 전체 가치를 실현할 수 있는 클러스터 풀 및 클러스터의 개념을 소개합니다.

• 클러스터 풀은 클러스터의 논리적 그룹화이며 동일한 풀에 클러스터 집합을 유지 관리하므로 여러 클러스터 유형에서 강력한 상호 운용성을 구축하는 데 도움이 됩니다. 기존 가상 네트워크 내에서 또는 가상 네트워크 외부에서 만들 수 있습니다.

  AKS의 HDInsight 클러스터 풀은 AKS 인프라의 한 클러스터에 해당합니다.

• 클러스터 동일한 클러스터 풀에서 만들 수 있는 Apache Spark, Apache Flink 또는 Trino와 같은 개별 컴퓨팅 워크로드입니다.

모든 클러스터 유형에 대해 클러스터 풀이 있어야 합니다. 독립적으로 만들거나 클러스터를 만드는 동안 새 클러스터 풀을 만들 수 있습니다. 이 빠른 시작에서는 Azure CLI를 사용하여 클러스터 풀을 만드는 방법을 알아봅니다.

필수 구성 요소

클러스터 풀을 만들기 전에 구독 필수 구성 요소 완료해야 합니다.

Azure Cloud Shell 시작

Azure Cloud Shell은 이 문서의 단계를 실행하는 데 사용할 수 있는 대화형 셸입니다. 여기에는 계정과 함께 사용하도록 미리 설치되고 구성된 일반적인 Azure 도구가 있습니다.

• • Azure Cloud Shell 에서Bash 환경을 사용합니다. 자세한 내용은 Azure Cloud Shell Bash에 대한빠른 시작을 참조하세요.

    

  • CLI 참조 명령을 로컬에서 실행하려면, Azure CLI를 설치하십시오. Windows 또는 macOS에서 실행하는 경우 Docker 컨테이너에서 Azure CLI를 실행하는 것이 좋습니다. 자세한 내용은 Docker 컨테이너Azure CLI를 실행하는 방법을 참조하세요.

    • 로컬 설치를 사용하는 경우 az login 명령을 사용하여 Azure CLI에 로그인합니다. 인증 프로세스를 완료하려면 터미널에 표시되는 단계를 수행합니다. 다른 로그인 옵션은 Azure CLI 로그인을 참조하세요.

    • 메시지가 표시되면 처음 사용할 때 Azure CLI 확장을 설치합니다. 확장에 대한 자세한 내용은 Azure CLI확장 사용을 참조하세요.

    • az version 실행하여 설치된 버전 및 종속 라이브러리를 찾습니다. 최신 버전으로 업그레이드하려면 az upgrade 실행합니다.

• 이 문서에는 Azure CLI 버전 2.56.0 이상이 필요합니다. Azure Cloud Shell을 사용하는 경우 최신 버전이 이미 설치되어 있습니다.

• 여러 Azure 구독이 있는 경우 az account set 명령을 사용하여 리소스를 청구해야 하는 적절한 구독 ID를 선택합니다. 자세한 내용은 Azure 구독을 관리하는 방법 - Azure CLI참조하세요.

• https://shell.azure.com/bash이동하여 별도의 브라우저 탭에서 Cloud Shell을 열 수도 있습니다.

환경 변수 정의

첫 번째 단계는 환경 변수를 정의하는 것입니다. 환경 변수는 일반적으로 Linux에서 구성 데이터를 중앙 집중화하여 시스템의 일관성 및 유지 관리 가능성을 향상시키는 데 사용됩니다. 다음 환경 변수를 만들어 이 자습서의 뒷부분에서 만드는 리소스의 이름을 지정합니다.

export ResourceGroup="HDIonAKSCLI"
export Region=EastUS
export HDIonAKSClusterPoolName="contosopool"
export NodeType="Standard_E4s_v3"
export ClusterVersion="1.1"

CLI를 사용하여 Azure에 로그인

CLI를 사용하여 Azure에서 명령을 실행하려면 먼저 로그인해야 합니다. az login 명령을 사용하여 로그인합니다.

리소스 그룹 만들기

리소스 그룹은 관련 리소스에 대한 컨테이너입니다. 모든 리소스는 리소스 그룹에 배치해야 합니다. az group create 명령은 이전에 정의된 $ResourceGroup 및 $Region 매개 변수를 사용하여 리소스 그룹을 만듭니다.

az group create --name $ResourceGroup --location $Region

출력:

{
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI",
  "location": "eastus",
  "managedBy": null,
  "name": "HDIonAKSCLI",
  "properties": {
    "provisioningState": "Succeeded"
  },
  "tags": null,
  "type": "Microsoft.Resources/resourceGroups"
}

AKS 클러스터 풀에서 HDInsight 만들기

이 리소스 그룹의 AKS 클러스터 풀에서 HDInsight를 만들려면 az hdinsight-on-aks clusterpool create 명령을 사용합니다.

az hdinsight-on-aks clusterpool create --cluster-pool-name
                                       --resource-group
                                       [--api-server-authorized-ip-ranges]
                                       [--cluster-pool-version]
                                       [--enable-log-analytics {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--la-workspace-id]
                                       [--location]
                                       [--managed-rg-name]
                                       [--no-wait {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--outbound-type {loadBalancer, userDefinedRouting}]
                                       [--private-server-enabled {0, 1, f, false, n, no, t, true, y, yes}]
                                       [--subnet-id]
                                       [--tags]
                                       [--workernode-size]

예제는 다음과 같습니다.

az hdinsight-on-aks clusterpool create --resource-group $ResourceGroup --cluster-pool-name $HDIonAKSClusterPoolName --location $Region --workernode-size $NodeType --cluster-pool-version $ClusterVersion

AKS 클러스터 풀에서 HDInsight를 만드는 데 몇 분 정도 걸립니다. 다음 예제 출력은 만든 작업이 성공했음을 보여 주는 예제입니다.

출력:

{
  "aksClusterProfile": {
    "aksClusterAgentPoolIdentityProfile": {
      "msiClientId": "00000000-0000-0000-0000-XXXXXXXX1",
      "msiObjectId": "00000000-0000-0000-0000-XXXXXXX11",
      "msiResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourcegroups/MC_hdi-00000000000000000000XXXX_contosopool_eastus/providers/Microsoft.ManagedIdentity/userAssignedIdentities/contosopool-agentpool"
    },
    "aksClusterResourceId": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/hdi-00000000000000000000XXXX/providers/Microsoft.ContainerService/managedClusters/contosopool",
    "aksVersion": "1.27.9"
  },
  "aksManagedResourceGroupName": "MC_hdi-00000000000000000000XXXX_contosopool_eastus",
  "clusterPoolProfile": {
    "clusterPoolVersion": "1.1"
  },
  "computeProfile": {
    "count": 3,
    "vmSize": "Standard_E4s_v3"
  },
  "deploymentId": "00000000000000000000XXXX",
  "id": "/subscriptions/aaaa0a0a-bb1b-cc2c-dd3d-eeeeee4e4e4e/resourceGroups/HDIonAKSCLI/providers/Microsoft.HDInsight/clusterpools/contosopool",
  "location": "EastUS",
  "managedResourceGroupName": "hdi-00000000000000000000XXXX",
  "name": "contosopool",
  "provisioningState": "Succeeded",
  "resourceGroup": "HDIonAKSCLI",
  "status": "Running",
  "systemData": {
    "createdAt": "2024-05-31T15:02:42.2172295Z",
    "createdBy": "john@contoso.com",
    "createdByType": "User",
    "lastModifiedAt": "2024-05-31T15:02:42.2172295Z",
    "lastModifiedBy": "john@contoso.com",
    "lastModifiedByType": "User"
  },
  "type": "microsoft.hdinsight/clusterpools"
}

리소스 정리

더 이상 필요하지 않은 경우 Azure 요금을 방지하기 위해 불필요한 리소스를 정리합니다. az group delete 명령을 사용하여 리소스 그룹, 클러스터 풀 및 리소스 그룹의 다른 모든 리소스를 제거할 수 있습니다.