Share via

Apache Hadoop-clusters beheren in Azure HDInsight met behulp van PowerShell

  • Artikel

U kunt Azure PowerShell gebruiken om de implementatie en het beheer van uw workloads in Azure te beheren en te automatiseren. In dit artikel leert u hoe u Apache Hadoop-clusters beheert in Azure HDInsight met behulp van de Az PowerShell-module. Zie de naslaginformatie over Az.HDInsight voor de lijst met HDInsight PowerShell-cmdlets.

Als u geen Azure-abonnement hebt, maakt u een gratis account voordat u begint.

Vereisten

Notitie

Het wordt aanbevolen de Azure Az PowerShell-module te gebruiken om te communiceren met Azure. Zie Azure PowerShell installeren om aan de slag te gaan. Raadpleeg Azure PowerShell migreren van AzureRM naar Az om te leren hoe u naar de Azure PowerShell-module migreert.

De Az PowerShell-module is geïnstalleerd.

Clusters maken

Zie Clusters op basis van Linux maken in HDInsight met behulp van Azure PowerShell om clusters te maken.

Clusters weergeven

Gebruik de volgende opdracht om alle clusters in het huidige abonnement weer te geven:

Get-AzHDInsightCluster

Clusters weergeven

Gebruik de volgende opdracht om details van een specifiek cluster in het huidige abonnement weer te geven:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Clusters verwijderen

Gebruik de volgende opdracht om een cluster te verwijderen:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

U kunt een cluster ook verwijderen door de resourcegroep die het cluster bevat te verwijderen. Als u een resourcegroep verwijdert, worden alle resources in de groep verwijderd, inclusief het standaardopslagaccount.

Remove-AzResourceGroup -Name <Resource Group Name>

Clusters schalen

U kunt de functie clusterschalen gebruiken om het aantal werkknooppunten te wijzigen dat wordt gebruikt door een cluster dat wordt uitgevoerd in HDInsight zonder dat u het cluster opnieuw hoeft te maken. Als u de hadoop-clustergrootte wilt wijzigen met behulp van PowerShell, voert u de volgende opdracht uit vanaf een clientcomputer:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

Zie HDInsight-clusters schalen voor meer informatie over het schalen van clusters.

HTTP-gebruikersreferenties bijwerken

Met de parameter Set-AzHDInsightGatewayCredential worden de HTTP-referenties van de gateway van een HDInsight-cluster ingesteld.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Het standaardopslagaccount zoeken

Het volgende PowerShell-script laat zien hoe u de standaardnaam van het opslagaccount en de gerelateerde informatie opvragen:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

De resourcegroep zoeken

In de Azure Resource Manager-modus behoort elk HDInsight-cluster tot een Azure-resourcegroep. Gebruik de volgende opdracht om de resourcegroep te vinden:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Taken verzenden

Als u de volgende producten wilt gebruiken om taken in te dienen, volgt u de instructies in de verwijzingen:

Gegevens uploaden naar Azure Blob Storage

Zie Gegevens uploaden naar HDInsight om gegevens te uploaden naar Azure Blob Storage.

Gerelateerde inhoud