Megosztás a következőn keresztül:

Apache Hadoop-fürtök kezelése az Azure HDInsightban a PowerShell használatával

  • Cikk

Az Azure PowerShell használatával szabályozhatja és automatizálhatja a számítási feladatok üzembe helyezését és felügyeletét az Azure-ban. Ebből a cikkből megtudhatja, hogyan kezelheti az Apache Hadoop-fürtöket az Azure HDInsightban az Az PowerShell-modul használatával. A HDInsight PowerShell-parancsmagok listáját az Az.HDInsight-referencia tartalmazza.

Ha még nincs Azure-előfizetése, kezdés előtt hozzon létre egy ingyenes fiókot.

Előfeltételek

Feljegyzés

Javasoljuk, hogy az Azure Az PowerShell modult használja az Azure-ral való interakcióhoz. Az első lépésekhez tekintse meg Az Azure PowerShell telepítése témakört. Az Az PowerShell-modulra történő migrálás részleteiről lásd: Az Azure PowerShell migrálása az AzureRM modulból az Az modulba.

Az Az PowerShell-modul telepítve van.

Fürtök létrehozása

Fürtök létrehozásához lásd : Linux-alapú fürtök létrehozása a HDInsightban az Azure PowerShell használatával.

Fürtök listázása

Az aktuális előfizetés összes fürtjének listázásához használja a következő parancsot:

Get-AzHDInsightCluster

Fürtök megjelenítése

Ha egy adott fürt adatait szeretné megjeleníteni az aktuális előfizetésben, használja a következő parancsot:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

Fürtök törlése

Fürt törléséhez használja a következő parancsot:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

A fürtöt a fürtöt tartalmazó erőforráscsoport eltávolításával is törölheti. Az erőforráscsoport törlése törli a csoport összes erőforrását, beleértve az alapértelmezett tárfiókot is.

Remove-AzResourceGroup -Name <Resource Group Name>

Fürtök méretezése

A fürtméretezési funkcióval módosíthatja a HDInsightban futó fürt által használt munkavégző csomópontok számát anélkül, hogy újra létre kellene hoznia a fürtöt. Ha módosítani szeretné a Hadoop-fürt méretét a PowerShell használatával, futtassa az alábbi parancsot egy ügyfélszámítógépről:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

A fürtök méretezéséről további információt a HDInsight-fürtök méretezése című témakörben talál.

HTTP-felhasználói hitelesítő adatok frissítése

A Set-AzHDInsightGatewayCredential paraméter beállítja egy HDInsight-fürt átjáróJÁNAK HTTP-hitelesítő adatait.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

Az alapértelmezett tárfiók megkeresése

Az alábbi PowerShell-szkript bemutatja, hogyan szerezheti be az alapértelmezett tárfiók nevét és a kapcsolódó információkat:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

Az erőforráscsoport megkeresése

Az Azure Resource Manager módban minden HDInsight-fürt egy Azure-erőforráscsoporthoz tartozik. Az erőforráscsoport megkereséséhez használja a következő parancsot:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

Feladatok elküldése

Ha a következő termékeket szeretné használni a feladatok beküldéséhez, kövesse a hivatkozások utasításait:

Adatok feltöltése az Azure Blob Storage-ba

Ha adatokat szeretne feltölteni az Azure Blob Storage-ba, olvassa el az Adatok feltöltése a HDInsightba című témakört.

Kapcsolódó tartalom