مشاركة عبر

إدارة مجموعات Apache Hadoop في Azure HDInsight باستخدام PowerShell

  • مقالة

يمكنك استخدام Azure PowerShell للتحكم في نشر وإدارة أحمال العمل في Azure وأتمتتها. في هذه المقالة، ستتعلم كيفية إدارة مجموعات Apache Hadoop في Azure HDInsight باستخدام الوحدة النمطية Az PowerShell. للحصول على قائمة أوامر HDInsight PowerShell cmdlets، راجع مرجع Az.HDInsight.

في حال لم يكن لديك اشتراك Azure، فأنشئ حساباً مجانيّاً قبل البدء.

المتطلبات الأساسية

إشعار

نوصي باستخدام الوحدة النمطية Azure Az PowerShell للتفاعل مع Azure. للبدء، راجع تثبيت Azure PowerShell. لمعرفة كيفية الترحيل إلى الوحدة النمطية Az PowerShell، راجع ترحيل Azure PowerShell من AzureRM إلى Az.

تم تثبيت الوحدة النمطية Az PowerShell.

إنشاء مجموعات

لإنشاء مجموعات، راجع إنشاء مجموعات مستندة إلى Linux في HDInsight باستخدام Azure PowerShell.

سرد نظام المجموعات

لسرد كافة المجموعات في الاشتراك الحالي، استخدم الأمر التالي:

Get-AzHDInsightCluster

إظهار المجموعات

لإظهار تفاصيل مجموعة معينة في الاشتراك الحالي، استخدم الأمر التالي:

Get-AzHDInsightCluster -ClusterName <Cluster Name>

حذف أنظمة مجموعات

لحذف نظام مجموعة، استخدم الأمر التالي:

Remove-AzHDInsightCluster -ClusterName <Cluster Name>

يمكنك أيضاً حذف كتلة عن طريق إزالة مجموعة الموارد التي تحتوي على الكتلة. يؤدي حذف مجموعة موارد إلى حذف كافة الموارد في المجموعة، بما في ذلك حساب التخزين الافتراضي.

Remove-AzResourceGroup -Name <Resource Group Name>

أنظمة مجموعات مقياس

يمكنك استخدام ميزة تحجيم نظام المجموعة لتغيير عدد العقد العاملة التي تستخدمها مجموعة تعمل في HDInsight دون الحاجة إلى إعادة إنشاء نظام المجموعة. لتغيير حجم مجموعة Hadoop باستخدام PowerShell، قم بتشغيل الأمر التالي من جهاز عميل:

Set-AzHDInsightClusterSize -ClusterName <Cluster Name> -TargetInstanceCount <NewSize>

لمزيد من المعلومات حول قياس المجموعات، راجع أنظمة مجموعات Scale HDInsight.

تحديث بيانات اعتماد مستخدم HTTP

تعين المعلمة Set-AzHDInsightGatewayCredential بيانات اعتماد HTTP للبوابة لمجموعة HDInsight.

$clusterName = "CLUSTERNAME"
$credential = Get-Credential -Message "Enter the HTTP username and password:" -UserName "admin"

Set-AzHDInsightGatewayCredential -ClusterName $clusterName -HttpCredential $credential

ابحث عن حساب التخزين الظاهري

يوضح البرنامج النصي PowerShell التالي كيفية الحصول على اسم حساب التخزين الظاهري والمعلومات ذات الصلة:

#Connect-AzAccount
$clusterName = "<HDInsight Cluster Name>"

$clusterInfo = Get-AzHDInsightCluster -ClusterName $clusterName
$storageInfo = $clusterInfo.DefaultStorageAccount.split('.')
$defaultStorageType = $storageInfo[1]
$defaultStorageName = $storageInfo[0]

echo "Default Storage account name: $defaultStorageName"
echo "Default Storage account type: $defaultStorageType"

if ($defaultStorageType -eq "blob")
{
    $defaultBlobContainerName = $cluster.DefaultStorageContainer
    $defaultStorageAccountKey = (Get-AzStorageAccountKey -ResourceGroupName $resourceGroupName -Name $defaultStorageAccountName)[0].Value
    $defaultStorageAccountContext = New-AzStorageContext -StorageAccountName $defaultStorageAccountName -StorageAccountKey $defaultStorageAccountKey

    echo "Default Blob container name: $defaultBlobContainerName"
    echo "Default Storage account key: $defaultStorageAccountKey"
}

ابحث عن مجموعة الموارد

في وضع Azure Resource Manager، تنتمي كل مجموعة HDInsight إلى مجموعة موارد Azure. للعثور على مجموعة الموارد، استخدم الأمر التالي:

$clusterName = "<HDInsight Cluster Name>"

$cluster = Get-AzHDInsightCluster -ClusterName $clusterName
$resourceGroupName = $cluster.ResourceGroup

إرسال الوظائف

لاستخدام المنتجات التالية لإرسال المهام، اتبع الإرشادات الواردة في المراجع:

تحميل البيانات إلى Azure Blob Storage

لتحميل البيانات إلى Azure Blob Storage، راجع تحميل البيانات إلى HDInsight.

المحتوى ذو الصلة