إدارة مجموعات Apache Hadoop في HDInsight باستخدام مدخل Microsoft Azure

باستخدام مدخل Microsoft Azure، يمكنك إدارة مجموعات Apache Hadoop في Azure HDInsight. استخدم محدد علامة التبويب للحصول على معلومات حول إدارة مجموعات Hadoop في HDInsight باستخدام أدوات أخرى.

المتطلبات الأساسية

نظام مجموعة Apache Hadoop موجودة في HDInsight. لمزيد من المعلومات، راجع إنشاء مجموعات مستندة إلى Linux في HDInsight باستخدام مدخل Microsoft Azure.

الشروع في العمل

الانتقال إلى المدخل.

سرد المجموعات وإظهارها

تسرد صفحة مجموعات HDInsight المجموعات الموجودة لديك. من المدخل:

1. في القائمة اليسرى، حدد All services.
2. ضمن ANALYTICS، حدد HDInsight clusters.

الصفحة الرئيسية لنظام المجموعة

في صفحة مجموعات HDInsight ، حدد اسم نظام المجموعة الخاص بك. يفتح جزء Overview ويشبه الصورة التالية.

القائمة العلوية

القائمة اليسرى

تحتوي القائمة اليسرى على مقاطع متعددة.

القائمة العلوية اليمنى

قائمة الإعدادات

قائمة المراقبة

الدعم + قائمة تحري الخلل وإصلاحه

خصائص مقطع التخزين

في الصفحة الرئيسية لنظام المجموعة، ضمن Settings، حدد Properties.

انقل أنظمة المجموعات

يمكنك نقل مجموعة HDInsight إلى مجموعة موارد Azure أخرى أو اشتراك آخر.

في الصفحة الرئيسية لنظام المجموعة:

1. في القائمة العلوية، حدد نقل.

2. حدد Move to another resource group أو Move to another subscription.

3. اتبع الإرشادات الموجودة في الصفحة الجديدة.

حذف أنظمة مجموعات

لا يؤدي حذف نظام مجموعة إلى حذف حساب التخزين الافتراضي أو أي حسابات تخزين مرتبطة. يمكنك إعادة إنشاء نظام المجموعة باستخدام نفس حسابات التخزين ونفس metastores. نوصي باستخدام حاوية blob افتراضية جديدة عند إعادة إنشاء نظام المجموعة.

في الصفحة الرئيسية لنظام المجموعة:

1. في القائمة العلوية، حدد حذف.
2. اتبع الإرشادات الموجودة في الصفحة الجديدة.

لمزيد من المعلومات، راجع إيقاف المجموعات مؤقتا أو إيقاف تشغيلها.

إضافة المزيد من حسابات التخزين

يمكنك إضافة المزيد من حسابات Azure Storage وحسابات Azure Data Lake Storage بعد إنشاء نظام مجموعة. لمزيد من المعلومات، راجع إضافة حسابات تخزين إضافية إلى HDInsight.

أنظمة مجموعات مقياس

يمكنك استخدام ميزة تحجيم نظام المجموعة لتغيير عدد العقد العاملة التي تستخدمها مجموعة HDInsight، دون الحاجة إلى إعادة إنشاء نظام المجموعة.

لمزيد من المعلومات، راجع تغيير حجم مجموعات HDInsight.

إيقاف المجموعات مؤقتا أو إيقاف تشغيلها

معظم وظائف Hadoop هي وظائف دفعية تعمل أحيانا فقط. بالنسبة لمعظم أنظمة مجموعات Hadoop، هناك فترات زمنية كبيرة عندما لا يتم استخدام نظام المجموعة للمعالجة. من خلال HDInsight، يتم تخزين البيانات الخاصة بك في Azure Storage؛ لذا يمكنك حذف المجموعة بأمان عندما لا تكون قيد الاستخدام. كما يتم تحصيل رسوم منك مقابل مجموعة HDInsight، حتى عندما لا تكون قيد الاستخدام. نظرا لأن رسوم نظام المجموعة تزيد عدة مرات عن رسوم التخزين، فمن المنطقي اقتصاديا حذف المجموعات عندما لا تكون قيد الاستخدام.

يمكنك برمجة العملية بعدة طرق. يمكنك استخدام:

• Azure Data Factory: راجع إنشاء مجموعات Apache Hadoop المستندة إلى Linux عند الطلب في HDInsight باستخدام Azure Data Factory لإنشاء خدمات مرتبطة ب HDInsight عند الطلب.
• Azure PowerShell: راجع تحليل بيانات تأخير الرحلة.
• Azure CLI: راجع إدارة مجموعات Azure HDInsight باستخدام Azure CLI.
• HDInsight .NET SDK: راجع إرسال مهام Apache Hadoop.

للحصول على معلومات التسعير، راجع تسعير HDInsight. لحذف نظام مجموعة من المدخل، راجع حذف أنظمة المجموعات.

ترقية أنظمة المجموعات

لمزيد من المعلومات، راجع ترقية نظام مجموعة HDInsight إلى إصدار أحدث.

افتح واجهة مستخدم الويب Apache Ambari

يوفر Ambari واجهة مستخدم ويب سهلة الاستخدام سهلة الاستخدام لإدارة Hadoop مدعومة بواجهات برمجة تطبيقات RESTful الخاصة بها. باستخدام Ambari، يمكن لمسؤولي النظام إدارة ومراقبة مجموعات Hadoop.

في الصفحة الرئيسية لنظام المجموعة:

1. حدد Cluster dashboards.

   

2. في الصفحة الجديدة، حدد Ambari home.

3. أدخل اسم مستخدم نظام المجموعة وكلمة المرور. اسم مستخدم المجموعة الافتراضي هو admin.

لمزيد من المعلومات، راجع إدارة مجموعات HDInsight باستخدام واجهة مستخدم الويب Apache Ambari.

تغيير كلمات المرور

يمكن أن تحتوي مجموعة HDInsight على حسابَيْ مستخدمَيْن. يتم إنشاء حساب مستخدم مجموعة HDInsight (حساب مستخدم HTTP) وحساب مستخدم SSH أثناء عملية الإنشاء. يمكنك استخدام المدخل لتغيير كلمة مرور حساب مستخدم نظام المجموعة واستخدام إجراءات البرنامج النصي لتغيير حساب مستخدم SSH.

تغيير كلمة مرور مستخدم نظام المجموعة

في الصفحة الرئيسية لنظام المجموعة:

1. ضمن Settings، حدد SSH + Cluster login.
2. حدد إعادة تعيين بيانات الاعتماد.
3. أدخل كلمة مرور جديدة وأكدها في مربعات النص.
4. حدد موافق.

تتغير كلمة المرور على جميع العقد في نظام المجموعة.

قم بتغيير كلمة مرور مستخدم SSH أو المفتاح العام

1. استخدم محرر نص لحفظ النص التالي كملف يسمى changecredentials.sh.

   هام

   يجب استخدام محرر يستخدم LF كنهاية سطر. إذا كان المحرر يستخدم CRLF، فلن يعمل البرنامج النصي.

   #! /bin/bash
   USER=$1
   PASS=$2
   usermod --password $(echo $PASS | openssl passwd -1 -stdin) $USER
   

2. قم بتحميل الملف إلى موقع تخزين يمكنك الوصول إليه من HDInsight باستخدام عنوان HTTP أو HTTPS. مثال على ذلك هو مخزن ملفات عام مثل OneDrive أو Azure Blob Storage. احفظ عنوان URI (HTTP أو HTTPS) إلى الملف. URI مطلوب في الخطوة التالية.

3. في الصفحة الرئيسية لنظام المجموعة، ضمن Settings، حدد Script actions.

4. في صفحة إجراءات البرنامج النصي، حدد إرسال جديد.

5. في صفحة إجراء إرسال البرنامج النصي، أدخل المعلومات في الجدول التالي.

   إشعار

   لا يمكن أن تحتوي كلمات مرور SSH على الأحرف التالية: " ' ' / \ < ٪ ~ | $ & ! #

   الحقل	القيمة
   نوع البرنامج النصي	حدد - مخصص من القائمة المنسدلة.
   الاسم	"تغيير بيانات اعتماد ssh."
   Bash script URI	URI إلى changecredentials.sh الملف.
   أنواع العقد: الرأس أو العامل أو Nimbus أو المشرف أو ZooKeeper	حدد ✓ لجميع أنواع العقد المدرجة.
   البارامترات	أدخل اسم مستخدم SSH، ثم أدخل كلمة المرور الجديدة. يجب أن تكون هناك مسافة واحدة فقط بين اسم المستخدم وكلمة المرور.
   استمر في إجراء البرنامج النصي هذا ...	اترك هذا الحقل خاليا.

6. حدد Create لتطبيق البرنامج النصي. بعد انتهاء البرنامج النصي، يمكنك الاتصال بالمجموعة باستخدام SSH مع بيانات الاعتماد الجديدة.

ابحث عن معرّف الاشتراك

كل نظام مجموعة مرتبط باشتراك Azure. معرف اشتراك Azure مرئي على الصفحة الرئيسية لنظام المجموعة.

ابحث عن مجموعة الموارد

في وضع Resource Manager، يتم إنشاء كل مجموعة HDInsight مع مجموعة Resource Manager. مجموعة Resource Manager مرئية على الصفحة الرئيسية لنظام المجموعة.

ابحث عن حسابات التخزين

تستخدم مجموعات HDInsight إما حساب Azure Storage أو Data Lake Storage لتخزين البيانات. يمكن أن يكون لكل مجموعة HDInsight حساب تخزين افتراضي واحد والعديد من حسابات التخزين المرتبطة. لسرد حسابات التخزين، في الصفحة الرئيسية لنظام المجموعة، ضمن Settings، حدد Storage accounts.

مراقبة المهام

لمزيد من المعلومات، راجع إدارة مجموعات HDInsight باستخدام واجهة مستخدم الويب Apache Ambari.

حجم نظام المجوعة

يعرض تجانب حجم نظام المجموعة في الصفحة الرئيسية لنظام المجموعة عدد الذاكرات الأساسية المخصصة لهذه المجموعة وكيفية تخصيصها للعقد داخل نظام المجموعة هذا.

الاتصال بالعنقود

• استخدام Apache Hive مع HDInsight
• استخدام SSH مع HDInsight

المحتوى ذو الصلة

في هذه المقالة، تعلمت بعض الوظائف الإدارية الأساسية. لمعرفة المزيد، راجع المقالات التالية:

• إدارة HDInsight باستخدام Azure PowerShell
• إدارة HDInsight باستخدام Azure CLI
• إنشاء نظم مجموعات HDInsight
• تفاصيل حول استخدام Apache Ambari REST API
• استخدام Apache Hive في HDInsight
• استخدم Apache Sqoop في HDInsight
• استخدام وظائف Python المعرفة من قبل المستخدم (UDFs) مع Apache Hive وApache Pig في HDInsight
• ما هو إصدار Apache Hadoop المتاح في Azure HDInsight؟