Azure HDInsight: الأسئلة الشائعة

لمراجعة أنواع مجموعات HDInsight وطرق توفيرها، راجع إعداد المجموعات في HDInsight باستخدام Apache Hadoop وApache Spark وApache Kafka وغير ذلك.

لمعرفة المزيد حول حذف مجموعة عندما لا تكون قيد الاستخدام، راجع حذف مجموعة HDInsight.

حاول ترك فاصل زمني لا يقل عن 30 إلى 60 دقيقة بين عمليات الإنشاء والحذف. وإلا قد تفشل العملية مع إرسال رسالة الخطأ التالية:

Conflict (HTTP Status Code: 409) error when attempting to delete a cluster immediately after creation of a cluster. If you encounter this error, wait until the newly created cluster is in operational state before attempting to delete it.

يعتمد العدد المناسب من مراكز المعالجات وخيارات التكوين الأخرى على عوامل متنوعة.

لمعرفة مزيد من المعلومات، راجع تخطيط السعة لمجموعات HDInsight.

راجع أنواع الموارد في مجموعات Azure HDInsight.

1. يُوصى بإعداد مجموعات HDInsight باستخدام Custom Ambari DB لتحسين قابلية توسع المجموعة.
2. استخدم Azure Data Lake Storage Gen2 في إنشاء مجموعات HDInsight للاستفادة من النطاق الترددي العالي وخصائص الأداء الأخرى لـAzure Data Lake Storage Gen2.
3. ينبغي أن تكون مراكز المعالجات كبيرة كي تكفي استيعاب خدمات رئيسية ومتعددة تعمل على تلك العُقد.
4. ستحتاج بعض أحمال العمل المحددة مثل الاستعلام التفاعلي أيضًا إلى وجود عُقد Zookeeper أكبر. يرجى مراعاة ما لا يقل عن ثمانية أجهزة ظاهرية أساسية.
5. في حالة Hive، وSpark، استخدم External Hive metastore.

نعم. لتثبيت المزيد من المكونات أو تخصيص تكوين نظام المجموعة، استخدم:

• البرامج النصية في أثناء الإنشاء أو بعده. يتم استدعاء البرامج النصية من خلال إجراء البرامج النصية. يُعد إجراء البرامج النصية خيار تكوين يمكنك استخدامه من مدخل Azure أو HDInsight Windows PowerShell cmdlets أو HDInsight .NET SDK. يمكن استخدام خيار التكوين هذا من مدخل Azure أو HDInsight Windows PowerShell cmdlets أو HDInsight .NET SDK.

• HDInsight Application Platform لتثبيت التطبيقات.

للحصول على قائمة بالمكونات المدعومة، راجع ما هي مكونات وإصدارات Apache Hadoop المتوفرة مع HDInsight؟

إذا قمت بترقية المكونات أو التطبيقات المضمنة المثبتة مسبقا على نظام المجموعة، فلن تدعم Microsoft التكوين الناتج. لم يتم اختبار تكوينات النظام هذه من قبل Microsoft. حاول استخدام إصدار مختلف من مجموعة HDInsight التي قد تحتوي بالفعل على الإصدار الذي تمت ترقيته من المكون المثبت مسبقا.

على سبيل المثال، ترقية الخلية كي تكون مكونًا فرديًا غير معتمد. HDInsight عبارة عن خدمة مدارة، ويتم دمج العديد من الخدمات مع خادم Ambari واختبارها. تتسبب ترقية خلية بمفردها إلى الثنائيات المفهرسة من المكونات الأخرى في حدوث تغيير، وسوف يسبب مشكلات تكامل المكونات على المجموعات الخاصة بك.

لا، ليس من الممكن تشغيل Apache Kafka وApache Spark على مجموعة HDInsight واحدة. إنشاء مجموعات منفصلة لـ Kafka وSpark لتجنب مشكلات خلاف الموارد.

1. سجّل الدخول إلى واجهة مستخدم الويب Ambari في https://CLUSTERNAME.azurehdinsight.net، حيث يُعد CLUSTERNAME اسم مجموعتك.

2. في الزاوية العلوية اليمنى، حدد المسؤول | الإعدادات.

   

3. في نافذة User Settings، حدد المنطقة الزمنية الجديدة من القائمة المنسدلة Timezone، ثم حدد Save.

   

للترحيل من SQL Server إلى قاعدة بيانات Azure SQL، راجع البرنامج التعليمي: ترحيل SQL Server إلى قاعدة بيانات واحدة أو قاعدة بيانات مجمعة في قاعدة بيانات Azure SQL دون اتصال بالإنترنت باستخدام DMS.

يعتمد ذلك على نوع metastore التي تكون الكتلة كي تستخدمها.

أمّا metastore الافتراضي: يعد metastore الافتراضي جزءًا من دورة حياة المجموعة. عند حذف مجموعة، يتم حذف metastore المطابق وبيانات التعريف أيضاً.

أمّا metastore المخصص: دورة حياة المتجر غير مرتبطة بدورة حياة المجموعة. لذلك، يمكنك إنشاء وحذف المجموعة دون فقدان بيانات التعريف. تشبه بيانات التعريف مخططات Hive الخاصة بك، والتي تستمر حتى بعد حذف وإعادة إنشاء مجموعة HDInsight.

لمعرفة مزيد من المعلومات، راجع Use external metadata stores in Azure HDInsight.

لا، تعريف النهج موجود في قاعدة بيانات Ranger، لذا فإن ترحيل قاعدة بيانات Ranger يرحل نهجها.

نعم، يمكنك ترحيل Hive metastore من ESP إلى مجموعة غيرها.

تُستخدم Hive metastore في تخزين بيانات التعريف لمصادر البيانات التي يستخدمها خادم Hive. تعتمد متطلبات الحجم اعتمادًا جزئيًا على عدد مصادر بيانات Hive وتعقيدها. لا يمكن تقدير تلك العناصر مُسبقًا. كما هو موضح في إرشادات Hive metastore، يمكنك البدء بمستوى S2. يوفر المستوى 50 وحدة حرارية و250 غيغابايت من التخزين، وإذا رأيت تكدسًا، فأدرج قاعدة البيانات.

لا، تدعم Microsoft فقط قاعدة بيانات azure SQL كمتجر تعريف مخصص خارجي.

نعم، يمكنك مشاركة metastore مخصص عبر مجموعات متعددة طالما أنهم يستخدمون الإصدار ذاته من HDInsight.

إذا قمت بحظر المنفذين 22 و23، فلن يكون لديك وصول SSH إلى المجموعة. لا تُستخدم تلك المنافذ من خلال خدمة HDInsight.

لمعرفة مزيد من المعلومات، راجع الوثائق التالية:

• المنافذ التي تستخدمها خدمات Apache Hadoop على HDInsight

• تأمين الحركة الواردة إلى مجموعات HDInsight في شبكة ظاهرية بنقطة نهاية خاصة

• عناوين IP لإدارة HDInsight

نعم، يمكنك نشر المزيد من الجهاز الظاهري داخل نفس الشبكة الفرعية مثل مجموعة HDInsight. تُعد التكوينات التالية ممكنة:

• عُقد الحافة: يمكنك إضافة عُقدة حافة أخرى إلى المجموعة، كما هو موضح في استخدم عقد حافة فارغة على مجموعات Apache Hadoop في HDInsight.

• العقد المستقلة: يمكنك إضافة جهاز ظاهري مستقل لنفس الشبكة الفرعية والوصول إلى نظام المجموعة من ذلك الجهاز الظاهري باستخدام نقطة النهاية الخاصة https://<CLUSTERNAME>-int.azurehdinsight.net. لمعرفة مزيد من المعلومات، راجعControl network traffic.

لا، لا يُعد تخزين البيانات على قرص محلي فكرة جيدة. إذا فشلت العقدة، فستفقد كل البيانات المُخزنة محليًا. نوصي بتخزين البيانات في مخزن Azure Data Lake Storage Gen2 أو مخزن Azure Blob، أو عن طريق تحميل مشاركة Azure Files لتخزين البيانات.

لا، لا يمكنك. ينبغي تحديد الشبكة الظاهرية في وقت التوفير. إذا لم يتم تحديد شبكة اتصال ظاهرية في وقت التوفير، فإن النشر ينشئ شبكة داخلية غير قابلة للوصول من الخارج. لمعرفة مزيد من المعلومات، راجعAdd HDInsight to an existing virtual network.

لمعرفة مزيد من المعلومات حول الحماية من البرمجيات الخبيثة، راجع Azure Cloud Services and Virtual Machines.

إنشاء keytab Kerberos لاسم مستخدم المجال الخاص بك. يمكنك استخدام علامة التبويب هذه للمصادقة على المجموعة التي تم ربطها بالمجال عن بُعد دون إدخال كلمة مرور. اسم المجال مكتوب بأحرف كبيرة:

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

إذا كان TenantName و DomainName مختلفين (مثال TenantName – bob@CONTOSO.ONMICROSOFT.COM و DomainName – bob@CONTOSOMicrosoft.ONMICROSOFT.COM)، فستحتاج إلى إضافة قيمة SALT باستخدام الخيار -s.

1. استخدم تسجيل دخول Kerberos تفاعليا لتحديد قيمة الملح المناسبة لعلامة التبويب الرئيسية. يستخدم تسجيل الدخول التفاعلي إلى Kerberos أعلى تشفير بشكل افتراضي. يجب تمكين التتبع لمراقبة الملح. فيما يلي نموذج لتسجيل الدخول إلى Kerberos:

$ KRB5_TRAACE=/dev/stdout kinit <username> -V

2. ابحث من خلال الإخراج عن الملح "......." سطر.
3. استخدم قيمة الملح هذه عند إنشاء علامة التبويب الرئيسية.

ktutil
ktutil: addent -password -p <username>@<DOMAIN.COM> -k 1 -e aes256-cts-hmac-sha1-96 -s <SALTvalue>
Password for <username>@<DOMAIN.COM>: <password>
ktutil: wkt <username>.keytab
ktutil: q

قم بتمكين Microsoft Entra Domain Services قبل أن تتمكن من إنشاء مجموعة HDInsight باستخدام ESP. يعتمد Hadoop مفتوح المصدر على Kerberos في المصادقة (بدلاً من OAuth).

لضم الأجهزة الظاهرية VMs إلى مجال ما، يجب أن تكون لديك وحدة تحكم مجال. Microsoft Entra Domain Services هي وحدة تحكم المجال المدارة، وتعتبر ملحقا لمعرف Microsoft Entra. توفر Microsoft Entra Domain Services جميع متطلبات Kerberos لإنشاء مجموعة Hadoop آمنة بطريقة مدارة. تتكامل HDInsight كخدمة مدارة مع Microsoft Entra Domain Services لتوفير الأمان.

يوصى باستخدام شهادة صادرة عن مرجع مُعتمد. لكن استخدام شهادة ذاتية التوقيع يعتمد أيضًا على ESP. لمزيد من المعلومات، راجع:

• تمكين خدمات مجال Microsoft Entra

• البرنامج التعليمي: تكوين LDAP الآمن للمجال المدار ل Microsoft Entra Domain Services

لا، DAS غير مدعوم على كتل ESP.

أمّا متطلبات التدقيق، فتوصي Microsoft بتمكين سجلات Azure Monitor كما هو موضح في استخدام سجلات Azure Monitor لمراقبة مجموعات HDInsight.

Clamscanهو برنامج مكافحة الفيروسات يتم تشغيله على مجموعة HDInsight ويُستخدم من خلال Azure Security (azsecd) لحماية مجموعاتك من هجمات الفيروسات. توصي Microsoft بشدة أن يكف المستخدمون عن إجراء أي تغييرات على التكوين Clamscan الافتراضي.

لا تتداخل تلك العملية مع، أو تأخذ أي دورات بعيدًا عن، العمليات الأخرى. وسوف تؤدي دائمًا لعملية أخرى. يجب رؤية ارتفاعات وحدة المعالجة المركزية من Clamscan فقط عندما يكون النظام دون عمل.

في وحدات السيناريو التي ينبغي فيها التحكم في الجدول الزمني، يمكنك استخدام الخطوات التالية:

1. تعطيل التنفيذ التلقائي باستخدام الأمر التالي:

   sudo usr/local/bin/azsecd config -s clamav -d Disabled خدمة sudo لإعادة تشغيل azsecd

2. إضافة مهمة Cron لتشغيل الأمر التالي كجذر:

   /usr/local/bin/azsecd manual -s clamav

لمعرفة مزيد من المعلومات حول كيفية إعداد وظيفة cron وتشغيلها، راجع كيف يمكنني إعداد وظيفة Cron؟

يتم تمكين LLAP لأسباب أمنية (Apache Ranger)، وليس الأداء. استخدام أكبر عقدة للأجهزة الظاهرية VMs لاحتواء استخدام الموارد من LLAP (على سبيل المثال، الحد الأدنى D13V2).

توجد طريقتان لتحقيق هذا الهدف: 1- يمكنك إعادة إنشاء مجموعة وإضافة مجموعة إضافية في وقت إنشاء المجموعة. إذا كنت تستخدم مزامنة محددة النطاق في Microsoft Entra Domain Services، فتأكد من تضمين المجموعة B في المزامنة محددة النطاق. 2- أضف المجموعة في شكل مجموعة فرعية متداخلة من المجموعة السابقة التي تم استخدامها لإنشاء نظام المجموعة ESP. على سبيل المثال، إذا قمت بإنشاء مجموعة ESP مع مجموعة، Aيمكنك إضافة مجموعة لاحقًا B كمجموعة فرعية متداخلة A وبعد حوالي ساعة واحدة ستتم مزامنتها وإتاحتها في المجموعة تلقائيًا.

كلا، لا يمكن حاليًا إضافة حساب تخزين Azure Data Lake Storage Gen2 إلى نظام مجموعة يحتوي على تخزين blob كمخزن أساسي له. لمعرفة مزيد من المعلومات، راجع مقارنة خيارات التخزين.

يمكنك العثور على إعداداتك في الوصول إلى Data Lake Storage Gen1 ضمن خصائص المجموعة في مدخل Azure. لمعرفة مزيد من المعلومات، راجع التحقق من صحة تثبيت المجموعة.

اختر إحدى الخطوات التالية:

• استخدام PowerShell

• ابحث عن حجم مجلد /user/hive/.Trash/ على مجموعة HDInsight، وذلك باستخدام سطر الأوامر التالية:

  hdfs dfs -du -h /user/hive/.Trash/

لتدقيق حسابات تخزين blob، قم بتكوين المراقبة باستخدام الإجراء الموجود في مراقبة حساب التخزين في مدخل Azure. يوفر سجل تدقيق HDFS معلومات التدقيق لنظام ملفات HDFS المحلية فقط (hdfs://mycluster). لا يتضمن العمليات التي تُخزن عن بُعد.

شغل برنامجًا نصيًا مشابهًا للبرنامج النصي shell التالي على عقدة عنوان:

for i in cat filenames.txt
do
   hadoop fs -get $i <local destination>
done

لا توجد حاليًا برنامج مساعد لـ Ranger لتخزين blob وAzure Data Lake Storage Gen1 أو Gen2. أمّا مجموعات ESP، فينبغي استخدام Azure Data Lake Storage. يمكنك على الأقل تعيين أذونات دقيقة يدويًا على مستوى نظام الملفات باستخدام أدوات HDFS. أيضا، عند استخدام Azure Data Lake Storage، ستقوم مجموعات ESP ببعض التحكم في الوصول إلى نظام الملفات باستخدام معرف Microsoft Entra على مستوى نظام المجموعة.

يمكنك تعيين نهج الوصول إلى البيانات لمجموعات أمان المستخدمين باستخدام Azure Storage Explorer. لمزيد من المعلومات، راجع:

• كيف أعمل تعيين أذونات لمستخدمي Microsoft Entra للاستعلام عن البيانات في Data Lake Storage Gen2 باستخدام Hive أو خدمات أخرى؟
• قم بتعيين أذونات مستوى الملف والدليل باستخدام Azure Storage Explorer مع Azure Data Lake Storage Gen2

‏‏لا. لا يمكنك زيادة حجم القرص لأي عُقدة عاملة. ومن ثمَّ فإن الطريقة الوحيدة لزيادة حجم القرص هو إسقاط المجموعة وإعادة إنشائها مع أكبر أجهزة ظاهرية VMs عاملة. لا تستخدم HDFS لتخزين أي من بيانات HDInsight الخاصة بك، لأن البيانات تُحذف إذا قمت بحذف مجموعتك. بدلاً من ذلك، خزّن البيانات في Azure. يمكن توسيع المجموعة أيضًا إضافة سعة إضافية إلى مجموعة HDInsight.

راجع استخدم عُقد حافة فارغة على مجموعات Apache Hadoop في HDInsight.

بعد إنشاء عُقدة حافة، يمكنك الاتصال به باستخدام SSH على المنفذ 22. يمكنك العثور على اسم عقدة الحافة من مدخل نظام المجموعة. تنتهي الأسماء عادةً بحرفي -ed.

يمكنك استخدام البرامج النصية الدائمة لتخصيص العقد العاملة الجديدة المضافة إلى المجموعة من خلال عمليات التحجيم. لا تنطبق البرامج النصية الدائمة على عُقد الحواف.

يمكنك استخدام نقاط النهاية REST التالية لسحب المعلومات الضرورية بتنسيق JSON. استخدم عناوين المصادقة الأساسية لإجراء الطلبات.

• Tez Query View: https://<اسم نظام المجموعة >.azurehdinsight.net/ws/v1/timeline/HIVE_QUERY_ID/
• Tez Dag View: https://<اسم نظام المجموعة>.azurehdinsight.net/ws/v1/timeline/TEZ_DAG_ID/

للتفاوض على رموز المصادقة المميزة المناسبة مع مستخدم Microsoft Entra، انتقل من خلال البوابة باستخدام التنسيق التالي:

• https://<cluster dnsname>.azurehdinsight.net/api/v1/clusters/testclusterdem/stack_versions/1/repository_versions/1

إذا قمت باستدعاء الأمر Curl في الشبكة الظاهرية ذاتها أو شبكة اتصال ظاهرية للنظير، فالأمر هو:

curl -u <cluster login username> -sS -G
http://<headnodehost>:8080/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu

إذا قمت باستدعاء الأمر من خارج الشبكة الظاهرية أو من شبكة ظاهرية غير نظير تنسيق، فالأمر هو:

• أمّا في مجموعة غير ESP:

  
  curl -u <cluster login username> -sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

• أمّا مجموعة ESP:

  
  curl -u <cluster login username>-sS -G 
  https://<ClusterName>.azurehdinsight.net/api/v1/clusters/<ClusterName>/services/YARN/components/NODEMANAGER?fields=metrics/cpu
  

لمعرفة مزيد من المعلومات حول التسعير والأسئلة الشائعة المتعلقة بالفوترة، راجع صفحة Azure HDInsight Pricing.

تبدأ فوترة نظام المجموعة HDInsight بمجرد إنشاء مجموعة، وتتوقف عند حذف المجموعة. يتم تقييم الفوترة في كل دقيقة.

لمعرفة مزيد من المعلومات حول كيفية إلغاء اشتراكك، راجع Cancel your Azure subscription.

لمعرفة مزيد من المعلومات حول اشتراكك بعد إلغائه، راجع ماذا يحدث بعد إلغاء اشتراكي؟

رغم أن 1.2 يظهر فقط في واجهة المستخدم Ambari، HDInsight 3.6 يحتوي على كل من Hive 1.2 وHive 2.1.

لمعرفة مزيد من المعلومات حول إمكانيات تكامل معالجة الدفق، راجع اختيار تقنية معالجة الدفق في Azure.

لا يمكنك القيام بهذا الإجراء باستخدام مجموعات HDInsight. يمكنك استخدام Azure Data Factory في تلك السيناريوهات.

للحصول على معلومات التوافق، راجع مركز توثيق Microsoft.