العمل في نظام Apache Hadoop البنائي على HDInsight من كمبيوتر يعمل بنظام التشغيل Windows
تعرف على خيارات التطوير والإدارة على الكمبيوتر الذي يعمل بنظام التشغيل Windows للعمل في نظام Apache Hadoop البنائي على HDInsight.
وتستند HDInsight على مكونات Apache Hadoop وHadoop والتقنيات مفتوحة المصدر التي تم تطويرها على Linux. يستخدم HDInsight الإصدار 3.4 وأعلى توزيع Ubuntu Linux ونظام التشغيل الأساسي لنظام المجموعة. ومع ذلك، يمكنك العمل مع HDInsight من عميل Windows أو بيئة تطوير Windows.
استخدام PowerShell في مهام النشر والإدارة
Azure PowerShell هي بيئة برمجة نصية يمكنك استخدامها للتحكم في مهام النشر والإدارة وأتمتتها في HDInsight من Windows.
أمثلة على المهام التي يمكنك القيام بها باستخدام PowerShell:
- إنشاء أنظمة مجموعات باستخدام PowerShell.
- تشغيل استعلامات Apache Hive باستخدام PowerShell.
- إدارة أنظمة المجموعات باستخدام PowerShell.
اتبع الخطوات لتثبيت وتكوين Azure Powershell للحصول على أحدث إصدار.
الأدوات المساعدة التي يمكنك تشغيلها في مستعرض
تحتوي الأدوات المساعدة التالية على واجهة مستخدم ويب تعمل في مستعرض:
Azure Cloud Shell هي واجهة تفاعلية لسطر الأوامر تعمل في المستعرض ومن داخل مدخل Azure.
Apache Ambari Web UI هي أداة مساعدة للإدارة والمراقبة متوفرة في مدخل Azure يمكن استخدامها لإدارة أنواع مختلفة من الوظائف، مثل:
قبل الانتقال إلى الأمثلة التالية، قم بتثبيت أدوات Data Lake وتجربتها لـ Visual Studio.
Visual Studio و.NET SDK
يمكنك استخدام Visual Studio مع .NET SDK لإدارة أنظمة المجموعات وتطوير تطبيقات البيانات الضخمة. يمكنك استخدام معرفات IDE أخرى للمهام التالية، ولكن يتم عرض الأمثلة في Visual Studio.
أمثلة على المهام التي يمكنك القيام بها مع .NET SDK في Visual Studio:
- Azure HDInsight SDK لـ .NET.
- تشغيل استعلامات Apache Hive باستخدام .NET SDK.
- استخدام وظائف C# المُعرفة من قبل المستخدم مع Apache Hive وبث Apache Pig على Apache Hadoop.
IntelliJ IDEA وEclipse IDE لمجموعات Spark
يمكن استخدام كل من IntelliJ IDEA وEclipse IDE من أجل:
- تطوير وتقديم تطبيق Scala Spark على نظام مجموعة HDInsight Spark.
- الوصول إلى موارد نظام مجموعة Spark.
- قم بتطوير وتشغيل تطبيق Scala Spark محليًا.
توضح هذه المقالات كيفية:
- IntelliJ IDEA: إنشاء تطبيقات Apache Spark باستخدام مجموعة أدوات Azure للمكون الإضافي IntelliJ وSc scala SDK.
- Eclipse IDE أو Scala IDE لـ Eclipse: إنشاء تطبيقاتApache Spark ومجموعة أدوات Azure لـ Eclipse
دفاتر الملاحظات على Spark لعلماء البيانات
تشمل أنظمة مجموعات Apache Spark في HDInsight دفاتر ملاحظات Apache Zeppelin ووحدات Kernel يمكن استخدامها مع دفاتر ملاحظات Jupyter.
- تعلم كيفية استخدام وحدات Kernel على أنظمة مجموعات Apache Spark مع دفاتر ملاحظات Jupyter لاختبار تطبيقات Spark
- تعلم كيفية استخدام دفاتر ملاحظات Apache Zeppelin على أنظمة مجموعات Apache Spark لتشغيل وظائف Spark
تشغيل الأدوات والتقنيات المستندة إلى Linux على Windows
إذا صادفت موقفًا يجب أن تستخدم فيه أداة أو تقنية متوفرة فقط على Linux، ففكر في الخيارات التالية:
- Bash على Ubuntu على Windows 10 يوفّر نظام Linux فرعي على Windows. يتيح لك Bash تشغيل أدوات Linux المساعدة مباشرةً دون الحاجة إلى الاحتفاظ بتثبيت Linux مخصص. راجع دليل تثبيت نظام Windows الفرعي لنظام Linux لنظام التشغيل Windows 10 لمعرفة خطوات التثبيت. تعمل قذائف Unix الأخرى أيضا.
- يوفّر Docker لنظام التشغيل Windows إمكانية الوصول إلى العديد من الأدوات المستندة إلى Linux، ويمكن تشغيله مباشرة من Windows. على سبيل المثال، يمكنك استخدام Docker لتشغيل عميل Beeline لـ Hive مباشرةً من Windows. يمكنك أيضًا استخدام Docker لتشغيل دفتر ملاحظات Jupyter محلي والاتصال عن بعد بـ Spark على HDInsight. بدء العمل مع Docker لنظام التشغيل Windows
- MobaXTerm يسمح لك باستعراض نظام ملفات أنظمة المجموعات بيانيًا عبر اتصال SSH.
أدوات عبر الأنظمة الأساسية
واجهة سطر الأوامر Azure هي تجربة سطر أوامر عبر الأنظمة الأساسية من Microsoft لإدارة موارد Azure. لمزيد من المعلومات، راجع واجهة سطر أوامر Azure.
الخطوات التالية
إذا كنت جديدا على العمل في أنظمة المجموعات المستندة إلى Linux، فشاهد المقالات التالية: