ملاحظات الإصدار المؤرشفة

مقالة
01/24/2025

الملخص

Azure HDInsight هي واحدة من الخدمات الأكثر شيوعًا بين عملاء المؤسسات للتحليلات مفتوحة المصدر على Azure. اشترك في ملاحظات إصدار HDInsight للحصول على معلومات محدثة حول HDInsight وجميع إصدارات HDInsight.

للاشتراك، انقر فوق الزر "watch" في الشعار واحذر من إصدارات HDInsight.

معلومات الإصدار

تاريخ الإصدار: 22 أكتوبر 2024

إشعار

هذا هو الإصلاح العاجل / إصدار الصيانة لموفر الموارد. لمزيد من المعلومات، راجع موفر الموارد.

يصدر Azure HDInsight تحديثات الصيانة بشكل دوري لتقديم إصلاحات الأخطاء وتحسينات الأداء وتصحيحات الأمان لضمان البقاء على اطلاع بهذه التحديثات يضمن الأداء والموثوقية الأمثلين.

تنطبق ملاحظة الإصدار هذه على

إصدار HDInsight 5.1.

إصدار HDInsight 5.0.

إصدار HDInsight 4.0.

سيكون إصدار HDInsight متاحا لجميع المناطق على مدار عدة أيام. ملاحظة الإصدار هذه قابلة للتطبيق على 2409240625 رقم الصورة. كيفية التحقق من رقم الصورة؟

تستخدم HDInsight ممارسات نشر آمنة، والتي تتضمن نشرًا تدريجيًا في المنطقة. قد يستغرق الأمر ما يصل إلى 10 أيام عمل حتى يتوفر إصدار جديد أو إصدار جديد في جميع المناطق.

إصدارات نظام التشغيل

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

إشعار

يتم دعم Ubuntu 18.04 ضمن الصيانة الأمنية الموسعة (ESM) من قبل فريق Azure Linux ل Azure HDInsight يوليو 2023، والإصدارات اللاحقة.

للحصول على إصدارات خاصة بحمل العمل، راجع إصدارات مكونات HDInsight 5.x.

مُحدث

يتوفر دعم المصادقة المستندة إلى MSI لتخزين Azure blob.
- يدعم Azure HDInsight الآن المصادقة المستندة إلى OAuth للوصول إلى تخزين Azure Blob من خلال الاستفادة من Azure Active Directory (AAD) والهويات المدارة (MSI). باستخدام هذا التحسين، يستخدم HDInsight الهويات المدارة المعينة من قبل المستخدم للوصول إلى تخزين Azure blob. لمزيدٍ من المعلومات، انظر الهويات المُدارة لموارد Azure.
تم نقل خدمة HDInsight لاستخدام موازنات التحميل القياسية لجميع تكوينات نظام المجموعة الخاصة بها بسبب إيقاف إعلان موازن التحميل الأساسي ل Azure.

إشعار

يتوفر هذا التغيير في جميع المناطق. أعد إنشاء نظام المجموعة لاستهلاك هذا التغيير. للحصول على أي مساعدة، اتصل بالدعم.

هام

عند استخدام الشبكة الظاهرية الخاصة بك (VNet المخصصة) أثناء إنشاء نظام المجموعة، يجب أن ينصح بأن إنشاء نظام المجموعة لن ينجح بمجرد تمكين هذا التغيير. نوصي بالإشارة إلى دليل الترحيل لإعادة إنشاء نظام المجموعة. للحصول على أي مساعدة، اتصل بالدعم.

قريباً

إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد الأجهزة الظاهرية الأساسية والقياسية من السلسلة A. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs).
- لتجنب اضطرابات الخدمة، قم بترحيل أحمال العمل من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.
إشعارات الإيقاف ل HDInsight 4.0 وHDInsight 5.0.

إذا كانت لديك أي أسئلة أخرى، فاتصل بدعم Azure.

يمكنك دائما سؤالنا عن HDInsight على Azure HDInsight - Microsoft Q&A.

نحن نستمع: نرحب بإضافة المزيد من الأفكار والموضوعات الأخرى هنا والتصويت لها - أفكار HDInsight ومتابعتنا لمزيد من التحديثات على مجتمع AzureHDInsight.

إشعار

ننصح العملاء باستخدام أحدث إصدارات صور HDInsight أثناء تقديمهم أفضل تحديثات مصدر مفتوح وتحديثات Azure وإصلاحات الأمان. لمزيد من المعلومات، راجع أفضل الممارسات.

تاريخ الإصدار: 30 أغسطس 2024

إشعار

هذا هو الإصلاح العاجل / إصدار الصيانة لموفر الموارد. لمزيد من المعلومات، راجع موفر الموارد.

تنطبق ملاحظة الإصدار هذه على

إصدار HDInsight 5.1.

إصدار HDInsight 5.0.

إصدار HDInsight 4.0.

سيكون إصدار HDInsight متاحا لجميع المناطق على مدار عدة أيام. تنطبق ملاحظة الإصدار هذه على 2407260448 رقم الصورة. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

إشعار

يتم دعم Ubuntu 18.04 ضمن الصيانة الأمنية الموسعة (ESM) من قبل فريق Azure Linux ل Azure HDInsight يوليو 2023، والإصدارات اللاحقة.

للحصول على إصدارات خاصة بحمل العمل، راجع إصدارات مكونات HDInsight 5.x.

تم إصلاح المشكلة

إصلاح أخطاء قاعدة البيانات الافتراضية.

قريبًا

إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد الأجهزة الظاهرية الأساسية والقياسية من السلسلة A. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs).
- لتجنب اضطرابات الخدمة، قم بترحيل أحمال العمل من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.
إشعارات الإيقاف ل HDInsight 4.0 وHDInsight 5.0.

إذا كانت لديك أي أسئلة أخرى، فاتصل بدعم Azure.

يمكنك دائما سؤالنا عن HDInsight على Azure HDInsight - Microsoft Q&A.

إشعار

ننصح العملاء باستخدام أحدث إصدارات صور HDInsight أثناء تقديمهم أفضل مصدر مفتوح التحديثات وتحديثات Azure وإصلاحات الأمان. لمزيد من المعلومات، راجع أفضل الممارسات.

تاريخ الإصدار: 09 أغسطس 2024

تنطبق ملاحظة الإصدار هذه على

إصدار HDInsight 5.1.

إصدار HDInsight 5.0.

إصدار HDInsight 4.0.

إصدارات نظام التشغيل

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

إشعار

يتم دعم Ubuntu 18.04 ضمن الصيانة الأمنية الموسعة (ESM) من قبل فريق Azure Linux ل Azure HDInsight يوليو 2023، والإصدارات اللاحقة.

للحصول على إصدارات خاصة بحمل العمل، راجع إصدارات مكونات HDInsight 5.x.

التحديثات

إضافة عامل Azure Monitor لتحليلات السجل في HDInsight

SystemMSI إضافة وDCR التلقائي لتحليلات السجل، نظرا إلى إهمال تجربة Azure Monitor الجديدة (معاينة).

إشعار

رقم الصورة الفعال 2407260448، سيكون لدى العملاء الذين يستخدمون المدخل لتحليلات السجل تجربة عامل Azure Monitor الافتراضية. في حالة رغبتك في التبديل إلى تجربة Azure Monitor (معاينة)، يمكنك تثبيت مجموعاتك على الصور القديمة عن طريق إنشاء طلب دعم.

تاريخ الإصدار: 05 يوليو 2024

إشعار

هذا هو الإصلاح العاجل / إصدار الصيانة لموفر الموارد. لمزيد من المعلومات، راجع موفر الموارد

المشكلات التي جرى إصلاحها

تستبدل علامات HOBO علامات المستخدم.
- تستبدل علامات HOBO علامات المستخدم على الموارد الفرعية في إنشاء مجموعة HDInsight.

تاريخ الإصدار: 19 يونيو 2024

تنطبق ملاحظة الإصدار هذه على

إصدار HDInsight 5.1.

إصدار HDInsight 5.0.

إصدار HDInsight 4.0.

سيكون إصدار HDInsight متاحا لجميع المناطق على مدار عدة أيام. ملاحظة الإصدار هذه قابلة للتطبيق على رقم الصورة 2406180258. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

إشعار

يتم دعم Ubuntu 18.04 ضمن الصيانة الأمنية الموسعة (ESM) من قبل فريق Azure Linux ل Azure HDInsight يوليو 2023، والإصدارات اللاحقة.

للحصول على إصدارات خاصة بحمل العمل، راجع إصدارات مكونات HDInsight 5.x.

المشكلات التي جرى إصلاحها

تحسينات الأمان
- تحسينات على استخدام العلامات للمجموعات بما يتماشى مع متطلبات SFI .
- تحسينات في البرامج النصية للتحقيقات وفقا لمتطلبات SFI .
تحسينات في HDInsight Log Analytics مع دعم الهوية المدارة للنظام لموفر موارد HDInsight.
إضافة نشاط جديد لترقية إصدار العامل للصورة mdsd القديمة (التي تم إنشاؤها قبل 2024).
تمكين MISE في البوابة كجزء من التحسينات المستمرة لترحيل MSAL.
دمج Spark Thrift Server Httpheader hiveConf في Jetty HTTP ConnectionFactory.
إرجاع RANGER-3753 وRANGR-3593.

التنفيذ setOwnerUser المقدم في إصدار Ranger 2.3.0 له مشكلة انحدار حرجة عند استخدامها من قبل Hive. في Ranger 2.3.0، عندما يحاول HiveServer2 تقييم النهج، يحاول Ranger Client الحصول على مالك جدول الخلية عن طريق استدعاء Metastore في الدالة setOwnerUser التي تقوم أساسا باستدعاء التخزين للتحقق من الوصول إلى هذا الجدول. تتسبب هذه المشكلة في تشغيل الاستعلامات ببطء عند تشغيل Hive على 2.3.0 Ranger.

تمت إضافة مناطق جديدة

منطقة شمال إيطاليا
إسرائيل الوسطى
وسط إسبانيا
وسط المكسيك
جيو الهند الوسطى

إضافة إلى ملاحظات الأرشيف لشهر يونيو 2024

قريبًا

إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد الأجهزة الظاهرية الأساسية والقياسية من السلسلة A. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs).
- لتجنب اضطرابات الخدمة، قم بترحيل أحمال العمل من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.
إشعارات الإيقاف ل HDInsight 4.0 وHDInsight 5.0.

إذا كانت لديك أي أسئلة أخرى، فاتصل بدعم Azure.

يمكنك دائما سؤالنا عن HDInsight على Azure HDInsight - Microsoft Q&A.

إشعار

تاريخ الإصدار: 16 مايو 2024

تنطبق ملاحظة الإصدار هذه على

إصدار HDInsight 5.0.

إصدار HDInsight 4.0.

سيكون إصدار HDInsight متاحا لجميع المناطق على مدار عدة أيام. ملاحظة الإصدار هذه قابلة للتطبيق على 2405081840 رقم الصورة. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

إشعار

يتم دعم Ubuntu 18.04 ضمن الصيانة الأمنية الموسعة (ESM) من قبل فريق Azure Linux ل Azure HDInsight يوليو 2023، والإصدارات اللاحقة.

للحصول على إصدارات خاصة بحمل العمل، راجع إصدارات مكونات HDInsight 5.x.

المشكلات التي تم إصلاحها

تمت إضافة واجهة برمجة التطبيقات في البوابة للحصول على رمز مميز ل Keyvault، كجزء من مبادرة SFI.
في جدول Log monitor HDInsightSparkLogs الجديد، لنوع SparkDriverLogالسجل ، كانت بعض الحقول مفقودة. على سبيل المثال، LogLevel & Message يضيف هذا الإصدار الحقول المفقودة إلى المخططات والتنسيق الثابت ل SparkDriverLog.
سجلات Livy غير متوفرة في جدول مراقبة SparkDriverLog Log Analytics، والذي كان بسبب مشكلة في مسار مصدر سجل Livy و regsing regex في SparkLivyLog التكوينات.
يمكن لأي مجموعة HDInsight، باستخدام ADLS Gen2 كحساب تخزين أساسي الاستفادة من الوصول المستند إلى MSI إلى أي من موارد Azure (على سبيل المثال، SQL، Keyvaults) التي يتم استخدامها داخل التعليمات البرمجية للتطبيق.

قريباً

إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد الأجهزة الظاهرية الأساسية والقياسية من السلسلة A. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs).
- لتجنب اضطرابات الخدمة، قم بترحيل أحمال العمل من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.
إشعارات الإيقاف ل HDInsight 4.0 وHDInsight 5.0.

إذا كانت لديك أي أسئلة أخرى، فاتصل بدعم Azure.

يمكنك دائما سؤالنا عن HDInsight على Azure HDInsight - Microsoft Q&A.

إشعار

تاريخ الإصدار: 15 أبريل 2024

تنطبق ملاحظة الإصدار هذه على إصدار HDInsight 5.1.

سيكون إصدار HDInsight متاحا لجميع المناطق على مدار عدة أيام. ملاحظة الإصدار هذه قابلة للتطبيق على رقم الصورة 2403290825. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

إشعار

يتم دعم Ubuntu 18.04 ضمن الصيانة الأمنية الموسعة (ESM) من قبل فريق Azure Linux ل Azure HDInsight يوليو 2023، والإصدارات اللاحقة.

للحصول على إصدارات خاصة بحمل العمل، راجع إصدارات مكونات HDInsight 5.x.

المشكلات التي تم إصلاحها

إصلاحات الأخطاء ل Ambari DB وHive Warehouse Controller (HWC) وSpark وHDFS
إصلاحات الأخطاء لوحدة تحليلات السجل لسجلات HDInsightSparkLogs
إصلاحات CVE لموفر موارد HDInsight.

قريبًا

إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد الأجهزة الظاهرية الأساسية والقياسية من السلسلة A. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs).
- لتجنب اضطرابات الخدمة، قم بترحيل أحمال العمل من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.
إشعارات الإيقاف ل HDInsight 4.0 وHDInsight 5.0.

إذا كانت لديك أي أسئلة أخرى، فاتصل بدعم Azure.

يمكنك دائما سؤالنا عن HDInsight على Azure HDInsight - Microsoft Q&A.

إشعار

تاريخ الإصدار: 15 فبراير 2024

ينطبق هذا الإصدار على إصدارات HDInsight 4.x و5.x. سيكون إصدار HDInsight متاحا لجميع المناطق على مدار عدة أيام. ينطبق هذا الإصدار على رقم الصورة 2401250802. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

إشعار

يتم دعم Ubuntu 18.04 ضمن الصيانة الأمنية الموسعة (ESM) من قبل فريق Azure Linux ل Azure HDInsight يوليو 2023، والإصدارات اللاحقة.

للحصول على إصدارات خاصة بحمل العمل، راجع

إصدارات مكون HDInsight 5.x

الميزات الجديدة

دعم Apache Ranger ل Spark SQL في Spark 3.3.0 (HDInsight الإصدار 5.1) مع حزمة أمان المؤسسة. تعرف على المزيد حول هذا الأمر هنا.

المشكلات التي تم إصلاحها

إصلاحات الأمان من مكونات Ambari وOozie

قريباً

إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد الأجهزة الظاهرية الأساسية والقياسية من السلسلة A. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs).
- لتجنب اضطرابات الخدمة، قم بترحيل أحمال العمل من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.

إذا كانت لديك أي أسئلة أخرى، فاتصل بدعم Azure.

يمكنك دائما سؤالنا عن HDInsight على Azure HDInsight - Microsoft Q&A

نحن نستمع: نرحب بإضافة المزيد من الأفكار والموضوعات الأخرى هنا والتصويت لها - أفكار HDInsight ومتابعتنا لمزيد من التحديثات على مجتمع AzureHDInsight

إشعار

الخطوات التالية

Azure HDInsight: الأسئلة المتداولة
تكوين جدول تصحيح نظام التشغيل لمجموعات HDInsight المستندة إلى Linux
ملاحظة الإصدار السابق

Azure HDInsight هي واحدة من الخدمات الأكثر شيوعًا بين عملاء المؤسسات للتحليلات مفتوحة المصدر على Azure. إذا كنت ترغب في الاشتراك في ملاحظات الإصدار، شاهد الإصدارات على مستودع GitHub هذا.

تاريخ الإصدار: 10 يناير 2024

ينطبق إصدار الإصلاح العاجل هذا على إصدارات HDInsight 4.x و5.x. سيكون إصدار HDInsight متاحا لجميع المناطق على مدار عدة أيام. ينطبق هذا الإصدار على 2401030422 رقم الصورة. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

إشعار

يتم دعم Ubuntu 18.04 ضمن الصيانة الأمنية الموسعة (ESM) من قبل فريق Azure Linux ل Azure HDInsight يوليو 2023، والإصدارات اللاحقة.

للحصول على إصدارات خاصة بحمل العمل، راجع

إصدارات مكون HDInsight 5.x

المشكلات التي جرى إصلاحها

إصلاحات الأمان من مكونات Ambari وOozie

قريباً

إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد الأجهزة الظاهرية الأساسية والقياسية من السلسلة A. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs).
- لتجنب اضطرابات الخدمة، قم بترحيل أحمال العمل من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.

إذا كانت لديك أي أسئلة أخرى، فاتصل بدعم Azure.

يمكنك دائما سؤالنا عن HDInsight على Azure HDInsight - Microsoft Q&A

إشعار

تاريخ الإصدار: 26 أكتوبر 2023

ينطبق هذا الإصدار على إصدار HDInsight 4.x و5.x HDInsight سيكون متوفرا لجميع المناطق على مدار عدة أيام. ينطبق هذا الإصدار على رقم الصورة 2310140056. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

للحصول على إصدارات خاصة بحمل العمل، راجع

إصدارات مكون HDInsight 5.x

الجديد

تعلن HDInsight عن التوفر العام ل HDInsight 5.1 بدءا من 1 نوفمبر 2023. يوفر هذا الإصدار تحديثا كاملا للمكدس إلى مكونات مصدر مفتوح والتكاملات من Microsoft.
- أحدث إصدارات المصدر المفتوح - يأتي HDInsight 5.1 مع أحدث إصدار ثابت مفتوح المصدر متوفر. يمكن للعملاء الاستفادة من جميع ميزات مصدر مفتوح الأخيرة وتحسينات أداء Microsoft وإصلاحات الأخطاء.
- آمن – تأتي أحدث الإصدارات مع أحدث إصلاحات الأمان، سواء إصلاحات الأمان مفتوحة المصدر أو تحسينات الأمان من قبل Microsoft.
- التكلفة الإجمالية المنخفضة للتكلفة - مع تحسينات الأداء، يمكن للعملاء خفض تكلفة التشغيل، جنبا إلى جنب مع التحجيم التلقائي المحسن.
أذونات نظام المجموعة للتخزين الآمن
- يمكن للعملاء تحديد (أثناء إنشاء نظام المجموعة) ما إذا كان يجب استخدام قناة آمنة لعقد نظام مجموعة HDInsight لتوصيل حساب التخزين.
إنشاء نظام مجموعة HDInsight باستخدام الشبكات الظاهرية المخصصة.
- لتحسين الوضع الأمني العام لمجموعات HDInsight، تحتاج مجموعات HDInsight التي تستخدم VNETs المخصصة إلى التأكد من أن المستخدم يحتاج إلى إذن Microsoft Network/virtualNetworks/subnets/join/action لتنفيذ عمليات الإنشاء. قد يواجه العميل حالات فشل في الإنشاء إذا لم يتم تمكين هذا الفحص.
مجموعات ABFS غير ESP [أذونات نظام المجموعة ل Word Readable]
- تقيد مجموعات ABFS غير ESP مستخدمي مجموعة غير Hadoop من تنفيذ أوامر Hadoop لعمليات التخزين. يعمل هذا التغيير على تحسين وضع أمان نظام المجموعة.
تحديث الحصة النسبية في السطر.
- الآن يمكنك طلب زيادة الحصة النسبية مباشرة من صفحة الحصة النسبية، مع استدعاء واجهة برمجة التطبيقات المباشر يكون أسرع بكثير. في حالة فشل استدعاء واجهة برمجة التطبيقات، يمكنك إنشاء طلب دعم جديد لزيادة الحصة النسبية.

قريباً

سيتم تغيير الحد الأقصى لطول اسم نظام المجموعة إلى 45 حرفا من 59 حرفا، لتحسين الوضع الأمني للمجموعات. سيتم طرح هذا التغيير في جميع المناطق بدءا من الإصدار القادم.
إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد الأجهزة الظاهرية الأساسية والقياسية من السلسلة A. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs).
- لتجنب اضطرابات الخدمة، قم بترحيل أحمال العمل من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.

إذا كانت لديك أي أسئلة أخرى، فاتصل بدعم Azure.

يمكنك دائما سؤالنا عن HDInsight على Azure HDInsight - Microsoft Q&A

إشعار

يتناول هذا الإصدار CVEs التالية التي تم إصدارها بواسطة MSRC في 12 سبتمبر 2023. الإجراء هو التحديث إلى أحدث صورة 2308221128 أو 2310140056. ينصح العملاء بالتخطيط وفقا لذلك.

CVE	الأهمية	عنوان CVE	ملاحظة
CVE-2023-38156	هام	رفع Azure HDInsight Apache Ambari للثغرة الأمنية المتميزة	مضمن في 2308221128 الصورة أو 2310140056
CVE-2023-36419	هام	رفع مجدول سير عمل Azure HDInsight Apache Oozie للثغرات الأمنية المتميزة	تطبيق إجراء البرنامج النصي على مجموعاتك، أو التحديث إلى صورة 2310140056

إشعار

تاريخ الإصدار: 7 سبتمبر 2023

ينطبق هذا الإصدار على إصدار HDInsight 4.x و5.x HDInsight سيكون متوفرا لجميع المناطق على مدار عدة أيام. ينطبق هذا الإصدار على رقم الصورة 2308221128. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

للحصول على إصدارات خاصة بحمل العمل، راجع

إصدارات مكون HDInsight 5.x

هام

يتناول هذا الإصدار CVEs التالية التي تم إصدارها بواسطة MSRC في 12 سبتمبر 2023. الإجراء هو التحديث إلى أحدث 2308221128 صورة. ينصح العملاء بالتخطيط وفقا لذلك.

CVE	الأهمية	عنوان CVE	ملاحظة
CVE-2023-38156	هام	رفع Azure HDInsight Apache Ambari للثغرة الأمنية المتميزة	مضمن في صورة 2308221128
CVE-2023-36419	هام	رفع مجدول سير عمل Azure HDInsight Apache Oozie للثغرات الأمنية المتميزة	تطبيق إجراء البرنامج النصي على مجموعاتك

قريبًا

سيتم تغيير الحد الأقصى لطول اسم نظام المجموعة إلى 45 حرفا من 59 حرفا، لتحسين الوضع الأمني للمجموعات. سيتم تنفيذ هذا التغيير بحلول 30 سبتمبر 2023.
أذونات نظام المجموعة للتخزين الآمن
- يمكن للعملاء تحديد (أثناء إنشاء نظام المجموعة) ما إذا كان يجب استخدام قناة آمنة لعقد نظام مجموعة HDInsight للاتصال بحساب التخزين.
تحديث الحصة النسبية في السطر.
- تزيد حصص الطلب مباشرة من صفحة الحصة النسبية الخاصة بي، والتي ستكون استدعاء واجهة برمجة تطبيقات مباشر، وهو أسرع. إذا فشل استدعاء APdI، فسيحتاج العملاء إلى إنشاء طلب دعم جديد لزيادة الحصة النسبية.
إنشاء نظام مجموعة HDInsight باستخدام الشبكات الظاهرية المخصصة.
- لتحسين الوضع الأمني العام لمجموعات HDInsight، تحتاج مجموعات HDInsight التي تستخدم VNETs المخصصة إلى التأكد من أن المستخدم يحتاج إلى إذن Microsoft Network/virtualNetworks/subnets/join/action لتنفيذ عمليات الإنشاء. سيحتاج العملاء إلى التخطيط وفقا لذلك لأن هذا التغيير سيكون فحصا إلزاميا لتجنب فشل إنشاء نظام المجموعة قبل 30 سبتمبر 2023. 
إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد الأجهزة الظاهرية الأساسية والقياسية من السلسلة A. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs). لتجنب اضطرابات الخدمة، قم بترحيل أحمال العمل من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.
مجموعات ABFS غير ESP [أذونات نظام المجموعة ل Word Readable]
- خطط لإدخال تغيير في أنظمة مجموعات ABFS غير ESP، ما يقيد مستخدمي مجموعة غير Hadoop من تنفيذ أوامر Hadoop لعمليات التخزين. هذا التغيير لتحسين وضع أمان نظام المجموعة. يحتاج العملاء إلى التخطيط للتحديثات قبل 30 سبتمبر 2023.

إذا كانت لديك أي أسئلة أخرى، فاتصل بدعم Azure.

يمكنك دائما سؤالنا عن HDInsight على Azure HDInsight - Microsoft Q&A

نرحب بإضافة المزيد من المقترحات والأفكار والموضوعات الأخرى هنا والتصويت لها - مجتمع HDInsight (azure.com).

إشعار

تاريخ الإصدار: 25 يوليو 2023

ينطبق هذا الإصدار على إصدار HDInsight 4.x و5.x HDInsight سيكون متوفرا لجميع المناطق على مدار عدة أيام. ينطبق هذا الإصدار على رقم الصورة 2307201242. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.1: Ubuntu 18.04.5 LTS Linux Kernel 5.4

للحصول على إصدارات خاصة بحمل العمل، راجع

إصدارات مكون HDInsight 5.x

ما الجديد

HDInsight 5.1 مدعوم الآن مع نظام مجموعة ESP.
الإصدار الذي تمت ترقيته من Ranger 2.3.0 وOozie 5.2.1 أصبح الآن جزءا من HDInsight 5.1
يأتي نظام مجموعة Spark 3.3.1 (HDInsight 5.1) مع Hive Warehouse Connector (HWC) 2.1، والذي يعمل جنبا إلى جنب مع مجموعة Interactive Query (HDInsight 5.1).
يتم دعم Ubuntu 18.04 ضمن ESM (الصيانة الأمنية الموسعة) من قبل فريق Azure Linux ل Azure HDInsight يوليو 2023، والإصدارات اللاحقة.

هام

يتناول هذا الإصدار CVEs التالية التي تم إصدارها بواسطة MSRC في 8 أغسطس 2023. الإجراء هو التحديث إلى أحدث صورة 2307201242. ينصح العملاء بالتخطيط وفقا لذلك.

CVE	الأهمية	عنوان CVE
CVE-2023-35393	هام	ثغرة أمنية في تزييف هوية Azure Apache Hive
CVE-2023-35394	هام	ثغرة أمنية في تزييف هوية دفتر ملاحظات Azure HDInsight Jupyter
CVE-2023-36877	هام	ثغرة أمنية في تزييف هوية Azure Apache Oozie
CVE-2023-36881	هام	ثغرة أمنية في تزييف هوية Azure Apache Ambari
CVE-2023-38188	هام	ثغرة أمنية في تزييف هوية Azure Apache Hadoop

قريباً

سيتم تغيير الحد الأقصى لطول اسم نظام المجموعة إلى 45 حرفا من 59 حرفا، لتحسين الوضع الأمني للمجموعات. يحتاج العملاء إلى التخطيط للتحديثات قبل 30 سبتمبر 2023.
أذونات نظام المجموعة للتخزين الآمن
- يمكن للعملاء تحديد (أثناء إنشاء نظام المجموعة) ما إذا كان يجب استخدام قناة آمنة لعقد نظام مجموعة HDInsight للاتصال بحساب التخزين.
تحديث الحصة النسبية في السطر.
- تزيد حصص الطلب مباشرة من صفحة الحصة النسبية الخاصة بي، والتي ستكون استدعاء واجهة برمجة تطبيقات مباشر، وهو أسرع. إذا فشل استدعاء واجهة برمجة التطبيقات، فسيحتاج العملاء إلى إنشاء طلب دعم جديد لزيادة الحصة النسبية.
إنشاء نظام مجموعة HDInsight باستخدام الشبكات الظاهرية المخصصة.
- لتحسين الوضع الأمني العام لمجموعات HDInsight، تحتاج مجموعات HDInsight التي تستخدم VNETs المخصصة إلى التأكد من أن المستخدم يحتاج إلى إذن Microsoft Network/virtualNetworks/subnets/join/action لتنفيذ عمليات الإنشاء. سيحتاج العملاء إلى التخطيط وفقا لذلك لأن هذا التغيير سيكون فحصا إلزاميا لتجنب فشل إنشاء نظام المجموعة قبل 30 سبتمبر 2023. 
إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد من Basic and Standard A-series VMs. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs). لتجنب اضطرابات الخدمة، قم بترحيل أحمال العمل الخاصة بك من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.
مجموعات ABFS غير ESP [أذونات نظام المجموعة ل Word Readable]
- خطط لإدخال تغيير في أنظمة مجموعات ABFS غير ESP، ما يقيد مستخدمي مجموعة غير Hadoop من تنفيذ أوامر Hadoop لعمليات التخزين. هذا التغيير لتحسين وضع أمان نظام المجموعة. يحتاج العملاء إلى التخطيط للتحديثات قبل 30 سبتمبر 2023.

إذا كانت لديك أي أسئلة أخرى، فاتصل بدعم Azure.

يمكنك دائما سؤالنا عن HDInsight على Azure HDInsight - Microsoft Q&A

نرحب بإضافة المزيد من المقترحات والأفكار والموضوعات الأخرى هنا والتصويت لها - مجتمع HDInsight (azure.com) ومتابعتنا لمزيد من التحديثات على X

إشعار

تاريخ الإصدار: 08 مايو 2023

ينطبق هذا الإصدار على إصدار HDInsight 4.x و5.x HDInsight متاح لجميع المناطق على مدى عدة أيام. ينطبق هذا الإصدار على رقم الصورة 2304280205. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

للحصول على إصدارات خاصة بحمل العمل، راجع

إصدارات مكون HDInsight 5.x

تم تحديث Azure HDInsight 5.1 باستخدام
1. Apache HBase 2.4.11
2. Apache Phoenix 5.1.2
3. Apache Hive 3.1.2
4. Apache Spark 3.3.1
5. Apache Tez 0.9.1
6. Apache Zeppelin 0.10.1
7. Apache Livy 0.5
8. Apache Kafka 3.2.0
إشعار
- تم دمج جميع المكونات مع Hadoop 3.3.4 وZK 3.6.3
- جميع المكونات التي تمت ترقيتها أعلاه متاحة الآن في مجموعات غير ESP للمعاينة العامة.

التحجيم التلقائي المحسن ل HDInsight

قام Azure HDInsight بإجراء تحسينات ملحوظة على الاستقرار وزمن الانتقال على التحجيم التلقائي، وتشمل التغييرات الأساسية تحسين حلقة الملاحظات لقرارات التحجيم، وتحسين كبير في زمن الانتقال للتحجيم والدعم لإعادة تشغيل العقد التي تم إيقاف تشغيلها، ومعرفة المزيد حول التحسينات، وكيفية تكوين نظام المجموعة الخاص بك وترحيله إلى التحجيم التلقائي المحسن. تتوفر إمكانية التحجيم التلقائي المحسنة اعتبارا من 17 مايو 2023 عبر جميع المناطق المدعومة.
Azure HDInsight ESP ل Apache Kafka 2.4.1 متاح الآن بشكل عام.

كان Azure HDInsight ESP ل Apache Kafka 2.4.1 في المعاينة العامة منذ أبريل 2022. بعد التحسينات الملحوظة في إصلاحات CVE واستقرارها، أصبح Azure HDInsight ESP Kafka 2.4.1 متاحا بشكل عام وجاهز لأحمال عمل الإنتاج، تعرف على التفاصيل حول كيفية التكوين والترحيل.
إدارة الحصة النسبية ل HDInsight

يخصص HDInsight حاليا حصة لاشتراكات العملاء على مستوى إقليمي. الذاكرات الأساسية المخصصة للعملاء عامة ولا يتم تصنيفها على مستوى عائلة الجهاز الظاهري (على سبيل المثال، Dv2، Ev3، Eav4، وما إلى ذلك).

قدم HDInsight طريقة عرض محسنة، والتي توفر تفاصيل وتصنيف الحصص للأجهزة الظاهرية على مستوى العائلة، وتسمح هذه الميزة للعملاء بعرض الحصص النسبية الحالية والباقية لمنطقة ما على مستوى عائلة الجهاز الظاهري. مع العرض المحسن، يتمتع العملاء برؤية أكثر ثراء، لتخطيط الحصص النسبية، وتجربة مستخدم أفضل. تتوفر هذه الميزة حاليا على HDInsight 4.x و5.x لمنطقة شرق الولايات المتحدة EUAP. مناطق أخرى يجب متابعتها لاحقا.

لمزيد من المعلومات، راجع تخطيط سعة نظام المجموعة في Azure HDInsight | Microsoft Learn

بولندا الوسطى

يتغير الحد الأقصى لطول اسم نظام المجموعة إلى 45 حرفا من 59 حرفا، لتحسين الوضع الأمني للمجموعات.
أذونات نظام المجموعة للتخزين الآمن
- يمكن للعملاء تحديد (أثناء إنشاء نظام المجموعة) ما إذا كان يجب استخدام قناة آمنة لعقد نظام مجموعة HDInsight للاتصال بحساب التخزين.
تحديث الحصة النسبية في السطر.
- تزيد الحصص النسبية للطلب مباشرة من صفحة الحصة النسبية الخاصة بي، وهي استدعاء مباشر لواجهة برمجة التطبيقات، وهو أسرع. إذا فشل استدعاء واجهة برمجة التطبيقات، فسيحتاج العملاء إلى إنشاء طلب دعم جديد لزيادة الحصة النسبية.
إنشاء نظام مجموعة HDInsight باستخدام الشبكات الظاهرية المخصصة.
- لتحسين الوضع الأمني العام لمجموعات HDInsight، تحتاج مجموعات HDInsight التي تستخدم VNETs المخصصة إلى التأكد من أن المستخدم يحتاج إلى إذن Microsoft Network/virtualNetworks/subnets/join/action لتنفيذ عمليات الإنشاء. سيحتاج العملاء إلى التخطيط وفقا لذلك لأن هذا سيكون فحصا إلزاميا لتجنب فشل إنشاء نظام المجموعة.
إيقاف الأجهزة الظاهرية الأساسية والقياسية من السلسلة A.
- في 31 أغسطس 2024، سنتقاعد من Basic and Standard A-series VMs. قبل ذلك التاريخ، تحتاج إلى ترحيل أحمال العمل الخاصة بك إلى الأجهزة الظاهرية من سلسلة Av2، والتي توفر المزيد من الذاكرة لكل وحدة معالجة مركزية ظاهرية وتخزين أسرع على محركات الأقراص ذات الحالة الصلبة (SSDs). لتجنب انقطاع الخدمة، قم بترحيل أحمال العمل من الأجهزة الظاهرية الأساسية والقياسية من السلسلة A إلى الأجهزة الظاهرية من سلسلة Av2 قبل 31 أغسطس 2024.
مجموعات ABFS غير ESP [أذونات نظام المجموعة ل World Readable]
- خطط لإدخال تغيير في أنظمة مجموعات ABFS غير ESP، ما يقيد مستخدمي مجموعة غير Hadoop من تنفيذ أوامر Hadoop لعمليات التخزين. هذا التغيير لتحسين وضع أمان نظام المجموعة. يحتاج العملاء إلى التخطيط للتحديثات.

تاريخ الإصدار: 28 فبراير 2023

ينطبق هذا الإصدار على HDInsight 4.0. و5.0، 5.1. يتوفر إصدار HDInsight لجميع المناطق على مدى عدة أيام. ينطبق هذا الإصدار على رقم الصورة 2302250400. كيفية التحقق من رقم الصورة؟

إصدارات نظام التشغيل

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

للحصول على إصدارات خاصة بحمل العمل، راجع

إصدارات مكون HDInsight 5.x

هام

أصدرت Microsoft CVE-2023-23408، والذي تم إصلاحه في الإصدار الحالي وينصح العملاء بترقية مجموعاتهم إلى أحدث صورة.

HDInsight 5.1

لقد بدأنا في طرح إصدار جديد من HDInsight 5.1. تمت إضافة جميع الإصدارات الجديدة مفتوحة المصدر كإصدارات تزايدية على HDInsight 5.1.

لمزيد من المعلومات، راجع إصدار HDInsight 5.1.0

ترقية Kafka 3.2.0 (معاينة)

يتضمن Kafka 3.2.0 العديد من الميزات/التحسينات الجديدة المهمة.
- تمت ترقية Zookeeper إلى 3.6.3
- دعم Kafka Streams
- يتم تمكين ضمانات تسليم أقوى لمنتج Kafka بشكل افتراضي.
- log4j تم استبدال 1.x ب reload4j.
- أرسل تلميحا إلى قائد القسم لاسترداد القسم.
- JoinGroupRequest ولديك LeaveGroupRequest سبب مرفق.
- مقاييس عدد الوسيط المضافة8.
- تحسينات معكوسة Maker2 .

ترقية HBase 2.4.11 (معاينة)

يحتوي هذا الإصدار على ميزات جديدة مثل إضافة أنواع آليات التخزين المؤقت الجديدة لذاكرة التخزين المؤقت للكتلة، والقدرة على تغيير hbase:meta table الجدول وعرضه hbase:meta من واجهة مستخدم ويب HBase.

ترقية Phoenix 5.1.2 (معاينة)

تمت ترقية إصدار Phoenix إلى 5.1.2 في هذا الإصدار. تتضمن هذه الترقية Phoenix Query Server. يقوم Phoenix Query Server بوكلاء برنامج تشغيل Phoenix JDBC القياسي ويوفر بروتوكول سلك متوافق مع الإصدارات السابقة لاستدعاء برنامج تشغيل JDBC هذا.

Ambari CVEs

تم إصلاح العديد من Ambari CVEs.

إشعار

ESP غير مدعوم ل Kafka وHBase في هذا الإصدار.

وماذا بعد؟

التحجيم التلقائي
- التحجيم التلقائي مع زمن انتقال محسن والعديد من التحسينات
قيود تغيير اسم نظام المجموعة
- يتغير الحد الأقصى لطول اسم نظام المجموعة إلى 45 من 59 في Public وAzure China وAzure Government.
أذونات نظام المجموعة للتخزين الآمن
- يمكن للعملاء تحديد (أثناء إنشاء نظام المجموعة) ما إذا كان يجب استخدام قناة آمنة لعقد نظام مجموعة HDInsight للاتصال بحساب التخزين.
مجموعات ABFS غير ESP [أذونات نظام المجموعة ل World Readable]
- خطط لإدخال تغيير في أنظمة مجموعات ABFS غير ESP، ما يقيد مستخدمي مجموعة غير Hadoop من تنفيذ أوامر Hadoop لعمليات التخزين. هذا التغيير لتحسين وضع أمان نظام المجموعة. يحتاج العملاء إلى التخطيط للتحديثات.
ترقيات مفتوحة المصدر
- Apache Spark 3.3.0 و Hadoop 3.3.4 قيد التطوير على HDInsight 5.1 ويتضمن العديد من الميزات الجديدة المهمة والأداء والتحسينات الأخرى.

إشعار

تاريخ الإصدار: 12 ديسمبر 2022

ينطبق هذا الإصدار على HDInsight 4.0. ويتم توفير إصدار HDInsight 5.0 لجميع المناطق على مدى عدة أيام.

إصدارات نظام التشغيل

HDInsight 4.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4
HDInsight 5.0: Ubuntu 18.04.5 LTS Linux Kernel 5.4

Log Analytics - يمكن للعملاء تمكين المراقبة الكلاسيكية للحصول على أحدث إصدار OMS 14.19. لإزالة الإصدارات القديمة، قم بتعطيل المراقبة الكلاسيكية وتمكينها.
تسجيل خروج واجهة المستخدم التلقائية لمستخدم Ambari بسبب عدم النشاط. لمزيد من المعلومات، راجع هنا
Spark - يتم تضمين إصدار جديد ومحسن من Spark 3.1.3 في هذا الإصدار. لقد اختبرنا Apache Spark 3.1.2 (الإصدار السابق) وApache Spark 3.1.3 (الإصدار الحالي) باستخدام معيار TPC-DS. تم إجراء الاختبار باستخدام E8 V3 SKU، ل Apache Spark على حمل عمل 1 تيرابايت. تجاوز Apache Spark 3.1.3 (الإصدار الحالي) أداء Apache Spark 3.1.2 (الإصدار السابق) بأكثر من 40٪ في إجمالي وقت تشغيل الاستعلام لاستعلامات TPC-DS باستخدام نفس مواصفات الأجهزة. أضاف فريق Microsoft Spark تحسينات متوفرة في Azure Synapse باستخدام Azure HDInsight. لمزيد من المعلومات، يرجى الرجوع إلى تسريع أحمال عمل البيانات باستخدام تحديثات الأداء إلى Apache Spark 3.1.2 في Azure Synapse

قطر الوسطى
منطقة شمال ألمانيا

انتقل HDInsight بعيدا عن Azul Zulu Java JDK 8 إلى Adoptium Temurin JDK 8، والذي يدعم أوقات التشغيل المعتمدة من TCK عالية الجودة، والتكنولوجيا المرتبطة للاستخدام عبر نظام Java البنائي.
تم ترحيل HDInsight إلى reload4j. log4j التغييرات قابلة للتطبيق على
- Apache Hadoop
- Apache Zookeeper
- Apache Oozie
- Apache Ranger.
- Apache Sqoop
- Apache Pig
- Apache Ambari
- Apache Kafka
- Apache Spark
- Apache Zeppelin
- Apache Livy
- Apache Rubix
- Apache Hive
- Apache Tez
- Apache HBase
- OMI
- Apache Pheonix

HDInsight لتنفيذ TLS1.2 من الآن فصاعدا، ويتم تحديث الإصدارات السابقة على النظام الأساسي. إذا كنت تقوم بتشغيل أي تطبيقات أعلى HDInsight وتستخدم TLS 1.0 و1.1، فقم بالترقية إلى TLS 1.2 لتجنب أي تعطيل في الخدمات.

لمزيد من المعلومات، راجع كيفية تمكين أمان طبقة النقل (TLS)

انتهاء دعم مجموعات Azure HDInsight على Ubuntu 16.04 LTS من 30 نوفمبر 2022. يبدأ HDInsight في إصدار صور نظام المجموعة باستخدام Ubuntu 18.04 من 27 يونيو 2021. نوصي عملائنا الذين يقومون بتشغيل أنظمة المجموعات باستخدام Ubuntu 16.04 بإعادة إنشاء مجموعاتهم بأحدث صور HDInsight بحلول 30 نوفمبر 2022.

لمزيد من المعلومات حول كيفية التحقق من إصدار Ubuntu من نظام المجموعة، راجع هنا

تنفيذ الأمر "lsb_release -a" في المحطة الطرفية.
إذا كانت قيمة خاصية "الوصف" في الإخراج هي "Ubuntu 16.04 LTS"، فإن هذا التحديث ينطبق على نظام المجموعة.

دعم تحديد مناطق التوفر لمجموعات Kafka وHBase (الوصول للكتابة).

إصلاحات أخطاء المصدر المفتوح

إصلاحات أخطاء Hive

إصلاحات الأخطاء	Apache JIRA
HIVE-26127	خطأ "إدراج الكتابة فوق" - لم يتم العثور على الملف
HIVE-24957	نتائج خاطئة عندما يحتوي الاستعلام الفرعي على COALESCE في دالة تقييم الارتباط
HIVE-24999	ينشئ HiveSubQueryRemoveRule خطة غير صالحة في الاستعلام الفرعي IN مع ارتباطات متعددة
HIVE-24322	إذا كان هناك إدراج مباشر، يجب التحقق من معرف المحاولة عند فشل قراءة البيان
HIVE-23363	ترقية تبعية DataNucleus إلى 5.2
HIVE-26412	إنشاء واجهة لجلب الفتحات المتوفرة وإضافة الإعداد الافتراضي
HIVE-26173	ترقية derby إلى 10.14.2.0
HIVE-25920	عثرة `Xerce2` إلى 2.12.2.
HIVE-26300	ترقية إصدار ربط بيانات جاكسون إلى 2.12.6.1+ لتجنب CVE-2020-36518

تاريخ الإصدار: 08/10/2022

ينطبق هذا الإصدار على HDInsight 4.0. يتوفر إصدار HDInsight لجميع المناطق على مدار عدة أيام.

ميزة جديدة

1. إرفاق الأقراص الخارجية في مجموعات HDI Hadoop/Spark

تأتي مجموعة HDInsight مزودة بمساحة قرص محددة مسبقا استنادا إلى SKU. قد لا تكون هذه المساحة كافية في سيناريوهات الوظائف الكبيرة.

تسمح لك هذه الميزة الجديدة بإضافة المزيد من الأقراص في نظام المجموعة، والتي تستخدم كدليل محلي لمدير العقدة. أضف عدد الأقراص إلى العقد العاملة أثناء إنشاء نظام مجموعة HIVE وSpark، بينما تعد الأقراص المحددة جزءا من الدلائل المحلية لمدير العقدة.

إشعار

يتم تكوين الأقراص المضافة فقط للدلائل المحلية لإدارة العقدة.

لمزيد من المعلومات، راجع هنا

2. تحليل التسجيل الانتقائي

يتوفر تحليل التسجيل الانتقائي الآن في جميع المناطق للمعاينة العامة. يمكنك توصيل مجموعتك بمساحة عمل تحليلات السجل. بمجرد التمكين، يمكنك مشاهدة السجلات والمقاييس مثل سجلات أمان HDInsight وYrn Resource Manager ومقاييس النظام وما إلى ذلك. يمكنك مراقبة أحمال العمل ومعرفة كيفية تأثيرها على استقرار نظام المجموعة. يسمح لك التسجيل الانتقائي بتمكين/تعطيل جميع الجداول أو تمكين الجداول الانتقائية في مساحة عمل تحليلات السجل. يمكنك ضبط نوع المصدر لكل جدول، نظرًا لأن في النسخة الجديدة من Geneva لمراقبة جدول واحد مصادر متعددة.

يستخدم نظام الرصد في Geneva mdsd (MDS daemon) وهو عامل مراقبة ويجيد جمع السجلات باستخدام طبقة تسجيل موحدة.
يستخدم التسجيل الانتقائي إجراء البرنامج النصي لتعطيل/تمكين الجداول وأنواع السجلات الخاصة بها. نظرًا لأنه لا يفتح أي منافذ جديدة أو يغير أي إعداد أمان موجود، وبالتالي، لا توجد تغييرات أمنية.
يعمل Script Action بالتوازي على جميع العقد المحددة ويغير ملفات التكوين لتعطيل/تمكين الجداول وأنواع السجلات الخاصة بها.

لمزيد من المعلومات، راجع هنا

ثابت

Log Analytics

يتطلب Log Analytics المدمج مع Azure HDInsight الذي يعمل بالإصدار 13 من OMS ترقية إلى الإصدار 14 من OMS لتطبيق آخر تحديثات الأمان. يحتاج العملاء الذين يستخدمون الإصدار الأقدم من نظام المجموعة مع الإصدار 13 من OMS إلى تثبيت الإصدار 14 من OMS لتلبية متطلبات الأمان. (كيفية التحقق من الإصدار الحالي وتثبيت 14)

كيفية التحقق من إصدار OMS الحالي

سجل الدخول إلى نظام المجموعة باستخدام SSH.
قم بتشغيل الأمر التالي في جلسة عميل SSH.

sudo /opt/omi/bin/ominiserver/ --version

لقطة شاشة توضح كيفية التحقق من ترقية OMS.

كيفية ترقية إصدار OMS من 13 إلى 14

سجِّل الدخول إلى مدخل Azure
من مجموعة الموارد، حدد مورد نظام مجموعة HDInsight
تحديد إجراءات البرنامج النصي
من لوحة إجراء إرسال البرنامج النصي، اختر نوع البرنامج النصي كمخصص
الصق الرابط التالي في مربع عنوان URL للبرنامج النصي Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
تحديد نوع العقدة (أنواعها)
حدد إنشاء.

لقطة شاشة توضح كيفية إجراء ترقية OMS.

تحقق من التثبيت الناجح للتصحيح باستخدام الخطوات التالية:
سجل الدخول إلى نظام المجموعة باستخدام SSH.
قم بتشغيل الأمر التالي في جلسة عميل SSH.

sudo /opt/omi/bin/ominiserver/ --version

إصلاحات الأخطاء الثانوية

فشل CLI لسجل Yarn في استرداد السجلات إذا كان هناك أي TFile تالفة أو فارغة.
تم حل خطأ تفاصيل كيان الخدمة غير صحيح أثناء الحصول على رمز OAuth المميز من Azure Active Directory.
تحسين موثوقية إنشاء نظام المجموعة عند تكوين أكثر من 100 عقدة عمل.

إصلاحات أخطاء المصدر المفتوح

إصلاحات أخطاء TEZ

إصلاحات الأخطاء	Apache JIRA
فشل بناء Tez: لم يتم العثور على FileSaver.js	TEZ-4411
استثناء FS خاطئ عندما يكون المستودع و `scratchdir` على FS مختلف	TEZ-4406
TezUtils.createConfFromByteString على التكوين أكبر من 32 ميغابايت يطرح استثناء com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf يجب أن يستخدم snappy بدلًا من DeflaterOutputStream	TEZ-4113
تحديث تبعية protobuf إلى 3.x	TEZ-4363

إصلاحات أخطاء Hive

إصلاحات الأخطاء	Apache JIRA
تحسينات الأداء في إنشاء تقسيم ORC	HIVE-21457
تجنب قراءة الجدول كـ ACID عندما يبدأ اسم الجدول بـ "دلتا" ، لكن الجدول ليس معاملات ويتم استخدام إستراتيجية تقسيم المعلومات المهنية	HIVE-22582
إزالة استدعاء FS#exists من AcidUtils#getLogicalLength	HIVE-23533
Vectorized OrcAcidRowBatchReader.computeOffset and bucket optimization	HIVE-17917

المشكلات المعروفة

HDInsight متوافق مع Apache HIVE 3.1.2. نظرًا لوجود خطأ في هذا الإصدار، يتم عرض إصدار Apache Hive على أنه 3.1.0 في واجهات Apache Hive. ومع ذلك، لا يوجد أي تأثير على الوظيفة.

تاريخ الإصدار: 08/10/2022

ينطبق هذا الإصدار على HDInsight 4.0. يتوفر إصدار HDInsight لجميع المناطق على مدار عدة أيام.

ميزة جديدة

1. إرفاق الأقراص الخارجية في مجموعات HDI Hadoop/Spark

تسمح لك هذه الميزة الجديدة بإضافة المزيد من الأقراص في نظام المجموعة، والتي سيتم استخدامها كدليل محلي لإدارة العقدة. أضف عدد الأقراص إلى العقد العاملة أثناء إنشاء نظام مجموعة HIVE وSpark، بينما تعد الأقراص المحددة جزءا من الدلائل المحلية لمدير العقدة.

إشعار

يتم تكوين الأقراص المضافة فقط للدلائل المحلية لإدارة العقدة.

لمزيد من المعلومات، راجع هنا

2. تحليل التسجيل الانتقائي

يستخدم نظام الرصد في Geneva mdsd (MDS daemon) وهو عامل مراقبة ويجيد جمع السجلات باستخدام طبقة تسجيل موحدة.
يستخدم التسجيل الانتقائي إجراء البرنامج النصي لتعطيل/تمكين الجداول وأنواع السجلات الخاصة بها. نظرًا لأنه لا يفتح أي منافذ جديدة أو يغير أي إعداد أمان موجود، وبالتالي، لا توجد تغييرات أمنية.
يعمل Script Action بالتوازي على جميع العقد المحددة ويغير ملفات التكوين لتعطيل/تمكين الجداول وأنواع السجلات الخاصة بها.

لمزيد من المعلومات، راجع هنا

ثابت

Log Analytics

كيفية التحقق من إصدار OMS الحالي

سجل الدخول إلى نظام المجموعة باستخدام SSH.
قم بتشغيل الأمر التالي في جلسة عميل SSH.

sudo /opt/omi/bin/ominiserver/ --version

لقطة شاشة توضح كيفية التحقق من ترقية OMS.

كيفية ترقية إصدار OMS من 13 إلى 14

سجِّل الدخول إلى مدخل Azure
من مجموعة الموارد، حدد مورد نظام مجموعة HDInsight
تحديد إجراءات البرنامج النصي
من لوحة إجراء إرسال البرنامج النصي، اختر نوع البرنامج النصي كمخصص
الصق الرابط التالي في مربع عنوان URL للبرنامج النصي Bash https://hdiconfigactions.blob.core.windows.net/log-analytics-patch/OMSUPGRADE14.1/omsagent-vulnerability-fix-1.14.12-0.sh
تحديد نوع العقدة (أنواعها)
حدد إنشاء.

لقطة شاشة توضح كيفية إجراء ترقية OMS.

تحقق من التثبيت الناجح للتصحيح باستخدام الخطوات التالية:
سجل الدخول إلى نظام المجموعة باستخدام SSH.
قم بتشغيل الأمر التالي في جلسة عميل SSH.

sudo /opt/omi/bin/ominiserver/ --version

إصلاحات الأخطاء الثانوية

فشل CLI لسجل Yarn في استرداد السجلات إذا كان هناك أي TFile تالفة أو فارغة.
تم حل خطأ تفاصيل كيان الخدمة غير صحيح أثناء الحصول على رمز OAuth المميز من Azure Active Directory.
تحسين موثوقية إنشاء نظام المجموعة عند تكوين أكثر من 100 عقدة عمل.

إصلاحات أخطاء المصدر المفتوح

إصلاحات أخطاء TEZ

إصلاحات الأخطاء	Apache JIRA
فشل بناء Tez: لم يتم العثور على FileSaver.js	TEZ-4411
استثناء FS خاطئ عندما يكون المستودع و `scratchdir` على FS مختلف	TEZ-4406
TezUtils.createConfFromByteString على التكوين أكبر من 32 ميغابايت يطرح استثناء com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils::createByteStringFromConf يجب أن يستخدم snappy بدلًا من DeflaterOutputStream	TEZ-4113
تحديث تبعية protobuf إلى 3.x	TEZ-4363

إصلاحات أخطاء Hive

إصلاحات الأخطاء	Apache JIRA
تحسينات الأداء في إنشاء تقسيم ORC	HIVE-21457
تجنب قراءة الجدول كـ ACID عندما يبدأ اسم الجدول بـ "دلتا" ، لكن الجدول ليس معاملات ويتم استخدام إستراتيجية تقسيم المعلومات المهنية	HIVE-22582
إزالة استدعاء FS#exists من AcidUtils#getLogicalLength	HIVE-23533
Vectorized OrcAcidRowBatchReader.computeOffset and bucket optimization	HIVE-17917

المشكلات المعروفة

تاريخ الإصدار: 06/03/2022

ينطبق هذا الإصدار على HDInsight 4.0 فحسب. يتوفر إصدار HDInsight لجميع المناطق على مدار عدة أيام. يشير تاريخ الإصدار هنا إلى تاريخ إصدار المنطقة الأول. إذا كنت لا ترى التغييرات التالية، فانتظر حتى يكون الإصدار مباشرا في منطقتك على مدى عدة أيام.

أبرز ميزات الإصدار

The Hive Warehouse Connector (HWC) على Spark v3.1.2

يتيح لك Hive Warehouse Connector (HWC) الاستفادة من الميزات الفريدة لـ Hive وSpark لبناء تطبيقات قوية للبيانات الضخمة. HWC مدعوم حاليًا لـ Spark v2.4 فقط. تضيف هذه الميزة قيمة تجارية عن طريق السماح بمعاملات ACID على جداول Hive باستخدام Spark. تعد هذه الميزة مفيدة للعملاء الذين يستخدمون كل من Hive وSpark في ملكية البيانات الخاصة بهم. لمزيد من المعلومات، راجع Apache Spark وHive - Hive Warehouse Connector - Azure HDInsight | Microsoft Docs

Ambari

تغيير تحسين التحجيم والتزويد
HDI Hive متوافقة الآن مع إصدار OSS 3.1.2

تتم ترقية إصدار HDI Hive 3.1 إلى OSS Hive 3.1.2. يحتوي هذا الإصدار على جميع الإصلاحات والميزات المتوفرة في إصدار Apache Hive 3.1.2 ذي مصدر مفتوح.

إشعار

شراره

إن كنت تستخدم واجهة مستخدم Azure لإنشاء نظام مجموعة Spark لـ HDInsight، فسترى من القائمة المنسدلة إصدارًا إضافيًا من Spark 3.1. (HDI 5.0) جنبًا إلى جنب مع الإصدارات القديمة. هذا الإصدار هو إصدار أُعيد تسميته لـ Spark 3.1. (HDI 4.0). هذا مجرد تغيير على مستوى واجهة المستخدم، والذي لا يؤثر على أي شيء للمستخدمين الحاليين والمستخدمين الذين يستخدمون نموذج ARM بالفعل.

لقطة شاشة لـ spark 3.1 لـ HDI 5.0.

إشعار

استعلام تفاعلي

إذا كنت تقوم بإنشاء نظام مجموعة Interactive Query، فسترى من القائمة المنسدلة إصدارًا إضافيًا كـ Interactive Query 3.1 (HDI 5.0).
إذا كنت ستستخدم إصدار Spark 3.1 مع Apache Hive الذي يتطلب دعم ACID، فستحتاج إلى تحديد هذا الإصدار Interactive Query 3.1 (HDI 5.0).

لقطة شاشة للاستعلام التفاعلي 3.1 لـ HDI 5.0.

إصلاحات أخطاء TEZ

إصلاحات الأخطاء	Apache JIRA
TezUtils.createConfFromByteString على التكوين أكبر من 32 ميغابايت يطرح استثناء com.google.protobuf.CodedInputStream	TEZ-4142
TezUtils createByteStringFromConf يجب أن تستخدم snappy بدلًا من DeflaterOutputStream	TEZ-4113

إصلاحات أخطاء HBase

إصلاحات الأخطاء	Apache JIRA
يجب أن يستخدم TableSnapshotInputFormat ReadType.STREAM للمسح الضوئي `HFiles`	HBASE-26273
إضافة خيار لتعطيل scanMetrics في TableSnapshotInputFormat	HBASE-26330
إصلاح ArrayIndexOutOfBoundsException عند تنفيذ الموازن	HBASE-22739

إصلاحات أخطاء Hive

إصلاحات الأخطاء	Apache JIRA
NPE عند إدراج البيانات باستخدام عبارة "distribute by" مع تحسين فرز dynpart	HIVE-18284
فشل أمر MSCK REPAIR مع تصفية القسم أثناء إسقاط الأقسام	HIVE-23851
تم طرح استثناء خاطئ إن كانت السعة< =0	HIVE-25446
دعم التحميل المتوازي لـ HastTables - الواجهات	HIVE-25583
تضمين MultiDelimitSerDe في HiveServer2 بشكل افتراضي	HIVE-20619
إزالة فئات glassfish.jersey وmssql-jdbc من jdbc-standalone jar	HIVE-22134
استثناء مؤشر فارغ عند تشغيل الضغط مقابل جدول MM.	HIVE-21280
فشل استعلام Apache Hive بحجم كبير عبر `knox` مع فشل كتابة الأنابيب المقطوعة	HIVE-22231
إضافة قدرة المستخدم على تعيين مستخدم الربط	HIVE-21009
قم بتنفيذ UDF لتفسير التاريخ / الطابع الزمني باستخدام التمثيل الداخلي والتقويم الهجين الميلادي اليولياني	HIVE-22241
خيار Beeline لإظهار/عدم إظهار تقرير التنفيذ	HIVE-22204
Tez: يحاول SplitGenerator البحث عن ملفات الخطة، والتي لا توجد ل Tez	HIVE-22169
إزالة التسجيل المكلف من ذاكرة التخزين المؤقت LLAP `hotpath`	HIVE-22168
UDF: مزامنة FunctionRegistry على فئة org.apache.hadoop.hive.ql.udf.UDFType	HIVE-22161
منع إنشاء ملحق توجيه الاستعلام إذا تم تعيين الخاصية على false	HIVE-22115
إزالة المزامنة عبر الاستعلامات من أجل تقييم القسم	HIVE-22106
تخطي إعداد دليل hive scratch أثناء التخطيط	HIVE-21182
تخطي إنشاء أدلة scratch لـ tez إن كان RPC قيد التشغيل	HIVE-21171
تبديل Hive UDFs لاستخدام `Re2J` محرك regex	HIVE-19661
جداول المجموعات المسافات التي تم ترحيلها باستخدام bucketing_version 1 على hive 3 تستخدم bucketing_version 2 للإدراجات	HIVE-22429
المستودع: مستودع الإصدار 1 يقسم البيانات بشكل غير صحيح	HIVE-21167
إضافة عنوان ترخيص ASF إلى الملف المضاف حديثًا	HIVE-22498
تحسينات أداة المخطط لدعم mergeCatalog	HIVE-22498
ينتج عن Hive مع TEZ UNION ALL وUDTF فقدان البيانات	HIVE-21915
تقسيم الملفات النصية حتى إذا كان العنوان/التذييل موجودًا	HIVE-21924
ترجع MultiDelimitSerDe نتائج خاطئة في العمود الأخير عندما يحتوي الملف المحمل على أعمدة أكثر من تلك الموجودة في مخطط الجدول	HIVE-22360
عميل LLAP الخارجي - تحتاج إلى تقليل بصمة LlapBaseInputFormat#getSplits()	HIVE-22221
لا يتم إلغاء اسم العمود الذي يحتوي على كلمة أساسية محجوزة عند إعادة كتابة الاستعلام بما في ذلك الانضمام إلى الجدول مع عمود القناع (Zoltan Matyus عبر Zoltan Haindrich)	HIVE-22208
منع إيقاف تشغيل LLAP على `AMReporter` RuntimeException ذي الصلة	HIVE-22113
قد يتعثر برنامج تشغيل خدمة حالة LLAP بمعرف تطبيق Yarn خاطئ	HIVE-21866
لا يقوم OperationManager.queryIdOperation بتنظيف معرفات الاستعلام المتعددة بشكل صحيح	HIVE-22275
يؤدي خفض مدير العقدة إلى حظر إعادة تشغيل خدمة LLAP	HIVE-22219
Stack OverflowError عند إسقاط الكثير من الأقسام	HIVE-15956
فشل التحقق من الوصول عند إزالة دليل مؤقت	HIVE-22273
إصلاح النتائج الخاطئة/استثناء ArrayOutOfBound في الخريطة الخارجية اليسرى ينضم إلى شروط حدود معينة	HIVE-22120
إزالة علامة إدارة التوزيع من pom.xml	HIVE-19667
يمكن أن يكون وقت التحليل مرتفعًا إذا كانت هناك استعلامات فرعية متداخلة بعمق	HIVE-21980
بالنسبة إلى ALTER TABLE t SET TBLPROPERTIES ('EXTERNAL'='TRUE')؛لا ينعكس تغيير السمة `TBL_TYPE` على الأحرف التي لا تحتوي على أحرف الكبيرة	HIVE-20057
JDBC: واجهات `log4j` ظلال HiveConnection	HIVE-18874
تحديث عناوين URL لم repo في `poms` - الإصدار 3.1 من الفرع	HIVE-21786
`DBInstall` الاختبارات المقطوعة على الفرع الرئيسي و3.1	HIVE-21758
يؤدي تحميل البيانات في جدول مستودع إلى تجاهل مواصفات الأقسام وتحميل البيانات إلى قسم افتراضي	HIVE-21564
الاستعلامات ذات حالة الربط التي لها طابع زمني أو طابع زمني مع المنطقة الزمنية المحلية التي تم طرحها حرفيًا SemanticException	HIVE-21613
تحليل إحصائيات الحساب للعمود الذي يترك وراءه دليل مرحلي على HDFS	HIVE-21342
تغيير غير متوافق في حساب مستودع Hive	HIVE-21376
قم بتوفير مُخوّل احتياطي في حالة عدم استخدام أي مُخوّل آخر	HIVE-20420
بعض استدعاءات alterPartitions تطرح "NumberFormatException: null"	HIVE-18767
HiveServer2: لا يتم الاحتفاظ بموضوع مسبق المصادقة لنقل http طوال مدة اتصال http في بعض الحالات	HIVE-20555

تاريخ الإصدار: 03/10/2022

إصدارات نظام التشغيل لهذا الإصدار هي:

HDInsight 4.0: Ubuntu 18.04.5

يتوفر Spark 3.1 الآن بشكل عام

يتوفر Spark 3.1 الآن بشكل عام على إصدار HDInsight 4.0. يتضمن هذا الإصدار ما يلي:

تنفيذ الاستعلام التكيفي،
تحويل صلة دمج الفرز إلى ربط تجزئة البث،
محسن Spark Catalyst،
تقليم التقسيم الديناميكي،
سيتمكن العملاء من إنشاء نظام مجموعات Spark 3.1 جديدة وليس نظام مجموعات Spark 3.0 (إصدار أولي).

لمزيد من التفاصيل، راجع Apache Spark 3.1 متوفر الآن بشكل عام على HDInsight - Microsoft Tech Community.

للحصول على قائمة كاملة بالتحسينات، راجع ملاحظات حول إصدار Apache Spark 3.1.

لمزيد من المعلومات، راجع دليل الترحيل.

يتوفر Kafka 2.4 الآن بشكل عام

يتوفر Kafka 2.4.1 الآن بشكل عام. لمزيد من المعلومات، يرجى مراجعة ملاحظات إصدار Kafka 2.4.1. تتضمن الميزات الأخرى توفر MirrorMaker 2، فئة المقاييس الجديدة قسم موضوع AtMinIsr، وقت بدء تشغيل الوسيط المحسن ببطيء عند الطلب mmap على ملفات الفهرس، المزيد من مقاييس المستهلك لمراقبة سلوك استقصاء المستخدم.

يتم الآن دعم مخطط Datatype في HWC في HDInsight 4.0

يتضمن هذا الإصدار دعم نوع بيانات المخطط لـ HWC 1.0 (Spark 2.4) عبر تطبيق spark-shell، وجميع عملاء spark الآخرين الذين يدعمهم HWC. يتم تضمين التحسينات التالية مثل أي أنواع بيانات أخرى:

يمكن للمستخدم القيام بما يلي

إنشاء جدول خلية مع أي عمود (أعمدة) يحتوي على نوع بيانات الخريطة، وإدراج البيانات فيه وقراءة النتائج منه.
إنشاء إطار بيانات Apache Spark باستخدام نوع المخطط والقيام بقراءة الدفعة/الدفق البيانات والكتابة.

مناطق جديدة

وسعت HDInsight الآن وجودها الجغرافي إلى منطقتين جديدتين: منطقة شرق الصين 3 ومنطقة شمال الصين 3.

تغييرات منفذ OSS الخلفي

الملفات الخلفية ل OSS المضمنة في Apache Hive بما في ذلك HWC 1.0 (Spark 2.4) التي تدعم نوع بيانات المخطط.

فيما يلي برنامج مفتوح المصدر JIRAs المحمّلة عكسيًا لهذا الإصدار:

الميزة المتأثرة	Apache JIRA
يجب تقسيم استعلامات Metastore sql المباشرة مع IN/(NOT IN) استنادًا إلى الحد الأقصى للمعلمات المسموح بها من SQL DB	HIVE-25659
الترقية `log4j` 2.16.0 إلى 2.17.0	HIVE-25825
تحديث `Flatbuffer` الإصدار	HIVE-22827
دعم نوع بيانات الخريطة في الأصل بتنسيق Arrow	HIVE-25553
عميل LLAP الخارجي - معالجة القيم المتداخلة عندما تكون البنية الأصل فارغة	HIVE-25243
ترقية إصدار arrow إلى 0.11.0	HIVE-23987

إشعارات الإهمال

يتم تعيين تغير السعة الجهاز الظاهري Azure على HDInsight

لن يستخدم HDInsight بعد الآن مجموعات تغيّر الحجم الجهاز الظاهري Azure لتوفير بند نظام المجموعات، ولا يتوقع تغيير التقاطع. لا تؤثر مجموعات HDInsight الموجودة على مجموعات مقياس الجهاز الظاهري، ولن تستخدم أي مجموعات جديدة على أحدث الصور مجموعات مقياس الجهاز الظاهري بعد الآن.

سيتم الآن دعم تحجيم أحمال عمل Azure HDInsight HBase باستخدام تغيّر الحجم اليدوي فحسب

بدءًا من 01 مارس 2022، سيدعم HDInsight تغيّر الحجم اليدوي لـ HBase فحسب، ولا يوجد أي تأثير على تشغيل نظام المجموعات. لن تتمكن نظام المجموعات HBase الجديدة من تمكين التحجيم التلقائي المستند إلى الجدول الزمني. لمزيد من المعلومات حول كيفية تغيير حجم نظام مجموعة HBase يدويًا، راجع وثائقنا حول تحجيم مجموعات Azure HDInsight يدويًا

تاريخ الإصدار: 12/27/2021

إصدارات نظام التشغيل لهذا الإصدار هي:

HDInsight 4.0: Ubuntu 18.04.5 LTS

تم تحديث صورة HDInsight 4.0 للتخفيف من الثغرة Log4j الأمنية كما هو موضح في استجابة Microsoft ل CVE-2021-44228 Apache Log4j 2.

إشعار

يتم إنشاء أي مجموعات HDI 4.0 تم إنشاؤها بعد 27 ديسمبر 2021 00:00 بالتوقيت العالمي المتفق عليه مع إصدار محدث من الصورة الذي يخفف من log4j الثغرات الأمنية. من ثم، لا يحتاج العملاء إلى تصحيح/إعادة تشغيل هذا نظام المجموعات.
بالنسبة لنظام المجموعات HDInsight 4.0 الجديدة التي تم إنشاؤها بين 16 ديسمبر 2021 في الساعة 01:15 بالتوقيت العالمي المتفق عليه و27 ديسمبر 2021 00:00 بالتوقيت العالمي المتفق عليه، HDInsight 3.6 أو في اشتراكات مثبتة بعد 16 ديسمبر 2021 يتم تطبيق التصحيح تلقائيا خلال الساعة التي يتم فيها إنشاء نظام المجموعة، ومع ذلك يجب على العملاء بعد ذلك إعادة تشغيل العقد الخاصة بهم لإكمال التحديث الجزئي (باستثناء عقد Kafka Management، التي يتم إعادة تمهيدها تلقائيًا).

تاريخ الإصدار: 07/27/2021

ينطبق هذا الإصدار على كل من HDInsight 3.6 وHDInsight 4.0. يتوفر إصدار HDInsight لجميع المناطق على مدار عدة أيام. يشير تاريخ الإصدار هنا إلى تاريخ إصدار المنطقة الأول. إذا لم تشاهد التغييرات التالية، فانتظر حتى يكون الإصدار مباشرا في منطقتك في عدة أيام.

إصدارات نظام التشغيل لهذا الإصدار هي:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

الميزات الجديدة

يتوفر دعم Azure HDInsight للاتصال العام المقيد بشكل عام في 15 أكتوبر 2021

يدعم Azure HDInsight الآن الاتصالية العامة المقيدة في جميع المناطق. وفيما يلي بعض النقاط البارزة الرئيسية لهذه الإمكانية:

القدرة على عكس موفر الموارد إلى اتصال نظام المجموعة حتى يكون صادرًا من نظام المجموعة إلى موفر الموارد
دعم إحضار الموارد الممكنة ل Private Link (على سبيل المثال، التخزين، SQL، key vault) لمجموعة HDInsight للوصول إلى الموارد عبر الشبكة الخاصة فقط
لا يتم توفير موارد لعناوين IP العامة

باستخدام هذه الإمكانية الجديدة، يمكنك أيضًا تخطي قواعد علامة خدمة مجموعة أمان الشبكة الواردة (NSG) لعناوين IP لإدارة HDInsight. تعرف على المزيد حول تقييد الاتصالية العامة

يتوفر دعم Azure HDInsight لخدمة Azure Private Link بشكل عام في 15 أكتوبر 2021

يمكنك الآن استخدام نقاط النهاية الخاصة للاتصال بأنظمة مجموعات HDInsight عبر ارتباط خاص. يمكن الاستفادة من الارتباط الخاص في السيناريوهات عبر VNET حيث لا يكون نظير VNET متوفرًا أو ممكّنًا.

تمكّنك Azure Private Link من الوصول إلى خدمات Azure PaaS Services (على سبيل المثال، Azure Storage وقاعدة بيانات SQL Database) وخدمات Azure المستضافة المملوكة للعميل / الشريك عبر نقطة نهاية خاصة في شبكتك الظاهرية.

تنتقل حركة البيانات بين شبكتك الظاهرية والخدمة عبر شبكة Microsoft الأساسية. لم يعد تعريض خدمتك للإنترنت العام ضروريًّا.

تعرّف على المزيد بشأن تمكين الارتباط الخاص. 

تجربة تكامل Azure Monitor الجديدة (معاينة)

سيتم إطلاق الإصدار الأولي لتجربة تكامل مراقبة Azure الجديدة في شرق الولايات المتحدة وغرب أوروبا مع هذا الإصدار. تعرف على مزيد من التفاصيل حول تجربة مراقبة Azure الجديدة هنا.

الإهمال

تم إهمال إصدار HDInsight 3.6 اعتبارا من 01 أكتوبر 2022.

تغييرات السلوك

لا يدعم HDInsight Interactive Query سوى التحجيم التلقائي المستند إلى الجدول الزمني

مع زيادة نضج وتنوع سيناريوهات العملاء، حددنا بعض القيود باستخدام التحجيم التلقائي المستند إلى تحميل Interactive Query (LLAP). هذه القيود ناتجة عن طبيعة ديناميكيات استعلام LLAP، ومشاكل دقة التنبؤ بأحمال العمل المستقبلية، ومشاكل إعادة توزيع المهام المتعلقة بجدولة LLAP. نظرا لهذه القيود، قد يرى المستخدمون أن استعلاماتهم تعمل بشكل أبطأ على مجموعات LLAP عند تمكين التحجيم التلقائي. قد يفوق التأثير على الأداء فوائد التكلفة للتحجيم التلقائي.

اعتبارًا من يوليو 2021، لا يدعم حمل عمل Interactive Query في HDInsight سوى التحجيم التلقائي المستند إلى الجدول الزمني. لم يعد بإمكانك تمكين التحجيم التلقائي المستند إلى التحميل على أنظمة مجموعات Interactive Query الجديدة. يمكن متابعة تشغيل أنظمة المجموعات الموجودة قيد التشغيل حاليًا مع القيود المعروفة الموضحة أعلاه.

توصي Microsoft بالانتقال إلى تحجيم تلقائي يستند إلى الجدول الزمني لـ LLAP. يمكنك تحليل نمط الاستخدام الحالي لمجموعتك من خلال لوحة معلومات Grafana Hive. للحصول على مزيدٍ من المعلومات، راجع توسيع نطاق أنظمة مجموعات Azure HDInsight تلقائياً .

التغييرات القادمة

تحدث التغييرات التالية في الإصدارات القادمة.

ستتم إزالة مكون LLAP المضمّن في نظام مجموعة ESP Spark

يحتوي نظام مجموعة HDInsight 4.0 ESP Spark على مكونات LLAP مضمّنة تعمل على العقدتين الرئيسيتين. تمت إضافة مكونات LLAP في نظام مجموعة ESP Spark في الأصل لـ HDInsight 3.6 ESP Spark، ولكن ليس لديها حالة مستخدم حقيقية لـ HDInsight 4.0 ESP Spark. في الإصدار التالي المقرر في سبتمبر 2021، سيزيل HDInsight مكون LLAP المضمّن من نظام مجموعة HDInsight 4.0 ESP Spark. يساعد هذا التغيير على إلغاء تحميل حمل عمل عقدة الرأس وتجنب الارتباك بين ESP Spark ونوع مجموعة ESP Interactive Hive.

منطقة جديدة

غرب الولايات المتحدة الأمريكية 3
Jio غرب الهند
وسط أستراليا

تغيير إصدار المكون

تم تغيير إصدار المكون التالي بهذا الإصدار:

إصدار ORC من 1.5.1 إلى 1.5.9

يمكنك العثور على إصدارات المكونات الحالية لـ HDInsight 4.0 وHDInsight 3.6 في هذا المستند.

إصدارات JIRA المحمّلة عكسيًا

فيما يلي إصدارات JIRA المحمّلة عكسيًا لهذا الإصدار:

الميزة المتأثرة	Apache JIRA
التاريخ / الطابع الزمني	HIVE-25104
	HIVE-24074
	HIVE-22840
	HIVE-22589
	HIVE-22405
	HIVE-21729
	HIVE-21291
	HIVE-21290
UDF	HIVE-25268
	HIVE-25093
	HIVE-22099
	HIVE-24113
	HIVE-22170
	HIVE-22331
ORC	HIVE-21991
	HIVE-21815
	HIVE-21862
مخطط الجدول	HIVE-20437
	HIVE-22941
	HIVE-21784
	HIVE-21714
	HIVE-18702
	HIVE-21799
	HIVE-21296
إدارة حمل العمل	HIVE-24201
الضغط	HIVE-24882
	HIVE-23058
	HIVE-23046
طريقة العرض المجسدة	HIVE-22566

تصحيح الأسعار لأجهزة HDInsight `Dv2` الظاهرية

تم تصحيح خطأ التسعير في 25 أبريل 2021 لسلسلة Dv2 الجهاز الظاهري على HDInsight. أدى خطأ التسعير إلى انخفاض الرسوم على بعض فواتير العملاء قبل 25 أبريل، ومع التصحيح، تتطابق الأسعار الآن مع ما تم الإعلان عنه في صفحة تسعير HDInsight وحاسبة تسعير HDInsight. أثر خطأ التسعير على العملاء في المناطق التالية الذين استخدموا Dv2 الأجهزة الظاهرية:

وسط كندا
شرق كندا
شرق آسيا
جنوب أفريقيا
جنوب شرق آسيا
الإمارات العربية المتحدة، الوسط

اعتبارا من 25 أبريل 2021، سيكون المبلغ المصحح للأجهزة الظاهرية Dv2 على حسابك. تم إرسال إشعارات العميل إلى مالكي الاشتراك قبل التغيير. يمكنك استخدام حاسبة التسعير أو صفحة تسعير HDInsight أو شفرة إنشاء نظام مجموعة HDInsight في مدخل Microsoft Azure للاطلاع على التكاليف المصححة للأجهزة Dv2 الظاهرية في منطقتك.

لا يلزم اتخاذ أي إجراء آخر منك. لن يُطبّق تصحيح السعر إلا للاستخدام في 25 أبريل 2021 أو بعده في المناطق المحددة، وليس على أي استخدام قبل هذا التاريخ. لضمان حصولك على الحل الأكثر أداء وفعالية من حيث التكلفة، نوصي بمراجعة التسعير وVCPU وذاكرة الوصول العشوائي لمجموعاتك Dv2 ومقارنة المواصفات Dv2 بالأجهزة Ev3 الظاهرية لمعرفة ما إذا كان الحل الخاص بك سيستفيد من استخدام إحدى أحدث سلسلة الأجهزة الظاهرية.

تاريخ الإصدار: 06/02/2021

إصدارات نظام التشغيل لهذا الإصدار هي:

HDInsight 3.6: Ubuntu 16.04.7 LTS
HDInsight 4.0: Ubuntu 18.04.5 LTS

الميزات الجديدة

ترقية إصدار نظام التشغيل

كما هو مشار إليه في دورة إصدار Ubuntu، تصل نواة Ubuntu 16.04 إلى نهاية العمر الافتراضي (EOL) في أبريل 2021. لقد بدأنا في طرح صورة مجموعة HDInsight 4.0 الجديدة التي تعمل على Ubuntu 18.04 مع هذا الإصدار. تعمل مجموعات HDInsight 4.0 التي تم إنشاؤها حديثا على Ubuntu 18.04 بشكل افتراضي بمجرد توفرها. تعمل المجموعات الموجودة على Ubuntu 16.04 كما هي مع الدعم الكامل.

سيستمر تشغيل HDInsight 3.6 على Ubuntu 16.04. سيتغير إلى الدعم الأساسي (من الدعم القياسي) اعتبارًا من 1 يوليو 2021. وللحصول على مزيدٍ من المعلومات حول التواريخ وخيارات الدعم، راجع إصدارات Azure HDInsight. لن يتم دعم Ubuntu 18.04 لـ HDInsight 3.6. إذا كنت ترغب في استخدام Ubuntu 18.04، فسيتعين عليك ترحيل مجموعاتك إلى HDInsight 4.0.

تحتاج إلى قطع المجموعات وإعادة إنشائها إذا كنت ترغب في نقل مجموعات HDInsight 4.0 الحالية إلى Ubuntu 18.04. خطّط لإنشاء مجموعاتك أو إعادة إنشائها بعد أن يصبح دعم Ubuntu 18.04 متاحًا.

بعد إنشاء المجموعة الجديدة، يمكنك فتح SSH للمجموعة وتشغيل sudo lsb_release -a لمعرفة ما إذا كان يعمل على Ubuntu 18.04 أم لا. نوصي باختبار تطبيقاتك في اشتراكات الاختبار أولاً قبل الانتقال إلى الإنتاج.

تحسينات التحجيم على مجموعات الكتابة المسرَّعة HBase

لقد أجرى HDInsight بعض التحسينات على مجموعات الكتابة المسرَّعة لـ HBase ورفع مستواها إلى المستوى الأمثل. تعرف على المزيد حول الكتابة المسرّعة لـ HBase.

الإهمال

لا يوجد إهمال في هذا الإصدار.

تغييرات السلوك

تعطيل حجم الجهاز الظاهري Standard_A5 كعقدة رئيسية ل HDInsight 4.0

العقدة الرئيسية لمجموعة HDInsight هي المسؤولة عن تهيئة وإدارة المجموعة. يحتوي حجم Standard_A5 VM على مشكلات تتعلق بالموثوقية كعقدة رئيسية لـ HDInsight 4.0. بدءا من هذا الإصدار، لن يتمكن العملاء من إنشاء مجموعات جديدة بحجم جهاز ظاهري Standard_A5 كعقدة رئيسية. يمكنك استخدام أجهزة ظاهرية أخرى ثنائية النواة مثل E2_v3 أو E2s_v3. سيتم تشغيل المجموعات الموجودة كما هي. ولضمان قابلية الوصول العالية والموثوقية لمجموعات إنتاج HDInsight، يوصى بشدة باستخدام جهاز ظاهري رباعي النواة للعقدة الرئيسية.

مورد واجهة الشبكة غير مرئي لأنظمة المجموعة التي تعمل في مجموعات مقاييس الجهاز الظاهري في Azure

يتم ترحيل HDInsight تدريجياً إلى مجموعات مقاييس الجهاز الظاهري لـ Azure. لم تعد واجهات الشبكة للأجهزة الظاهرية مرئية للعملاء في أنظمة المجموعة التي تستخدم مجموعات مقاييس الأجهزة الظاهرية لـ Azure.

التغييرات القادمة

التغييرات التالية ستحدث في الإصدارات القادمة.

لا يدعم HDInsight Interactive Query سوى التحجيم التلقائي المستند إلى الجدول الزمني

اعتبارًا من يوليو 2021، لا يدعم حمل عمل Interactive Query في HDInsight سوى التحجيم التلقائي المستند إلى الجدول الزمني. لم يعد بإمكانك تمكين التحجيم التلقائي في أنظمة مجموعات Interactive Query الجديدة. يمكن متابعة تشغيل أنظمة المجموعات الموجودة قيد التشغيل حاليًا مع القيود المعروفة الموضحة أعلاه.

سيجري تغيير تسمية مضيف الجهاز الظاهري في 1 يوليو 2021

يستخدم HDInsight الآن أجهزة Azure الظاهرية لتوفير مجموعة الأنظمة. يتم ترحيل الخدمة تدريجيًا إلى مجموعات مقاييس الأجهزة الظاهرية في Azure . سيؤدي هذا الترحيل إلى تغيير تنسيق اسم FQDN لاسم مضيف نظام المجموعة، ولن تكون الأرقام في اسم المضيف مضمونة بالتسلسل. ولمزيد من المعلومات حول كيفية إيجاد اسم FQDN لكل عقدة، راجع البحث عن أسماء مضيفي عقدة نظام المجموعة.

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

يستخدم HDInsight الآن أجهزة Azure الظاهرية لتوفير مجموعة الأنظمة. سيتم ترحيل الخدمة تدريجيًا إلى مجموعات تحجيم أجهزة Azure الظاهرية. قد تستغرق العملية بأكملها شهورا. بعد ترحيل المناطق والاشتراكات لديك، سيتم تشغيل مجموعات HDInsight المنشأة حديثاً على مجموعات مقياس جهاز ظاهري دون اتخاذ إجراءات من جانب العميل. ومن غير المتوقع حدوث تغييرات جذرية.

تاريخ الإصدار: 03/24/2021

الميزات الجديدة

Spark 3.0 (إصدار أولي)

أضاف HDInsight دعم Spark 3.0.0 إلى HDInsight 4.0 كاستعراض الميزة.

Kafka 2.4 (إصدار أولي)

أضاف HDInsight دعم Kafka 2.4.1 إلى HDInsight 4.0 كاستعراض الميزة.

`Eav4`-دعم السلسلة

تمت إضافة Eav4HDInsight - دعم السلسلة في هذا الإصدار.

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

يستخدم HDInsight الآن أجهزة Azure الظاهرية لتوفير مجموعة الأنظمة. يتم ترحيل الخدمة تدريجيًا إلى مجموعات مقاييس الأجهزة الظاهرية في Azure . قد تستغرق العملية بأكملها شهورا. بعد ترحيل المناطق والاشتراكات لديك، سيتم تشغيل مجموعات HDInsight المنشأة حديثاً على مجموعات مقياس جهاز ظاهري دون اتخاذ إجراءات من جانب العميل. ومن غير المتوقع حدوث تغييرات جذرية.

الإهمال

لا يوجد إهمال في هذا الإصدار.

تغييرات السلوك

تم تغيير إصدار نظام المجموعة الافتراضي إلى 4.0

تم تغيير الإصدار الافتراضي من مجموعة HDInsight من 3.6 إلى 4.0. وللحصول على مزيدٍ من المعلومات حول الإصدارات المتوفرة، راجع الإصدارات المتوفرة. تعرّف على المزيدحول الميزات الجديدة في هذا الإصدار HDInsight 4.0.

يتم تغيير أحجام الأجهزة الظاهرية لنظام المجموعة الافتراضية إلى `Ev3`-series

يتم تغيير أحجام الأجهزة الظاهرية لنظام المجموعة الافتراضية من سلسلة D إلى Ev3-series. ينطبق هذا التغيير على العقد الرئيسية وعقد العامل. لتجنب تأثير هذا التغيير على سير العمل الذي تم اختباره، حدد أحجام الأجهزة الظاهرية التي تريد استخدامها في قالب ARM.

مورد واجهة الشبكة غير مرئي لأنظمة المجموعة التي تعمل في مجموعات مقاييس الجهاز الظاهري في Azure

التغييرات القادمة

التغييرات التالية ستحدث في الإصدارات القادمة.

لا يدعم HDInsight Interactive Query سوى التحجيم التلقائي المستند إلى الجدول الزمني

مع زيادة نضج وتنوع سيناريوهات العملاء، حددنا بعض القيود باستخدام التحجيم التلقائي المستند إلى تحميل Interactive Query (LLAP). هذه القيود ناتجة عن طبيعة ديناميكيات استعلام LLAP، ومشاكل دقة التنبؤ بأحمال العمل المستقبلية، ومشاكل إعادة توزيع المهام المتعلقة بجدولة LLAP. نظرا لهذه القيود، قد يرى المستخدمون أن استعلاماتهم تعمل بشكل أبطأ على مجموعات LLAP عند تمكين التحجيم التلقائي. يمكن أن يفوق التأثير على الأداء مزايا التكلفة الخاصة للتحجيم التلقائي.

ترقية إصدار نظام التشغيل

تعمل مجموعات HDInsight حاليًا على Ubuntu 16.04 LTS. كما هو مشار إليه في دورة إصدار Ubuntu ، سيصل Ubuntu 16.04 kernel إلى نهاية العمر الافتراضي (EOL) في أبريل 2021. سنبدأ في طرح صورة نظام مجموعة HDInsight 4.0 الجديدة التي تعمل على Ubuntu 18.04 في مايو 2021. سيتم تشغيل مجموعات HDInsight 4.0 التي تم إنشاؤها حديثاً على Ubuntu 18.04 افتراضياً بمجرد توفرها. سيتم تشغيل المجموعات الموجودة على Ubuntu 16.04 كما هو الحال مع الدعم الكامل.

سيستمر تشغيل HDInsight 3.6 على Ubuntu 16.04. سيصل إلى نهاية الدعم القياسي بحلول 30 يونيو 2021، وسيتغير إلى الدعم الأساسي بدءًا من 1 يوليو 2021. وللحصول على مزيدٍ من المعلومات حول التواريخ وخيارات الدعم، راجع إصدارات Azure HDInsight. لن يتم دعم Ubuntu 18.04 لـ HDInsight 3.6. إذا كنت ترغب في استخدام Ubuntu 18.04، فستحتاج إلى ترحيل نظام مجموعاتك إلى HDInsight 4.0.

يتعين عليك إسقاط المجموعات وإعادة إنشائها إذا كنت ترغب في نقل المجموعات الموجودة إلى Ubuntu 18.04. خطط لإنشاء مجموعاتك أو إعادة إنشائها بعد أن يصبح دعم Ubuntu 18.04 متوفرًا. سنرسل إشعارًا آخر بعد أن تصبح الصورة الجديدة متاحة في جميع المناطق.

يوصى بشدة باختبار إجراءات البرنامج النصي والتطبيقات المخصصة التي تم توزيعها على العقد الطرفية على جهاز ظاهري Ubuntu 18.04 (VM) مسبقًا. يمكنك إنشاء Ubuntu Linux VM على 18.04-LTS، ثم إنشاء واستخدام زوج مفاتيح shell آمن (SSH) على الجهاز الظاهري الخاص بك لتشغيل واختبار إجراءات البرنامج النصي والتطبيقات المخصصة المنشورة على عقد الحافة.

تعطيل حجم الجهاز الظاهري Standard_A5 كعقدة رئيسية ل HDInsight 4.0

العقدة الرئيسية لمجموعة HDInsight هي المسؤولة عن تهيئة وإدارة المجموعة. يحتوي حجم Standard_A5 VM على مشكلات تتعلق بالموثوقية كعقدة رئيسية لـ HDInsight 4.0. بدءا من الإصدار التالي في مايو 2021، لن يتمكن العملاء من إنشاء مجموعات جديدة بحجم جهاز ظاهري Standard_A5 كعقدة رئيسية. يمكنك استخدام أجهزة ظاهرية أخرى ثنائية النواة مثل E2_v3 أو E2s_v3. سيتم تشغيل المجموعات الموجودة كما هي. ولضمان قابلية الوصول العالية والموثوقية لمجموعات إنتاج HDInsight، يوصى بشدة باستخدام جهاز ظاهري رباعي النواة للعقدة الرئيسية.

إصلاح الأخطاء

تواصل HDInsight تقديم تحسينات في موثوقية نظام المجموعة وأدائها.

تغيير إصدار المكون

تمت إضافة دعم لـ Spark 3.0.0 و Kafka 2.4.1 كإصدار أولي. يمكنك العثور على إصدارات المكونات الحالية لـ HDInsight 4.0 وHDInsight 3.6 في هذا المستند.

تاريخ الإصدار: 02/05/2021

الميزات الجديدة

دعم سلسلة Dav4

أضاف HDInsight دعم لسلسلة Dav4 في هذا الإصدار. تعرف على المزيد حول سلسلة Dav4 هنا.

التوفر العام لـ Kafka REST Proxy

يتيح لك Kafka REST Proxy التفاعل مع نظام مجموعة Kafka عبر واجهة برمجة تطبيقات REST عبر HTTPS. يتوفر وكيل Kafka Rest بشكل عام بدءًا من هذا الإصدار. تعرّف على المزيد حول Kafka REST Proxy هنا.

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

الإهمال

أحجام الأجهزة الظاهرية المعطلة

بدءا من 9 يناير 2021، سيحظر HDInsight جميع العملاء الذين ينشئون مجموعات باستخدام أحجام الأجهزة الظاهرية standard_A8 standard_A9 standard_A10 standard_A11. سيتم تشغيل المجموعات الموجودة كما هي. ضع في اعتبارك الانتقال إلى HDInsight 4.0 لتجنب الانقطاع المحتمل للنظام / الدعم.

تغييرات السلوك

تغيير حجم الجهاز الظاهري لنظام المجموعة الافتراضي إلى `Ev3`-series

سيتم تغيير أحجام الأجهزة الظاهرية لنظام المجموعة الافتراضية من سلسلة D إلى Ev3-series. ينطبق هذا التغيير على العقد الرئيسية وعقد العامل. لتجنب تأثير هذا التغيير على سير العمل الذي تم اختباره، حدد أحجام الأجهزة الظاهرية التي تريد استخدامها في قالب ARM.

مورد واجهة الشبكة غير مرئي لأنظمة المجموعة التي تعمل في مجموعات مقاييس الجهاز الظاهري في Azure

التغييرات القادمة

التغييرات التالية ستحدث في الإصدارات القادمة.

سيتم تغيير إصدار نظام المجموعة الافتراضي إلى 4.0

اعتباراً من فبراير 2021، سيتم تغيير الإصدار الافتراضي لنظام مجموعة HDInsight من 3.6 إلى 4.0. وللحصول على مزيدٍ من المعلومات حول الإصدارات المتوفرة، راجع الإصدارات المتوفرة. تعرّف على المزيدحول الميزات الجديدة في هذا الإصدار HDInsight 4.0.

ترقية إصدار نظام التشغيل

تقوم HDInsight بترقية إصدار نظام التشغيل من Ubuntu 16.04 إلى 18.04. ستكتمل الترقية قبل أبريل 2021.

نهاية دعم HDInsight 3.6 في 30 يونيو 2021

سينتهي دعم HDInsight 3.6 قريباً. اعتبارًا من 30 يونيو 2021، لن يتمكن العملاء من إنشاء أنظمة مجموعات HDInsight 3.6 جديدة. سيتم تشغيل أنظمة المجموعات الحالية كما هي دون دعم من Microsoft. ضع في اعتبارك الانتقال إلى HDInsight 4.0 لتجنب الانقطاع المحتمل للنظام / الدعم.

تغيير إصدار المكون

لا يوجد تغيير في إصدار المكون لهذا الإصدار. يمكنك العثور على إصدارات المكونات الحالية لـ HDInsight 4.0 وHDInsight 3.6 في هذا المستند.

تاريخ الإصدار: 11/18/2020

الميزات الجديدة

تدوير تلقائي للمفاتيح لتشفير المفتاح المُدار من خلال العميل في حالة عدم التشغيل

بدءا من هذا الإصدار، يمكن للعملاء استخدام عناوين URL لمفتاح التشفير بدون إصدار Azure KeyVault لتشفير المفاتيح المدارة من قبل العميل في حالة الثبات. تقوم HDInsight تلقائيًا بتدوير المفاتيح عند انتهاء صلاحيتها أو استبدالها بإصدارات جديدة. يمكنك العثور على مزيد من المعلومات التفصيلية هنا.

القدرة على تحديد أحجام مختلفة من أجهزة Zookeeper الظاهرية لـ Spark وHadoop وخدمات التعلم الآلي من Microsoft Azure

لم تدعم HDInsight في السابق تخصيص حجم عقدة Zookeeper لأنواع نُظم مجموعات Spark وHadoop وخدمات التعلم الآلي من Microsoft Azure. يتم تعيينها افتراضياً على أحجام الجهاز الظاهري A2_v2 / A2، والتي تُتاح مجاناً. من خلال هذا الإصدار، يمكنك تحديد حجم الجهاز الظاهري Zookeeper الأنسب للسيناريو لديك. سيتم فرض رسوم على عقد Zookeeper بحجم الجهاز الظاهري بخلاف A2_v2 / A2. لا يزال يتم توفير الأجهزة الظاهرية A2_v2 وA2 مجاناً.

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

يستخدم HDInsight الآن أجهزة Azure الظاهرية لتوفير مجموعة الأنظمة. بدءاً من هذا الإصدار، سيتم ترحيل الخدمة تدريجياً إلى نُظم مجموعات حجم جهاز Azure الظاهري. قد تستغرق العملية بأكملها شهورا. بعد ترحيل المناطق والاشتراكات لديك، سيتم تشغيل مجموعات HDInsight المنشأة حديثاً على مجموعات مقياس جهاز ظاهري دون اتخاذ إجراءات من جانب العميل. ومن غير المتوقع حدوث تغييرات جذرية.

الإهمال

إيقاف نظام مجموعة خدمات التعلم الآلي من Microsoft Azure لـ HDInsight 3.6

سيتم إنهاء الدعم من نوع نظام مجموعة خدمات التعلم الآلي من Microsoft Azure لـ HDInsight 3.6 بحلول 31 ديسمبر 2020. لن يتمكن العملاء من إنشاء نُظم مجموعات خدمات التعلم الآلي من Microsoft Azure 3.6 جديدة بعد 31 ديسمبر 2020. سيتم تشغيل أنظمة المجموعات الحالية كما هي دون دعم من Microsoft. تحقق من انتهاء صلاحية الدعم لإصدارات HDInsight وأنواع نظام المجموعة هنا.

أحجام الأجهزة الظاهرية المعطلة

بدءا من 16 نوفمبر 2020، سيحظر HDInsight العملاء الجدد الذين ينشئون مجموعات باستخدام أحجام الأجهزة الظاهرية standard_A8 standard_A9 standard_A10 standard_A11. لن يتأثر العملاء الحاليون الذين استخدموا أحجام الأجهزة الظاهرية هذه في الأشهر الثلاثة الماضية. بدءا من 9 يناير 2021، سيحظر HDInsight جميع العملاء الذين ينشئون مجموعات باستخدام أحجام الأجهزة الظاهرية standard_A8 standard_A9 standard_A10 standard_A11. سيتم تشغيل المجموعات الموجودة كما هي. ضع في اعتبارك الانتقال إلى HDInsight 4.0 لتجنب الانقطاع المحتمل للنظام / الدعم.

تغييرات السلوك

إضافة فحص قاعدة NSG قبل عملية التحجيم

أضافت HDInsight التحقق من مجموعات أمان الشبكة (NSGs) والطرق المحددة من جانب المستخدم (UDRs) مع عملية التحجيم. يتم إجراء نفس التحقق لتحجيم نظام المجموعة بالإضافة إلى إنشاء نظام المجموعة. يساعد هذا التحقق من الصحة على منع الأخطاء غير المتوقعة. إذا لم يتم ينجح التحقق من الصحة، يفشل التحجيم. تعرف على المزيد حول كيفية تكوين NSGs وUDRs بشكل صحيح، راجع عناوين IP لإدارة HDInsight.

تغيير إصدار المكون

تاريخ الإصدار: 11/09/2020

الميزات الجديدة

التوفر العام لـ HDInsight Identity Broker (HIB)

HDInsight Identity Broker (HIB) الذي يمكّن مصادقة OAuth لمجموعات ESP متاح الآن بشكل عام مع هذا الإصدار. ستحتوي مجموعات HIB التي تم إنشاؤها بعد هذا الإصدار على أحدث ميزات HIB:

قابلية وصول عالية (HA)
دعم المصادقة متعددة العوامل (MFA)
يقوم المستخدمون المتحدون بتسجيل الدخول إلى AAD-DS دون مزامنة تجزئة كلمة المرور، راجع وثائق HIB لمزيد من المعلومات.

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

الإهمال

إيقاف نظام مجموعة خدمات التعلم الآلي من Microsoft Azure لـ HDInsight 3.6

سيتم إنهاء الدعم من نوع نظام مجموعة خدمات التعلم الآلي من Microsoft Azure لـ HDInsight 3.6 بحلول 31 ديسمبر 2020. لن ينشئ العملاء نظم مجموعات خدمات التعلم الآلي من Microsoft Azure 3.6 جديدة بعد 31 ديسمبر 2020. سيتم تشغيل أنظمة المجموعات الحالية كما هي دون دعم من Microsoft. تحقق من انتهاء صلاحية الدعم لإصدارات HDInsight وأنواع نظام المجموعة هنا.

أحجام الأجهزة الظاهرية المعطلة

تغييرات السلوك

لا يتغير سلوك هذا الإصدار.

التغييرات القادمة

التغييرات التالية ستحدث في الإصدارات القادمة.

القدرة على تحديد أحجام مختلفة من أجهزة Zookeeper الظاهرية لـ Spark وHadoop وخدمات التعلم الآلي من Microsoft Azure

لم تدعم HDInsight في الوقت الحالي تخصيص حجم عقدة Zookeeper لأنواع نُظم مجموعات Spark وHadoop وخدمات التعلم الآلي من Microsoft Azure. يتم تعيينها افتراضياً على أحجام الجهاز الظاهري A2_v2 / A2، والتي تُتاح مجاناً. في الإصدار القادم، يمكنك تحديد حجم الجهاز الظاهري Zookeeper الأنسب للسيناريو لديك. سيتم فرض رسوم على عقد Zookeeper بحجم الجهاز الظاهري بخلاف A2_v2 / A2. لا يزال يتم توفير الأجهزة الظاهرية A2_v2 وA2 مجاناً.

سيتم تغيير إصدار نظام المجموعة الافتراضي إلى 4.0

اعتباراً من فبراير 2021، سيتم تغيير الإصدار الافتراضي لنظام مجموعة HDInsight من 3.6 إلى 4.0. وللحصول على مزيدٍ من المعلومات حول الإصدارات المتوفرة، راجع الإصدارات المدعومة. تعرّف على المزيدحول الميزات الجديدة في هذا الإصدار HDInsight 4.0

نهاية دعم HDInsight 3.6 في 30 يونيو 2021

إصلاح الأخطاء

تواصل HDInsight تقديم تحسينات في موثوقية نظام المجموعة وأدائها.

إصلاح مشكلة إعادة تشغيل الأجهزة الظاهرية في نظام المجموعة

تم إصلاح مشكلة إعادة تشغيل الأجهزة الظاهرية في نظام في المجموعة، ويمكنك استخدام PowerShell أو REST API لإعادة تشغيل العقد في نظام في المجموعة.

تغيير إصدار المكون

تاريخ الإصدار: 10/08/2020

الميزات الجديدة

مجموعات HDInsight الخاصة دون عنوان IP عام وارتباط خاص (إصدار أولي)

يدعم HDInsight الآن إنشاء نُظم مجموعات دون عنوان IP عام ووصول ارتباط خاص إلى نُظم المجموعات في الإصدار الأولي. يمكن للعملاء استخدام إعدادات الشبكات المتقدمة الجديدة لإنشاء نظام مجموعة معزولة تمامًا دون عنوان IP عام واستخدام نقاط النهاية الخاصة بهم للوصول إلى نظام المجموعة.

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

الإهمال

إيقاف نظام مجموعة خدمات التعلم الآلي من Microsoft Azure لـ HDInsight 3.6

ستنتهي صلاحية دعم نوع نظام مجموعة "HDInsight 3.6 ML Services" في 31 ديسمبر 2020. لن ينشئ العملاء نُظم مجموعات 3.6 ML Services جديدة بعد ذلك. سيتم تشغيل أنظمة المجموعات الحالية كما هي دون دعم من Microsoft. تحقق من انتهاء صلاحية الدعم لإصدارات HDInsight وأنواع نظام المجموعة هنا.

تغييرات السلوك

لا يتغير سلوك هذا الإصدار.

التغييرات القادمة

التغييرات التالية ستحدث في الإصدارات القادمة.

القدرة على تحديد أحجام مختلفة من أجهزة Zookeeper الظاهرية لـ Spark وHadoop وخدمات التعلم الآلي من Microsoft Azure

إصلاح الأخطاء

تواصل HDInsight تقديم تحسينات في موثوقية نظام المجموعة وأدائها.

تغيير إصدار المكون

تاريخ الإصدار: 09/28/2020

الميزات الجديدة

التحجيم التلقائي لـ Interactive Query باستخدام HDInsight 4.0 متوفر الآن بشكل عام

التحجيم التلقائي لنوع نظام مجموعة Interactive Query متوفر الآن بشكل عام لـ HDInsight 4.0. ستحصل جميع نُظم مجموعات Interactive Query 4.0 التي تم إنشاؤها بعد 27 أغسطس 2020 على دعم التوفر العام للتحجيم التلقائي.

يقدم نظام مجموعة HBase الدعم اللازم لـ Premium ADLS Gen2

والآن فإن HDInsight يدعمPremium ADLS Gen2 كحساب تخزين أساسي لنُظم مجموعات HDInsight HBase 3.6 و4.0. بالإضافة إلى عمليات الكتابة المسرّعة، يمكنك الحصول على أداء أفضل لنُظم مجموعات HBase لديك.

توزيع قيم Kafka على مجالات خطأ Azure

مجال الخطأ هو تجميع منطقي للأجهزة الأساسية في مركز بيانات Azure. يشترك كل مجال خطأ في مصدر طاقة مشترك ومفتاح تبديل شبكة الاتصال. قبل أن يقوم HDInsight Kafka بتخزين جميع النسخ المتماثلة للقسم في نفس مجال الخطأ. بدءًا من هذا الإصدار، يدعم HDInsight الآن التوزيع التلقائي لأقسام Kafka استنادًا إلى مجالات خطأ Azure.

التشفير أثناء النقل

يمكن للعملاء تمكين التشفير أثناء النقل بين عقد نظام المجموعة باستخدام تشفير IPsec باستخدام مفاتيح مدارة بواسطة النظام الأساسي. يمكن تمكين هذا الخيار في وقت إنشاء نظام المجموعة. اطلع على مزيد من التفاصيل حول كيفية تمكين التشفير أثناء النقل.

التشفير على المضيف

عندما تقوم بتمكين التشفير على المضيف، يتم تشفير البيانات المخزنة على مضيف الجهاز الظاهري في وضع السكون ويتم تشفير التدفقات إلى خدمة التخزين. من هذا الإصدار، يمكنك تمكين التشفير على المضيف على قرص البيانات المؤقتة عند إنشاء نظام المجموعة. التشفير على المضيف مدعوم فقط على ووحدات حفظ المخزون للجهاز الظاهري المعين في مناطق محدودة. يدعم HDInsight تكوين العقدة التالية ووحدات حفظ المخزون. اطلع على مزيد من التفاصيل حول كيفية تمكين التشفير على المضيف .

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

الإهمال

لا يوجد دعم متوقف لهذا الإصدار.

تغييرات السلوك

لا يتغير سلوك هذا الإصدار.

التغييرات القادمة

التغييرات التالية ستحدث في الإصدارات القادمة.

القدرة على تحديد Zookeeper SKU مختلف لـ Spark وHadoop وخدمات التعلم الآلي من Microsoft Azure

لا تدعم HDInsight اليوم تغيير Zookeeper SKU لأنواع نُظم مجموعات Spark وHadoop وخدمات التعلم الآلي من Microsoft Azure. ويستخدم A2_v2 / A2 SKU لعُقد Zookeeper ولا يدفع العملاء رسوم مقابلها. في الإصدار القادم، يمكن للعملاء تغيير Zookeeper SKU لـ Spark وHadoop وخدمات التعلم الآلي من Microsoft Azure حسب الحاجة. سيتم فرض رسوم على عقد Zookeeper التي تحتوي على SKU بخلاف A2_v2/A2. سيظل SKU الافتراضي هو A2_V2/A2 ومجانياً.

إصلاح الأخطاء

تواصل HDInsight تقديم تحسينات في موثوقية نظام المجموعة وأدائها.

تغيير إصدار المكون

تاريخ الإصدار: 08/09/2020

ينطبق هذا الإصدار فقط على HDInsight 4.0. يتوفر إصدار HDInsight لجميع المناطق على مدار عدة أيام. يشير تاريخ الإصدار هنا إلى تاريخ إصدار المنطقة الأول. إذا لم تشاهد التغييرات التالية، فانتظر حتى يكون الإصدار مباشرا في منطقتك في عدة أيام.

الميزات الجديدة

دعم SparkCruise

SparkCruise هو نظام إعادة استخدام حساب تلقائي لـ Spark. ويحدد التعبيرات الفرعية الشائعة لتجسيدها استنادًا إلى حمل عمل الاستعلام السابق. يقوم SparkCruise بتجسيد هذه التعبيرات الفرعية كجزء من معالجة الاستعلام ويتم تطبيق إعادة استخدام الحساب تلقائيًا في الخلفية. يمكنك الاستفادة من SparkCruise دون أي تعديل على التعليمة البرمجية Spark.

دعم Hive View لـ HDInsight 4.0

تم تصميم Apache Ambari Hive View لمساعدتك في توضيح وتحسين وتنفيذ استعلامات Apache Hive من متصفح الويب لديك. يتم دعم Hive View أصلاً لمجموعات HDInsight 4.0 بدءًا من هذا الإصدار. لا ينطبق على نُظم المجموعات الحالية. تحتاج إلى قطع نظام المجموعة وإعادة إنشائها للحصول على Hive View المدمج.

دعم Tez View لـ HDInsight 4.0

تُستخدم طريقة Apache Tez View لتعقب تنفيذ مهمة Hive Tez وتصحيحها. يتم دعم Tez View أصلاً لـ HDInsight 4.0 بدءًا من هذا الإصدار. لا ينطبق على نُظم المجموعات الحالية. تحتاج إلى قطع نظام المجموعة وإعادة إنشائها للحصول على Tez View المدمج.

الإهمال

إيقاف دعم Spark 2.1 و2.2 في نظام مجموعة HDInsight 3.6 الخاصة بـ Spark

بدءا من 1 يوليو 2020، لا يمكن للعملاء إنشاء مجموعات Spark جديدة باستخدام Spark 2.1 و2.2 على HDInsight 3.6. سيتم تشغيل أنظمة المجموعات الحالية كما هي دون دعم من Microsoft. ضع في اعتبارك الانتقال إلى Spark 2.3 على HDInsight 3.6 بحلول 30 يونيو 2020 لتجنب انقطاع النظام / الدعم المحتمل.

إيقاف دعم Spark 2.3 في نظام مجموعة HDInsight 4.0 Spark

بدءا من 1 يوليو 2020، لا يمكن للعملاء إنشاء مجموعات Spark جديدة باستخدام Spark 2.3 على HDInsight 4.0. سيتم تشغيل أنظمة المجموعات الحالية كما هي دون دعم من Microsoft. ضع في اعتبارك الانتقال إلى Spark 2.4 على HDInsight 4.0 بحلول 30 يونيو 2020 لتجنب انقطاع النظام / الدعم المحتمل.

إيقاف دعم Kafka 1.1 في نظام مجموعة HDInsight 4.0 Kafka

بدءا من 1 يوليو 2020، لن يتمكن العملاء من إنشاء مجموعات Kafka جديدة باستخدام Kafka 1.1 على HDInsight 4.0. سيتم تشغيل أنظمة المجموعات الحالية كما هي دون دعم من Microsoft. ضع في اعتبارك الانتقال إلى Kafka 2.1 على HDInsight 4.0 بحلول 30 يونيو 2020 لتجنب انقطاع النظام / الدعم المحتمل.

تغييرات السلوك

تغيير إصدار دفعة Ambari

في هذا الإصدار، يتغير إصدار Ambari من 2.x.x.x إلى 4.1. يمكنك التحقق من إصدار مكدس ذاكرة مؤقتة (HDInsight 4.1) في Ambari: Ambari >User> Versions.

التغييرات القادمة

لا توجد تغييرات ملحة قادمة تحتاج إلى الاهتمام بها.

إصلاح الأخطاء

تواصل HDInsight تقديم تحسينات في موثوقية نظام المجموعة وأدائها.

فيما يلي تُنقل JIRAs مرة أخرى لـ Hive:

فيما يلي تُنقل JIRAs مرة أخرى لـ HBase:

تغيير إصدار المكون

المشكلات المعروفة

تم إصلاح مشكلة في مدخل Microsoft Azure، حيث واجه المستخدمون خطأ عندما كانوا يقومون بإنشاء مجموعة Azure HDInsight باستخدام نوع مصادقة SSH للمفتاح العام. عندما ينقر المستخدمون فوق Review + Create، سيتلقون الخطأ "يجب ألا يحتوي على أي ثلاثة أحرف متتالية من اسم مستخدم SSH." تم إصلاح هذه المشكلة، ولكن قد تتطلب تحديث ذاكرة التخزين المؤقت للمستعرض عن طريق الضغط على CTRL + F5 لتحميل طريقة العرض المصححة. لقد تمثل الحل البديل لهذه المشكلة في إنشاء نظام مجموعة باستخدام قالب ARM.

تاريخ الإصدار: 07/13/2020

ينطبق هذا الإصدار على كل من HDInsight 3.6 و4.0. يتوفر إصدار HDInsight لجميع المناطق على مدار عدة أيام. يشير تاريخ الإصدار هنا إلى تاريخ إصدار المنطقة الأول. إذا لم تشاهد التغييرات التالية، فانتظر حتى يكون الإصدار مباشرا في منطقتك في عدة أيام.

الميزات الجديدة

دعم مربع تأمين العميل لـ Microsoft Azure

يدعم Azure HDInsight الآن مربع تأمين العميل في Azure. ويوفر واجهة للعملاء لمراجعة طلبات الوصول إلى بيانات العملاء والموافقة عليها أو رفضها. يتم استخدامه عندما يحتاج مهندس Microsoft إلى الوصول إلى بيانات العميل أثناء طلب الدعم. لمزيد من المعلومات، راجع مربع تأمين العميل لـ Microsoft Azure .

نُهج نقطة تقديم الخدمة للتخزين

يمكن للعملاء الآن استخدام نُهج نقطة تقديم الخدمة (SEP) على الشبكة الفرعية لمجموعة HDInsight. تعرف على المزيد حول نهج نقطة تقديم خدمة Azure.

الإهمال

إيقاف دعم Spark 2.1 و2.2 في نظام مجموعة HDInsight 3.6 الخاصة بـ Spark

إيقاف دعم Spark 2.3 في نظام مجموعة HDInsight 4.0 Spark

إيقاف دعم Kafka 1.1 في نظام مجموعة HDInsight 4.0 Kafka

تغييرات السلوك

لا توجد تغييرات سلوكية يجب الاهتمام بها.

التغييرات القادمة

التغييرات التالية ستحدث في الإصدارات القادمة.

القدرة على تحديد Zookeeper SKU مختلف لـ Spark وHadoop وخدمات التعلم الآلي من Microsoft Azure

إصلاح الأخطاء

تواصل HDInsight تقديم تحسينات في موثوقية نظام المجموعة وأدائها.

تم إصلاح مشكلة موصل مستودع Hive

حدثت مشكلة في قابلية استخدام موصل Hive Warehouse في الإصدار السابق. تم إصلاح المشكلة.

إصلاح دفتر Zeppelin يقطع مشكلة الأصفار البادئة

لقد كان Zeppelin يقطع بشكل غير صحيح الأصفار البادئة في إخراج الجدول لتنسيق String. لقد أصلحنا هذه المشكلة في هذا الإصدار.

تغيير إصدار المكون

تاريخ الإصدار: 06/11/2020

الميزات الجديدة

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

يستخدم HDInsight أجهزة Azure الظاهرية لتوفير نظام المجموعة الآن. من هذا الإصدار، تبدأ نُظم مجموعات HDInsight المنشأة حديثًا في استخدام مجموعة تحجيم جهاز Azure الظاهري. يتم طرح التغيير تدريجيًا. يجب ألا تتوقع أي تغيير مفاجئ. تعرف على المزيد حول مجموعات تحجيم جهاز Azure الظاهري.

إعادة تشغيل الأجهزة الظاهرية في نظام مجموعة HDInsight

في هذا الإصدار، ندعم إعادة تشغيل الأجهزة الظاهرية في نظام مجموعة HDInsight لإعادة تشغيل العقد غير المستجيبة. حاليًا لا يمكنك القيام بذلك إلا من خلال واجهة برمجة التطبيقات، ودعم PowerShell وCLI قيد الإنشاء. لمزيد من المعلومات حول واجهة برمجة التطبيقات، راجع هذا المستند.

الإهمال

إيقاف دعم Spark 2.1 و2.2 في نظام مجموعة HDInsight 3.6 الخاصة بـ Spark

إيقاف دعم Spark 2.3 في نظام مجموعة HDInsight 4.0 Spark

إيقاف دعم Kafka 1.1 في نظام مجموعة HDInsight 4.0 Kafka

تغييرات السلوك

تغيير حجم عقدة رأس نظام مجموعة ESP Spark

يتم تغيير الحد الأدنى المسموح به لحجم عقدة الرأس لنظام مجموعة ESP Spark إلى Standard_D13_V2. قد تتسبب الأجهزة الظاهرية ذات الذاكرة الأساسية المنخفضة والذاكرة كعقدة رئيسية في حدوث مشكلات في مجموعة ESP بسبب انخفاض سعة CPU والذاكرة نسبيًا. بدءًا من الإصدار، استخدم وحدات SKU الأحدث من Standard_D13_V2 وStandard_E16_V3 كعقدة رئيسية لنُظم مجموعات ESP Spark.

مطلوب جهاز افتراضي رباعي النواة بحد أدنى للعقدة الرئيسية

مطلوب جهاز افتراضي رباعي النواة كحد أدنى للعقدة الرئيسية لضمان قابلية الوصول العالية والموثوقية لنُظم مجموعات HDInsight. بدءاً من 6 أبريل 2020، يمكن للعملاء فقط اختيار جهاز ظاهري رباعي النواة أو أعلى كعقدة رئيسية لنُظم مجموعات HDInsight الجديدة. سيستمر تشغيل نُظم المجموعات الحالية كما هو متوقع.

تغيير بند عقدة عامل نظام المجموعة

عندما تصبح 80% من العقد العاملة جاهزة، يدخل نظام المجموعة المرحلة التشغيلية. في هذه المرحلة، يمكن للعملاء القيام بجميع عمليات مستوى البيانات مثل تشغيل البرامج النصية والمهام. لكن لا يمكن للعملاء القيام بأي عملية وحدة تحكم مثل توسيع / تصغير التحجيم. يتم دعم عمليات الحذف فقط.

بعد مرحلة التشغيل، ينتظر نظام المجموعة 60 دقيقة أخرى للـ 20 % المتبقية من العقد العاملة. في نهاية فترة ال 60 دقيقة هذه، ينتقل نظام المجموعة إلى مرحلة التشغيل ، حتى إذا كانت جميع العقد العاملة لا تزال غير متوفرة. بمجرد أن يدخل نظام المجموعة مرحلة التشغيل يمكنك استخدامها كالمعتاد. يتم قبول كل من عمليات خطة التحكم مثل توسع / تصغير التحجيم وعمليات خطة البيانات مثل تشغيل البرامج النصية والمهام. إذا لم تتوفر بعض العقد العاملة المطلوبة، وضع علامة على المجموعة على أنها نجاح جزئي. تتم محاسبتك على العقد التي تم توزيعها بنجاح.

إنشاء كيان خدمة جديد من خلال HDInsight

في السابق، مع إنشاء نظام المجموعة، يمكن للعملاء إنشاء كيان خدمة جديد للوصول إلى حساب ADLS Gen 1 المتصل في مدخل Microsoft Azure. بدءا من 15 يونيو 2020، لا يمكن إنشاء كيان خدمة جديد في سير عمل إنشاء HDInsight، يتم دعم كيان الخدمة الحالي فقط. راجع إنشاء أساس الخدمة والشهادات باستخدام Azure Active Directory.

انتهى الوقت لإجراءات البرنامج النصي باستخدام إنشاء نظام المجموعة

يدعم HDInsight تشغيل إجراءات البرنامج النصي باستخدام إنشاء نظام المجموعة. من هذا الإصدار، يجب أن تنتهي جميع إجراءات البرنامج النصي مع إنشاء نظام المجموعة في غضون 60 دقيقة، أو تنتهي مهلتها. لا تتأثر إجراءات البرنامج النصي المرسلة إلى أنظمة المجموعات قيد التشغيل. يمكنك العثور على مزيد من المعلومات التفصيلية هنا.

التغييرات القادمة

لا توجد تغييرات ملحة قادمة تحتاج إلى الاهتمام بها.

إصلاح الأخطاء

تواصل HDInsight تقديم تحسينات في موثوقية نظام المجموعة وأدائها.

تغيير إصدار المكون

HBase 2.0 to 2.1.6

تمت ترقية إصدار HBase من الإصدار 2.0 إلى 2.1.6.

Spark 2.4.0 to 2.4.4

تتم ترقية إصدار Spark من الإصدار 2.4.0 إلى 2.4.4.

Kafka 2.1.0 to 2.1.1

تمت ترقية إصدار Kafka من الإصدار 2.1.0 إلى 2.1.1.

يمكنك العثور على إصدارات المكونات الحالية لـ HDInsight 4.0 وHDInsight 3.6 في هذا المستند

المشكلات المعروفة

مشكلة موصل مستودع Apache Hive

هناك مشكلة في Hive Warehouse Connector في هذا الإصدار. سيتم تضمين الإصلاح في الإصدار التالي. لا تتأثر المجموعات الموجودة التي تم إنشاؤها قبل هذا الإصدار. تجنب قطع نظام المجموعة وإعادة تكوينها إن أمكن. افتح تذكرة الدعم إذا كنت بحاجة إلى مزيد من المساعدة في هذا الشأن.

تاريخ الإصدار: 01/09/2020

الميزات الجديدة

إنفاذ TLS 1.2

بروتوكول أمان طبقة النقل (TLS)طبقة مآخذ توصيل الآمنة (SSL) هما بروتوكولان تشفير يوفران أمان الاتصال عبر شبكة الكمبيوتر. تعرف على المزيد حول بروتوكول أمان طبقة النقل. يستخدم HDInsight TLS 1.2 على نقاط نهاية HTTP العامة، لكن لا يزال TLS 1.1 مدعومًا للتوافق مع الإصدارات السابقة.

باستخدام هذا الإصدار، يمكن للعملاء الاشتراك في TLS 1.2 فقط لجميع الاتصالات من خلال نقطة نهاية نظام المجموعة العامة. لدعم ذلك، تم تقديم الخاصية الجديدة minSupportedTlsVersion ويمكن تحديدها أثناء إنشاء نظام المجموعة. إذا لم يتم تعيين الخاصية، فإن نظام المجموعة لا يزال يدعم TLS 1.0 و1.1 و1.2، وهو نفس السلوك الحالي. يمكن للعملاء تعيين قيمة هذه الخاصية على "1.2"، ما يعني أن نظام المجموعة يدعم TLS 1.2 والإصدار الأحدث فقط. لمزيد من المعلومات، راجع بروتوكول أمان طبقة النقل.

أحضر مفتاحك الخاص لتشفير القرص

جميع الأقراص المُدارة في HDInsight محمية Azure Storage Service Encryption (SSE). يتم تشفير البيانات الموجودة على هذه الأقراص من خلال مفاتيح مدارة من Microsoft بشكل افتراضي. بدءًا من هذا الإصدار، يمكنك إحضار المفتاح (BYOK) لتشفير القرص وإدارته باستخدام Azure Key Vault. تشفير BYOK هو عبارة عن تكوين من خطوة واحدة أثناء إنشاء نظام المجموعة دون تكلفة إضافية. ما عليك سوى تسجيل HDInsight كهوية مُدارة باستخدام Azure Key Vault وإضافة مفتاح التشفير عند إنشاء نظام المجموعة لديك. لمزيد من المعلومات، راجع تشفير القرص الرئيسي المُدار من خلال العميل .

الإهمال

لا يوجد دعم متوقف لهذا الإصدار. للاستعداد لعمليات توقف الدعم القادمة، راجع التغييرات القادمة.

تغييرات السلوك

لم يتغير سلوك هذا الإصدار. للاستعداد للتغييرات القادمة، راجع التغييرات القادمة.

التغييرات القادمة

التغييرات التالية ستحدث في الإصدارات القادمة.

إيقاف دعم Spark 2.1 و2.2 في نظام مجموعة HDInsight 3.6 الخاصة بـ Spark

بدءا من 1 يوليو 2020، لن يتمكن العملاء من إنشاء مجموعات Spark جديدة مع Spark 2.1 و2.2 على HDInsight 3.6. سيتم تشغيل نظام المجموعة الحالية كما هي دون دعم من Microsoft. ضع في اعتبارك الانتقال إلى Spark 2.3 على HDInsight 3.6 بحلول 30 يونيو 2020 لتجنب انقطاع النظام / الدعم المحتمل.

إيقاف دعم Spark 2.3 في نظام مجموعة HDInsight 4.0 Spark

بدءا من 1 يوليو 2020، لن يتمكن العملاء من إنشاء مجموعات Spark جديدة باستخدام Spark 2.3 على HDInsight 4.0. سيتم تشغيل نظام المجموعة الحالية كما هي دون دعم من Microsoft. ضع في اعتبارك الانتقال إلى Spark 2.4 على HDInsight 4.0 بحلول 30 يونيو 2020 لتجنب انقطاع النظام / الدعم المحتمل.

إيقاف دعم Kafka 1.1 في نظام مجموعة HDInsight 4.0 Kafka

اعتبارا من 1 يوليو 2020، لن يتمكن العملاء من إنشاء مجموعات Kafka جديدة باستخدام Kafka 1.1 على HDInsight 4.0. سيتم تشغيل نظام المجموعة الحالية كما هي دون دعم من Microsoft. ضع في اعتبارك الانتقال إلى Kafka 2.1 على HDInsight 4.0 بحلول 30 يونيو 2020 لتجنب انقطاع النظام / الدعم المحتمل. لمزيد من المعلومات، راجع ترحيل أحمال عمل Apache Kafka إلى Azure HDInsight 4.0.

HBase 2.0 to 2.1.6

في إصدار HDInsight 4.0 القادم، ستتم ترقية إصدار HBase من الإصدار 2.0 إلى 2.1.6

Spark 2.4.0 to 2.4.4

في إصدار HDInsight 4.0 القادم، ستتم ترقية إصدار Spark من الإصدار 2.4.0 إلى 2.4.4

Kafka 2.1.0 to 2.1.1

في إصدار HDInsight 4.0 القادم، ستتم ترقية إصدار Kafka من الإصدار 2.1.0 إلى 2.1.1

مطلوب جهاز افتراضي رباعي النواة بحد أدنى للعقدة الرئيسية

تغيير حجم عقدة نظام مجموعة ESP Spark

في الإصدار القادم، سيتم تغيير الحد الأدنى المسموح به لحجم العقدة لنظام مجموعة ESP Spark إلى Standard_D13_V2. قد تتسبب الأجهزة الظاهرية من السلسلة A في حدوث مشكلات في مجموعة ESP بسبب انخفاض سعة CPU والذاكرة نسبيًا. سيتم إيقاف دعم الأجهزة الظاهرية من السلسلة A لإنشاء نُظم مجموعات ESP جديدة.

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

يستخدم HDInsight الآن أجهزة Azure الظاهرية لتوفير مجموعة الأنظمة. في الإصدار القادم، ستستخدم HDInsight مجموعات تحجيم الجهاز الظاهري من Azure بدلاً من ذلك. تعرف على المزيد حول مجموعات تحجيم جهاز Azure الظاهري

إصلاح الأخطاء

تواصل HDInsight تقديم تحسينات في موثوقية نظام المجموعة وأدائها.

تغيير إصدار المكون

لا يوجد تغيير في إصدار المكون لهذا الإصدار. يمكنك العثور على إصدارات المكونات الحالية لـ HDInsight 4.0 وHDInsight 3.6 هنا.

تاريخ الإصدار: 12/17/2019

ينطبق هذا الإصدار على كل من HDInsight 3.6 و4.0.

الميزات الجديدة

علامات الخدمة

تعمل علامات الخدمة على تبسيط الأمان لأجهزة Azure الظاهرية وشبكات Azure الظاهرية من خلال تمكينك من تقييد الوصول إلى الشبكة بسهولة إلى خدمات Azure. يمكنك استخدام علامات الخدمة في قواعد مجموعة أمان الشبكة (NSG) للسماح بنسبة استخدام الشبكة إلى خدمة Azure معينة أو رفضها بشكل عام أو حسب منطقة Azure. يوفر Azure صيانة عناوين IP التي تشكل أساس كل علامة. علامات خدمة HDInsight لمجموعات أمان الشبكة (NSGs) هي مجموعات من عناوين IP لخدمات السلامة والإدارة. تساعد هذه المجموعات في تقليل التعقيد لإنشاء قاعدة الأمان. يمكن لعملاء HDInsight تمكين علامة الخدمة من خلال مدخل Microsoft Azure وPowerShell وREST API. للحصول على مزيدٍ من المعلومات، راجع علامات خدمة مجموعة أمان الشبكة (NSG) ل Azure HDInsight.

Ambari DB مخصص

يتيح لك HDInsight الآن استخدام قاعدة بيانات SQL الخاصة بك لـ Apache Ambari. يمكنك تكوين قاعدة بيانات Ambari المخصصة هذه من مدخل Microsoft Azure أو من خلال قالب Resource Manager. تتيح لك هذه الميزة اختيار قاعدة بيانات SQL المناسبة لاحتياجات المعالجة والسعة. يمكنك أيضًا الترقية بسهولة لمطابقة متطلبات نمو الأعمال. لمزيد من المعلومات، راجع إعداد نُظم مجموعات HDInsight باستخدام قاعدة بيانات Ambari المخصصة.

قاعدة بيانات Ambari المخصصة.

الإهمال

لا يوجد دعم متوقف لهذا الإصدار. للاستعداد لعمليات توقف الدعم القادمة، راجع التغييرات القادمة.

تغييرات السلوك

لم يتغير سلوك هذا الإصدار. للاستعداد للتغييرات السلوكية القادمة، راجع التغييرات القادمة.

التغييرات القادمة

التغييرات التالية ستحدث في الإصدارات القادمة.

تطبيق بروتوكول أمان طبقة النقل (TLS) 1.2

بروتوكول أمان طبقة النقل (TLS)طبقة مآخذ توصيل الآمنة (SSL) هما بروتوكولان تشفير يوفران أمان الاتصال عبر شبكة الكمبيوتر. لمزيد من المعلومات، راجع بروتوكول أمان طبقة النقل. بينما تقبل مجموعات Azure HDInsight اتصالات TLS 1.2 على نقاط نهاية HTTPS العامة، لا يزال TLS 1.1 مدعومًا للتوافق مع الإصدارات السابقة مع العملاء الأقدم.

بدءًا من الإصدار التالي، ستتمكن من الاشتراك وتكوين أنظمة المجموعات HDInsight الجديدة لقبول اتصالات TLS 1.2 فحسب.

في وقت لاحق من العام، بدءًا من 6/30/2020، سيقوم Azure HDInsight بفرض TLS 1.2 أو الإصدارات الأحدث لجميع اتصالات HTTPS. نوصيك بالتأكد من أن جميع عملائك جاهزون للتعامل مع TLS 1.2 أو الإصدارات الأحدث.

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

يستخدم HDInsight الآن أجهزة Azure الظاهرية لتوفير مجموعة الأنظمة. بدءًا من فبراير 2020 (سيتم الإعلان عن التاريخ الدقيق لاحقًا)، ستستخدم HDInsight مجموعات تحجيم جهاز Azure الظاهري بدلاً من ذلك. تعرف على المزيد حول مجموعات تحجيم جهاز Azure الظاهري.

تغيير حجم عقدة نظام مجموعة ESP Spark

في الإصدار القادم:

يتم تغيير الحد الأدنى المسموح به لحجم عقدة الرأس لنظام مجموعة ESP Spark إلى Standard_D13_V2.
سيتم توقف دعم الأجهزة الظاهرية من السلسلة A لإنشاء نُظم مجموعات ESP جديدة، حيث يمكن أن تتسبب الأجهزة الظاهرية من السلسلة A في حدوث مشكلات في نظام مجموعة ESP بسبب انخفاض سعة CPU والذاكرة نسبيًا.

HBase 2.0 to 2.1

في إصدار HDInsight 4.0 القادم، ستتم ترقية إصدار HBase من الإصدار 2.0 إلى 2.1.

إصلاح الأخطاء

تواصل HDInsight تقديم تحسينات في موثوقية نظام المجموعة وأدائها.

تغيير إصدار المكون

لقد قمنا بتمديد فترة دعم HDInsight 3.6 حتى 31 ديسمبر 2020. يمكنك الاطلاع على مزيد من التفاصيل في إصدارات HDInsight المدعومة.

لم يتغير إصدار المكون لـ HDInsight 4.0.

Apache Zeppelin على HDInsight 3.6: 0.7.0-->0.7.3.

يمكنك الاطلاع على أحدث إصدارات المكونات من هذا المستند.

مناطق جديدة

شمال الإمارات العربية المتحدة

عناوين IP لإدارة الإمارات العربية المتحدة، الشمال هي: 65.52.252.96 و65.52.252.97.

تاريخ الإصدار: 11/07/2019

ينطبق هذا الإصدار على كل من HDInsight 3.6 و4.0.

الميزات الجديدة

HDInsight Identity Broker (HIB) (إصدار أولي)

يتيح HDInsight Identity Broker (HIB) للمستخدمين تسجيل الدخول إلى Apache Ambari باستخدام المصادقة متعددة العوامل (MFA) والحصول على تذاكر Kerberos المطلوبة دون الحاجة إلى تجزئة كلمة المرور في Azure خدمات مجال Active Directory (AAD-DS). يتوفر HIB حاليًا فقط لنُظم المجموعات التي تم توزيعها من خلال قالب Azure Resource Management (ARM).

وكيل واجهة برمجة تطبيقات REST Kafka (إصدار أولي)

يوفر وكيل واجهة برمجة تطبيقات REST Kafka نشرًا بنقرة واحدة لوكيل REST ذات قابلية الوصول العالية مع نظام مجموعة Kafka عبر تخويل Azure AD الآمن وبروتوكول OAuth.

تحجيم تلقائي

يتوفر الآن تحجيم تلقائي لـ Azure HDInsight بشكل عام عبر جميع المناطق لأنواع مجموعات Apache Spark وHadoop. تتيح هذه الميزة إدارة أحمال عمل تحليلات البيانات الضخمة بطريقة أكثر فعالية من حيث التكلفة والإنتاجية. يمكنك الآن تحسين استخدام مجموعات HDInsight والدفع مقابل ما تحتاج إليه فقط.

بناءً على متطلباتك، يمكنك الاختيار بين التحجيم التلقائي القائم على الحمل والجدول الزمني. يمكن للتحجيم التلقائي المستند إلى الحمل توسيع حجم نظام المجموعة لأعلى ولأسفل بناءً على احتياجات الموارد الحالية بينما يمكن للتحجيم التلقائي المستند إلى الجدول الزمني تغيير حجم نظام المجموعة بناءً على جدول محدد مسبقًا.

يعد دعم التحجيم التلقائي لحمل عمل HBase وLLAP معاينة عامة أيضًا. للحصول على مزيدٍ من المعلومات، راجع توسيع نطاق أنظمة مجموعات Azure HDInsight تلقائياً .

عمليات الكتابة المسرّعة الخاصة بـ HDInsight لـ Apache HBase

Accelerated Writes يستخدم الأقراص المدارة من Azure Premium المزودة بذاكرة مصنوعة من مكونات صلبة لتحسين أداء Apache HBase Write Ahead Log (WAL). لمزيد من المعلومات، راجع الكتابات المسرّعة الخاصة بـAzure HDInsight بالنسبة لـ Apache HBase .

Ambari DB مخصص

تقدم HDInsight الآن قدرة جديدة لتمكين العملاء من استخدام قاعدة بيانات SQL الخاصة بهم لـ Ambari. الآن يمكن للعملاء اختيار قاعدة بيانات SQL المناسبة لـ Ambari وترقيته بسهولة بناءً على متطلبات نمو أعمالهم الخاصة. يتم إجراء التوزيع باستخدام قالب Azure Resource Manager. لمزيد من المعلومات، راجع إعداد نُظم مجموعات HDInsight باستخدام قاعدة بيانات Ambari المخصصة.

الأجهزة الظاهرية من سلسلة F متاحة الآن مع HDInsight

تعد الأجهزة الظاهرية من سلسلة F (VMs) خيارًا جيدًا لبدء استخدام HDInsight مع متطلبات معالجة الضوء. بسعر أقل في الساعة، فإن الفئة F هي أفضل قيمة للأداء السعري في محفظة Azure استنادًا إلى وحدة الحساب Azure (ACU) لكل وحدة معالج CPU ظاهري. لمزيد من المعلومات، راجع تحجيم الجهاز الظاهري المناسب لمجموعة Azure HDInsight .

الإهمال

توقف دعم الجهاز الظاهري من سلسلة G

من هذا الإصدار، لم تعد الأجهزة الظاهرية من سلسلة G متوفرة في HDInsight.

`Dv1` إهمال الجهاز الظاهري

من هذا الإصدار، يتم إهمال استخدام الأجهزة الظاهرية Dv1 مع HDInsight. سيتم تقديم Dv2 أي طلب عميل له Dv1 تلقائيا. لا يوجد فرق في السعر بين Dv1 الأجهزة الظاهرية والأجهزة الظاهرية Dv2 .

تغييرات السلوك

تغيير حجم وحدة تخزين نظام المجموعة المُدارة

يوفر HDInsight مساحة قرص مُدارة مع نظام المجموعة. من هذا الإصدار، يتم تغيير حجم القرص المُدار لكل عقدة في نظام المجموعة الجديدة التي تم إنشاؤها إلى 128 جيجابايت.

التغييرات القادمة

التغييرات التالية ستحدث في الإصدارات القادمة.

الانتقال إلى مجموعات مقياس جهاز Azure الظاهري

يستخدم HDInsight الآن أجهزة Azure الظاهرية لتوفير مجموعة الأنظمة. بدءًا من ديسمبر، ستستخدم HDInsight مجموعات تحجيم جهاز Azure الظاهري بدلاً من ذلك. تعرف على المزيد حول مجموعات تحجيم جهاز Azure الظاهري.

HBase 2.0 to 2.1

في إصدار HDInsight 4.0 القادم، ستتم ترقية إصدار HBase من الإصدار 2.0 إلى 2.1.

توقف دعم الجهاز الظاهري من السلسلة A لنظام مجموعة ESP

قد تتسبب الأجهزة الظاهرية من السلسلة A في حدوث مشكلات في مجموعة ESP بسبب انخفاض سعة CPU والذاكرة نسبيًا. في الإصدار القادم ، سيتم توقف دعم أجهزة الظاهرية من السلسلة A لإنشاء نُظم مجموعات ESP جديدة.

إصلاح الأخطاء

تواصل HDInsight تقديم تحسينات في موثوقية نظام المجموعة وأدائها.

تغيير إصدار المكون

لا يوجد تغيير في إصدار المكون لهذا الإصدار. يمكنك الاطلاع على إصدارات المكونات الحالية لـ HDInsight 4.0 وHDInsight 3.6 هنا.

تاريخ الإصدار: 08/07/2019

إصدارات المكون

فيما يلي إصدارات Apache الرسمية لجميع مكونات HDInsight 4.0. المكونات المدرجة هي إصدارات من أحدث الإصدارات الثابتة المتوفرة.

Apache Ambari 2.7.1
Apache Hadoop 3.1.1
Apache HBase 2.0.0
Apache Hive 3.1.0
Apache Kafka 1.1.1, 2.1.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.3.1, 2.4.0
Apache Sqoop 1.4.7
Apache TEZ 0.9.1
Apache Zeppelin 0.8.0
Apache ZooKeeper 3.4.6

يتم أحيانًا تجميع الإصدارات اللاحقة من مكونات Apache في توزيع HDP بالإضافة إلى الإصدارات المذكورة أعلاه. في هذه الحالة، يتم إدراج هذه الإصدارات الأحدث في جدول المعاينات الفنية ولا ينبغي أن تحل محل إصدارات مكونات Apache من القائمة أعلاه في بيئة الإنتاج.

معلومات تصحيح Apache

لمزيد من المعلومات حول التصحيحات المتوفرة في HDInsight 4.0، راجع قائمة التصحيح لكل منتج في الجدول أدناه.

اسم المنتج	تصحيح المعلومات
Ambari	معلومات تصحيح Ambari
Hadoop	معلومات تصحيح Hadoop
HBase	معلومات تصحيح HBase
Hive	يوفر هذا الإصدار Hive 3.1.0 دون تصحيحات Apache إضافية.
Kafka	يوفر هذا الإصدار Kafka 1.1.1 دون تصحيحات Apache إضافية.
Oozie	معلومات تصحيح Oozie
Phoenix	معلومات تصحيح Phoenix
Apache Pig	معلومات تصحيح Pig
Ranger	معلومات تصحيح Ranger
Spark	معلومات تصحيح Spark
Sqoop	يوفر هذا الإصدار Sqoop 1.4.7 دون تصحيحات Apache إضافية.
Tez	يوفر هذا الإصدار Tez 0.9.1 دون تصحيحات Apache إضافية.
Zeppelin	يوفر هذا الإصدار Zeppelin 0.8.0 دون تصحيحات Apache إضافية.
Zookeeper	معلومات تصحيح Zookeeper

إصلاح الثغرات الأمنية والتعرضات المشتركة

لمزيد من المعلومات حول مشكلات الأمان التي تم حلها في هذا الإصدار، راجع نقاط إصلاح الثغرات الأمنية والتعرضات المشتركة لـ HDP 3.0.1 .

المشكلات المعروفة

النسخ المتماثل معطل لـ Secure HBase مع التثبيت الافتراضي

بالنسبة لبرنامج HDInsight 4.0، نفّذ الخطوات التالية:

تمكين الاتصال بين نُظم المجموعات.
تسجيل الدخول إلى العقدة الرئيسية النشطة.
قم بتنزيل برنامج نصي لتمكين النسخ المتماثل باستخدام الأمر التالي:
```
sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
```
اكتب الأمر sudo kinit <domainuser>.

اكتب الأمر التالي لتشغيل البرنامج النصي:

sudo bash hdi_enable_replication.sh -m <hn*> -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

لـ HDInsight 3.6

تسجيل الدخول إلى HMaster ZK النشط.
قم بتنزيل برنامج نصي لتمكين النسخ المتماثل باستخدام الأمر التالي:
```
sudo wget https://raw.githubusercontent.com/Azure/hbase-utils/master/replication/hdi_enable_replication.sh
```
اكتب الأمر sudo kinit -k -t /etc/security/keytabs/hbase.service.keytab hbase/<FQDN>@<DOMAIN>.

استخدمْ الأمر التالي:

sudo bash hdi_enable_replication.sh -s <srclusterdns> -d <dstclusterdns> -sp <srcclusterpasswd> -dp <dstclusterpasswd> -copydata

توقف Phoenix Sqlline عن العمل بعد ترحيل HBase الكتلة إلى HDInsight 4.0

قم بالخطوات التالية:

إسقاط جداول Phoenix التالية:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.MUTEX
5. SYSTEM.CATALOG
إذا لم تتمكن من حذف أي من الجداول، فأعد تشغيل HBase لمسح أي اتصالات بالجداول.
شغّل sqlline.py مرة أخرى. سيعيد Phoenix إنشاء جميع الجداول التي تم حذفها في الخطوة 1.
أعد إنشاء جداول وطرق عرض Phoenix لبيانات HBase.

توقف Phoenix Sqlline عن العمل بعد نسخ بيانات تعريف HBase Phoenix من HDInsight 3.6 إلى 4.0

قم بالخطوات التالية:

قبل إجراء النسخ المتماثل، انتقل إلى وجهة نظام مجموعة 4.0 وقم بتنفيذ sqlline.py. سيؤدي هذا الأمر إلى إنشاء جداول Phoenix مثل SYSTEM.MUTEX وSYSTEM.LOG الموجودة فقط في الإصدار 4.0.
إسقاط الجداول التالية:
1. SYSTEM.FUNCTION
2. SYSTEM.SEQUENCE
3. SYSTEM.STATS
4. SYSTEM.CATALOG
بدء النسخ المتماثل لـ HBase

الإهمال

لا تتوفر Apache Storm وخدمات التعلم الآلي من Microsoft Azure في HDInsight 4.0.

تاريخ الإصدار: 04/14/2019

الميزات الجديدة

تندرج التحديثات والإمكانيات الجديدة في الفئات التالية:

تحديث Hadoop ومشاريع أخرى مفتوحة المصدر_ – بالإضافة إلى أكثر من 1000 إصلاح للأخطاء عبر أكثر من 20 مشروعًا مفتوح المصدر، يحتوي هذا التحديث على إصدار جديد من Spark (2.3)*وKafka (1.0).

أ. الميزات الجديدة في Apache Spark 2.3

ب. الميزات الجديدة في Apache Kafka 1.0
تحديث R Server 9.1 إلى ML Services 9.3 التعلم الآلي - مع هذا الإصدار، نوفر لعلماء ومهندسي البيانات أفضل المصادر مفتوحة المصدر معززة بالابتكارات الخوارزمية وسهولة التشغيل، وكل ذلك متاح بلغتهم المفضلة باستخدام سرعة Apache Spark. يوسع هذا الإصدار من القدرات المتوفرة في R Server مع دعم إضافي لـ Python، ما يؤدي إلى تغيير اسم المجموعة من R Server إلى ML Services.
دعم Azure Data Lake Storage Gen2 - ستدعم HDInsight إصدار أولي معاينة من Azure Data Lake Storage Gen2. في المناطق المتاحة، سيتمكن العملاء من اختيار حساب ADLS Gen2 كمتجر أساسي أو ثانوي لمجموعات HDInsight لديهم.
تحديثات حزمة أمان المؤسسة HDInsight (معاينة) – (معاينة) دعم نقاط نهاية خدمة الشبكة الظاهرية ل Azure Blob Storage وADS Gen1 وAzure Cosmos DB وAzure DB.

إصدارات المكون

يتم إدراج إصدارات Apache الرسمية لجميع مكونات HDInsight 3.6 أدناه. جميع المكونات المدرجة هنا هي إصدارات Apache الرسمية لأحدث الإصدارات الثابتة المتاحة.

Apache Hadoop 2.7.3
Apache HBase 1.1.2
Apache Hive 1.2.1
Apache Hive 2.1.0
Apache Kafka 1.0.0
Apache Mahout 0.9.0+
Apache Oozie 4.2.0
Apache Phoenix 4.7.0
Apache Pig 0.16.0
Apache Ranger 0.7.0
Apache Slider 0.92.0
Apache Spark 2.2.0/2.3.0
Apache Sqoop 1.4.6
Apache Storm 1.1.0
Apache TEZ 0.7.0
Apache Zeppelin 0.7.3
Apache ZooKeeper 3.4.6

يتم أحيانًا تجميع الإصدارات اللاحقة من بعض مكونات Apache في توزيع HDP بالإضافة إلى الإصدارات المذكورة أعلاه. في هذه الحالة، يتم إدراج هذه الإصدارات الأحدث في جدول المعاينات الفنية ولا ينبغي أن تحل محل إصدارات مكونات Apache من القائمة أعلاه في بيئة الإنتاج.

معلومات تصحيح Apache

Hadoop

يوفر هذا الإصدار Hadoop Common 2.7.3 وتصحيحات Apache التالية:

HADOOP-13190: اذكر LoadBalancingKMSClientProvider في وثائق KMS HA.
HADOOP-13227: يجب أن يستخدم AsyncCallHandler بنية مدفوعة بالأحداث للتعامل مع الاستدعاءات غير المتزامنة.
HADOOP-14104: يجب أن يطلب العميل دائمًا اسم Nameenode لمسار موفر kms.
HADOOP-14799: حدّث nimbus-jose-jwt إلى 4.41.1.
HADOOP-14814: إصلاح تغيير واجهة برمجة التطبيقات غير المتوافقة في FsServerDefaults إلى HADOOP-14104.
HADOOP-14903: أضف json-smart بشكل صريح إلى pom.xml.
HADOOP-15042: يمكن لـ PageBlobInputStream.skip() إرجاع قيمة سالبة عندما يكون numberOfPages المتبقية 0.
HADOOP-15255: دعم تحويل الأحرف الكبيرة / الصغيرة لأسماء المجموعات في LdapGroupsMapping.
HADOOP-15265: استبعد json-smart صراحةً من hadoop-auth pom.xml.
HDFS-7922: ShortCircuitCache لا يتم تحرير ScheduledThreadPoolExecutors.
HDFS-8496: قد يؤدي استدعاء stopWriter() مع قفل FSDatasetImpl الذي تم الاحتفاظ به إلى حظر مؤشرات الترابط الأخرى (cmccabe).
HDFS-10267: "مزامنة" إضافية على FsDatasetImpl#recoverAppend وFsDatasetImpl#recoverClose.
HDFS-10489: قم بإيقاف dfs.encryption.key.provider.uri لمناطق تشفير HDFS.
HDFS-11384: إضافة خيار الموازن لقطع استدعاءات getBlocks لتجنب إدراج rpc.CallQueueLength الخاص بـ NameNode.
HDFS-11689: استثناء جديد تم طرحه بواسطة DFSClient%isHDFSEncryptionEnabled التعليمات البرمجية للخلية المحطمة hacky .
HDFS-11711: يجب ألا يحذف DN الكتلة في استثناء "عدد كبير جدا من الملفات المفتوحة".
HDFS-12347: فشل TestBalancerRPCDelay#testBalancerRPCDelay كثيرًا.
HDFS-12781: بعد Datanode التعطل، تقوم علامة التبويب في Namenode واجهة المستخدم Datanode بطرح رسالة تحذير.
HDFS-13054: معالجة PathIsNotEmptyDirectoryException في DFSClient استدعاء الحذف.
HDFS-13120: قد تتلف مقارنة لقطة بعد سلسلة.
YARN-3742: سيتم إيقاف تشغيل YARN RM إذا ZKClient انتهت مهلة الإنشاء.
YARN-6061: قم بإضافة UncaughtExceptionHandler لمؤشرات الترابط الهامة في RM.
YARN-7558: يتعذّر أمر سجلات yarn في الحصول على سجلات للحاويات قيد التشغيل عند تمكين مصادقة واجهة المستخدم.
YARN-7697: تعذّر جلب السجلات للتطبيق المنتهي على الرغم من اكتمال تجميع السجلات.

باستخدام HDP-2.6.4، تم تزويد Hadoop Common 2.7.3 مع تصحيحات Apache التالية:

HADOOP-13700: إزالة غير عابث IOException من سلة المهملات#تهيئة التواقيع #getInstance.
HADOOP-13709: القدرة على تنظيف العمليات الفرعية التي أنتجتها Shell عند انتهاء العملية.
HADOOP-14059: خطأ مطبعي في s3a رسالة الخطأ rename(self, subdir).
HADOOP-14542: أضف IOUtils.cleanupWithLogger الذي يقبل slf4j logger API.
HDFS-9887: يجب أن تكون مهلات مأخذ WebHdfs قابلة للتكوين.
HDFS-9914: إصلاح مهلات اتصال / قراءة WebhDFS القابلة للتكوين.
MAPREDUCE-6698: زيادة المهلات علىTestUnnecessaryBlockingOnHist oryFileInfo.testTwoThreadsQueryingDifferentJobOfSameUser.
YARN-4550: تفشل بعض الاختبارات في TestContainerLanch في بيئة محلية لا تدعم اللغة الإنجليزية.
YARN-4717: TestResourceLocalizationService.testPublicResourceInitializesLocalDir يفشل بشكل متقطع بسبب IllegalArgumentException من التنظيف.
YARN-5042: Mount /sys/fs/cgroup في حاويات Docker كتثبيت للقراءة فقط.
YARN-5318: إصلاح فشل الاختبار المتقطع لـ TestRMAdminService#te stRefreshNodesResourceWithFileSystemBasedConfigurationProvider.
YARN-5641: يترك المترجم خلفه tarballs بعد اكتمال الحاوية.
YARN-6004: إعادة بناء التعليمات البرمجية TestResourceLocalizationService#testDownloadingResourcesOnContainer بحيث يكون أقل من 150 سطرا.
YARN-6078: الحاويات عالقة في حالة الترجمة.
YARN-6805: NPE في LinuxContainerExecutor بسبب التعليمة البرمجية للخروج PrivilegedOperationException الفارغ.

HBase

يوفر هذا الإصدار HBase 1.1.2 وتصحيحات Apache التالية.

HBASE-13376: تحسينات على موازن التحميل العشوائي.
HBASE-13716: توقف عن استخدام FSConstants الخاصة بـ Hadoop.
HBASE-13848: الوصول إلى كلمات مرور InfoServer SSL من خلال واجهة برمجة التطبيقات الخاصة بموفر بيانات الاعتماد.
HBASE-13947: استخدم MasterServices بدلاً من Server في AssignmentManager.
HBASE-14135: المرحلة 3 للنسخ الاحتياطي / لاستعادة HBase: دمج النسخ الاحتياطية.
HBASE-14473: حساب المنطقة المحلية بالتوازي.
HBASE-14517: إظهار regionserver's الإصدار في صفحة الحالة الرئيسية.
HBASE-14606: انتهت مهلة اختبارات TestSecureLoadIncrementalHFiles في إنشاء صندوق البريد على apache.
HBASE-15210: التراجع عن تسجيل موازن حمل القوي بعشرات الأسطر لكل مللي ثانية.
HBASE-15515: تحسين LocalityBasedCandidateGenerator في الموازن.
HBASE-15615: وقت نوم خاطئ عند RegionServerCallable الحاجة إلى إعادة المحاولة.
HBASE-16135: قد لا يتم حذف PeerClusterZnode ضمن rs من النظير الذي تمت إزالته أبدا.
HBASE-16570: حساب المنطقة المحلية بالتوازي عند بدء التشغيل.
HBASE-16810: HBase Balancer يلقي ArrayIndexOutOfBoundsException عندما regionservers تكون في /hbase/draining znode وغير محملة.
HBASE-16852: فشل TestDefaultCompactSelection على الفرع 1.3.
HBASE-17387: تم تخفيض النفقات العامة لتقرير الاستثناء في RegionActionResult لـ multi().
HBASE-17850: أداة إصلاح نظام النسخ الاحتياطي.
HBASE-17931: تعيين جداول النظام للخوادم ذات الإصدار الأحدث.
HBASE-18083: جعل رقم مؤشر الترابط النظيف للملفات الكبيرة / الصغيرة قابلاً للتكوين في HFileCleaner.
HBASE-18084: تحسين CleanerChore للتنظيف من الدليل الذي يستهلك مساحة أكبر على القرص.
HBASE-18164: دالة تكلفة أسرع بشكل ملحوظ ومُنشئ مرشح للموقع.
HBASE-18212: في الوضع المستقل مع نظام الملفات المحلي، رسالة تحذير سجلات HBase: فشل في استدعاء أسلوب 'unsuffer' في فئة org.apache.hadoop.fs.FSDataInputStream.
HBASE-18808:التحقق من التكوين غير الفعال في BackupLogCleaner#getDeletableFiles().
HBASE-19052: يجب أن يتعرف FixedFileTrailer على فئة CellComparatorImpl في الفرع -1.
HBASE-19065:يجب أن تنتظر HRegion#bulkLoadHFiles () حتى تكتمل المنطقة Region#flush().
HBASE-19285: إضافة مدرج تكراري لوقت الاستجابة لكل جدول.
HBASE-19393: HTTP 413 FULL HEAD عند الوصول إلى واجهة مستخدم HBase باستخدام SSL.
HBASE-19395: [branch-1] يفشل TestEndToEndSplitTransaction.testMasterOpsWhileSplitting مع NPE.
HBASE-19421: لم يتم تجميع branch-1 على Hadoop 3.0.0.
HBASE-19934: HBaseSnapshotException عند تمكين قراءة النسخ المتماثلة وأخذ نسخة مماثلة عبر الإنترنت بعد تقسيم المنطقة.
HBASE-20008: [backport] NullPointerException عند استعادة نسخة مطابقة بعد تقسيم المنطقة.

Hive

يوفر هذا الإصدار Hive 1.2.1 وHive 2.1.0 بالإضافة إلى التصحيحات التالية:

إصلاحات Hive 1.2.1 Apache:

HIVE-10697: يقوم بإجراء تحويل ObjectInspectorConvertors#UnionConvertor غير صحيح.
HIVE-11266: ينتج count(*) نتيجة غير صحيحة بناءً على إحصائيات الجدول للجداول الخارجية.
HIVE-12245: دعم تعليقات العمود لجدول HBase المدعوم.
HIVE-12315: تقسيم مزدوج لمتجه ثابت بمقدار 0.
HIVE-12360: البحث غير صحيح في ORC غير مضغوط مع الانتقال للأدنى لدالة التقييم.
HIVE-12378: استثناء في HBaseSerDe.serialize الحقل الثنائي.
HIVE-12785: العرض بنوع الاتحاد وUDF لتحويل البينة يكون غير صحيح.
HIVE-14013: لا يعرض جدول الوصف Unicode بشكل صحيح.
HIVE-14205: لا يدعم Hive نوع الاتحاد بتنسيق ملف AVRO.
HIVE-14421: FS.deleteOnExit يحتوي على مراجع لملفات to _tmp_space.db.
HIVE-15563: تجاهل استثناء انتقال حالة العملية غير القانونية في SQLOperation.runQuery لتوفير استثناء فعلي.
HIVE-15680: يمكن أن يؤدي hive.optimize.index.filter=true إلى نتائج غير صحيحة ونفس جدول ORC تمت الإشارة إليه مرتين في الاستعلام.
HIVE-15883: فشل جدول HBase المعين في إدراج Hive للأعمدة العشرية.
HIVE-16232: دعم حساب الإحصائيات للأعمدة بتنسيق QuotedIdentifier.
HIVE-16828: عندما يتم تمكين CBO، فإن الاستعلامات مقابل طرق العرض المقسمة ستطرح IndexOutOfBoundException.
HIVE-17013: حذف الطلب باستخدام استعلام فرعي يعتمد على التحديد عبر طريقة العرض.
HIVE-17063: يفشل إدراج "الكتابة فوق القسم" في جدول خارجي إذا تم لصق "قسم القطع" أولاً.
HIVE-17259: Hive JDBC لا يتعرف على أعمدة UNIONTYPE.
HIVE-17419: يعرض الأمر "ANALYZE TABLE ... COMPUTE STATISTICS FOR COLUMNS" بيانات إحصائية محسوبة للجداول المقنّعة.
HIVE-17530: ClassCastException عند تحويل uniontype.
HIVE-17621: يتم إيقاف إعدادات موقع Hive أثناء حساب تقسيم HCatInputFormat.
HIVE-17636: إضافة اختبار multiple_agg.q ل blobstores.
HIVE-17729: تمت إضافة اختبارات مخزن البيانات الثنائية الكبيرة المتعلقة بـ Database وExplain.
HIVE-17731: إضافة خيار للخلف compat للمستخدمين الخارجيين إلى HIVE-11985.
HIVE-17803: إذا كانت نصوص Pig النصية تستخدم استعلامات متعددة، فإن 2 HCatStorers تكتب إلى نفس الجدول، ما يعني أنه تمت الكتابة فوق المخرجات.
HIVE-17829: ArrayIndexOutOfBoundsException - الجداول المدعومة من HBASE مع مخطط Avro في Hive2.
HIVE-17845: يفشل الإدخال إذا لم تكن الأعمدة في الجدول الهدف ذات أحرف صغيرة.
HIVE-17900:تحليل البيانات الإحصائية الواردة على الأعمدة التي تم تشغيلها من خلال Compactor، ما يؤدي إلى إنشاء SQL بتنسيق غير صحيح مع عمود القسم 1 >.
HIVE-18026: تحسين التكوين الأساسي لـ Hive webhcat.
HIVE-18031: دعم النسخ المتماثل لعملية تعديل قاعدة البيانات.
HIVE-18090: فشل ACID Heartbeat عند توصيل Metastore باستخدام بيانات اعتماد Hadoop.
HIVE-18189: يعرض استعلام Hive نتائج خاطئة عند تعيين hive.groupby.orderby.position.alias على TRUE.
HIVE-18258: التوجيه: GROUP BY MERGEPARTIAL غير صحيحة مع الأعمدة المكررة.
HIVE-18293: فشل Hive في ضغط الجداول الموجودة داخل مجلد غير مملوك لهوية تقوم بتشغيل HiveMetaStore.
HIVE-18327: إزالة تبعية HiveConf غير الضرورية لـ MiniHiveKdc.
HIVE-18341: إضافة دعم مساحة الاسم الأولية لـ TDE بنفس مفاتيح التشفير إلى الأمر repl load.
HIVE-18352: تقديم خيار METADATAONLY أثناء إجراء REPL DUMP للسماح بتكامل الأدوات الأخرى.
HIVE-18353: يجب على CompactorMR استدعاء jobclient.close() لبدء عملية التنظيف.
HIVE-18390: IndexOutOfBoundsException عند الاستعلام عن طريقة عرض مقسمة في ColumnPruner.
HIVE-18429: يجب أن يتعامل الضغط مع الحالة عندما لا ينتج عنه أي ناتج.
HIVE-18447: JDBC: توفر طريقة لمستخدمي JDBC لتمرير معلومات ملف تعريف الارتباط عبر سلسلة الاتصال.
HIVE-18460: لا يقوم برنامج الضغط بتمرير خصائص الجدول إلى كاتب ORC.
HIVE-18467: دعم النسخ الاحتياطي / التحميل الكامل للمستودع وإنشاء / حذف أحداث قاعدة البيانات. (Anishek Agarwal، راجعه Sankar Hariappan).
HIVE-18551: التوجيه: يحاول VectorMapOperator كتابة عدد كبير جداً من أعمدة المتجهات لـ Hybrid Grace.
HIVE-18587: قد يحاول إدراج حدث DML حساب المجموع الاختباري على الدلائل.
HIVE-18613: توسيع JsonSerDe لدعم النوع BINARY.
HIVE-18626: لا تؤدي عبارة Repl load "with" إلى تمرير التكوين إلى المهام.
HIVE-18660: لا يميز PCR بين الأقسام والأعمدة الظاهرية.
HIVE-18754: يجب أن تدعم REPL STATUS عبارة "with".
HIVE-18754: يجب أن تدعم REPL STATUS عبارة "with".
HIVE-18788: تنظيف المدخلات في JDBC PreparedStatement.
HIVE-18794: لا تؤدي عبارة Repl load "with" إلى تمرير التكوين إلى مهام للجداول غير المقسمة.
HIVE-18808: جعل الضغط أكثر قوة عند فشل تحديث البيانات الإحصائية.
HIVE-18817: استثناء ArrayIndexOutOfBounds أثناء قراءة جدول ACID.
HIVE-18833: فشل الدمج التلقائي عند "الإدراج في الدليل كـ orcfile".
HIVE-18879: يجب أن تعمل عملية منع العنصر المضمن في UDFXPathUtil إذا كان "xercesImpl.jar" على مسار الفئة.
HIVE-18907: إنشاء أداة لإصلاح مشكلة مؤشر مفتاح acid الخاص بـ HIVE-18817.

إصلاحات Hive 2.1.0 Apache:

HIVE-14013: لا يعرض جدول الوصف Unicode بشكل صحيح.
HIVE-14205: لا يدعم Hive نوع الاتحاد بتنسيق ملف AVRO.
HIVE-15563: تجاهل استثناء انتقال حالة العملية غير القانونية في SQLOperation.runQuery لتوفير استثناء فعلي.
HIVE-15680: يمكن أن يؤدي hive.optimize.index.filter=true إلى نتائج غير صحيحة ونفس جدول ORC تمت الإشارة إليه مرتين في الاستعلام.
HIVE-15883: فشل جدول HBase المعين في إدراج Hive للأعمدة العشرية.
HIVE-16757: إزالة الاستدعاءات القديمة إلى AbstractRelNode.getRows.
HIVE-16828: عندما يتم تمكين CBO، فإن الاستعلامات مقابل طرق العرض المقسمة ستطرح IndexOutOfBoundException.
HIVE-17063: يفشل إدراج "الكتابة فوق القسم" في جدول خارجي إذا تم لصق "قسم القطع" أولاً.
HIVE-17259: Hive JDBC لا يتعرف على أعمدة UNIONTYPE.
HIVE-17530: ClassCastException عند تحويل uniontype.
HIVE-17600: جعل OrcFile's "EnforceBufferSize" قابلة للتعيين من خلال المستخدم.
HIVE-17601: تحسين معالجة الأخطاء في LlapServiceDriver.
HIVE-17613: إزالة تجمعات العناصر لعمليات التخصيص القصيرة ذات نفس مؤشر الترابط.
HIVE-17617: يجب أن يحتوي تجميع مجموعة النتائج الفارغة على تجميع مجموعة التجميع الفارغة.
HIVE-17621: يتم إيقاف إعدادات موقع Hive أثناء حساب تقسيم HCatInputFormat.
HIVE-17629: CachedStore: لديك تكوين معتمد/غير معتمد للسماح بالتخزين المؤقت الانتقائي للجداول/الأقسام والسماح بالقراءة أثناء الإعداد المسبق.
HIVE-17636: إضافة اختبار multiple_agg.q ل blobstores.
HIVE-17702: معالجة غير صحيحة لـ isRepeating في القارئ العشري في ORC.
HIVE-17729: تمت إضافة اختبارات مخزن البيانات الثنائية الكبيرة المتعلقة بـ Database وExplain.
HIVE-17731: إضافة خيار للخلف compat للمستخدمين الخارجيين إلى HIVE-11985.
HIVE-17803: إذا كانت نصوص Pig النصية تستخدم استعلامات متعددة، فإن 2 HCatStorers تكتب إلى نفس الجدول، ما يعني أنه تمت الكتابة فوق المخرجات.
HIVE-17845: يفشل الإدخال إذا لم تكن الأعمدة في الجدول الهدف ذات أحرف صغيرة.
HIVE-17900:تحليل البيانات الإحصائية الواردة على الأعمدة التي تم تشغيلها من خلال Compactor، ما يؤدي إلى إنشاء SQL بتنسيق غير صحيح مع عمود القسم 1 >.
HIVE-18006: تحسين بصمة ذاكرة HLLDenseRegister.
HIVE-18026: تحسين التكوين الأساسي لـ Hive webhcat.
HIVE-18031: دعم النسخ المتماثل لعملية تعديل قاعدة البيانات.
HIVE-18090: فشل ACID Heartbeat عند توصيل Metastore باستخدام بيانات اعتماد Hadoop.
HIVE-18189: الترتيب حسب الموضع لا يعمل عند cbo تعطيله.
HIVE-18258: التوجيه: GROUP BY MERGEPARTIAL غير صحيحة مع الأعمدة المكررة.
HIVE-18269: LLAP: يمكن أن يؤدي Io السريع llap مع البنية الأساسية لبرنامج ربط العمليات التجارية للمعالجة البطيئة إلى OOM.
HIVE-18293: فشل Hive في ضغط الجداول الموجودة داخل مجلد غير مملوك لهوية تقوم بتشغيل HiveMetaStore.
HIVE-18318: يجب أن يتحقق قارئ سجل LLAP من المقاطعة حتى في حالة عدم الحظر.
HIVE-18326: LLAP Tez Scheduler: يجب استبعاد المهام فقط في حالة وجود تبعية بينها.
HIVE-18327: إزالة تبعية HiveConf غير الضرورية لـ MiniHiveKdc.
HIVE-18331: إضافة إعادة تسجيل الدخول بعد انتهاء صلاحية TGT وتسجيل/Lambda.
HIVE-18341: إضافة دعم مساحة الاسم الأولية لـ TDE بنفس مفاتيح التشفير إلى الأمر repl load.
HIVE-18352: تقديم خيار METADATAONLY أثناء إجراء REPL DUMP للسماح بتكامل الأدوات الأخرى.
HIVE-18353: يجب على CompactorMR استدعاء jobclient.close() لبدء عملية التنظيف.
HIVE-18384: ConcurrentModificationException في log4j2.x المكتبة.
HIVE-18390: IndexOutOfBoundsException عند الاستعلام عن طريقة عرض مقسمة في ColumnPruner.
HIVE-18447: JDBC: توفر طريقة لمستخدمي JDBC لتمرير معلومات ملف تعريف الارتباط عبر سلسلة الاتصال.
HIVE-18460: لا يقوم برنامج الضغط بتمرير خصائص الجدول إلى كاتب ORC.
HIVE-18462: (يحتوي التنسيق EXPLAIN مع ربط المخطط على columnExprMap بأسماء أعمدة غير منسقة).
HIVE-18467: دعم النسخ الاحتياطي / التحميل الكامل للمستودع وإنشاء / حذف أحداث قاعدة البيانات.
HIVE-18488: يفتقد قراء LLAP ORC لبعض عمليات التحقق الفارغة.
HIVE-18490: يمكن أن يؤدي الاستعلام باستخدام EXISTS وNOT EXISTS مع المسند غير المتساوي إلى نتيجة خاطئة.
HIVE-18506: LlapBaseInputFormat - فهرس الصفيف السالب.
HIVE-18517: الخط المتجه: إصلاح VectorMapOperator لقبول VRBs والتحقق بشكل صحيح من العلامات الموجهة لدعم التخزين المؤقت LLAP.
HIVE-18523: تصحيح سجل الملخص في الحالات التي لا يوجد فيها إدخال.
HIVE-18528: الإحصائيات الإجمالية في ObjectStore تحصل على نتيجة خاطئة.
HIVE-18530: يجب أن يتخطى النسخ المتماثل جدول MM (حاليًا).
HIVE-18548: إصلاح log4j الاستيراد.
HIVE-18551: التوجيه: يحاول VectorMapOperator كتابة عدد كبير جداً من أعمدة المتجهات لـ Hybrid Grace.
HIVE-18577: يحتوي SemanticAnalyzer.validate على بعض استدعاءات metastore عديم الأهمية.
HIVE-18587: قد يحاول إدراج حدث DML حساب المجموع الاختباري على الدلائل.
HIVE-18597: LLAP: قم دائما بحزم جرة log4j2 API ل org.apache.log4j.
HIVE-18613: توسيع JsonSerDe لدعم النوع BINARY.
HIVE-18626: لا تؤدي عبارة Repl load "with" إلى تمرير التكوين إلى المهام.
HIVE-18643: لا تحقق من وجود أقسام مؤرشفة لعمليات ACID.
HIVE-18660: لا يميز PCR بين الأقسام والأعمدة الظاهرية.
HIVE-18754: يجب أن تدعم REPL STATUS عبارة "with".
HIVE-18788: تنظيف المدخلات في JDBC PreparedStatement.
HIVE-18794: لا تؤدي عبارة Repl load "with" إلى تمرير التكوين إلى مهام للجداول غير المقسمة.
HIVE-18808: جعل الضغط أكثر قوة عند فشل تحديث البيانات الإحصائية.
HIVE-18815: إزالة الميزة غير المستخدمة في HPL / SQL.
HIVE-18817: استثناء ArrayIndexOutOfBounds أثناء قراءة جدول ACID.
HIVE-18833: فشل الدمج التلقائي عند "الإدراج في الدليل كـ orcfile".
HIVE-18879: يجب أن تعمل عملية منع العنصر المضمن في UDFXPathUtil إذا كان "xercesImpl.jar" على مسار الفئة.
HIVE-18944: ضبط موضع مجموعات التجميع بشكل غير صحيح أثناء DPP.

Kafka

يوفر هذا الإصدار Kafka 1.0.0 وتصحيحات Apache التالية.

KAFKA-4827: توصيل Kafka: خطأ في الأحرف الخاصة في اسم الموصل.
KAFKA-6118: خطأ مؤقت في kafka.api.SaslScramSslEndToEndAuthorizationTest.testTwoConsumersWithDifferentSaslCredentials.
KAFKA-6156: لا يمكن لـ JmxReporter معالجة مسارات دليل نمط Windows.
KAFKA-6164: سلاسل ClientQuotaManager تمنع إيقاف التشغيل عند مواجهة خطأ في تحميل السجلات.
KAFKA-6167: يحتوي الطابع الزمني في دليل التدفقات على نقطتين، وهي حرف غير قانوني.
KAFKA-6179: لا يقوم RecordQueue.clear() بمسح قائمة MinTimestampTracker المحفوظة.
KAFKA-6185: تسرب ذاكرة المحدد مع احتمالية عالية من OOM إذا كان هناك تحويل لأسفل.
KAFKA-6190: لا تنتهي GlobalKTable من الاستعادة أبدًا عند استخدام رسائل المعاملات.
KAFKA-6210: IllegalArgumentException إذا تم استخدام 1.0.0 لـ inter.broker.protocol.version أو log.message.format.version.
KAFKA-6214: يؤدي استخدام النسخ المتماثلة الاحتياطية مع مخزن في حالة الذاكرة إلى تعطل التدفقات.
KAFKA-6215: فشل KafkaStreamsTest في خط الاتصال المباشر.
KAFKA-6238: المشكلات المتعلقة بإصدار البروتوكول عند تطبيق ترقية متجددة إلى 1.0.0.
KAFKA-6260: لا يتعامل AbstractCoordinator استثناء NULL بشكل فريد.
KAFKA-6261: طلب تسجيل الدخول يطرح استثناء عندما acks=0.
KAFKA-6274: تحسين KTable أسماء مخزن حالة المصدر التي تم إنشاؤها تلقائيا.

Mahout

في HDP-2.3.x و2.4.x، بدلاً من شحن إصدار Apache محدد من Mahout، قمنا بالمزامنة مع نقطة مراجعة معينة على خط الاتصال المباشر لـ Apache Mahout. تقع نقطة المراجعة هذه بعد الإصدار 0.9.0، ولكن قبل إصدار 0.10.0. يوفر هذا عددًا كبيرًا من إصلاحات الأخطاء والتحسينات الوظيفية على إصدار 0.9.0، ولكنه يوفر إصدارًا ثابتًا لوظيفة Mahout قبل التحويل الكامل إلى Mahout الجديدة المستندة إلى Spark في 0.10.0.

نقطة المراجعة المختارة لـ Mahout في HDP 2.3.x و2.4.x هي من فرع "mahout-0.10.x" لـ Apache Mahout، اعتبارًا من 19 ديسمبر 2014، المراجعة 0f037cb03e77c096 في GitHub.

في HDP-2.5.x و2.6.x، أزلنا مكتبة "commons-httpclient" من Mahout لأننا نراها مكتبة قديمة بها مشكلات أمنية محتملة، وقمنا بترقية Hadoop-Client في Mahout إلى الإصدار 2.7.3، نفس الإصدار المستخدم في HDP-2.5. ونتيجة لذلك:

سيتعين إعادة تجميع وظائف Mahout التي تم تجميعها مسبقًا في بيئة HDP-2.5 أو 2.6.
هناك احتمال صغير أن تواجه بعض وظائف Mahout أخطاء "ClassNotFoundException" أو "تعذر تحميل الفئة" المتعلقة ب "org.apache.commons.httpclient" أو "net.java.dev.jets3t" أو بادئات اسم الفئة ذات الصلة. إذا حدثت هذه الأخطاء، فقد تفكر في ما إذا كنت تريد تثبيت jars المطلوبة يدويا في مسار الفصل الخاص بك للوظيفة، إذا كان خطر مشكلات الأمان في المكتبة القديمة مقبولا في بيئتك.
هناك احتمال أصغر من ذلك أن بعض وظائف Mahout قد تواجه تعطلا في استدعاءات التعليمات البرمجية لعميل hbase في Mahout إلى مكتبات hadoop-common، بسبب مشاكل التوافق الثنائية. للأسف، لا توجد طريقة لحل هذه المشكلة باستثناء العودة إلى إصدار HDP-2.4.2 من Mahout، والذي قد يكون له مشكلات أمنية. مرة أخرى، يجب أن يكون هذا غير معتاد، ومن غير المرجح أن يحدث في أي مجموعة وظائف معينة في Mahout.

Oozie

يوفر هذا الإصدار Oozie 4.2.0 مع تصحيحات Apache التالية.

OOZIE-2571: إضافة خاصية spark.scala.binary.version Maven بحيث يمكن استخدام Scala 2.11.
OOZIE-2606:قم بتعيين spark.yarn.jars لإصلاح Spark 2.0 مع Oozie.
OOZIE-2658: - يمكن لـ --driver-class-path تجاوز مسار الفئة في SparkMain.
OOZIE-2787: يوزع Oozie ملف jar التطبيق مرتين ما يؤدي إلى فشل وظيفة spark.
OOZIE-2792: Hive2 لا يقوم الإجراء بتحليل معرف تطبيق Spark من ملف السجل بشكل صحيح عندما يكون Hive على Spark.
OOZIE-2799: تحديد موقع السجل لـ spark sql على hive.
OOZIE-2802: فشل إجراء Spark على Spark 2.1.0 بسبب التكرار sharelibs.
OOZIE-2923: تحسين تحليل خيارات Spark.
OOZIE-3109: SCA: البرمجة النصية عبر المواقع: المنعكسة.
OOZIE-3139: يتحقق Oozie من سير العمل بشكل غير صحيح.
OOZIE-3167: ترقية إصدار Tomcat إلى Oozie 4.3.

Phoenix

يوفر هذا الإصدار Kafka 4.7.0 وتصحيحات Apache التالية:

PHOENIX-1751: إجراء التجميعات، والفرز، وما إلى ذلك، في preScannerNext بدلاً من postScannerOpen.
PHOENIX-2714: تصحيح تقدير البايت في BaseResultIterators وعرضه كواجهة.
PHOENIX-2724: الاستعلام الذي يحتوي على عدد كبير من العلامات الإرشادية يكون أبطأ مقارنة بعدم وجود بيانات إحصائية.
PHOENIX-2855: لم يتم إجراء تسلسل لحل Increment.timeRange لـ HBase 1.2.
PHOENIX-3023: بطء الأداء عند تنفيذ استعلامات البحث المحددة بالتوازي بشكل افتراضي.
PHOENIX-3040: لا تستخدم إشارات إرشادية لتنفيذ الاستعلامات بشكل متسلسل.
PHOENIX-3112: لم تتم معالجة التحقق الجزئي من السجل بشكل صحيح.
PHOENIX-3240: ClassCastException من محمل Pig.
PHOENIX-3452: لا يجب أن تؤثر NULLS FIRST/NULL LAST على ما إذا كانت GROUP BY تحتفظ بالترتيب أم لا.
PHOENIX-3469: ترتيب فرز غير صالح للمفتاح الأساسي DESC لـ NULLS LAST / NULLS أولاً.
PHOENIX-3789: تنفيذ استدعاءات صيانة فهرس المنطقة في postBatchMutateIndispensably.
PHOENIX-3865: ستُرجع IS NULL نتائج غير صحيحة إذا لم يتم تصفية مجموعة الأعمدة الأولى.
PHOENIX-4290: تم إجراء مسح كامل للجدول لـ DELETE مع وجود جدول به فهارس غير قابلة للتغيير.
PHOENIX-4373: يمكن أن يحتوي مفتاح الطول المتغير للفهرس المحلي على القيم الفارغة التالية أثناء إدخال التحديث.
PHOENIX-4466: java.lang.RuntimeException: التعليمة البرمجية للاستجابة 500: تشغيل مهمة Spark للاتصال بخادم استعلام Phoenix وبيانات التحمل.
PHOENIX-4489: فقدان اتصال HBase في وظائف Phoenix MR.
PHOENIX-4525: تجاوز عدد صحيح في تنفيذ GroupBy.
PHOENIX-4560: ORDER BY مع GROUP BY لا يعمل إذا كان هناك WHERE في pk العمود.
PHOENIX-4586: يتجاهل UPSERT SELECT عوامل المقارنة للاستعلامات الفرعية.
PHOENIX-4588: استنساخ التعبير أيضًا إذا كانت عناصر توابعه تحتوي على Determinism.PER_INVOCATION.

Apache Pig

يوفر هذا الإصدار Pig 0.16.0 مع تصحيحات Apache التالية.

PIG-5159: إصلاح مشكلة عدم قيام Pig بحفظ سجل Grunt.
PIG-5175: الترقية jruby إلى 1.7.26.

Ranger

يوفر هذا الإصدار Ranger 0.7.0 وتصحيحات Apache التالية:

RANGER-1805: تحسين التعليمات البرمجية لاتباع أفضل الممارسات في js.
RANGER-1960: الاهتمام باسم جدول النسخة المطابقة للحذف.
RANGER-1982: تحسين معالجة الأخطاء لقاييس التحليلات من Ranger Admin وRanger KMS.
RANGER-1984: قد لا تعرض سجلات سجل تدقيق HBase جميع العلامات المقترنة بالعمود الذي تم الوصول إليه.
RANGER-1988: إصلاح العشوائية غير الآمنة.
RANGER-1990: إضافة دعم أحادي الاتجاه لـ SSL وMySQL في Ranger Admin.
RANGER-2006: إصلاح المشكلات التي تم اكتشافها بواسطة تحليل التعليمات البرمجية الثابتة في ranger usersync لمصدر المزامنة ldap .
RANGER-2008: فشل تقييم النُهج لشروط النهج متعددة السطور.

شريط التمرير

يوفر هذا الإصدار Slider 0.92.0 دون تصحيحات Apache إضافية.

Spark

يوفر هذا الإصدار Spark 2.3.0 وتصحيحات Apache التالية:

SPARK-13587: دعم virtualenv في pyspark.
SPARK-19964: تجنب القراءة من المستودعات البعيدة في SparkSubmitSuite.
SPARK-22882: اختبار التعلم الآلي للدفق المنظم: ml.classification.
SPARK-22915: اختبارات البث لـ spark.ml.feature من N إلى Z.
SPARK-23020: إصلاح تعارض آخر في اختبار البدء قيد التشغيل.
SPARK-23040: إرجاع مكرر قابل للمقاطعة لقارئ عشوائي.
SPARK-23173: يجب تجنب إنشاء ملفات parquet تالفة عند تحميل البيانات من JSON.
SPARK-23264: إصلاح scala.MatchError في literals.sql.out.
SPARK-23288: تصحيح مقاييس الإخراج مع متلقي parquet.
SPARK-23329: تصحيح وثائق الدوال المثلثية.
SPARK-23406: تفعيل الدفق الذاتي للصلات التلقائية لـ branch-2.3.
SPARK-23434: يجب ألا يحذر Spark "دليل بيانات التعريف" لمسار ملف HDFS.
SPARK-23436: استنتاج القسم كتاريخ فقط إذا كان من الممكن تحويله إلى تاريخ.
SPARK-23457: تسجيل المستمع في ParquetFileFormat أولاً لإكمال المهام.
SPARK-23462: تحسين رسالة الخطأ للحقول المفقودة في StructType.
SPARK-23490: التحقق من storage.locationUri باستخدام الجدول الموجود في CreateTable.
SPARK-23524: لا ينبغي التحقق من وجود تلف في كتل التبديل المحلية الكبيرة.
SPARK-23525: دعم ALTER TABLE CHANGE COLUMN COMMENT لجدول خلية خارجي.
SPARK-23553: يجب ألا تفترض الاختبارات القيمة الافتراضية ل "spark.sql.sources.default".
SPARK-23569: اسمح لـ pandas_udf بالعمل مع دوال من نوع موضحة نمط python3.
SPARK-23570: أضف Spark 2.3.0 في HiveExternalCatalogVersionsSuite.
SPARK-23598: جعل الأساليب في BufferedRowIterator عامة لتجنب خطأ وقت التشغيل لاستعلام كبير.
SPARK-23599: إضافة مُنشئ UUID من الأرقام العشوائية الوهمية.
SPARK-23599:استخدام RandomUUIDGenerator في تعبير Uuid.
SPARK-23601: إزالة .md5 الملفات من الإصدار.
SPARK-23608: إضافة التزامن في SHS بين دوال attachSparkUI وdetachSparkUI لتجنب مشكلة التعديل المتزامن لـ Jetty Handlers.
SPARK-23614: إصلاح تبادل إعادة الاستخدام غير الصحيح عند استخدام التخزين المؤقت.
SPARK-23623: تجنب استخدام المستهلكين المخزنين مؤقتًا في نفس الوقت في CachedKafkaConsumer (branch-2.3).
SPARK-23624:مراجعة مستند أسلوب pushFilters في Datasource V2.
SPARK-23628: لا يجب أن ترجع calculateParamLength 1 + num من التعبيرات.
SPARK-23630: السماح بتخصيصات المستخدم hadoop conf حتى تدخل حيز التنفيذ.
SPARK-23635: تتم الكتابة فوق متغير البيئة الخاص بمنفذ Spark بنفس اسم متغير البيئة AM.
SPARK-23637: قد يخصص Yarn مزيدًا من الموارد إذا تم تدمير نفس المنفذ عدة مرات.
SPARK-23639: الحصول على رمز مميز قبل بدء عميل metastore في SparkSQL CLI.
SPARK-23642: إصلاح الفئة الفرعية ل AccumulatorV2 isZero scaladoc .
SPARK-23644: استخدام المسار المطلق لاستدعاء REST في SHS.
SPARK-23645: إضافة RE `pandas_udf` مع وسيطات الكلمات الأساسية.
SPARK-23649: تخطي الأحرف غير مسموح به في UTF-8.
SPARK-23658: يستخدم InProcessAppHandle فئة خاطئة في getLogger.
SPARK-23660: تصحيح الاستثناء في وضع نظام مجموعة yarn عند خروج أحد التطبيقات بسرعة.
SPARK-23670: استكشاف أخطاء تسرب الذاكرة وإصلاحها على SParkPlanGraphWrapper.
SPARK-23671: تصحيح شرط تنشيط تجمع مؤشر ترابط SHS.
SPARK-23691: استخدام sql_conf util المستخدم في اختبارات PySpark إن أمكن.
SPARK-23695: تصحيح رسالة الخطأ الخاصة باختبارات دفق Kinesis.
SPARK-23706: يجب أن ينتجspark.conf.get(value, default=None) الناتج None في PySpark.
SPARK-23728: إصلاح اختبارات ML مع الاستثناءات المتوقعة التي تجري اختبارات البث.
SPARK-23729: الاهتمام بأجزاء URI عند حل نماذج glob.
SPARK-23759: تعذر ربط Spark UI باسم مضيف / IP محدد.
SPARK-23760: يجب أن يقوم CodegenContext.withSubExprEliminationExprs بحفظ / استعادة حالة محرك البحث المخصص بشكل صحيح.
SPARK-23769: إزالة التعليقات التي تعطل Scalastyle الفحص دون داع.
SPARK-23788: تصحيح التعارض في StreamingQuerySuite.
SPARK-23802: يمكن لـ PropagateEmptyRelation ترك خطة الاستعلام في حالة غير مكتملة.
SPARK-23806: يمكن أن يتسبب Broadcast.unpersist في استثناء فادح عند استخدامه مع التخصيص الديناميكي.
SPARK-23808: تعيين جلسة Spark الافتراضية في جلسات spark للاختبار فقط.
SPARK-23809: يجب تعيين جلسة SparkSession النشطة من خلال getOrCreate.
SPARK-23816: يجب أن تتجاهل المهام التالفة FetchFailures.
SPARK-23822: تحسين رسالة الخطأ لحالات عدم تطابق مخطط Parquet.
SPARK-23823: الحفاظ على الأصل في transformExpression.
SPARK-23827: يجب أن يضمن StreamingJoinExec تقسيم بيانات الإدخال إلى عدد محدد من الأقسام.
SPARK-23838: يتم عرض استعلام SQL قيد التشغيل على أنه "مكتمل" في علامة التبويب SQL.
SPARK-23881: إصلاح الاختبار غير المستقر JobCancellationSuite. "المكرر المتقطع للقارئ العشوائي".

Sqoop

يوفر هذا الإصدار Sqoop 1.4.6 دون تصحيحات Apache إضافية.

Storm

يوفر هذا الإصدار Storm 1.1.1 وتصحيحات Apache التالية:

STORM-2652: يتم تشغيل الاستثناء في أسلوب فتح JmsSpout.
STORM-2841: testNoAcksIfFlushFails UT fails with NullPointerException.
STORM-2854: تعريض IEventLogger لجعل تسجيل الأحداث قابلة للتواصل.
STORM-2870: يقوم FileBasedEventLogger بتسريب ExecutorService غير الخفي ما يمنع العملية من الانتهاء.
STORM-2960:من الأفضل التأكيد على أهمية إعداد حساب نظام تشغيل مناسب لعمليات Storm.

Tez

يوفر هذا الإصدار Tez 0.7.0 وتصحيحات Apache التالية:

TEZ-1526:LoadingCache لـ TezTaskID بطيء للمهام الكبيرة.

Zeppelin

يوفر هذا الإصدار Zeppelin 0.7.3 دون تصحيحات Apache إضافية.

ZEPPELIN-3072:يصبح Zeppelin UI بطيئًا / لا يستجيب إذا كان هناك عدد كبير للغاية من الدفاتر.
ZEPPELIN-3129: لا تقوم واجهة مستخدم Zeppelin بتسجيل الخروج في Internet Explorer.
ZEPPELIN-903: استبدال CXF ب Jersey2.

ZooKeeper

يوفر هذا الإصدار ZooKeeper 3.4.6 وتصحيحات Apache التالية:

ZOOKEEPER-1256: فشل ClientPortBindTest على نظام التشغيل macOS X.
ZOOKEEPER-1901: [JDK8] فرز العناصر التابعة للمقارنة في اختبارات AsyncOps.
ZOOKEEPER-2423: ترقية إصدار Netty بسبب ثغرة أمنية (CVE-2014-3488).
ZOOKEEPER-2693: هجوم DOS على كلمات wchp/wchc المكونة من أربعة أحرف (4lw).
ZOOKEEPER-2726: يقدم التصحيح حالة سباق محتملة.

إصلاح الثغرات الأمنية والتعرضات المشتركة

يغطي هذا القسم جميع نقاط الضعف والتعرض الشائعة (CVE) التي تم تناولها في هذا الإصدار.

CVE-2017-7676

الملخص: يتجاهل تقييم نهج Apache Ranger الأحرف بعد حرف البدل "*"
الخطورة: حرج
المورد: Hortonworks
الإصدارات المتأثرة: إصدارات HDInsight 3.6 بما في ذلك إصدارات Apache Ranger 0.5.x/0.6.x/0.7.0
المستخدمون المتأثرون: البيئات التي تستخدم نُهج Ranger مع أحرف بعد حرف البدل "" - مثل mytest, test*.txt
التأثير: يتجاهل مُطابق مورد النهج الأحرف بعد حرف البدل "*"، مما قد يؤدي إلى سلوك غير مقصود.
إصلاح التفاصيل: تم تحديث أداة مطابقة مورد نهج Ranger للتعامل بشكل صحيح مع تطابقات أحرف البدل.
الإجراء الموصى به: قم بالترقية إلى HDI 3.6 (مع Apache Ranger 0.7.1+).

CVE-2017-7677

الملخص: يجب على Apache Ranger Hive Authorizer التحقق من إذن RWX عند تحديد موقع خارجي
الخطورة: حرج
المورد: Hortonworks
الإصدارات المتأثرة: إصدارات HDInsight 3.6 بما في ذلك إصدارات Apache Ranger 0.5.x/0.6.x/0.7.0
المستخدمون المتأثرون: البيئات التي تستخدم الموقع الخارجي لجداول الخلية
التأثير: في البيئات التي تستخدم الموقع الخارجي لجداول الخلية، يجب أن يتحقق Apache Ranger Hive Authorizer من إذن RWX للموقع الخارجي المحدد لجدول الإنشاء.
إصلاح التفاصيل: تم تحديث Ranger Hive Authorizer للتعامل بشكل صحيح مع التحقق من الإذن مع الموقع الخارجي.
الإجراء الموصى به: يجب على المستخدمين الترقية إلى HDI 3.6 (مع Apache Ranger 0.7.1+).

CVE-2017-9799

الملخص: التنفيذ المحتمل للتعليمات البرمجية كمستخدم خاطئ في Apache Storm
الخطورة: هام
المورد: Hortonworks
الإصدارات المتأثرة: HDP 2.4.0 وHDP-2.5.0 وHDP-2.6.0
المستخدمون المتأثرون: المستخدمون الذين يستخدمون Storm في الوضع الآمن ويستخدمون blobstore لتوزيع تخطيط الشبكة القائمة على الهيكل أو يستخدمون blobstore لتوزيع أي موارد لتخطيط الشبكة.
التأثير: في ظل بعض المواقف وتكوينات العاصفة، من الممكن نظريا لمالك المخطط خداع المشرف لإطلاق عامل كمستخدم مختلف غير جذر. في أسوأ الحالات، قد يؤدي ذلك إلى اختراق بيانات اعتماد المستخدم الآخر. تنطبق هذه الثغرة الأمنية فقط على عمليات تثبيت Apache Storm مع تمكين الأمان.
التخفيف من المخاطر: قم بالترقية إلى HDP-2.6.2.1 نظرًا لعدم وجود حلول في الوقت الحالي.

CVE-2016-4970

ملخص: معالج/ssl/OpenSslEngine.java في Netty 4.0.x قبل 4.0.37. نهائي و4.1.x قبل 4.1.1. يسمح النهائي للمهاجمين عن بعد بالتسبب في رفض الخدمة (حلقة لا نهائية)
الخطورة: معتدل
المورد: Hortonworks
الإصدارات المتأثرة: HDP 2.x.x منذ 2.3.x
المستخدمون المتأثرون: جميع المستخدمين الذين يستخدمون HDFS.
التأثير: التأثير منخفض نظرًا لأن Hortonworks لا تستخدم OpenSslEngine.java في قاعدة بيانات Hadoop مباشرةً.
الإجراء الموصى به: الترقية إلى HDP 2.6.3.

CVE-2016-8746

الملخص: مشكلة مطابقة مسار Apache Ranger في تقييم النهج
الخطورة: عادي
المورد: Hortonworks
الإصدارات المتأثرة: جميع إصدارات HDP 2.5 بما في ذلك إصدارات Apache Ranger 0.6.0/0.6.1/0.6.2
المستخدمون المتأثرون: جميع مستخدمي أداة مسؤول نهج Ranger.
التأثير: يتطابق محرك نهج Ranger بشكل غير صحيح مع المسارات في ظروف معينة عندما يحتوي النهج على أحرف بدل وعلامات متكررة.
تفاصيل الإصلاح: تم إصلاح منطق تقييم النهج
الإجراء الموصى به: يجب على المستخدمين الترقية إلى HDP 2.5.4+ (مع Apache Ranger 0.6.3+) أو HDP 2.6+ (مع Apache Ranger 0.7.0+)

CVE-2016-8751

الملخص: قام Apache Ranger بتخزين مشكلة البرمجة عبر المواقع
الخطورة: عادي
المورد: Hortonworks
الإصدارات المتأثرة: جميع إصدارات HDP 2.3/2.4/2.5 بما في ذلك إصدارات Apache Ranger 0.5.x/0.6.0/0.6.1/0.6.2
المستخدمون المتأثرون: جميع مستخدمي أداة مسؤول نهج Ranger.
التأثير: يكون Apache Ranger عرضة لبرمجة المواقع عبر المواقع المخزنة عند إدخال شروط النهج المخصصة. يمكن للمستخدمين المسؤولين تخزين بعض تعليمات JavaScript البرمجية التعسفية التي يتم تنفيذها عندما يقوم المستخدمون العاديون بتسجيل الدخول والوصول إلى النُهج.
إصلاح التفاصيل: المنطق المضاف لتصحيح مدخلات المستخدم.
الإجراء الموصى به: يجب على المستخدمين الترقية إلى HDP 2.5.4+ (مع Apache Ranger 0.6.3+) أو HDP 2.6+ (مع Apache Ranger 0.7.0+)

إصلاح مشكلات الدعم

تمثل المشكلات التي تم إصلاحها المشكلات المحددة التي تم تسجيلها مسبقًا عبر Hortonworks Support، ولكن تمت معالجتها الآن في الإصدار الحالي. ربما تم الإبلاغ عن هذه المشكلات في الإصدارات السابقة ضمن قسم المشكلات المعروفة؛ مما يعني أنه تم الإبلاغ عنها من قبل العملاء أو تم تحديدها من قبل فريق هندسة الجودة في Hortonworks.

نتائج غير صحيحة

معرّف خطأ	Apache JIRA	الملخص
BUG-100019	YARN-8145	لا يقوم yarn rmadmin -getGroups بإرجاع المجموعات المحدثة للمستخدم
BUG-100058	PHOENIX-2645	لا تتطابق أحرف البدل مع أحرف السطر الجديد
BUG-100266	PHOENIX-3521، PHOENIX-4190	النتائج خاطئة مع الفهارس المحلية
BUG-88774	HIVE-17617, HIVE-18413, HIVE-18523	فشل الاستعلام 36، تعارض عدد الصفوف
BUG-89765	HIVE-17702	معالجة غير صحيحة لـ isRepeating في القارئ العشري في ORC
BUG-92293	HADOOP-15042	يمكن لـ PageBlobInputStream.skip() إرجاع قيمة سالبة عندما يكون numberOfPages المتبقية 0
BUG-92345	ATLAS-2285	واجهة المستخدم: إعادة تسمية البحث المحفوظ بسمة التاريخ.
BUG-92563	HIVE-17495، HIVE-18528	الإحصائيات الإجمالية في ObjectStore تحصل على نتيجة خاطئة
BUG-92957	HIVE-11266	ينتج count(*) نتيجة غير صحيحة بناءً على إحصائيات الجدول للجداول الخارجية
BUG-93097	RANGER-1944	تصفية الإجراءات بالنسبة لتدقيق المسؤول لا تعمل
BUG-93335	HIVE-12315	يحتوي vectorization_short_regress.q على مشكلة نتيجة خاطئة لحساب مزدوج
BUG-93415	HIVE-18258، HIVE-18310	التوجيه: GROUP BY MERGEPARTIAL غير صحيحة مع الأعمدة المكررة
BUG-93939	ATLAS-2294	تمت إضافة "وصف" المعلمة الإضافية عند إنشاء نوع
BUG-94007	PHOENIX-1751، PHOENIX-3112	تقوم Phoenix Queries بإرجاع القيم الخالية بسبب صفوف HBase الجزئية
BUG-94266	HIVE-12505	فشل إدراج الكتابة الفوقية في نفس المناطق المشفرة مع عدم وجود رسالة عند إزالة الملفات الحالية
BUG-94414	HIVE-15680	يمكن أن يؤدي hive.optimize.index.filter=true إلى نتائج غير صحيحة ونفس جدول ORC تمت الإشارة إليه مرتين في الاستعلام
BUG-95048	HIVE-18490	يمكن أن يؤدي الاستعلام باستخدام EXISTS وNOT EXISTS مع المسند غير المتساوي إلى نتيجة خاطئة
BUG-95053	PHOENIX-3865	ستُرجع IS NULL نتائج غير صحيحة إذا لم يتم تصفية مجموعة الأعمدة الأولى
BUG-95476	RANGER-1966	لا يؤدي تهيئة محرك النهج إلى إنشاء عناصر إثراء للسياق في بعض الحالات
BUG-95566	SPARK-23281	ينتج الاستعلام عن النتائج بترتيب غير صحيح عندما يشير الترتيب المركب حسب الجملة إلى كل من الأعمدة الأصلية والأسماء المستعارة
BUG-95907	PHOENIX-3451, PHOENIX-3452, PHOENIX-3469, PHOENIX-4560	إصلاح مشكلات ORDER BY ASC عندما يكون الاستعلام به تجميع
BUG-96389	PHOENIX-4586	يتجاهل UPSERT SELECT عوامل المقارنة للاستعلامات الفرعية.
BUG-96602	HIVE-18660	لا يميز PCR بين الأقسام والأعمدة الظاهرية
BUG-97686	ATLAS-2468	[البحث الأساس] مشكلة في حالات OR عند استخدام NEQ مع الأنواع الرقمية
BUG-97708	HIVE-18817	استثناء ArrayIndexOutOfBounds أثناء قراءة جدول ACID.
BUG-97864	HIVE-18833	فشل الدمج التلقائي عند "الإدراج في الدليل كـ orcfile"
BUG-97889	RANGER-2008	فشل تقييم النُهج لشروط النهج متعددة السطور.
BUG-98655	RANGER-2066	يُسمح بالوصول إلى مجموعة أعمدة HBase من خلال عمود مميز في مجموعة الأعمدة
BUG-99883	HIVE-19073، HIVE-19145	قد يمزج StatsOptimizer أعمدة ثابتة

آخر

معرّف خطأ	Apache JIRA	الملخص
BUG-100267	HBASE-17170	يقوم HBase أيضًا بإعادة محاولة DoNotRetryIOException نظرًا لاختلافات محمل الفئة.
BUG-92367	YARN-7558	يفشل الأمر "yarn logs" في الحصول على سجلات لتشغيل الحاويات إذا تم تمكين مصادقة واجهة المستخدم.
BUG-93159	OOZIE-3139	يتحقق Oozie من سير العمل بشكل غير صحيح
BUG-93936	ATLAS-2289	سيتم نقل التعليمة البرمجية kafka/zookeeper server start/stop من تطبيق KafkaNotification
BUG-93942	ATLAS-2312	استخدام عناصر ThreadLocal DateFormat لتجنب الاستخدام المتزامن من مؤشرات ترابط رسائل متعددة
BUG-93946	ATLAS-2319	واجهة المستخدم: حذف علامة في موقع 25+ في قائمة العلامات في كل من البنية المسطحة والشجرة يحتاج إلى تحديث لإزالة العلامة من القائمة.
BUG-94618	YARN-5037، YARN-7274	القدرة على تعطيل المرونة على مستوى صف عقدة طرفية
BUG-94901	HBASE-19285	إضافة مدرج تكراري لوقت الاستجابة لكل جدول
BUG-95259	HADOOP-15185، HADOOP-15186	تحديث `adls` الموصل لاستخدام الإصدار الحالي من ADLS SDK
BUG-95619	HIVE-18551	التوجيه: يحاول VectorMapOperator كتابة عدد كبير جدًا من أعمدة المتجهات لـ Hybrid Grace
BUG-97223	SPARK-23434	يجب ألا يحذر Spark "دليل بيانات التعريف" لمسار ملف HDFS

اداء

معرّف خطأ	Apache JIRA	الملخص
BUG-83282	HBASE-13376, HBASE-14473, HBASE-15210, HBASE-15515, HBASE-16570, HBASE-16810, HBASE-18164	حساب محلي سريع في الموازن
BUG-91300	HBASE-17387	تقليل النفقات العامة لتقرير الاستثناء في RegionActionResult for multi()
BUG-91804	TEZ-1526	LoadingCache لـ TezTaskID بطيء للمهام الكبيرة
BUG-92760	ACCUMULO-4578	لا يؤدي إلغاء ضغط عملية FATE إلى تحرير قفل مساحة الاسم
BUG-93577	RANGER-1938	لا تقوم Solr باستخدام DocValuesبشكل فعّال لإعداد التحقق
BUG-93910	HIVE-18293	فشل Hive في ضغط الجداول الموجودة داخل مجلد غير مملوك لهوية تقوم بتشغيل HiveMetaStore
BUG-94345	HIVE-18429	يجب أن يتعامل الضغط مع الحالة عندما لا ينتج عنه أي ناتج
BUG-94381	HADOOP-13227، HDFS-13054	طلب RetryAction عند معالجة RequestHedgingProxyProvider: FAIL < RETRY <FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	يجب على CompactorMR استدعاء jobclient.close() لبدء عملية التنظيف
BUG-94869	PHOENIX-4290، PHOENIX-4373	طلب صف خارج النطاق للحصول على لجدول `HRegion` phoenix المفهرس المحلي المفهرس.
BUG-94928	HDFS-11078	Fix NPE in LazyPersistFileScrubber
BUG-94964	HIVE-18269, HIVE-18318, HIVE-18326	إصلاحات LLAP متعددة
BUG-95669	HIVE-18577، HIVE-18643	عند تشغيل استعلام التحديث/الحذف على جدول ACID المقسم، يقرأ HS2 كل قسم.
BUG-96390	HDFS-10453	قد يكون مؤشر ترابط ReplicationMonitor عالقا لفترة طويلة بسبب السباق بين النسخ المتماثل وحذف نفس الملف في مجموعة كبيرة.
BUG-96625	HIVE-16110	العودة إلى Support 2 Value CASE WHEN بدلاً من الرجوع إلى VectorUDFAdaptor"
BUG-97109	HIVE-16757	استخدام getRows() المهمل بدلاً من estimateRowCount(RelMetadataQuery...) والذي له تأثير خطير على الأداء
BUG-97110	PHOENIX-3789	تنفيذ استدعاءات صيانة فهرس المنطقة في postBatchMutateIndispensably
BUG-98833	YARN-6797	لا يستهلك TimelineWriter استجابة POST بالكامل
BUG-98931	ATLAS-2491	تحديث خطاف Hive لاستخدام إشعارات Atlas v2

احتمال فقدان البيانات

معرّف خطأ	Apache JIRA	الملخص
BUG-95613	HBASE-18808	التحقق من التكوين غير الفعال في BackupLogCleaner#getDeletableFiles()
BUG-97051	HIVE-17403	فشل التسلسل للجداول غير المُدارة والمعاملات
BUG-97787	HIVE-18460	لا يقوم برنامج الضغط بتمرير خصائص الجدول إلى كاتب ORC
BUG-97788	HIVE-18613	توسيع JsonSerDe لدعم النوع BINARY

فشل الاستعلام

معرّف خطأ	Apache JIRA	الملخص
BUG-100180	CALCITE-2232	فشل التأكيد لـ AggregatePullUpConstantsRule على الفهارس المجمعة
BUG-100422	HIVE-19085	FastHiveDecimal abs(0) يعين علامة إلى `+ve`
BUG-100834	PHOENIX-4658	IllegalStateException: لا يمكن استدعاء requestSeek على ReversedKeyValueHeap
BUG-102078	HIVE-17978	تولد استعلامات TPCDS 58 و83 استثناءات في الاتجاه.
BUG-92483	HIVE-17900	تحليل البيانات الإحصائية الواردة على الأعمدة التي تم تشغيلها من خلال Compactor، ما يؤدي إلى إنشاء SQL بتنسيق غير صحيح مع عمود القسم > 1
BUG-93135	HIVE-15874، HIVE-18189	يعرض استعلام Hive نتائج خاطئة عند تعيين hive.groupby.orderby.position.alias على TRUE
BUG-93136	HIVE-18189	الترتيب حسب الموضع لا يعمل عندما `cbo` يكون معطلا
BUG-93595	HIVE-12378، HIVE-15883	فشل جدول HBase المعين في إدراج Hive للأعمدة العشرية والثنائية
BUG-94007	PHOENIX-1751، PHOENIX-3112	تقوم Phoenix Queries بإرجاع القيم الخالية بسبب صفوف HBase الجزئية
BUG-94144	HIVE-17063	يفشل إدراج قسم الكتابة فوق في جدول خارجي عند إسقاط القسم أولا
BUG-94280	HIVE-12785	العرض بنوع الاتحاد وUDF لتحويل البينة يكون غير صحيح
BUG-94505	PHOENIX-4525	تجاوز عدد صحيح في تنفيذ GroupBy
BUG-95618	HIVE-18506	LlapBaseInputFormat - فهرس الصفيف السالب
BUG-95644	HIVE-9152	CombineHiveInputFormat: فشل استعلام Hive في Tez مع استثناء java.lang.IllegalArgumentException
BUG-96762	PHOENIX-4588	استنساخ التعبير أيضًا إذا كانت عناصر توابعه تحتوي على Determinism.PER_INVOCATION
BUG-97145	HIVE-12245، HIVE-17829	دعم تعليقات العمود لجدول HBase
BUG-97741	HIVE-18944	تم تعيين موضع مجموعات التجميع بشكل غير صحيح أثناء DPP
BUG-98082	HIVE-18597	LLAP: قم دائما بحزم جرة `log4j2` واجهة برمجة التطبيقات ل `org.apache.log4j`
BUG-99849	‏‫غير متوفر‬	إنشاء جدول جديد من معالج ملف يحاول استخدام قاعدة البيانات الافتراضية

الأمان

معرّف خطأ	Apache JIRA	الملخص
BUG-100436	RANGER-2060	`Knox` لا يعمل الوكيل مع `knox-sso` ranger
BUG-101038	SPARK-24062	رسالة خطأ "رفض الاتصال" من مترجم Zeppelin %Spark. يجب تحديد "مفتاح سري ... "خطأ في HiveThriftServer
BUG-101359	ACCUMULO-4056	تحديث نسخة commons-collection إلى 3.2.2 عند إصدارها
BUG-54240	HIVE-18879	يجب أن تعمل عملية منع العنصر المضمن في UDFXPathUtil إذا كان "xercesImpl.jar" على مسار الفئة
BUG-79059	OOZIE-3109	التخلص من الأحرف الخاصة بـ HTML لتدفق البروتوكول
BUG-90041	OOZIE-2723	الترخيص JSON.org أصبح الآن CatX
BUG-93754	RANGER-1943	يتم تخطي ترخيص Ranger Solr عندما تكون المجموعة فارغة أو خالية
BUG-93804	HIVE-17419	يعرض الأمر "ANALYZE TABLE ... COMPUTE STATISTICS FOR COLUMNS" بيانات إحصائية محسوبة للجداول المقنّعة
BUG-94276	ZEPPELIN-3129	لا تقوم واجهة مستخدم Zeppelin بتسجيل الخروج في Internet Explorer
BUG-95349	ZOOKEEPER-1256، ZOOKEEPER-1901	ترقية Netty
BUG-95483	‏‫غير متوفر‬	إصلاح CVE-2017-15713
BUG-95646	OOZIE-3167	ترقية إصدار Tomcat إلى Oozie 4.3
BUG-95823	‏‫غير متوفر‬	`Knox`:ترقيه `Beanutils`
BUG-95908	RANGER-1960	لا تهتم HBase auth بمساحة اسم الجدول لحذف نسخة مطابقة
BUG-96191	FALCON-2322، FALCON-2323	ترقية إصدارات Jackson وSpring لتجنب الثغرات الأمنية
BUG-96502	RANGER-1990	إضافة دعم أحادي الاتجاه لـ SSL وMySQL في Ranger Admin
BUG-96712	FLUME-3194	ترقية derby إلى أحدث إصدار (1.14.1.0)
BUG-96713	FLUME-2678	ترقية xalan إلى 2.7.2 للعناية بالثغرة الأمنية CVE-2014-0107
BUG-96714	FLUME-2050	الترقية إلى `log4j2` (عند التوفر العام)
BUG-96737	‏‫غير متوفر‬	استخدام أساليب نظام ملفات java io للوصول إلى الملفات المحلية
BUG-96925	‏‫غير متوفر‬	ترقية Tomcat من 6.0.48 إلى 6.0.53 في Hadoop
BUG-96977	FLUME-3132	ترقية تبعيات مكتبة tomcat `jasper`
BUG-97022	HADOOP-14799, HADOOP-14903, HADOOP-15265	ترقية مكتبة Nimbus-JOSE-JWT بإصدار أحدث من 4.39
BUG-97101	RANGER-1988	إصلاح العشوائية غير الآمنة
BUG-97178	ATLAS-2467	ترقية التبعية لـ Spring وnimbus-jose-jwt
BUG-97180	‏‫غير متوفر‬	ترقية Nimbus-jose-jwt
BUG-98038	HIVE-18788	تنظيف المدخلات في JDBC PreparedStatement
BUG-98353	HADOOP-13707	العودة إلى "إذا تم تمكين kerberos أثناء عدم تكوين HTTP SPNEGO، فلا يمكن الوصول إلى بعض الارتباطات"
BUG-98372	HBASE-13848	الوصول إلى كلمات مرور InfoServer SSL من خلال واجهة برمجة تطبيقات موفر بيانات الاعتماد
BUG-98385	ATLAS-2500	أضف عناوين إضافية إلى استجابة Atlas.
BUG-98564	HADOOP-14651	تحديث الإصدار okhttp إلى 2.7.5
BUG-99440	RANGER-2045	ما لم يتم تعيين النهج بشكل صريح للسماح، يتم إدراج أعمدة جدول Hive باستخدام أمر جدول الوصف
BUG-99803	‏‫غير متوفر‬	يجب على Oozie تعطيل تحميل فئة HBase الديناميكية

Stability

معرّف خطأ	Apache JIRA	الملخص
BUG-100040	ATLAS-2536	NPE in Atlas Hive Hook
BUG-100057	HIVE-19251	يجب أن يستخدم ObjectStore.getNextNotification مع LIMIT ذاكرة أقل
BUG-100072	HIVE-19130	يتم طرح NPE عند تطبيق REPL LOAD لحدث قسم الإفلات.
BUG-100073	‏‫غير متوفر‬	عدد كبير جدا من الاتصالات close_wait من `hiveserver` إلى عقدة البيانات
BUG-100319	HIVE-19248	لا يتسبب REPL LOAD في حدوث خطأ في حالة فشل نسخ الملف.
BUG-100352	‏‫غير متوفر‬	تطهير CLONE - RM لعمليات المسح المنطقي / لسجلات znode متكرر للغاية
BUG-100427	HIVE-19249	النسخ المتماثل: لا تقوم عبارة WITH بتمرير التكوين إلى Task بشكل صحيح في جميع الحالات
BUG-100430	HIVE-14483	java.lang.ArrayIndexOutOfBoundsException org.apache.orc.impl.TreeReaderFactory$BytesColumnVectorUtil.commonReadByteArrays
BUG-100432	HIVE-19219	يجب أن ينتج عن REPL DUMP التزايدي خطأ إذا تم تنظيف الأحداث المطلوبة.
BUG-100448	SPARK-23637, SPARK-23802, SPARK-23809, SPARK-23816, SPARK-23822, SPARK-23823, SPARK-23838, SPARK-23881	التحديث `Spark2` إلى 2.3.0+ (4/11)
BUG-100740	HIVE-16107	JDBC: يجب على HttpClient إعادة المحاولة مرة أخرى على NoHttpResponseException
BUG-100810	HIVE-19054	فشل النسخ المتماثل لدوال Hive
BUG-100937	MAPREDUCE-6889	أضف Job#close API لإيقاف تشغيل خدمات عميل MR.
BUG-101065	ATLAS-2587	تعيين قراءة ACL ل /apache_atlas/active_server_info znode في HA للوكيل `Knox` للقراءة.
BUG-101093	STORM-2993	يقوم Storm-HDFS-Bolt بطرح ClosedChannelException عند استخدام نهج تدوير الوقت
BUG-101181	‏‫غير متوفر‬	PhoenixStorageHandler لا يتعامل مع AND في المسند بشكل صحيح
BUG-101266	PHOENIX-4635	تسرب اتصال HBase في org.apache.phoenix.hive.mapreduce.PhoenixInputFormat
BUG-101458	HIVE-11464	معلومات دورة حياة البيانات تكون مفقودة إذا كانت هناك مخرجات متعددة
BUG-101485	‏‫غير متوفر‬	hive metastore thrift api بطيئة وتتسبب في انتهاء مهلة العميل
BUG-101628	HIVE-19331	فشل النسخ المتماثل المتزايد لـ Apache Hive إلى السحابة.
BUG-102048	HIVE-19381	فشل النسخ المتماثل لوظيفة Apache Hive إلى السحابة باستخدام FunctionTask
BUG-102064	‏‫غير متوفر‬	فشلت اختبارات النسخ المتماثل `\[ onprem to onprem \]` ل Apache Hive في ReplCopyTask
BUG-102137	HIVE-19423	فشلت اختبارات النسخ المتماثل `\[ Onprem to Cloud \]` ل Apache Hive في ReplCopyTask
BUG-102305	HIVE-19430	نسخة احتياطية من OOM لـ HS2 وHive metastore
BUG-102361	‏‫غير متوفر‬	نتائج إدراج متعددة في إدراج واحد منسوخ نسخا متماثلا إلى مجموعة الخلية المستهدفة ( `onprem - s3` )
BUG-87624	‏‫غير متوفر‬	يؤدي تمكين تسجيل حدث storm إلى تدمير العامل بشكل مستمر
BUG-88929	HBASE-15615	وقت سكون خاطئ عندما تحتاج RegionServerCallable إلى إعادة المحاولة
BUG-89628	HIVE-17613	إزالة تجمعات العناصر لعمليات التخصيص القصيرة ذات نفس مؤشر الترابط
BUG-89813	‏‫غير متوفر‬	SCA: تصحيح التعليمات البرمجية: الأسلوب غير المتزامنة يحل محل الأسلوب المتزامنة
BUG-90437	ZEPPELIN-3072	تصبح واجهة مستخدم Zeppelin بطيئة أو لا تستجيب عند وجود عدد كبير جدًا من دفاتر ملاحظاتك
BUG-90640	HBASE-19065	يجب أن تنتظر HRegion#bulkLoadHFiles () حتى تكتمل المنطقة Region#flush()
BUG-91202	HIVE-17013	حذف الطلب باستخدام استعلام فرعي يعتمد على التحديد عبر طريقة العرض
BUG-91350	KNOX-1108	لا يتم تنفيذ تجاوز الفشل لـ NiFiHaDispatch
BUG-92054	HIVE-13120	نشر doAs عند إنشاء انقسامات ORC
BUG-92373	FALCON-2314	إصدار Bump TestNG إلى 6.13.1 لتجنب تبعية BeanShell
BUG-92381	‏‫غير متوفر‬	فشل testContainerLogsWithNewAPI وtestContainerLogsWithOldAPI UT
BUG-92389	STORM-2841	فشل TestNoAcksIfFlushFails UT مع NullPointerException
BUG-92586	SPARK-17920, SPARK-20694, SPARK-21642, SPARK-22162, SPARK-22289, SPARK-22373, SPARK-22495, SPARK-22574, SPARK-22591, SPARK-22595, SPARK-22601, SPARK-22603, SPARK-22607, SPARK-22635, SPARK-22637, SPARK-22653, SPARK-22654, SPARK-22686, SPARK-22688, SPARK-22817, SPARK-22862, SPARK-22889, SPARK-22972, SPARK-22975, SPARK-22982, SPARK-22983, SPARK-22984, SPARK-23001, SPARK-23038, SPARK-23095	تحديث `Spark2` محدث إلى 2.2.1 (16 يناير)
BUG-92680	ATLAS-2288	تم طرح استثناء NoClassDefFoundError أثناء تشغيل البرنامج النصي لاستيراد الخلية عند تكوين جدول HBase عبر الخلية
BUG-92760	ACCUMULO-4578	لا يؤدي إلغاء ضغط عملية FATE إلى تحرير قفل مساحة الاسم
BUG-92797	HDFS-10267، HDFS-8496	الحد من تعارضات تأمين DataNode في حالات استخدام معينة
BUG-92813	FLUME-2973	توقف تام في متلقي hdfs
BUG-92957	HIVE-11266	ينتج count(*) نتيجة غير صحيحة بناءً على إحصائيات الجدول للجداول الخارجية
BUG-93018	ATLAS-2310	في HA، تقوم العقدة الخاملة بإعادة توجيه الطلب بتشفير عنوان URL خاطئ
BUG-93116	RANGER-1957	لا يقوم Ranger Usersync بمزامنة المستخدمين أو المجموعات بشكل دوري عند تمكين المزامنة المتزايدة.
BUG-93361	HIVE-12360	البحث غير صحيح في ORC غير مضغوط مع الانتقال للأدنى لدالة التقييم
BUG-93426	CALCITE-2086	HTTP/413 في ظروف معينة بسبب عناوين التخويل الكبيرة
BUG-93429	PHOENIX-3240	ClassCastException من محمل Pig
BUG-93485	‏‫غير متوفر‬	يتعذر الحصول على الجدول mytestorg.apache.hadoop.hive.ql.metadata.InvalidTableException: لم يتم العثور على الجدول عند تشغيل جدول التحليل على الأعمدة في LLAP
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: قم بتشغيل مهمة Spark للاتصال بخادم استعلام Phoenix وبيانات التحمل
BUG-93550	‏‫غير متوفر‬	لا يعمل Zeppelin %spark.r مع spark1 بسبب عدم تطابق إصدار scala
BUG-93910	HIVE-18293	فشل Hive في ضغط الجداول الموجودة داخل مجلد غير مملوك لهوية تقوم بتشغيل HiveMetaStore
BUG-93926	ZEPPELIN-3114	لا يتم حفظ الدفاتر والمترجمين الفوريين في zeppelin بعد اختبار تحمّل >1d
BUG-93932	ATLAS-2320	التصنيف "*" مع الاستعلام يلقي استثناء الخادم الداخلي 500.
BUG-93948	YARN-7697	ينخفض NM مع OOM بسبب تسرب في تجميع السجل (الجزء #1)
BUG-93965	ATLAS-2229	بحث DSL: السمة التي ليست سلسلة orderby تطرح استثناءً
BUG-93986	YARN-7697	ينخفض NM مع OOM بسبب تسرب في تجميع السجل (الجزء # 2)
BUG-94030	ATLAS-2332	سيفشل إنشاء نوع بسمات لها أنواع بيانات مجموعة متداخلة
BUG-94080	YARN-3742، YARN-6061	كلا RM في وضع الاستعداد في نظام مجموعة آمنة
BUG-94081	HIVE-18384	ConcurrentModificationException في `log4j2.x` المكتبة
BUG-94168	‏‫غير متوفر‬	ينخفض Yarn RM مع وجود Service Registry في حالة خطأ ERROR
BUG-94330	HADOOP-13190, HADOOP-14104, HADOOP-14814, HDFS-10489, HDFS-11689	يجب أن يدعم HDFS العديد من `KMS Uris`
BUG-94345	HIVE-18429	يجب أن يتعامل الضغط مع الحالة عندما لا ينتج عنه أي ناتج
BUG-94372	ATLAS-2229	استعلام DSL:hive table name = ["t1","t2"] يطرح استثناءً غير صالح لاستعلام DSL
BUG-94381	HADOOP-13227، HDFS-13054	طلب RetryAction عند معالجة RequestHedgingProxyProvider: FAIL < RETRY <FAILOVER_AND_RETRY.
BUG-94432	HIVE-18353	يجب على CompactorMR استدعاء jobclient.close() لبدء عملية التنظيف
BUG-94575	SPARK-22587	تفشل مهمة Spark إذا كانت fs.defaultFS وapplication jar عنوان url مختلفًا
BUG-94791	SPARK-22793	تسرب الذاكرة في خادم Spark Thrift
BUG-94928	HDFS-11078	Fix NPE in LazyPersistFileScrubber
BUG-95013	HIVE-18488	يفتقد قراء LLAP ORC لبعض عمليات التحقق الفارغة
BUG-95077	HIVE-14205	لا يدعم Hive نوع الاتحاد بتنسيق ملف AVRO
BUG-95200	HDFS-13061	يجب ألا تثق SaslDataTransferClient#checkTrustAndSend في قناة موثوق بها جزئيا
BUG-95201	HDFS-13060	إضافة BlacklistBasedTrustedChannelResolver لـ TrustedChannelResolver
BUG-95284	HBASE-19395	يفشل [فرع-1] TestEndToEndSplitTransaction.testMasterOpsWhileSplitting مع NPE
BUG-95301	HIVE-18517	الخط المتجه: إصلاح VectorMapOperator لقبول VRBs والتحقق بشكل صحيح من العلامات الموجهة لدعم التخزين المؤقت LLAP
BUG-95542	HBASE-16135	قد لا يتم حذف PeerClusterZnode ضمن rs من النظير الذي تمت إزالته أبدا
BUG-95595	HIVE-15563	تجاهل استثناء انتقال حالة العملية غير القانونية في SQLOperation.runQuery لتوفير استثناء فعلي.
BUG-95596	YARN-4126، YARN-5750	فشل TestClientRMService
BUG-96019	HIVE-18548	إصلاح `log4j` الاستيراد
BUG-96196	HDFS-13120	قد يكون فرق النسخة المطابقة تالفًا بعد CONCAT
BUG-96289	HDFS-11701	يتسبب NPE من مضيف لم يتم حله في حدوث فشل دائم في DFSInputStream
BUG-96291	STORM-2652	تم طرح استثناء في أسلوب فتح JmsSpout
BUG-96363	HIVE-18959	تجنب إنشاء مجموعة إضافية من المواضيع داخل LLAP
BUG-96390	HDFS-10453	قد يتعطل مؤشر ترابط ReplicationMonitor لفترة طويلة بسبب التعارض بين النسخ المتماثل وحذف الملف نفسه في نظام مجموعة كبيرة.
BUG-96454	YARN-4593	Deadlock in AbstractService.getConfig()
BUG-96704	FALCON-2322	يتم طرح ClassCastException أثناء موجز SubmitAndSchedule
BUG-96720	SLIDER-1262	فشل قوالب شريط التمرير في `Kerberized` البيئة
BUG-96931	SPARK-23053, SPARK-23186, SPARK-23230, SPARK-23358, SPARK-23376, SPARK-23391	تحديث `Spark2` محدث (19 فبراير)
BUG-97067	HIVE-10697	يقوم ObjectInspectorConvertors#UnionConvertor بتحويل غير صحيح
BUG-97244	KNOX-1083	يجب أن تكون مهلة HttpClient الافتراضية قيمة معقولة
BUG-97459	ZEPPELIN-3271	خيار لتعطيل المجدول
BUG-97511	KNOX-1197	لا تتم إضافة AnonymousAuthFilter عندما تكون authentication=Anonymous في الخدمة
BUG-97601	HIVE-17479	لا يتم تنظيف الدلائل المرحلية لاستعلامات التحديث / الحذف
BUG-97605	HIVE-18858	لم يتم حل خصائص النظام في تكوين الوظيفة عند إرسال مهمة MR
BUG-97674	OOZIE-3186	Oozie غير قادر على استخدام التكوين المرتبط باستخدام jceks://file/...
BUG-97743	‏‫غير متوفر‬	استثناء java.lang.NoClassDefFoundError أثناء توزيع مخطط storm
BUG-97756	PHOENIX-4576	إصلاح فشل اختبارات LocalIndexSplitMergeIT
BUG-97771	HDFS-11711	يجب ألا يحذف DN الكتلة في استثناء "عدد كبير جدًا من الملفات المفتوحة"
BUG-97869	KNOX-1190	`Knox` دعم SSO ل Google OIDC معطل.
BUG-97879	PHOENIX-4489	فقدان اتصال HBase في وظائف Phoenix MR
BUG-98392	RANGER-2007	فشل تجديد بطاقة ranger-tagsync Kerberos
BUG-98484	‏‫غير متوفر‬	فشل النسخ المتماثل المتزايد لـ Apache Hive إلى السحابة
BUG-98533	HBASE-19934، HBASE-20008	فشلت استعادة نسخة HBase بسبب استثناء مؤشر Null
BUG-98555	PHOENIX-4662	إعادة إرسال NullPointerException في TableResultIterator.java على ذاكرة التخزين المؤقت
BUG-98579	HBASE-13716	التوقف عن استخدام Hadoop FS الخاص بـ Hadoop
BUG-98705	KNOX-1230	تؤدي العديد من الطلبات المتزامنة إلى `Knox` إدارة عنوان URL
BUG-98983	KNOX-1108	لا يتم تنفيذ تجاوز الفشل لـ NiFiHaDispatch
BUG-99107	HIVE-19054	يجب أن يستخدم النسخ المتماثل "hive.repl.replica.functions.root.dir" كجذر
BUG-99145	RANGER-2035	خطأ عند الوصول إلى servicedefs باستخدام implClass فارغة مع خلفية Oracle
BUG-99160	SLIDER-1259	لا يعمل شريط التمرير في بيئات متعددة الشبكات
BUG-99239	ATLAS-2462	لا يؤدي استيراد Sqoop لجميع الجداول إلى تشغيل NPE لأي جدول محدد في الأمر
BUG-99301	ATLAS-2530	فاصل الأسطر في بداية سمة الاسم لعملية hive_process وhive_column_lineage
BUG-99453	HIVE-19065	يجب أن يحتوي فحص الامتثال لعميل Metastore على syncMetaStoreClient
BUG-99521	‏‫غير متوفر‬	لا يتم إعادة إنشاء ServerCache لـ HashJoin عند إعادة إنشاء المكررات
BUG-99590	PHOENIX-3518	تسرب الذاكرة في RenewLeaseTask
BUG-99618	SPARK-23599، SPARK-23806	التحديث `Spark2` إلى 2.3.0+ (3/28)
BUG-99672	ATLAS-2524	Hook Hive مع إخطارات V2: معالجة غير صحيحة لعملية "تغيير العرض كـ"
BUG-99809	HBASE-20375	إزالة استخدام getCurrentUserCredentials في وحدة hbase-spark

إمكانية الدعم

معرّف خطأ	Apache JIRA	الملخص
BUG-87343	HIVE-18031	دعم النسخ المتماثل لعملية تعديل قاعدة البيانات.
BUG-91293	RANGER-2060	`Knox` لا يعمل الوكيل مع `knox-sso` ranger
BUG-93116	RANGER-1957	لا يقوم Ranger Usersync بمزامنة المستخدمين أو المجموعات بشكل دوري عند تمكين المزامنة المتزايدة.
BUG-93577	RANGER-1938	لا تقوم Solr باستخدام DocValuesبشكل فعّال لإعداد التحقق
BUG-96082	RANGER-1982	تحسين الخطأ لمقياس التحليلات ل Ranger Admin وRanger `Kms`
BUG-96479	HDFS-12781	بعد `Datanode` التعطل، تقوم علامة التبويب في `Namenode` واجهة المستخدم `Datanode` بطرح رسالة تحذير.
BUG-97864	HIVE-18833	فشل الدمج التلقائي عند "الإدراج في الدليل كـ orcfile"
BUG-98814	HDFS-13314	يجب إنهاء NameNode اختياريًا إذا اكتشف تلفًا في FsImage

إصلاح

معرّف خطأ	Apache JIRA	الملخص
BUG-100134	SPARK-22919	العودة عن "إصدارات Bump Apache httpclient"
BUG-95823	‏‫غير متوفر‬	`Knox`:ترقيه `Beanutils`
BUG-96751	KNOX-1076	تحديث nimbus-jose-jwt إلى 4.41.2
BUG-97864	HIVE-18833	فشل الدمج التلقائي عند "الإدراج في الدليل كـ orcfile"
BUG-99056	HADOOP-13556	تغيير Configuration.getPropsWithPrefix لاستخدام getProps بدلاً من المكرر
BUG-99378	ATLAS-2461، ATLAS-2554	أداة الترحيل لتصدير بيانات Atlas في Titan Graph DB

قابليه الاستخدام

معرّف خطأ	Apache JIRA	الملخص
BUG-100045	HIVE-19056	IllegalArgumentException في FixAcidKeyIndex عندما يحتوي ملف ORC على 0 صفوف
BUG-100139	KNOX-1243	تسوية DNs المطلوبة التي تم تكوينها في `KnoxToken` الخدمة
BUG-100570	ATLAS-2557	إصلاح للسماح لمجموعات `lookup` hadoop `ldap` عندما تكون المجموعات من UGI معينة بشكل خاطئ أو غير فارغة
BUG-100646	ATLAS-2102	تحسينات واجهة المستخدم Atlas: صفحة نتائج البحث
BUG-100737	HIVE-19049	إضافة دعم لجدول Alter، إضافة أعمدة لـ Druid
BUG-100750	KNOX-1246	تحديث تكوين `Knox` الخدمة لدعم أحدث التكوينات ل Ranger.
BUG-100965	ATLAS-2581	الانحدار مع إخطارات V2 Hive hook: نقل الجدول إلى قاعدة بيانات مختلفة
BUG-84413	ATLAS-1964	واجهة المستخدم: دعم ترتيب الأعمدة في جدول البحث
BUG-90570	HDFS-11384، HDFS-12347	إضافة خيار الموازن لقطع استدعاءات getBlocks لتجنب إدراج rpc.CallQueueLength الخاص بـ NameNode
BUG-90584	HBASE-19052	يجب أن يتعرف FixedFileTrailer على فئة CellComparatorImpl ضمن الفرع -1
BUG-90979	KNOX-1224	`Knox` وكيل `HADispatcher` لدعم Atlas في HA.
BUG-91293	RANGER-2060	`Knox` الوكيل مع knox-sso لا يعمل مع ranger
BUG-92236	ATLAS-2281	تخزين استعلامات عامل التصفية لسمات Tag/Type باستخدام عوامل تصفية NULL/non-NULL.
BUG-92238	ATLAS-2282	لا يظهر البحث المفضل المحفوظ إلا عند التحديث بعد الإنشاء عندما يكون هناك أكثر من 25 عملية بحث مفضلة.
BUG-92333	ATLAS-2286	يجب ألا يعلن النوع المكوّن مسبقًا 'kafka_topic'عن سمة "الموضوع" على أنها فريدة
BUG-92678	ATLAS-2276	يتم تعيين قيمة المسار لكيان النوع hdfs_path بأحرف صغيرة عبر جسر الخلية.
BUG-93097	RANGER-1944	تصفية الإجراءات بالنسبة لتدقيق المسؤول لا تعمل
BUG-93135	HIVE-15874، HIVE-18189	يعرض استعلام Hive نتائج خاطئة عند تعيين hive.groupby.orderby.position.alias على TRUE
BUG-93136	HIVE-18189	الترتيب حسب الموضع لا يعمل عندما `cbo` يكون معطلا
BUG-93387	HIVE-17600	جعل OrcFile's "EnforceBufferSize" قابلة للتعيين من خلال المستخدم.
BUG-93495	RANGER-1937	يجب على Ranger `tagsync` معالجة الإعلام ENTITY_CREATE، لدعم ميزة استيراد Atlas
BUG-93512	PHOENIX-4466	java.lang.RuntimeException: قم بتشغيل مهمة Spark للاتصال بخادم استعلام Phoenix وبيانات التحمل
BUG-93801	HBASE-19393	HTTP 413 FULL HEAD عند الوصول إلى واجهة مستخدم HBase باستخدام SSL.
BUG-93804	HIVE-17419	يعرض الأمر "ANALYZE TABLE ... COMPUTE STATISTICS FOR COLUMNS" بيانات إحصائية محسوبة للجداول المقنّعة
BUG-93932	ATLAS-2320	التصنيف "*" مع الاستعلام يلقي استثناء الخادم الداخلي 500.
BUG-93933	ATLAS-2286	يجب ألا يعلن النوع المكوّن مسبقًا 'kafka_topic'عن سمة "الموضوع" على أنها فريدة
BUG-93938	ATLAS-2283، ATLAS-2295	تحديثات واجهة المستخدم للتصنيفات
BUG-93941	ATLAS-2296، ATLAS-2307	تحسين البحث الأساسي لاستبعاد كيانات النوع الفرعي وأنواع التصنيف الفرعي اختياريًا
BUG-93944	ATLAS-2318	واجهة المستخدم: عند النقر فوق علامة تابعة مرتين، يتم تحديد العلامة الأصل
BUG-93946	ATLAS-2319	واجهة المستخدم: حذف علامة في موقع 25+ في قائمة العلامات في كل من البنية المسطحة والشجرة يحتاج إلى تحديث لإزالة العلامة من القائمة.
BUG-93977	HIVE-16232	دعم البيانات الإحصائية الحساب للعمود في Quoted_Identifier
BUG-94030	ATLAS-2332	سيفشل إنشاء نوع بسمات لها أنواع بيانات مجموعة متداخلة
BUG-94099	ATLAS-2352	يجب أن يوفر خادم Atlas التكوين لتحديد صلاحية Kerberos CommissionToken
BUG-94280	HIVE-12785	العرض بنوع الاتحاد وUDF لتحويل البينة يكون غير صحيح
BUG-94332	SQOOP-2930	لا تتجاوز وظيفة Sqoop exec الخصائص العامة للوظيفة المحفوظة
BUG-94428	‏‫غير متوفر‬	`Dataplane` دعم واجهة برمجة تطبيقات `Knox` REST لعامل محلل ملفات التعريف
BUG-94514	ATLAS-2339	واجهة المستخدم: تؤثر التعديلات في "الأعمدة" في عرض نتائج البحث الأساسي على DSL أيضًا.
BUG-94515	ATLAS-2169	فشل طلب الحذف عند تكوين الحذف الثابت
BUG-94518	ATLAS-2329	تظهر ميزة المرور فوق متعددة لواجهة مستخدم Atlas إذا نقر المستخدم فوق علامة أخرى غير صحيحة
BUG-94519	ATLAS-2272	حفظ حالة الأعمدة المنقولة باستخدام save search API.
BUG-94627	HIVE-17731	إضافة خيار للخلف `compat` للمستخدمين الخارجيين إلى HIVE-11985
BUG-94786	HIVE-6091	يتم إنشاء ملفات فارغة `pipeout` لإنشاء/إغلاق الاتصال
BUG-94793	HIVE-14013	لا يعرض جدول الوصف Unicode بشكل صحيح
BUG-94900	OOZIE-2606, OOZIE-2658, OOZIE-2787, OOZIE-2802	تم تعيين spark.yarn.jars لإصلاح أخطاء Spark 2.0 باستخدام Oozie
BUG-94901	HBASE-19285	إضافة مدرج تكراري لوقت الاستجابة لكل جدول
BUG-94908	ATLAS-1921	واجهة المستخدم: البحث باستخدام سمات الكيان والسمات: لا تفحص واجهة المستخدم النطاق وتسمح بتوفير قيم خارج الحدود لأنواع البيانات المتكاملة والحرة.
BUG-95086	RANGER-1953	تحسين على قائمة صفحات مجموعة المستخدمين
BUG-95193	SLIDER-1252	فشل عامل شريط التمرير مع أخطاء التحقق من SSL مع Python 2.7.5-58
BUG-95314	YARN-7699	يأتي queueUsagePercentage ك INF لاستدعاء `getApp` REST api
BUG-95315	HBASE-13947, HBASE-14517, HBASE-17931	قم بتعيين جداول النظام للخوادم ذات الإصدار الأعلى
BUG-95392	ATLAS-2421	تحديثات الإخطار لدعم بنية بيانات V2
BUG-95476	RANGER-1966	لا يؤدي تهيئة محرك النهج إلى إنشاء عناصر إثراء للسياق في بعض الحالات
BUG-95512	HIVE-18467	دعم النسخ الاحتياطي / التحميل الكامل للمستودع وإنشاء / حذف أحداث قاعدة البيانات
BUG-95593	‏‫غير متوفر‬	توسيع Oozie DB utils لدعم `Spark2sharelib` الإنشاء
BUG-95595	HIVE-15563	تجاهل استثناء انتقال حالة العملية غير القانونية في SQLOperation.runQuery لتوفير استثناء فعلي.
BUG-95685	ATLAS-2422	التصدير: دعم التصدير المستند إلى النوع
BUG-95798	PHOENIX-2714, PHOENIX-2724, PHOENIX-3023, PHOENIX-3040	لا تستخدم إشارات إرشادية لتنفيذ الاستعلامات بشكل متسلسل
BUG-95969	HIVE-16828, HIVE-17063, HIVE-18390	فشل العرض المقسم مع FAILED: IndexOutOfBoundsException الفهرس: 1، الحجم: 1
BUG-96019	HIVE-18548	إصلاح `log4j` الاستيراد
BUG-96288	HBASE-14123, HBASE-14135, HBASE-17850	النسخ الاحتياطي / استعادة 2.0 Backport HBase
BUG-96313	KNOX-1119	`Pac4J` يجب أن يكون OAuth/OpenID الأساسي قابلا للتكوين
BUG-96365	ATLAS-2442	لا يمكن للمستخدمين الذين لديهم أذونات للقراءة فقط لمورد الكيان إجراء بحث أساسي
BUG-96479	HDFS-12781	بعد `Datanode` التعطل، تقوم علامة التبويب في `Namenode` واجهة المستخدم `Datanode` بطرح رسالة تحذير.
BUG-96502	RANGER-1990	إضافة دعم أحادي الاتجاه لـ SSL وMySQL في Ranger Admin
BUG-96718	ATLAS-2439	تحديث Sqoop Hook لاستخدام إشعارات V2
BUG-96748	HIVE-18587	قد يحاول حدث إدراج DML حساب المجموع الاختباري على الدلائل
BUG-96821	HBASE-18212	في الوضع المستقل مع رسالة تحذير سجلات HBase لنظام الملفات المحلي: فشل استدعاء أسلوب "unbuffer" في class org.apache.hadoop.fs.FSDataInputStream
BUG-96847	HIVE-18754	يجب أن تدعم REPL STATUS عبارة "مع"
BUG-96873	ATLAS-2443	التقاط سمات الكيان الضرورية في رسائل DELETE الصادرة
BUG-96880	SPARK-23230	عندما يكون hive.default.fileformat أنواعا أخرى من أنواع الملفات، يتسبب إنشاء `textfile` جدول في حدوث `serde` خطأ
BUG-96911	OOZIE-2571, OOZIE-2792, OOZIE-2799, OOZIE-2923	تحسين تحليل خيارات Spark
BUG-97100	RANGER-1984	قد لا تعرض سجلات سجل تدقيق HBase جميع العلامات المقترنة بالعمود الذي تم الوصول إليه
BUG-97110	PHOENIX-3789	تنفيذ استدعاءات صيانة فهرس المنطقة في postBatchMutateIndispensably
BUG-97145	HIVE-12245، HIVE-17829	دعم تعليقات العمود لجدول HBase
BUG-97409	HADOOP-15255	دعم تحويل الأحرف الكبيرة / الصغيرة لأسماء المجموعات في LdapGroupsMapping
BUG-97535	HIVE-18710	تمديد inheritPerms إلى ACID في Hive 2.X
BUG-97742	OOZIE-1624	نمط الاستبعاد ل `sharelib` JARs
BUG-97744	PHOENIX-3994	تعتمد أولوية RPC للفهرس دائمًا على خاصية مصنع وحدة التحكم في hbase-site.xml
BUG-97787	HIVE-18460	لا يقوم برنامج الضغط بتمرير خصائص الجدول إلى كاتب ORC
BUG-97788	HIVE-18613	توسيع JsonSerDe لدعم النوع BINARY
BUG-97899	HIVE-18808	جعل الضغط أكثر قوة عند فشل تحديث البيانات الإحصائية
BUG-98038	HIVE-18788	تنظيف المدخلات في JDBC PreparedStatement
BUG-98383	HIVE-18907	إنشاء أداة لإصلاح مشكلة مؤشر مفتاح acid الخاص بـ HIVE-18817
BUG-98388	RANGER-1828	أفضل ممارسات الترميز-إضافة عناوين إضافية في ranger
BUG-98392	RANGER-2007	فشل تجديد بطاقة ranger-tagsync Kerberos
BUG-98533	HBASE-19934، HBASE-20008	فشلت استعادة نسخة HBase بسبب استثناء مؤشر Null
BUG-98552	HBASE-18083، HBASE-18084	جعل رقم مؤشر الترابط للملفات الكبيرة / الصغيرة قابلاً للتكوين في HFileCleaner
BUG-98705	KNOX-1230	تؤدي العديد من الطلبات المتزامنة إلى `Knox` إدارة عنوان URL
BUG-98711	‏‫غير متوفر‬	لا يمكن لـ NiFi-Dispatch استخدام SSL ثنائي الاتجاه دون إحداث تغييرات على "service.xml"
BUG-98880	OOZIE-3199	يجب أن يكون تقييد خصائص النظام قابلاً للتكوين
BUG-98931	ATLAS-2491	تحديث خطاف Hive لاستخدام إشعارات Atlas v2
BUG-98983	KNOX-1108	لا يتم تنفيذ تجاوز الفشل لـ NiFiHaDispatch
BUG-99088	ATLAS-2511	توفير خيارات لاستيراد قاعدة البيانات / الجداول بشكل انتقائي من Hive إلى Atlas
BUG-99154	OOZIE-2844, OOZIE-2845, OOZIE-2858, OOZIE-2885	فشل استعلام Spark باستثناء "java.io.FileNotFoundException: hive-site.xml (تم رفض الإذن)"
BUG-99239	ATLAS-2462	لا يؤدي استيراد Sqoop لجميع الجداول إلى تشغيل NPE لأي جدول محدد في الأمر
BUG-99636	KNOX-1238	إصلاح إعدادات Truststore المخصصة للبوابة
BUG-99650	KNOX-1223	وكيل Zeppelin `Knox` لا يعيد توجيه /api/ticket كما هو متوقع
BUG-99804	OOZIE-2858	يجب ألا يتجاوز HiveMain وShellMain وSparkMain الخصائص وملفات التكوين محليًا
BUG-99805	OOZIE-2885	يجب ألا يحتاج تشغيل إجراءات Spark إلى Hive في classpath
BUG-99806	OOZIE-2845	استبدل التعليمات البرمجية المستندة إلى الانعكاس الذي يحدد متغيرًا في HiveConf
BUG-99807	OOZIE-2844	زيادة استقرار إجراءات Oozie عندما `log4j`تكون .properties مفقودة أو غير قابلة للقراءة
RMP-9995	AMBARI-22222	تبديل Druid لاستخدام الدليل /var/druid بدلاً من /apps/druid على القرص المحلي

التغيرات السلوكية

مكوّن Apache	Apache JIRA	الملخص	التفاصيل
Spark 2.3	غير متاح	تم توثيق التغييرات في ملاحظات إصدار Apache Spark	يوجد مستند للمكونات المهملة ودليل لتغيير السلوك،https://spark.apache.org/releases/spark-release-2-3-0.html#deprecations - بالنسبة لقسم SQL، يوجد دليل تفصيلي آخر للترحيل (من 2.2 إلى 2.3)، https://spark.apache.org/docs/latest/sql-programming-guide.html#upgrading-from-spark-sql-22-to-23\|
Spark	HIVE-12505	اكتملت مهمة Spark بنجاح ولكن هناك خطأ كامل في الحصة النسبية لقرص HDFS	سيناريو:تنفيذ الكتابة فوق الإدراج عند تعيين حصة نسبية في مجلد المهملات للمستخدم الذي يقوم بتشغيل الأمر. السلوك السابق: تنجح الوظيفة على الرغم من فشلها في نقل البيانات إلى سلة المهملات. يمكن أن تحتوي النتيجة بشكل خاطئ على بعض البيانات الموجودة مسبقًا في الجدول. سلوك جديد: عندما يفشل النقل إلى مجلد سلة المهملات، يتم حذف الملفات نهائيًا.
Kafka 1.0	غير متاح	تم توثيق التغييرات في ملاحظات إصدار Apache Spark	https://kafka.apache.org/10/documentation.html#upgrade_100_notable
Hive/ Ranger		نُهج ranger hive الإضافية المطلوبة لـ INSERT OVERWRITE	السيناريو: نُهج ranger hive الإضافية المطلوبة لـ INSERT OVERWRITE السلوك السابق: تنجح استعلامات Hive INSERT OVERWRITE كالمعتاد. السلوك الجديد: تفشل استعلامات Hive INSERT OVERWRITE بشكل غير متوقع بعد الترقية إلى HDP-2.6.x بسبب الخطأ: خطأ أثناء ترجمة العبارة: FAILED: رفض إذن HiveAccessControlException: المستخدم jdoe ليس لديه امتياز WRITE في /tmp(state=42000,code=40000) اعتبارًا من HDP-2.6.0، تتطلب استعلامات Hive INSERT OVERWRITE* نهج Ranger URI للسماح بعمليات الكتابة، حتى إذا كان المستخدم لديه امتياز الكتابة الممنوح من خلال نهج HDFS. الحل البديل / الإجراء المتوقع من العميل: 1. أنشئ نهج جديد ضمن مستودع تخزين Hive. 2. في القائمة المنسدلة حيث ترى قاعدة البيانات، حدد URI. 3. تحديث المسار (مثال: /tmp/*) 4. أضف المستخدمين والمجموعة واحفظها. 5. أعد محاولة إدراج الاستعلام.
HDFS	غير متاح	يجب أن يدعم HDFS العديد من `KMS Uris`	السلوك السابق: تم استخدام الخاصية dfs.encryption.key.provider.uri لتكوين مسار موفر KMS. السلوك الجديد: تم إيقاف تشغيل dfs.encryption.key.provider.uri الآن وتم استبداله بـ hadoop.security.key.provider.path لتكوين مسار موفر KMS.
منطاد	ZEPPELIN-3271	خيار لتعطيل المجدول	المكون المتأثر: Zeppelin-Server السلوك السابق: في الإصدارات السابقة من Zeppelin، لم يكن هناك خيار لتعطيل المجدول. سلوك جديد: بشكل افتراضي، لن يرى المستخدمون المجدول، لأنه معطل بشكل افتراضي. الحل البديل / إجراء العميل المتوقع: إذا كنت تريد تمكين المجدول، فستحتاج إلى إضافة azeppelin.notebook.cron.enable بقيمة true ضمن موقع zeppelin المخصص في إعدادات Zeppelin من Ambari.

المشكلات المعروفة

تكامل HDInsight مع ADLS Gen 2 هناك مشكلتان في مجموعات HDInsight ESP باستخدام Azure Data Lake Storage Gen 2 مع أدلة المستخدم والأذونات:
1. لا يتم إنشاء الدلائل الرئيسية للمستخدمين على Head Node 1. كحل بديل، قم بإنشاء الدلائل يدويا وتغيير الملكية إلى UPN الخاص بالمستخدم المعني.
2. الأذونات الموجودة على الدليل /hdp ليست مضبوطة حاليًا على 751. هذا يحتاج إلى تعيين إلى
```
chmod 751 /hdp 
chmod –R 755 /hdp/apps
```
Spark 2.3
- [SPARK-23523][SQL] نتيجة غير صحيحة بسبب استعلام قاعدة OptimizeMetadataOnlyQuery
- [SPARK-23406] خطأ في عمليات الصلة التلقائية للتدفقات
- لا تتوفر نماذج دفاتر الملاحظات Spark عندما يكون Azure Data Lake Storage (Gen2) هو التخزين الافتراضي للمجموعة.
حزمة أمان المؤسسات
- لا يقبل Spark Thrift Server الاتصالات من عملاء ODBC. خطوات الحل البديل:
  1. انتظر حوالي 15 دقيقة بعد إنشاء نظام المجموعة.
  2. تحقق من واجهة مستخدم ranger بحثًا عن hivesampletable_policy.
  3. إعادة تشغيل خدمة Spark. يجب أن يعمل اتصال STS الآن.
الحل البديل لفشل فحص خدمة Ranger
- RANGER-1607: الحل البديل لفحص خدمة Ranger فشل أثناء الترقية إلى HDP 2.6.2 من إصدارات HDP السابقة.
  
  إشعار
  
  فقط عندما يتم تمكين SSL لـ Ranger.
تظهر هذه المشكلة عند محاولة الترقية إلى HDP-2.6.1 من إصدارات HDP السابقة من خلال Ambari. يستخدم Ambari استدعاء curl لإجراء فحص خدمة لخدمة Ranger في Ambari. إذا كان إصدار JDK الذي يستخدمه Ambari هو JDK-1.7، فستفشل استدعاء curl مع الخطأ أدناه:

curl: (35) error:14077410:SSL routines:SSL23_GET_SERVER_HELLO:sslv3 alert handshake failure

سبب هذا الخطأ هو إصدار tomcat المستخدم في Ranger هو Tomcat-7.0.7 *. يتعارض استخدام JDK-1.7 مع التشفيرات الافتراضية المتوفرة في Tomcat-7.0.7 *.

يمكنك حل هذه المشكلة بطريقتين:
- قم بتحديث JDK المستخدم في Ambari من JDK-1.7 إلى JDK-1.8 (راجع القسم تغيير إصدار JDK في الدليل المرجعي Ambari).
- إذا كنت ترغب في الاستمرار في دعم بيئة JDK-1.7:
  1. أضف الخاصية ranger.tomcat.ciphers في القسم ranger-admin-site في تكوين Ambari Ranger بالقيمة التالية:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
  2. إذا تم تكوين بيئتك لـ Ranger-KMS، أضف الخاصية ranger.tomcat.ciphers في القسم theranger-kms-site في تكوين Ambari Ranger بالقيمة التالية:
    
    SSL_RSA_WITH_RC4_128_MD5, SSL_RSA_WITH_RC4_128_SHA, TLS_RSA_WITH_AES_128_CBC_SHA, SSL_RSA_WITH_3DES_EDE_CBC_SHA
إشعار

القيم المذكورة هي أمثلة عملية وقد لا تكون مؤشرا على بيئتك. تأكد من أن طريقة تعيين هذه الخصائص تتطابق مع كيفية تكوين بيئتك.
RangerUI: هروب من نص شرط النهج الذي تم إدخاله في نموذج النهج

المكون المتأثر: Ranger

وصف المشكلة

إذا أراد المستخدم إنشاء نهج بشروط نهج مخصص وكان التعبير أو النص يحتوي على أحرف خاصة، فلن ينجح تطبيق هذا النهج. يتم تحويل الأحرف الخاصة إلى ASCII قبل حفظ النهج في قاعدة البيانات.

الأحرف الخاصة: " ' <> '

على سبيل المثال، يتم تحويل الشرط='abc tags.attributes['type'] إلى التالي بمجرد حفظ النهج.

tags.attds[#x27; #x27 dsds;]=#x27; cssdfs #x27;

يمكنك رؤية حالة النهج بهذه الأحرف من خلال فتح النهج في وضع التحرير.

الحل البديل
- الخيار #1: إنشاء / تحديث النهج عبر واجهة برمجة تطبيقات Ranger Rest
  
  REST URL: http://<host>:6080/service/plugins/policies
  
  إنشاء نهج وفقًا لشرط النهج:
  
  ينشئ المثال التالي نهجًا بعلامات مثل `tags-test` ويخصصها للمجموعة `public` مع شرط النهج astags.attr['type']=='abc' عن طريق إزالة جميع أذونات مكونات Hive مثل select وupdate وcreate وdrop وalter وindex وlock وall.
  
  مثال:
```
  curl -H "Content-Type: application/json" -X POST http://localhost:6080/service/plugins/policies -u admin:admin -d '{"policyType":"0","name":"P100","isEnabled":true,"isAuditEnabled":true,"description":"","resources":{"tag":{"values":["tags-test"],"isRecursive":"","isExcludes":false}},"policyItems":[{"groups":["public"],"conditions":[{"type":"accessed-after-expiry","values":[]},{"type":"tag-expression","values":["tags.attr['type']=='abc'"]}],"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}]}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"service":"tagdev"}'
```
  تحديث النهج الحالي وفقًا لشرط النهج:
  
  يحدّث المثال التالي نهجًا بعلامات مثل `tags-test` ويخصصها للمجموعة `public` مع شرط النهج astags.attr['type']=='abc' عن طريق إزالة جميع أذونات مكونات Hive مثل select وupdate وcreate وdrop وalter وindex وlock وall.
  
  REST URL: http://<host-name>:6080/service/plugins/policies/<policy-id>
  
  مثال:
```
  curl -H "Content-Type: application/json" -X PUT http://localhost:6080/service/plugins/policies/18 -u admin:admin -d '{"id":18,"guid":"ea78a5ed-07a5-447a-978d-e636b0490a54","isEnabled":true,"createdBy":"Admin","updatedBy":"Admin","createTime":1490802077000,"updateTime":1490802077000,"version":1,"service":"tagdev","name":"P0101","policyType":0,"description":"","resourceSignature":"e5fdb911a25aa7f77af5a9546938d9ed","isAuditEnabled":true,"resources":{"tag":{"values":["tags"],"isExcludes":false,"isRecursive":false}},"policyItems":[{"accesses":[{"type":"hive:select","isAllowed":true},{"type":"hive:update","isAllowed":true},{"type":"hive:create","isAllowed":true},{"type":"hive:drop","isAllowed":true},{"type":"hive:alter","isAllowed":true},{"type":"hive:index","isAllowed":true},{"type":"hive:lock","isAllowed":true},{"type":"hive:all","isAllowed":true}],"users":[],"groups":["public"],"conditions":[{"type":"ip-range","values":["tags.attributes['type']=abc"]}],"delegateAdmin":false}],"denyPolicyItems":[],"allowExceptions":[],"denyExceptions":[],"dataMaskPolicyItems":[],"rowFilterPolicyItems":[]}'
```
- الخيار #2: تطبيق تغييرات JavaScript
  
  خطوات لتحديث ملف JS:
  1. اكتشف ملف PermissionList.js الموجود ضمن /usr/hdp/current/ranger-admin
  2. تعرف على تعريف دالة renderPolicyCondtion (السطر رقم: 404).
  3. إزالة السطر التالي من تلك الدالة، أي ضمن دالة العرض (السطر رقم: 434)
    
    val = _.escape(val);//Line No:460
    
    بعد إزالة السطر أعلاه، ستسمح لك Ranger UI بإنشاء نُهج وفقًا لشروط النهج والتي يمكن أن تحتوي على أحرف خاصة، وسيكون تقييم النهج ناجحًا لنفس النهج.

تكامل HDInsight مع ADLS Gen 2: مشكلة دلائل المستخدم وأذوناته مع مجموعات ESP 1. لا يتم إنشاء الدلائل الرئيسية للمستخدمين على Head Node 1. الحل البديل هو إنشاء هذه يدويا وتغيير الملكية إلى UPN الخاص بالمستخدم المعني. 2. الأذونات على /hdp غير معينة حاليا إلى 751. يجب تعيين هذا إلى. chmod 751 /hdp b. chmod –R 755 /hdp/apps

الإهمال

مدخل OMS: لقد قمنا بإزالة الارتباط من صفحة مورد HDInsight التي كانت تشير إلى مدخل OMS. استخدمت سجلات Azure Monitor في البداية المدخل الخاص بها والذي يُسمى مدخل OMS لإدارة تكوينها وتحليل البيانات المجمعة. تم نقل جميع الوظائف من هذا المدخل إلى مدخل Microsoft Azure حيث سيستمر تطويرها. لقد أوقفت HDInsight دعم بوابة OMS. سيستخدم العملاء HDInsight Azure Monitor بتسجيل التكامل في مدخل Microsoft Azure.
Spark 2.3:إيقاف إصدار Spark 2.3.0

ترقية

كل هذه الميزات متوفرة في HDInsight 3.6. للحصول على أحدث إصدار من Spark وKafka وR Server (Machine Learning Services)، اختر إصدار Spark وKafka وML Services عند إنشاء نظام مجموعة HDInsight 3.6 . للحصول على دعم ADLS، يمكنك اختيار نوع تخزين ADLS كخيار. لن تتم ترقية نُظم المجموعات الحالية إلى هذه الإصدارات تلقائيًا.

ستحصل جميع أنظمة المجموعات الجديدة التي تم إنشاؤها بعد يونيو 2018 تلقائيًا على أكثر من 1000 إصلاح للأخطاء في جميع المشاريع مفتوحة المصدر. تابع هذا الدليل للحصول على أفضل الممارسات حول الترقية إلى الإصدار الأحدث لـ HDInsight.

مشاركة عبر

ملاحظات الإصدار المؤرشفة

الملخص

معلومات الإصدار

تاريخ الإصدار: 22 أكتوبر 2024

مُحدث

قريباً

تاريخ الإصدار: 30 أغسطس 2024

تاريخ الإصدار: 09 أغسطس 2024

التحديثات

تاريخ الإصدار: 05 يوليو 2024

المشكلات التي جرى إصلاحها

تاريخ الإصدار: 19 يونيو 2024

المشكلات التي جرى إصلاحها

تاريخ الإصدار: 16 مايو 2024

تاريخ الإصدار: 15 أبريل 2024

تاريخ الإصدار: 15 فبراير 2024

الميزات الجديدة

قريباً

الخطوات التالية

تاريخ الإصدار: 10 يناير 2024

المشكلات التي جرى إصلاحها

قريباً

تاريخ الإصدار: 26 أكتوبر 2023

الجديد

قريباً

تاريخ الإصدار: 7 سبتمبر 2023

قريبًا

تاريخ الإصدار: 25 يوليو 2023

ما الجديد

قريباً

تاريخ الإصدار: 08 مايو 2023

تاريخ الإصدار: 28 فبراير 2023

وماذا بعد؟

تاريخ الإصدار: 12 ديسمبر 2022

إصلاحات أخطاء المصدر المفتوح

تاريخ الإصدار: 08/10/2022

ميزة جديدة

ثابت

Log Analytics

إصلاحات الأخطاء الثانوية

إصلاحات أخطاء المصدر المفتوح

إصلاحات أخطاء TEZ

إصلاحات أخطاء Hive

المشكلات المعروفة

تاريخ الإصدار: 08/10/2022

ميزة جديدة

ثابت

Log Analytics

إصلاحات الأخطاء الثانوية

إصلاحات أخطاء المصدر المفتوح

إصلاحات أخطاء TEZ

إصلاحات أخطاء Hive

المشكلات المعروفة

تاريخ الإصدار: 06/03/2022

أبرز ميزات الإصدار

Ambari

إصلاحات أخطاء TEZ

إصلاحات أخطاء HBase

إصلاحات أخطاء Hive

تاريخ الإصدار: 03/10/2022

يتوفر Spark 3.1 الآن بشكل عام

يتوفر Kafka 2.4 الآن بشكل عام

يتم الآن دعم مخطط Datatype في HWC في HDInsight 4.0

مناطق جديدة

تغييرات منفذ OSS الخلفي

فيما يلي برنامج مفتوح المصدر JIRAs المحمّلة عكسيًا لهذا الإصدار:

إشعارات الإهمال

يتم تعيين تغير السعة الجهاز الظاهري Azure على HDInsight

سيتم الآن دعم تحجيم أحمال عمل Azure HDInsight HBase باستخدام تغيّر الحجم اليدوي فحسب

تاريخ الإصدار: 12/27/2021

تاريخ الإصدار: 07/27/2021

الميزات الجديدة

يتوفر دعم Azure HDInsight للاتصال العام المقيد بشكل عام في 15 أكتوبر 2021

يتوفر دعم Azure HDInsight لخدمة Azure Private Link بشكل عام في 15 أكتوبر 2021

تجربة تكامل Azure Monitor الجديدة (معاينة)

الإهمال

تغييرات السلوك

لا يدعم HDInsight Interactive Query سوى التحجيم التلقائي المستند إلى الجدول الزمني

التغييرات القادمة

تصحيح الأسعار لأجهزة HDInsight `Dv2` الظاهرية

`Eav4`-دعم السلسلة

يتم تغيير أحجام الأجهزة الظاهرية لنظام المجموعة الافتراضية إلى `Ev3`-series

تغيير حجم الجهاز الظاهري لنظام المجموعة الافتراضي إلى `Ev3`-series