مشاركة عبر

2020 مايو

  • مقالة

تم إصدار هذه الميزات وتحسينات النظام الأساسي ل Azure Databricks في مايو 2020.

إشعار

يتم تنظيم الإصدارات. قد لا يتم تحديث حساب Azure Databricks الخاص بك حتى أسبوع بعد تاريخ الإصدار الأولي.

الأجهزة الظاهرية من سلسلة Easv4 (بيتا)

29 مايو 2020

يوفر Azure Databricks الآن دعما بيتا للأجهزة الظاهرية من سلسلة Easv4، والتي تستخدم SSD متميزة ويمكنها تحقيق أقصى تردد معزز يبلغ 3.35 غيغاهرتز. يمكن أن تحسن أنواع المثيلات هذه أداء حمل العمل لتطبيقات المؤسسة كثيفة الذاكرة.

Databricks Runtime 6.6 for Genomics GA

26 مايو 2020

تم إنشاء Databricks Runtime 6.6 for Genomics أعلى Databricks Runtime 6.6 ويتضمن الميزات الجديدة التالية:

  • قارئ GFF3
  • دعم الجينوم المرجعي المخصص
  • مهلات المسار لكل عينة
  • خيار تصدير BAM
  • الكائنات الثنائية كبيرة الحجم للبيانات

Databricks Runtime 6.6 ML GA

26 مايو 2020

تم إنشاء Databricks Runtime 6.6 ML أعلى Databricks Runtime 6.6 ويتضمن الميزات الجديدة التالية:

  • ترقية mlflow: 1.7.0 إلى 1.8.0

لمزيد من المعلومات، راجع ملاحظات إصدار Databricks Runtime 6.6 ML (EoS) الكاملة.

Databricks Runtime 6.6 GA

26 مايو 2020

يوفر Databricks Runtime 6.6 العديد من ترقيات المكتبة والميزات الجديدة، بما في ذلك ميزات Delta Lake التالية:

  • يمكنك الآن تطوير مخطط الجدول تلقائيا مع merge العملية. وهذا مفيد في السيناريوهات التي تريد فيها رفع بيانات التغيير إلى جدول ويتغير مخطط البيانات بمرور الوقت. بدلا من الكشف عن تغييرات المخطط وتطبيقها قبل رفعها، merge يمكن أن تتطور المخطط في وقت واحد وتكبير التغييرات. راجع تطور المخطط التلقائي لدمج Delta Lake.
  • تم تحسين أداء عمليات الدمج التي تحتوي على عبارات متطابقة فقط، أي أن لها فقط update delete وإجراءات ولا إجراء insert .
  • جداول Parquet المشار إليها في Hive metastore قابلة للتحويل الآن إلى Delta Lake من خلال معرفات الجدول الخاصة بهم باستخدام CONVERT TO DELTA.

لمزيد من المعلومات، راجع ملاحظات إصدار Databricks Runtime 6.6 (EoS) الكاملة.

DBFS REST API حذف حد حجم نقطة النهاية

21-28 مايو 2020: الإصدار 3.20

عند حذف عدد كبير من الملفات بشكل متكرر باستخدام واجهة برمجة تطبيقات DBFS، تتم عملية الحذف بزيادات. يقوم الاستدعاء بإرجاع استجابة بعد حوالي 45s مع رسالة خطأ تطلب منك إعادة استدعاء عملية الحذف حتى يتم حذف بنية الدليل بالكامل. على سبيل المثال:

{
  "error_code":"PARTIAL_DELETE","message":"The requested operation has deleted 324 files. There are more files remaining. You must make another request to delete more."
}

عرض أعداد كبيرة من النماذج المسجلة في MLflow بسهولة

21-28 مايو 2020: الإصدار 3.20

يدعم سجل نموذج MLflow الآن البحث من جانب الخادم وفصل الصفحات للنماذج المسجلة، ما يمكن المؤسسات التي تحتوي على أعداد كبيرة من النماذج من إجراء القائمة والبحث بكفاءة. كما كان الحال من قبل، يمكنك البحث في النماذج حسب الاسم والحصول على النتائج مرتبة حسب الاسم أو آخر وقت تم تحديثه. ومع ذلك، إذا كان لديك عدد كبير من النماذج، تحميل الصفحات بشكل أسرع بكثير، وسيجلب البحث أحدث طريقة عرض للنماذج.

المكتبات التي تم تكوينها ليتم تثبيتها على جميع المجموعات غير مثبتة على أنظمة المجموعات التي تقوم بتشغيل Databricks Runtime 7.0 وما فوق

21-28 مايو 2020: الإصدار 3.20

في Databricks Runtime 7.0 وما فوق، يستخدم الإصدار الأساسي من Apache Spark Scala 2.12. نظرا لأن المكتبات التي تم تجميعها مقابل Scala 2.11 يمكنها تعطيل مجموعات Databricks Runtime 7.0 بطرق غير متوقعة، فإن المجموعات التي تعمل على Databricks Runtime 7.0 وما فوق لا تثبت المكتبات التي تم تكوينها ليتم تثبيتها على جميع المجموعات. تعرض علامة التبويب مكتبات نظام المجموعة حالة Skipped ورسالة إهمال تتعلق بالتغييرات في معالجة المكتبة.

إذا كان لديك مجموعة تم إنشاؤها على إصدار سابق من Databricks Runtime قبل إصدار 3.20 إلى مساحة العمل الخاصة بك، وقمت الآن بتحرير نظام المجموعة هذا لاستخدام Databricks Runtime 7.0، تثبيت أي مكتبات تم تكوينها ليتم تثبيتها على جميع المجموعات على نظام المجموعة هذا. في هذه الحالة، يمكن أن تتسبب أي JARs غير متوافقة في المكتبات المثبتة في تعطيل نظام المجموعة. الحل البديل هو إما استنساخ نظام المجموعة أو لإنشاء نظام مجموعة جديد.

Databricks Runtime 7.0 for Genomics (Beta)

21 مايو 2020

تم إنشاء Databricks Runtime 7.0 ل Genomics أعلى Databricks Runtime 7.0 ويتضمن تغييرات المكتبة التالية:

  • تم تحديث مكتبة ADAM من الإصدار 0.30.0 إلى 0.32.0.
  • لا يتم تضمين مكتبة حائل في Databricks Runtime 7.0 ل Genomics حيث لا يوجد إصدار استنادا إلى Apache Spark 3.0.

Databricks Runtime 7.0 ML (Beta)

21 مايو 2020

تم إنشاء Databricks Runtime 7.0 ML أعلى Databricks Runtime 7.0 ويتضمن الميزات الجديدة التالية:

  • مكتبات Python ذات نطاق دفتر الملاحظات والبيئات المخصصة التي تديرها أوامر conda و pip.
  • تحديثات لحزم Python الرئيسية بما في ذلك tensorflow وtensorboard وpytorch وxgboost وsparkdl وhyperopt.
  • حزم Python المضافة حديثا lightgbm وnltk و petastorm ورسميا.
  • RStudio Server Open Source v1.2.

لمزيد من المعلومات، راجع ملاحظات إصدار Databricks Runtime 7.0 ML (EoS) الكاملة.

Databricks Runtime 6.6 for Genomics (Beta)

7 مايو 2020

تم إنشاء Databricks Runtime 6.6 for Genomics أعلى Databricks Runtime 6.6 ويتضمن الميزات الجديدة التالية:

  • قارئ GFF3
  • دعم الجينوم المرجعي المخصص
  • مهلات المسار لكل عينة
  • خيار تصدير BAM
  • الكائنات الثنائية كبيرة الحجم للبيانات

Databricks Runtime 6.6 ML (Beta)

7 مايو 2020

تم إنشاء Databricks Runtime 6.6 ML أعلى Databricks Runtime 6.6 ويتضمن الميزات الجديدة التالية:

  • ترقية mlflow: 1.7.0 إلى 1.8.0

لمزيد من المعلومات، راجع ملاحظات إصدار Databricks Runtime 6.6 ML (EoS) الكاملة.

Databricks Runtime 6.6 (Beta)

7 مايو 2020

يوفر Databricks Runtime 6.6 (Beta) العديد من ترقيات المكتبة والميزات الجديدة، بما في ذلك ميزات Delta Lake التالية:

  • يمكنك الآن تطوير مخطط الجدول تلقائيا مع merge العملية. وهذا مفيد في السيناريوهات التي تريد فيها رفع بيانات التغيير إلى جدول ويتغير مخطط البيانات بمرور الوقت. بدلا من الكشف عن تغييرات المخطط وتطبيقها قبل رفعها، merge يمكن أن تتطور المخطط في وقت واحد وتكبير التغييرات. راجع تطور المخطط التلقائي لدمج Delta Lake.
  • تم تحسين أداء عمليات الدمج التي تحتوي على عبارات متطابقة فقط، أي أن لها فقط update delete وإجراءات ولا إجراء insert .
  • جداول Parquet المشار إليها في Hive metastore قابلة للتحويل الآن إلى Delta Lake من خلال معرفات الجدول الخاصة بهم باستخدام CONVERT TO DELTA.

لمزيد من المعلومات، راجع ملاحظات إصدار Databricks Runtime 6.6 (EoS) الكاملة.

مجموعات الوظائف الموسومة الآن باسم الوظيفة ومعرفها

5-12 مايو 2020: الإصدار 3.19

يتم وضع علامة تلقائيا على مجموعات الوظائف باسم الوظيفة ومعرفها. تظهر العلامات في تقارير الاستخدام القابلة للفوترة بحيث يمكنك بسهولة سمة استخدام DBU الخاص بك حسب الوظيفة وتحديد الحالات الشاذة. يتم تعقيم العلامات لمواصفات علامة نظام المجموعة، مثل الأحرف المسموح بها والحد الأقصى للحجم والحد الأقصى لعدد العلامات. يتم تضمين اسم الوظيفة في العلامة RunName ويتم تضمين معرف الوظيفة في العلامة JobId .

استعادة خلايا دفتر الملاحظات المحذوفة

5-12 مايو 2020: الإصدار 3.19

يمكنك الآن استعادة الخلايا المحذوفة إما باستخدام اختصار لوحة المفاتيح (Z) أو عن طريق تحديد تحرير > التراجع عن حذف الخلايا.

حد قائمة الانتظار المعلقة للمهام

5-12 مايو 2020: الإصدار 3.19

تقتصر مساحة العمل الآن على 1000 مهمة نشطة (قيد التشغيل ومعلقة). نظرا لأن مساحة العمل تقتصر على 150 مهمة متزامنة (قيد التشغيل)، يمكن أن تحتوي مساحة العمل على ما يصل إلى 850 عملية تشغيل في قائمة الانتظار المعلقة.