Databricks Runtime 8.1 (EoS)

أصدرت Databricks هذا الإصدار في مارس 2021.

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 8.1، المشغل بواسطة Apache Spark 3.1.1.

ميزات وتحسينات جديدة

• تقلل عوامل تشغيل SQL الجديدة من ETL المعقدة على سلاسل JSON
• التحكم في رؤية قوائم التحكم بالوصول إلى الجدول
• تتيح خيارات "المحمل التلقائي" الجديدة أداء أفضل
• المصادقة على Azure Synapse Analytics باستخدام OAuth 2.0 ومدير الخدمة (معاينة عامة)
• إدراج IDENTITY أعمدة يدويا في جداول Azure Synapse Analytics
• يدعم Azure Auto Loader الآن المصادقة مع كيان خدمة لعمليات قائمة الانتظار
• تعقب تقدم الدفق باستخدام مقاييس Kafka
• تعقب تقدم الدفق باستخدام مقاييس مصدر دفق Delta Lake

تقلل عوامل تشغيل SQL الجديدة من ETL المعقدة على سلاسل JSON

يسمح لك اثنان من عوامل تشغيل SQL الجديدة —:: و :— باستخراج البيانات بسهولة من سلاسل JSON.

• لإرسال التعبير إلى نوع بيانات، استخدم نقطتين مزدوجتين ::. على سبيل المثال، بدلا من تحديد cast(col as int)، يمكنك الآن أن تقول col::int.
• لاستخراج الحقول من البيانات شبه المنظمة، استخدم نقطتين :واحدة . إذا كان لديك STRING عمود يحتوي على بيانات JSON، يمكنك استخراج حقل من سلسلة JSON هذه باستخدام بناء الجملة <json-column>:<field> الذي يستخرج المفتاح field من JSON <json-column> الخاص بك ك STRING. يمكنك دمج هذا مع بناء الجملة :: لإرسال البيانات إلى نوع معين.

على سبيل المثال، إذا كان لديك بيانات JSON:

{
  "store":{
    "bicycle":{
      "price":19.95,
      "color":"red"
    }
  }
}

وقمت بإنشاء جدول store_data من البيانات:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

ترجع العبارة SELECT raw:store.bicycle.price::double FROM store_data :

+--------+
| price  |
+--------+
| 19.95  |
+--------+

للحصول على التفاصيل، راجع الاستعلام عن سلاسل JSON.

التحكم في رؤية قوائم التحكم بالوصول إلى الجدول

لتجنب تسريب المعلومات عن طريق سرد جميع الأذونات المحددة على جدول، يمكنك الآن تشغيل SHOW GRANTS [<user>] <object> عبارة فقط إذا كنت:

• مسؤول Databricks SQL أو مالك <object>.
• المستخدم المحدد في [<user>].

تتيح خيارات "المحمل التلقائي" الجديدة أداء أفضل

يدعم "التحميل التلقائي" الآن خيارا cloudFiles.fetchParallelism جديدا لتحديد التوازي لجلب الرسائل من خدمة قائمة الانتظار.

راجع ما هو المحمل التلقائي؟.

المصادقة على Azure Synapse Analytics باستخدام OAuth 2.0 ومدير الخدمة (معاينة عامة)

يدعم موصل Azure Synapse Analytics الآن المصادقة باستخدام OAuth 2.0 ومدير خدمة معرف Microsoft Entra، ما يتيح التطبيقات التي تتطلب مصادقة مع كيان خدمة بدلا من اسم مستخدم وكلمة مرور. لمعرفة المزيد، راجع كيف تعمل المصادقة بين Azure Databricks وSynapse؟ لموصل Azure Synapse Analytics.

إدراج IDENTITY أعمدة يدويا في جداول Azure Synapse Analytics

يدعم موصل Azure Synapse Analytics الآن إدراج القيم IDENTITY بشكل صريح في أعمدة في جداول Azure Synapse Analytics استنادا إلى القيم المعينة في DataFrames. يتم دعم هذه الإمكانية لإدراجات الدفعات والتدفق وتمكن حالات الاستخدام التي تتطلب قيم أعمدة مخصصة IDENTITY . للحصول على التفاصيل، راجع المعلمة identityInsert في مرجع خيارات موصل Azure Synapse Analytics موصل Azure Databricks Synapse.

يدعم Azure Auto Loader الآن المصادقة مع كيان خدمة لعمليات قائمة الانتظار

يمكنك الآن المصادقة باستخدام كيان خدمة معرف Microsoft Entra الذي تم منحه أذونات متعلقة بقائمة الانتظار لعمليات قائمة الانتظار باستخدام المحمل التلقائي. يزيل هذا التغيير المتطلبات السابقة لاستخدام سلسلة الاتصال لعمليات قائمة الانتظار وأساس الخدمة لعمليات الحدث ويسمح لك باستخدام كيان خدمة لكلا النوعين من العمليات. لمزيد من التفاصيل، راجع ما المقصود بالتحميل التلقائي؟.

تعقب تقدم الدفق باستخدام مقاييس Kafka

يبلغ مصدر دفق Kafka الآن عن عدد الإزاحات التي يتخلف فيها المستهلك عن الأحدث بعد كل دفعة. يمكنك استخدام هذه المقاييس لتعقب تقدم الدفق. للحصول على تفاصيل حول كيفية عرض المقاييس، راجع استرداد مقاييس Kafka.

تعقب تقدم الدفق باستخدام مقاييس مصدر دفق Delta Lake

يبلغ مصدر تدفق Delta Lake الآن عن حجم التراكم وعدد الملفات الموجودة في التراكم بعد كل دفعة. يمكنك استخدام هذه المقاييس لتعقب تقدم الدفق. للحصول على تفاصيل حول كيفية عرض المقاييس، راجع المقاييس.

ترقيات المكتبة

• مكتبة Python التي تمت ترقيتها:
  • تمت ترقية koalas من 1.5.0 إلى 1.6.0.
• مكتبات Python المثبتة حديثا:
  • رسم 4.14.3
  • إعادة محاولة 1.3.3
• تمت ترقية R إلى 4.0.4 من 4.0.3.
• ترقية العديد من مكتبات R المثبتة. راجع مكتبات R المثبتة.
• مكتبة Java التي تمت ترقيتها:
  • jetty من 9.4.34.v20201102 إلى 9.4.36.v20210114
• تمت ترقية إصدار OpenJDK 8 إلى Zulu 8.52.0.23-CA-linux64 (النسخة 1.8.0_282-b08)

Apache Spark

يتضمن Databricks Runtime 8.1 Apache Spark 3.1.1. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 8.0 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
• [SPARK-34613] [SQL] لا تلتقط طريقة عرض الإصلاح تعطيل تكوين التلميح
• [SPARK-34392] [SQL] دعم ZoneOffset +h:mm في DateTimeUtils. getZoneId
• [SPARK-34436] [SQL] دعم DPP مثل تعبير ANY/ALL
• [SPARK-34497] [SQL] إصلاح موفري اتصال JDBC المضمنين لاستعادة تغييرات سياق أمان JVM
• [SPARK-34543] [SQL] spark.sql.caseSensitive احترام التكوين أثناء حل مواصفات القسم في الإصدار 1 SET LOCATION
• [SPARK-34550] [SQL] تخطي قيمة InSet الخالية أثناء دفع عامل التصفية إلى Hive metastore
• [SPARK-34531] [CORE] إزالة علامة واجهة برمجة التطبيقات التجريبية في PrometheusServlet

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 8.1.

بيئة النظام

• نظام التشغيل: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (النسخة 1.8.0_282-b08)
• Scala: 2.12.10
• Python: 3.8.8 (تم التحديث من 3.8.6 في تحديث الصيانة في 26 مايو 2021)
• R: R الإصدار 4.0.4 (2021-02-15)
• Delta Lake 0.8.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN في 2020-11-02.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)