Databricks Runtime 10.1 (EoS)

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 10.1 وDatabricks Runtime 10.1 Photon، مدعوم من Apache Spark 3.2.0. أصدرت Databricks هذا الإصدار في نوفمبر 2021. الفوتون في المعاينة العامة.

ميزات وتحسينات جديدة

• إعدادات جدول Delta جديدة لضغط الملفات الصغيرة
• مقاييس مجموعة صفوف جديدة لمسح استعلام Parquet
• Trigger.AvailableNow للاستعلامات المتدفقة لمصدر دلتا
• Trigger.AvailableNow ل Auto Loader
• دعم دلتا لتكوينات نظام ملفات Hadoop التي يتم تمريرها عبر خيارات DataFrame
• يتم الآن دعم نقاط التحقق من الحالة غير المتزامنة في مهام الدفق ذات الحالة (المعاينة العامة)
• Sparklyr مع تمرير بيانات الاعتماد
• تلخص بيانات Databricks Utilities التحكم في الدقة (معاينة عامة)
• يمكن الآن استخدام دفاتر ملاحظات Azure Databricks مع نواة IPython
• وظائف جديدة في Spark SQL

إعدادات جدول Delta جديدة لضغط الملفات الصغيرة

تقبل خاصية delta.autoOptimize.autoCompact جدول Delta الآن القيم الجديدة ل auto و legacy بالإضافة إلى القيم الموجودة ل true و false. عند التعيين إلى auto (مستحسن)، يستخدم الضغط التلقائي إعدادات افتراضية أفضل، مثل تعيين 32 ميغابايت كحجم الملف الهدف (على الرغم من أن السلوكيات الافتراضية عرضة للتغيير في المستقبل). عند التعيين إلى legacy أو true، يستخدم الضغط التلقائي 128 ميغابايت كحجم الملف الهدف.

بدلا من تعيين هذه الخاصية لجدول فردي، يمكنك تعيين spark.databricks.delta.autoCompact.enabled التكوين إلى autoأو legacyأو true لتمكين الضغط التلقائي لكافة جداول دلتا. هذا التكوين له الأسبقية على خاصية الجدول ذات الصلة أثناء جلسة العمل الحالية.

يمكن التحكم في حجم الملف الهدف للضغط التلقائي باستخدام spark.databricks.delta.autoCompact.maxFileSize التكوين.

لمزيد من المعلومات حول الضغط التلقائي، راجع الضغط التلقائي ل Delta Lake على Azure Databricks.

مقاييس مجموعة صفوف جديدة لمسح استعلام Parquet

الاستعلامات باستخدام Parquet تفحص الآن مقاييس مجموعة الصفوف في واجهة مستخدم Spark. مقاييس مجموعة الصفوف هذه هي:

• العدد الإجمالي لمجموعات صفوف باركيه
• عدد مجموعات صفوف parquet المقروءة

Trigger.AvailableNow للاستعلامات المتدفقة لمصدر دلتا

يدعم هذا التغيير نوعا جديدا من المشغلات للاستعلامات المتدفقة لمصدر دلتا في Scala: Trigger.AvailableNow. إنه مثل Trigger.Once، الذي يعالج جميع البيانات المتوفرة ثم يوقف الاستعلام. ومع ذلك، Trigger.AvailableNow يوفر قابلية توسع أفضل، لأنه يمكن معالجة البيانات على دفعات متعددة بدلا من دفعة واحدة. لا يقدم هذا التغيير واجهة جديدة؛ ينفذ واجهة برمجة تطبيقات Spark موجودة. يدعم هذا المشغل أيضا جميع خيارات تحديد المعدل التي تدعمها Delta كمصدر بالفعل.

مثال:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

راجع تغطية Trigger.AvailableNow في ما هو المحمل التلقائي؟.

Trigger.AvailableNow ل Auto Loader

Trigger.AvailableNow هو وضع مشغل دفق جديد مشابه ل Trigger.Once. Trigger.Once يعالج جميع البيانات المتوفرة ثم يوقف الاستعلام. Trigger.AvailableNow لديه قابلية توسع أفضل، لأنه يمكن معالجة البيانات على دفعات متعددة بدلا من دفعة واحدة. يدعم Trigger.AvailableNow Loader التلقائي الآن في كل من سرد الدليل وأوضاع إعلام الملف ل Scala. راجع تغطية Trigger.AvailableNow في ما هو المحمل التلقائي؟.

دعم دلتا لتكوينات نظام ملفات Hadoop التي يتم تمريرها عبر خيارات DataFrame

على غرار Parquet، تدعم Delta الآن قراءة تكوينات نظام ملفات Hadoop من DataFrameReader وخيارات DataFrameWriter عند قراءة الجدول أو كتابته، باستخدام DataFrameReader.load(path) أو DataFrameWriter.save(path). راجع تكوين بيانات اعتماد تخزين دلتا.

يتم الآن دعم نقاط التحقق من الحالة غير المتزامنة في مهام الدفق ذات الحالة (المعاينة العامة)

نقاط التفتيش غير المتزامنة للحالة هي ميزة جديدة من المحتمل أن تقلل من زمن انتقال الميكروبات من طرف إلى طرف في مهام الدفق ذات الحالة ذات التحديثات الكبيرة للحالة. راجع نقاط التحقق غير المتزامنة في الحالة للاستعلامات ذات الحالة.

Sparklyr مع تمرير بيانات الاعتماد

يمكنك الآن استخدام واجهات برمجة التطبيقات sparklyr لقراءة البيانات وكتابتها من وإلى التخزين السحابي باستخدام تمرير بيانات الاعتماد. تقتصر هذه الوظيفة على المجموعات القياسية التي لها وصول مستخدم واحد. راجع الوصول إلى Azure Data Lake Storage باستخدام تمرير بيانات اعتماد معرف Microsoft Entra (قديم).

تلخص بيانات Databricks Utilities التحكم في الدقة (معاينة عامة)

تتحكم معلمة جديدة precise لدقة dbutils.data.summarize نتائج الملخص. عندما precise يتم تعيين إلى خطأ (الافتراضي)، يقوم الملخص بإرجاع نتائج تقريبية لعدد مميز، ونسبة مئوية، وعدد العناصر المتكررة. عندما precise يتم تعيين إلى صحيح، يتم الآن حساب الملخصات بعدد مميز دقيق وعدد العناصر المتكررة، مع تقديرات مئوية أكثر دقة. راجع أمر التلخيص (dbutils.data.summarize).

يمكن الآن استخدام دفاتر ملاحظات Azure Databricks مع نواة IPython

يمكنك الآن تكوين مجموعة Azure Databricks لاستخدام نواة IPython لتنفيذ التعليمات البرمجية ل Python. يؤدي استخدام نواة IPython على Azure Databricks إلى إضافة دعم أدوات عرض وإخراج IPython. أيضا، يلتقط IPython kernel مخرجات stdout وstderr للعمليات التابعة التي تم إنشاؤها بواسطة دفتر ملاحظات، ما يسمح بتضمين هذا الإخراج في نتائج أوامر دفتر الملاحظات.

لمزيد من المعلومات، راجع نواة IPython.

وظائف جديدة في Spark SQL

تمت إضافة الكائنات والأوامر التالية للعمل مع البيانات في كتالوج Unity (معاينة):

• المواقع الخارجية
• تغيير الكتالوج
• تعديل بيانات الاعتماد
• تغيير الموقع
• إنشاء كتالوج
• إنشاء موقع
• إنشاء مستلم
• وصف الكتالوج
• وصف بيانات الاعتماد
• وصف الموقع
• إسقاط الكتالوج
• إسقاط بيانات الاعتماد
• إسقاط الموقع
• قائمة
• إظهار الكتالوجات
• إظهار بيانات الاعتماد
• إظهار المواقع
• استخدام الكتالوج

تمت إضافة الأوامر التالية لمشاركة دلتا (معاينة)، والتي تسمح لك بمشاركة بيانات القراءة فقط مع مستلمين من خارج مؤسستك:

• تقاسم
• ALTER SHARE
• إنشاء مشاركة
• وصف المستلم
• وصف المشاركة
• إسقاط المستلم
• إسقاط مشاركة
• منح مشاركة
• إبطال المشاركة
• إظهار الكل في المشاركة
• إظهار المستلمين
• إظهار المشاركات
• إظهار المنح على المشاركة
• إظهار المنح للمستلم

إصلاح الأخطاء

• تم إصلاح شرط تعارض قد يتسبب في فشل استعلام مع IOException مثل No FileSystem for scheme أو قد يتسبب في عدم سريان التعديلات sparkContext.hadoopConfiguration في الاستعلامات.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • filelock من 3.0.12 إلى 3.3.1
  • koalas من 1.8.1 إلى 1.8.2
  • رسم من 5.1.0 إلى 5.3.0
• مكتبات R التي تمت ترقيتها:
  • bslib من 0.3.0 إلى 0.3.1
  • علامة الإقطف من 6.0-88 إلى 6.0-90
  • cpp11 من 0.3.1 إلى 0.4.0
  • data.table من 1.14.0 إلى 1.14.2
  • desc من 1.3.0 إلى 1.4.0
  • diffobj من 0.3.4 إلى 0.3.5
  • ملخص من 0.6.27 إلى 0.6.28
  • الأنواع المعممة من 0.1.0 إلى 0.1.1
  • hms من 1.1.0 إلى 1.1.1
  • من 1.34 إلى 1.36
  • شعري من 0.20-44 إلى 0.20-45
  • دورة الحياة من 1.0.0 إلى 1.0.1
  • التشحيم من 1.7.10 إلى 1.8.0
  • mgcv من 1.8-37 إلى 1.8-38
  • mime من 0.11 إلى 0.12
  • pkgload من 1.2.2 إلى 1.2.3
  • progressr من 0.8.0 إلى 0.9.0
  • rcmdcheck من 1.3.3 إلى 1.4.0
  • قراءة من 2.0.1 إلى 2.0.2
  • وصفات من 0.1.16 إلى 0.1.17
  • أجهزة التحكم عن بعد من 2.4.0 إلى 2.4.1
  • rlang من 0.4.11 إلى 0.4.12
  • rvest من 1.0.1 إلى 1.0.2
  • لامعة من 1.6.0 إلى 1.7.1
  • stringi من 1.7.4 إلى 1.7.5
  • اختبار من 3.0.4 إلى 3.1.0
  • مرتبة من 1.1.3 إلى 1.1.4
  • نص صغير من 0.33 إلى 0.34
  • استخدام هذا من 2.0.1 إلى 2.1.2
  • xfun من 0.26 إلى 0.27
• مكتبات Java التي تمت ترقيتها:
  • com.zaxxer.HikariCP من 3.1.0 إلى 4.0.3

Apache Spark

يتضمن Databricks Runtime 10.1 Apache Spark 3.2.0. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 10.0 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-37037] [SQL] تحسين فرز صفيف البايت حسب unify compareTo دالة UTF8String و ByteArray
• [SPARK-37091] [R] طلبات النظام لتضمين Java < 18
• [SPARK-37041] [SQL] Backport HIVE-15025: دعم Secure-Socket-Layer (SSL) ل HMS
• [SPARK-37098] [SQL] يجب أن يؤدي تغيير خصائص الجدول إلى إبطال ذاكرة التخزين المؤقت
• [SPARK-36992] [SQL] تحسين فرز صفيف البايت من خلال توحيد دالة getPrefix ل UTF8String و ByteArray
• [SPARK-37047] [SQL] إضافة دالات lpad وrpad للسلاسل الثنائية
• [SPARK-37076] [SQL] تنفيذ StructType.toString بشكل صريح ل Scala 2.13
• [SPARK-37075] [SQL] نقل بناء تعبير UDAF من sql/catalyst إلى sql/core
• [SPARK-37084] [SQL] تعيين spark.sql.files.openCostInBytes إلى bytesConf
• [SPARK-37088] [PYSPARK][SQL] يجب ألا يصل مؤشر ترابط الكاتب إلى الإدخال بعد إرجاع وحدة الإصغاء لإكمال المهمة
• [SPARK-37069] [SQL] النسخ الاحتياطي بشكل صحيح عندما لا يتوفر Hive.getWithoutRegisterFns
• [SPARK-37050] [PYTHON] تحديث إرشادات تثبيت Conda
• [SPARK-37067] [SQL] استخدام ZoneId.of() لمعالجة سلسلة المنطقة الزمنية في DatetimeUtils
• [SPARK-35925] [SQL] دعم DayTimeIntervalType في دالة مستودع العرض
• [SPARK-35926] [SQL] إضافة دعم YearMonthIntervalType ل width_bucket
• [SPARK-35973] [SQL] إضافة أمر SHOW CATALOGS
• [SPARK-36922] [SQL] يجب أن تدعم دالات SIGN/SIGNUM فواصل ANSI الزمنية
• [SPARK-37078] [CORE] دعم منشئات المتلقي القديمة ثلاثية المعلمات
• [SPARK-37061] [SQL] إصلاح CustomMetrics عند استخدام الفئات الداخلية
• [SPARK-35918] [AVRO] توحيد معالجة عدم تطابق المخطط للقراءة/الكتابة وتحسين رسائل الخطأ
• [SPARK-36871] [SQL]ترحيل الأمر CreateViewStatement إلى الإصدار 2
• [SPARK-36898] [SQL] جعل عامل ربط تجزئة تجزئة التبديل قابلا للتكوين
• [SPARK-36921] [SQL] دعم فواصل ANSI الزمنية بواسطة DIV
• [SPARK-36794] [SQL] تجاهل مفاتيح الربط المكررة عند إنشاء علاقة لصلة التجزئة المتداخلة SEMI/ANTI
• [SPARK-36867] [SQL] إصلاح رسالة الخطأ باستخدام الاسم المستعار GROUP BY
• [SPARK-36914] [SQL] تنفيذ dropIndex و listIndexes في JDBC (لهجة MySQL)
• [SPARK-35531] [SQL] تمرير جدول الخلية مباشرة إلى HiveClient عند استدعاء getPartitions لتجنب التحويل غير الضروري من HiveTable -> CatalogTable -> HiveTable
• [SPARK-36718] [SQL] طي المشاريع فقط إذا لم نكرر التعبيرات باهظة الثمن
• [SPARK-37046] [SQL]: لا يحافظ تغيير طريقة العرض على حالة العمود
• [SPARK-36978] [SQL] يجب أن تنشئ قاعدة InferConstraints قيود IsNotNull على الحقل المتداخل الذي تم الوصول إليه بدلا من نوع الجذر المتداخل
• [SPARK-37052] [CORE] يجب أن يمرر Spark الوسيطة المطولة فقط إلى الفئة الرئيسية عندما تكون sql shell
• [SPARK-37017] [SQL] تقليل نطاق المزامنة لمنع حدوث حالة توقف تام محتملة
• [SPARK-37032] [SQL] إصلاح ارتباط بناء جملة SQL المقطوع في صفحة مرجع SQL
• [SPARK-36905] [SQL] إصلاح قراءة طرق عرض الخلية بدون أسماء أعمدة صريحة
• [SPARK-36678] ترحيل SHOW TABLES لاستخدام الأمر V2 بشكل افتراضي
• [SPARK-36943] [SQL] تحسين قابلية قراءة رسالة خطأ العمود المفقودة
• [SPARK-36980] [SQL] إدراج استعلام دعم باستخدام CTE
• [SPARK-37001] [SQL] تعطيل مستويين من الخريطة لتجميع التجزئة النهائية بشكل افتراضي
• [SPARK-36970] [SQL] تنسيق B دالة date_format معطل يدويا لجعل Java 17 متوافقا مع Java 8
• [SPARK-36546] [SQL] إضافة دعم الصفيف إلى الاتحاد حسب الاسم
• [SPARK-36979] [SQL] إضافة قاعدة RewriteRalSubquery إلى nonExcludableRules
• [SPARK-36949] [SQL] عدم السماح بجداول موفر Hive مع فواصل ANSI
• [SPARK-36849] [SQL] ترحيل UseStatement إلى إطار عمل الأوامر v2
• [SPARK-36868] [SQL] ترحيل CreateFunctionStatement إلى إطار عمل أوامر v2
• [SPARK-36841] [SQL] إضافة بناء جملة ansi لتغيير الكتالوج set catalog xxx الحالي
• [SPARK-36821] [SQL] جعل الفئة ColumnarBatch قابلة للتوسيع - الملحق
• [SPARK-36963] [SQL] إضافة max_by/min_by إلى sql.functions
• [SPARK-36913] [SQL] تنفيذ createIndex وExists في DS V2 JDBC (لهجة MySQL)
• [SPARK-36848] [SQL] ترحيل ShowCurrentNamespaceStatement إلى إطار عمل الأوامر v2
• [SPARK-36526] [SQL] دعم فهرس DSV2: إضافة واجهة supportIndex
• [SPARK-36960] [SQL] عوامل التصفية المنبثقة مع قيم الفاصل الزمني ANSI إلى ORC
• [SPARK-36929] [SQL] إزالة الأسلوب غير المستخدم RemoveSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] دعم قراءة وكتابة فواصل ANSI من/إلى مصادر بيانات ORC
• [SPARK-34980] [SQL] دعم تقسيم الاندماج من خلال الاتحاد في AQE
• [SPARK-36809] [SQL] إزالة البث ل InSubqueryExec المستخدم في DPP
• [SPARK-36813] [SQL][PYTHON] اقتراح بنية تحتية اعتبارا من الانضمام وimlement ps.merge_asof
• [SPARK-36918] [SQL] تجاهل الأنواع عند مقارنة بنيات unionByName
• [SPARK-36891] [SQL] إعادة بناء التعليمات البرمجية SpecificParquetRecordReaderBase وإضافة المزيد من التغطية على فك ترميز Parquet المتجه
• [SPARK-36920] [SQL] دعم فواصل ANSI الزمنية بواسطة ABS()
• [SPARK-36888] [SQL] إضافة حالات اختبارات لدالة sha2
• [SPARK-36889] [SQL] احترام spark.sql.parquet.filterPushdown منشئ فحص v2 parquet
• [SPARK-36830] [SQL] دعم قراءة وكتابة فواصل ANSI من/إلى مصادر بيانات JSON
• [SPARK-36870] [SQL] تقديم فئة خطأ INTERNAL_ERROR
• [SPARK-36831] [SQL] دعم قراءة وكتابة فواصل ANSI من/إلى مصادر بيانات CSV.
• [SPARK-36550] [SQL] سبب الانتشار عند فشل انعكاس UDF
• [SPARK-36866] [SQL] عوامل التصفية المنبثقة مع قيم الفاصل الزمني ANSI إلى parquet
• [SPARK-33832] [SQL] فرض تبسيط التعليمات البرمجية المرتبطة المنحرفة وتحسينها
• [SPARK-36642] [SQL] إضافة df.withMetadata pyspark API
• [SPARK-35765] [SQL] لا تكون الأغس المميزة حساسة للتكرار
• [SPARK-36825] [SQL] قراءة/كتابة إطارات البيانات مع فواصل ANSI من/إلى ملفات parquet
• [SPARK-36829] [SQL] التحقق من قيمة NULL لإعادة بناء التعليمات البرمجية ل collectionOperators
• [SPARK-32712] [SQL] دعم كتابة جدول Hive بالمستودعات (تنسيقات ملفات Hive مع تجزئة Hive)
• [SPARK-36797] [SQL] يجب أن يحل الاتحاد الأعمدة المتداخلة كأعمدة ذات مستوى أعلى
• [SPARK-36838] [SQL] تحسين أداء التعليمات البرمجية التي تم إنشاؤها في InSet
• [SPARK-36683] [SQL] إضافة وظائف SQL مضمنة جديدة: SEC وCS
• [SPARK-36721] [SQL] تبسيط المساواة المنطقية إذا كان أحد الجوانب حرفيا
• [SPARK-36760] [SQL] إضافة واجهة SupportsPushDownV2Filters
• [SPARK-36652] [SQL] يجب ألا ينطبق تحديد الانضمام الديناميكي ل AQE على الصلة غير المتساوية
• [SPARK-36745] [SQL] يجب أن ترجع ExtractEquiJoinKeys التقييمات الأصلية على مفاتيح الانضمام
• [SPARK-36107] [SQL] إعادة بناء التعليمات البرمجية المجموعة الأولى من 20 خطأ في تنفيذ الاستعلام لاستخدام فئات الخطأ
• [SPARK-32709] [SQL] دعم كتابة جدول Hive ذو مستودع (تنسيق Parquet/ORC مع تجزئة Hive)
• [SPARK-36735] [SQL] ضبط النفقات العامة للعلاقة المخزنة مؤقتا ل DPP
• [SPARK-33832] [SQL] دعم تحسين الصلة المنحرفة حتى إذا قدم تبديلا إضافيا
• [SPARK-36822] [SQL] يجب أن يستخدم BroadcastNestedLoopJoinExec جميع الشروط بدلا من شرط غير مكافئ
• [SPARK-35221] [SQL] إضافة التحقق من تلميحات الانضمام المدعومة
• [SPARK-36814] [SQL] جعل الفئة ColumnarBatch قابلة للتوسيع
• [SPARK-36663] [SQL] دعم أسماء أعمدة الأرقام فقط في مصادر بيانات ORC
• [SPARK-36751] [SQL][PYTHON][R] إضافة bit/octet_length APIs إلى Scala وPython وR
• [SPARK-36733] [SQL] إصلاح مشكلة perf في SchemaPruning عندما تحتوي البنية على العديد من الحقول
• [SPARK-36724] [SQL] دعم timestamp_ntz كنوع من عمود الوقت ل SessionWindow
• [SPARK-36556] [SQL] إضافة عوامل تصفية DSV2
• [SPARK-36687] [SQL][CORE] إعادة تسمية فئات الخطأ بلاحقة _ERROR
• [SPARK-35803] [SQL] دعم DataSource V2 CreateTempViewUsing
• [SPARK-36642] [SQL] إضافة df.withMetadata: بناء جملة suger لتحديث بيانات التعريف لإطار البيانات

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 10.1.

بيئة النظام

• نظام التشغيل: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN في 2021-10-26.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)