Databricks Runtime 11.1 (EoS)

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 11.1، المشغل بواسطة Apache Spark 3.3.0. أصدرت Databricks هذا الإصدار في يوليو 2022.

ميزات وتحسينات جديدة

• الفوتون هو GA
• Photon: أنواع المثيلات المدعومة
• يمكن الآن لموجز بيانات التغيير معالجة الطوابع الزمنية خارج النطاق تلقائيا
• وصف وظائف SQL وإظهارها الآن تظهر أسماء كتالوج Unity في مخرجاتها (معاينة عامة)
• استنتاج المخطط وتطور ملفات Parquet في أداة التحميل التلقائي (معاينة عامة)
• يدعم Loader التلقائي الآن تطور المخطط ل Avro (GA)
• دعم Delta Lake للكتابة فوق القسم الديناميكي
• دعم مخطط المعلومات للكائنات التي تم إنشاؤها في كتالوج Unity
• القيود الإعلامية على جداول Delta Lake باستخدام كتالوج Unity (معاينة عامة)
• كتالوج Unity هو GA
• Delta Sharing هي GA

الفوتون هو GA

الفوتون متاح الآن بشكل عام، بدءا من Databricks Runtime 11.1. Photon هو محرك الاستعلام الأصلي المتجه على Azure Databricks، مكتوب ليكون متوافقا مباشرة مع واجهات برمجة تطبيقات Apache Spark بحيث يعمل مع التعليمات البرمجية الموجودة لديك. تم تطوير الفوتون في C++ للاستفادة من الأجهزة الحديثة، ويستخدم أحدث التقنيات في معالجة الاستعلام المتجه للاستفادة من التوازي على مستوى البيانات والتعليمات في وحدات المعالجة المركزية، وتعزيز الأداء على البيانات والتطبيقات في العالم الحقيقي - كل ذلك في مستودع البيانات الخاص بك.

الفوتون هو جزء من وقت تشغيل عالي الأداء يقوم بتشغيل استدعاءات SQL وDataFrame API الحالية بشكل أسرع ويقلل من التكلفة الإجمالية لكل حمل عمل. يتم استخدام الفوتون بشكل افتراضي في مستودعات Databricks SQL.

تتضمن الميزات والتحسينات الجديدة ما يلي:

• عامل تشغيل فرز متجه جديد
• وظائف نافذة متجهة جديدة
• أنواع المثيلات الجديدة وأحجامها عبر جميع السحب

القيود:

• Scala/Python UDFs غير مدعومة من قبل Photon
• RDD غير معتمد من قبل Photon
• الدفق المنظم غير مدعوم من قبل Photon

لمزيد من المعلومات، راجع إعلانات Photon التالية.

الفوتون: عامل تشغيل فرز متجه جديد

يدعم Photon الآن فرزا متجها عندما يحتوي استعلام على SORT_BYCLUSTER_BYأو أو دالة نافذة مع ORDER BY.

القيود: لا يدعم Photon عبارة عمومية ORDER BY . سيتم فرز تقييم النافذة بالفوتون، ولكن سيستمر الفرز العمومي في التشغيل في Spark.

الفوتون: وظائف نافذة متجهة جديدة

يدعم Photon الآن تقييم دالة النافذة المتجهة للعديد من أنواع الإطارات والوظائف. تتضمن وظائف النافذة الجديدة: row_numberو rankdense_rankو lagو leadوpercent_rank.nth_valuentile أنواع إطارات النافذة المدعومة: تشغيل (UNBOUNDED PRECEDING AND CURRENT ROW)، غير مقيد (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING)، تزايد (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING)، وتقليص (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

القيود:

• يدعم Photon إصدارات جميع أنواع الإطارات فقط ROWS .
• لا يدعم Photon بعد نوع الإطار المنزلق (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: أنواع المثيلات المدعومة

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

يمكن الآن لموجز بيانات التغيير معالجة الطوابع الزمنية خارج النطاق تلقائيا

يحتوي موجز تغيير البيانات (CDF) الآن على وضع جديد لتوفير الطوابع الزمنية أو الإصدارات التي تجاوزت أحدث إصدار من التثبيت دون طرح أخطاء. يتم تعطيل هذا الوضع بشكل افتراضي. يمكنك تمكينه عن طريق تعيين التكوين spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled إلى true.

وصف وظائف SQL وإظهارها الآن تظهر أسماء كتالوج Unity في مخرجاتها (معاينة عامة)

تظهر الأوامر DESC TABLEو DESC NAMESPACEDESC SCHEMADESC FUNCTIONDESC DATABASEEXPLAINو SHOW CREATE TABLE الآن دائما اسم الكتالوج في مخرجاتها.

استنتاج المخطط وتطور ملفات Parquet في أداة التحميل التلقائي (معاينة عامة)

يدعم التحميل التلقائي الآن استنتاج المخطط وتطور ملفات Parquet. تماما مثل تنسيقات JSON وCSV وAvro، يمكنك الآن استخدام عمود البيانات المنقذة لإنقاذ البيانات غير المتوقعة التي قد تظهر في ملفات Parquet. يتضمن ذلك البيانات التي لا يمكن تحليلها في نوع البيانات المتوقع، أو الأعمدة التي تحتوي على غلاف مختلف، أو أعمدة إضافية ليست جزءا من المخطط المتوقع. يمكنك تكوين Auto Loader لتطوير المخطط تلقائيا عند مواجهة إضافة أعمدة جديدة في البيانات الواردة. راجع تكوين استنتاج المخطط وتطوره في Auto Loader.

يدعم Loader التلقائي الآن تطور المخطط ل Avro (GA)

راجع تكوين استنتاج المخطط وتطوره في Auto Loader.

دعم Delta Lake للكتابة فوق القسم الديناميكي

يتيح Delta Lake الآن وضع الكتابة فوق القسم الديناميكي للكتابة فوق جميع البيانات الموجودة في كل قسم منطقي ستقوم الكتابة من أجله بتثبيت بيانات جديدة. راجع الكتابة فوق البيانات بشكل انتقائي باستخدام Delta Lake.

دعم مخطط المعلومات للكائنات التي تم إنشاؤها في كتالوج Unity

يوفر مخطط المعلومات واجهة برمجة تطبيقات مستندة إلى SQL تصف نفسها إلى بيانات التعريف الخاصة بكائنات قاعدة البيانات المختلفة، بما في ذلك الجداول وطرق العرض والقيود والروتينات. ضمن مخطط المعلومات، يمكنك العثور على مجموعة من طرق العرض التي تصف الكائنات المعروفة لكتالوج المخطط التي تتمتع بامتياز رؤيتها. يقوم مخطط المعلومات للكتالوج SYSTEM بإرجاع معلومات حول الكائنات عبر جميع الكتالوجات داخل metastore. راجع مخطط المعلومات.

القيود الإعلامية على جداول Delta Lake باستخدام كتالوج Unity (معاينة عامة)

يمكنك الآن تعريف المفتاح الأساسي المعلوماتي وقيود المفتاح الخارجي على جداول Delta Lake باستخدام كتالوج Unity. لا يتم فرض القيود الإعلامية. راجع عبارة CONSTRAINT.

كتالوج Unity هو GA

يتوفر كتالوج Unity الآن بشكل عام بدءا من Databricks Runtime 11.1. راجع ما هو كتالوج Unity؟.

Delta Sharing هي GA

تتوفر الآن Delta Sharing بشكل عام بدءا من Databricks Runtime 11.1.

تتم إدارة Databricks إلى Databricks Delta Sharing بالكامل دون الحاجة إلى تبادل الرموز المميزة. يمكنك إنشاء وإدارة الموفرين والمستلمين والمشاركات في واجهة المستخدم أو مع واجهات برمجة تطبيقات SQL وREST.

تتضمن بعض الميزات تقييد وصول المستلم، والاستعلام عن البيانات باستخدام قوائم الوصول إلى IP وقيود المنطقة، وتفويض إدارة مشاركة دلتا لغير المسؤولين. يمكنك أيضا الاستعلام عن التغييرات على البيانات أو مشاركة الإصدارات التزايدية باستخدام موجزات بيانات التغيير. راجع ما المقصود بمشاركة دلتا؟.

تغييرات السلوك

تغيير الخصائص الحساسة ل وصف الجدول وإظهار خصائص الجدول

يتم تنقيح الخصائص الحساسة في DataFrames وإخراج DESCRIBE TABLE الأوامر و SHOW TABLE PROPERTIES .

مجموعات الوظائف الافتراضية لوضع وصول مستخدم واحد مع Databricks Runtime 11.1 والإضافات

لتكون قادرة على كتالوج Unity، سيتم افتراضيا مجموعات الوظائف التي تستخدم Databricks Runtime 11.1 والإنشاءات الأحدث من خلال واجهة مستخدم الوظائف أو واجهة برمجة تطبيقات الوظائف إلى وضع وصول مستخدم واحد. يدعم وضع وصول المستخدم الفردي معظم لغات البرمجة وميزات نظام المجموعة وميزات إدارة البيانات. لا يزال بإمكانك تكوين وضع الوصول المشترك من خلال واجهة المستخدم أو واجهة برمجة التطبيقات، ولكن قد تكون اللغات أو الميزات محدودة.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • filelock من 3.6.0 إلى 3.7.1
  • رسم من 5.6.0 إلى 5.8.2
  • protobuf من 3.20.1 إلى 4.21.2
• مكتبات R التي تمت ترقيتها:
  • chron من 2.3-56 إلى 2.3-57
  • DBI من 1.1.2 إلى 1.1.3
  • dbplyr من 2.1.1 إلى 2.2.0
  • e1071 من 1.7-9 إلى 1.7-11
  • في المستقبل من 1.25.0 إلى 1.26.1
  • globals من 0.14.0 إلى 0.15.1
  • hardhat من 0.2.0 إلى 1.1.0
  • ipred من 0.9-12 إلى 0.9-13
  • openssl من 2.0.0 إلى 2.0.2
  • بالتوازي من 1.31.1 إلى 1.32.0
  • processx من 3.5.3 إلى 3.6.1
  • progressr من 0.10.0 إلى 0.10.1
  • وكيل من 0.4-26 إلى 0.4-27
  • ps من 1.7.0 إلى 1.7.1
  • randomForest من 4.7-1 إلى 4.7-1.1
  • roxygen2 من 7.1.2 إلى 7.2.0
  • Rserve من 1.8-10 إلى 1.8-11
  • RSQLite من 2.2.13 إلى 2.2.14
  • sparklyr من 1.7.5 إلى 1.7.7
  • نص صغير من 0.38 إلى 0.40
  • استخدام هذا من 2.1.5 إلى 2.1.6
  • xfun من 0.30 إلى 0.31
• مكتبات Java التي تمت ترقيتها:
  • io.delta.delta-sharing-spark_2.12 من 0.4.0 إلى 0.5.0

Apache Spark

يتضمن Databricks Runtime 11.2 Apache Spark 3.3.0. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 11.1 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-40054] [SQL] استعادة بناء جملة معالجة الأخطاء try_cast()
• [SPARK-39489] [CORE] تحسين أداء تسجيل الأحداث JsonProtocol باستخدام جاكسون بدلا من Json4s
• [SPARK-39319] [CORE][SQL] جعل سياقات الاستعلام جزءا من SparkThrowable
• [SPARK-40085] [SQL] استخدام فئة الخطأ INTERNAL_ERROR بدلا من IllegalStateException للإشارة إلى الأخطاء
• [SPARK-40001] [SQL] جعل عمليات الكتابة NULL إلى أعمدة JSON الافتراضية تكتب 'null' إلى التخزين
• [SPARK-39635] [SQL] دعم مقاييس برنامج التشغيل في DS v2 custom metric API
• [SPARK-39184] [SQL] معالجة صفيف النتائج غير المحجم بتسلسلات التاريخ والطوابع الزمنية
• [SPARK-40019] [SQL] تعليق إعادة بناء التعليمات البرمجية ل ArrayType يحتوي علىNull وإعادة بناء التعليمات البرمجية لمنطق سوء الفهم في تعبير collectionOperator حول containsNull
• [SPARK-39989] [SQL] دعم إحصائيات العمود المقدرة إذا كان تعبيرا قابلا للطي
• [SPARK-39926] [SQL] إصلاح الخطأ في الدعم الافتراضي للعمود لمسح Parquet غير المتجه
• [SPARK-40052] [SQL] معالجة المخازن المؤقتة لل بايت المباشر في VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] إصلاح نوع الفاصل الزمني الهدف في أخطاء تجاوز الإرسال
• [SPARK-39835] [SQL] إصلاح إزالة الفرز العمومي أسفل الفرز المحلي
• [SPARK-40002] [SQL] لا تدفع لأسفل الحد من خلال النافذة باستخدام ntile
• [SPARK-39976] [SQL] يجب أن يتعامل ArrayIntersect مع القيمة الخالية في التعبير الأيسر بشكل صحيح
• [SPARK-39985] [SQL] تمكين قيم العمود الافتراضي الضمني في الإدراجات من DataFrames
• [SPARK-39776] [SQL] يجب أن تضيف السلسلة المطولة JOIN نوع الصلة
• [SPARK-38901] [SQL] يدعم DS V2 دفع دالات misc لأسفل
• [SPARK-40028] [SQL][متابعة] تحسين أمثلة دالات السلسلة
• [SPARK-39983] [CORE][SQL] لا تقم بتخزين علاقات البث غير المتسلسلة مؤقتا على برنامج التشغيل
• [SPARK-39812] [SQL] تبسيط التعليمات البرمجية التي يتم إنشاؤها AggregateExpression باستخدام toAggregateExpression
• [SPARK-40028] [SQL] إضافة أمثلة ثنائية لتعبيرات السلسلة
• [SPARK-39981] [SQL] طرح الاستثناء QueryExecutionErrors.castingCauseOverflowErrorInTableInsert في Cast
• [SPARK-40007] [PYTHON][SQL] إضافة "الوضع" إلى الوظائف
• [SPARK-40008] [SQL] دعم تحويل التكاملات إلى فواصل ANSI
• [SPARK-40003] [PYTHON][SQL] إضافة "وسيط" إلى الدالات
• [SPARK-39952] [SQL] يجب أن يكون SaveIntoDataSourceCommand علاقة نتائج مستطيلة
• [SPARK-39951] [SQL] تحديث فحص عمودي Parquet V2 للحول المتداخلة
• [SPARK-39775] [CORE][AVRO] تعطيل التحقق من صحة القيم الافتراضية عند تحليل مخططات Avro
• [SPARK-33236] [تبديل عشوائي] Backport إلى DBR 11.x: تمكين خدمة التبديل العشوائي المستندة إلى الدفع لتخزين الحالة في قاعدة بيانات مستوى NM للعمل الذي يحافظ على إعادة التشغيل
• [SPARK-39836] [SQL] تبسيط V2ExpressionBuilder عن طريق استخراج الأسلوب الشائع.
• [SPARK-39867] [SQL] يجب ألا يرث الحد العمومي OrderPreservingUnaryNode
• [SPARK-39873] [SQL] إزالته OptimizeLimitZero ودمجه في EliminateLimits
• [SPARK-39961] [SQL] ترجمة DS V2 push-down Cast إذا كان الإرسال آمنا
• [SPARK-39872] [SQL] التغيير لاستخدامه BytePackerForLong#unpack8Values مع واجهة برمجة تطبيقات إدخال الصفيف في VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] إزالة غير ضرورية AliasHelper أو PredicateHelper لبعض القواعد
• [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] تطبيق الإسقاط عندما تكون سمات المجموعة فارغة
• [SPARK-39900] [SQL] معالجة شرط جزئي أو منفي في دفعة التقييم الخاصة بالتنسيق الثنائي
• [SPARK-39904] [SQL] إعادة تسمية الاستدلال لتفضيل دلالات الخيار وتوضيحها في مصدر بيانات CSV
• [SPARK-39958] [SQL] إضافة سجل تحذير عندما يتعذر تحميل كائن قياس مخصص
• [SPARK-39936] [SQL] تخزين المخطط في خصائص طرق عرض Spark
• [SPARK-39932] [SQL] يجب أن يقوم WindowExec بإلغاء تحديد المخزن المؤقت للقسم النهائي
• [SPARK-37194] [SQL] تجنب الفرز غير الضروري في الكتابة v1 إذا لم يكن قسما ديناميكيا
• [SPARK-39902] [SQL] إضافة تفاصيل الفحص إلى عقدة فحص خطة spark في SparkUI
• [SPARK-39865] [SQL] إظهار رسائل الخطأ المناسبة على أخطاء تجاوز السعة لإدراج الجدول
• [SPARK-39940] [SS] تحديث جدول الكتالوج على استعلام الدفق باستخدام مصدر DSv1
• [SPARK-39827] [SQL] استخدام فئة ARITHMETIC_OVERFLOW الخطأ عند تجاوز int في add_months()
• [SPARK-39914] [SQL] إضافة عامل تصفية DS V2 إلى تحويل عامل التصفية V1
• [SPARK-39857] [SQL] منفذ DBR 11.x الخلفي اليدوي؛ يستخدم V2ExpressionBuilder نوع بيانات LiteralValue خاطئ ل In predicate #43454
• [SPARK-39840] [SQL][PYTHON] عامل PythonArrowInput كمقياس ل PythonArrowOutput
• [SPARK-39651] [SQL] شرط عامل تصفية اقتطاع إذا كانت المقارنة مع rand محددة
• [SPARK-39877] [PYTHON] إضافة إلغاء العرض المحوري إلى واجهة برمجة تطبيقات PySpark DataFrame
• [SPARK-39847] [WARMFIX][SS] إصلاح حالة التعارض في RocksDBLoader.loadLibrary() إذا تمت مقاطعة مؤشر ترابط المتصل
• [SPARK-39909] [SQL] تنظيم التحقق من معلومات الدفع لأسفل ل JDBCV2Suite
• [SPARK-39834] [SQL][SS] تضمين إحصائيات الأصل والقيود ل LogicalRDD إذا كان يأتي من DataFrame
• [SPARK-39849] [SQL] Dataset.as (StructType) يملأ الأعمدة الجديدة المفقودة بقيمة خالية
• [SPARK-39860] [SQL] يجب توسيع المزيد من التعبيرات دالة التقييم
• [SPARK-39823] [SQL][PYTHON] إعادة تسمية Dataset.as Dataset.to وإضافة DataFrame.to في PySpark
• [SPARK-39918] [SQL][ثانوي] استبدال الصياغة "غير قابلة للمقارنة" ب "لا تضاهى" في رسالة الخطأ
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder يستخدم نوع بيانات LiteralValue خاطئ ل In predicate
• [SPARK-39862] [SQL] منفذ خلفي يدوي ل PR 43654 يستهدف DBR 11.x: تحديث SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS للسماح /رفض ALTER TABLE ... إضافة أوامر COLUMN بشكل منفصل.
• [SPARK-39844] [SQL] منفذ خلفي يدوي ل PR 43652 يستهدف DBR 11.x
• [SPARK-39899] [SQL] إصلاح تمرير معلمات الرسالة إلى InvalidUDFClassException
• [SPARK-39890] [SQL] جعل TakeOrderedAndProjectExec يرث AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] دعم CharType في PySpark
• [SPARK-38864] [SQL] إضافة إلغاء العرض المحوري / الذوبان إلى مجموعة البيانات
• [SPARK-39864] [SQL] تسجيل ببطء ExecutionListenerBus
• [SPARK-39808] [SQL] دعم وضع الدالة التجميعية
• [SPARK-39839] [SQL] التعامل مع حالة خاصة من عشري فارغ متغير الطول مع إزاحة غير صفرية وSize في التحقق من التكامل الهيكلي UnsafeRow
• [SPARK-39875] [SQL] تغيير protected الأسلوب في الفئة النهائية إلى private أو package-visible
• [SPARK-39731] [SQL] إصلاح المشكلة في مصادر بيانات CSV وJSON عند تحليل التواريخ بتنسيق "yyyyMMdd" باستخدام نهج محلل الوقت المصحح
• [SPARK-39805] [SS] إيقاف المشغل.مرة واحدة وتعزيز المشغل.AvailableNow
• [SPARK-39784] [SQL] وضع القيم الحرفية على الجانب الأيسر من عامل تصفية مصدر البيانات بعد ترجمة Catalyst Expression إلى عامل تصفية مصدر البيانات
• [SPARK-39672] [SQL][3.1] إصلاح إزالة المشروع قبل التصفية باستخدام الاستعلام الفرعي المترابط
• [SPARK-39552] [SQL] توحيد v1 وv2 DESCRIBE TABLE
• [SPARK-39806] [SQL] يمكن أن يؤدي _metadata الوصول إلى جدول مقسم إلى تعطل استعلام
• [SPARK-39810] [SQL] يجب على Catalog.tableExists معالجة مساحة الاسم المتداخلة
• [SPARK-37287] [SQL] سحب القسم الديناميكي وفرز المستودع من FileFormatWriter
• [SPARK-39469] [SQL] استنتاج نوع التاريخ لاستدلال مخطط CSV
• [SPARK-39148] [SQL] يمكن أن يعمل الدفع التجميعي DS V2 مع OFFSET أو LIMIT
• [SPARK-39818] [SQL] إصلاح الخطأ في أنواع ARRAY وSTRUCT وMAP مع القيم الافتراضية مع حقل (حقول) NULL
• [SPARK-39792] [SQL] إضافة DecimalDivideWithOverflowCheck للمتوسط العشري
• [SPARK-39798] [SQL] إعادة التبسيط toSeq.toArray باستخدام .toArray[Any] في الدالة الإنشائية ل GenericArrayData
• [SPARK-39759] [SQL] تنفيذ listIndexes في JDBC (لهجة H2)
• [SPARK-39385] [SQL] يدعم الدفع لأسفل REGR_AVGX و REGR_AVGY
• [SPARK-39787] [SQL] استخدام فئة الخطأ في خطأ تحليل الدالة to_timestamp
• [SPARK-39760] [PYTHON] دعم Varchar في PySpark
• [SPARK-39557] [SQL] الرجوع اليدوي إلى DBR 11.x: دعم صفيف، STRUCT، أنواع MAP كقيم افتراضية
• [SPARK-39758] [SQL][3.3] إصلاح NPE من دالات regexp على أنماط غير صالحة
• [SPARK-39749] [SQL] وضع ANSI SQL: استخدام تمثيل سلسلة عادية على تحويل عشري إلى سلسلة
• [SPARK-39704] [SQL] تنفيذ createIndex و dropIndex و indexExists في JDBC (لهجة H2)
• [SPARK-39803] [SQL] استخدم LevenshteinDistance بدلا من StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] دعم نوع TimestampNTZ في مصدر بيانات JDBC
• [SPARK-39781] [SS] إضافة دعم لتوفير max_open_files لموفر مخزن حالة rocksdb
• [SPARK-39719] [R] تنفيذ databaseExists/getDatabase في مساحة اسم دعم SparkR 3L
• [SPARK-39751] [SQL] إعادة تسمية مقياس فحوصات المفاتيح المجمعة لتجزئة التجزئة
• [SPARK-39772] يجب أن تكون مساحة الاسم [SQL] فارغة عندما تكون قاعدة البيانات فارغة في الدالات الإنشائية القديمة
• [SPARK-39625] [SPARK-38904][SQL] إضافة Dataset.as(StructType)
• [SPARK-39384] [SQL] التحويل البرمجي للدالات التجميعية للتراجع الخطي المضمنة لهجة JDBC
• [SPARK-39720] [R] تنفيذ tableExists/getTable في SparkR لمساحة اسم 3L
• [SPARK-39744] [SQL] إضافة الدالة REGEXP_INSTR
• [SPARK-39716] [R] إنشاء currentDatabase/setCurrentDatabase/listCatalogs في مساحة اسم دعم SparkR 3L
• [SPARK-39788] [SQL] إعادة التسمية catalogName إلى ل dialectNameJdbcUtils
• [SPARK-39647] [CORE] تسجيل المنفذ مع ESS قبل تسجيل BlockManager
• [SPARK-39754] [CORE][SQL] إزالة غير مستخدم import أو غير ضروري {}
• [SPARK-39706] [SQL] تعيين عمود مفقود مع defaultValue كثابت في ParquetColumnVector
• [SPARK-39699] [SQL] جعل طي المشروع أكثر ذكاء حول تعبيرات إنشاء المجموعة
• [SPARK-39737] [SQL] PERCENTILE_CONT ويجب أن يدعم عامل PERCENTILE_DISC التصفية التجميعي
• [SPARK-39579] [SQL][PYTHON][R] جعل ListFunctions/getFunction/functionExists متوافقا مع مساحة اسم الطبقة 3
• [SPARK-39627] [SQL] يجب أن تعمل عملية دفع JDBC V2 على توحيد واجهة برمجة تطبيقات التحويل البرمجي
• [SPARK-39748] [SQL][SS] تضمين الخطة المنطقية الأصلية ل LogicalRDD إذا كانت تأتي من DataFrame
• [SPARK-39385] [SQL] ترجمة دالات الانحدار الخطي التجميعية للدفع لأسفل
• [SPARK-39695] [SQL] إضافة الدالة REGEXP_SUBSTR
• [SPARK-39667] [SQL] إضافة حل بديل آخر عندما لا تكون هناك ذاكرة كافية لإنشاء الجدول وبثه
• [SPARK-39666] [ES-337834][SQL] استخدام UnsafeProjection.create لالاحترام spark.sql.codegen.factoryMode في ExpressionEncoder
• [SPARK-39643] [SQL] حظر تعبيرات الاستعلام الفرعي في القيم الافتراضية
• [SPARK-38647] [SQL] إضافة مزيج SupportsReportOrdering في واجهة الفحص (DataSourceV2)
• [SPARK-39497] [SQL] تحسين استثناء التحليل لعمود مفتاح الخريطة المفقود
• [SPARK-39661] [SQL] تجنب إنشاء مسجل SLF4J غير ضروري
• [SPARK-39713] [SQL] وضع ANSI: إضافة اقتراح لاستخدام try_element_at لخطأ INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL]يدعم DS V2 دفع دالات التاريخ والوقت لأسفل
• [SPARK-39638] [SQL] التغيير لاستخدامه ConstantColumnVector لتخزين أعمدة الأقسام في OrcColumnarBatchReader
• [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) تنظيف من ColumnVectorUtils
• [SPARK-39231] [SQL] استخدم ConstantColumnVector بدلا من On/OffHeapColumnVector لتخزين أعمدة الأقسام في VectorizedParquetRecordReader
• [SPARK-39547] [SQL] يجب ألا يطرح V2SessionCatalog NoSuchDatabaseException في loadNamspaceMetadata
• [SPARK-39447] [SQL] تجنب AssertionError في AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] إعادة صياغة MISSING_COLUMN
• [SPARK-39679] [SQL] يجب أن يحترم TakeOrderedAndProjectExec ترتيب الإخراج التابع
• [SPARK-39606] [SQL] استخدام الإحصائيات التابعة لتقدير عامل تشغيل الطلب
• [SPARK-39611] [PYTHON][PS] إصلاح الأسماء المستعارة الخاطئة في array_ufunc
• [SPARK-39656] [SQL][3.3] إصلاح مساحة اسم خاطئة في DescribeNamespaceExec
• [SPARK-39675] [SQL] تبديل تكوين "spark.sql.codegen.factoryMode" من غرض الاختبار إلى الغرض الداخلي
• [SPARK-39139] [SQL] يدعم DS V2 الضغط لأسفل DS V2 UDF
• [SPARK-39434] [SQL] توفير سياق استعلام خطأ وقت التشغيل عندما يكون فهرس الصفيف خارج الحدود
• [SPARK-39479] [SQL] يدعم DS V2 دفع دالات الرياضيات لأسفل (غير ANSI)
• [SPARK-39618] [SQL] إضافة الدالة REGEXP_COUNT
• [SPARK-39553] [CORE] لا ينبغي أن يؤدي التبديل غير المسجل متعدد مؤشرات الترابط إلى طرح NPE عند استخدام Scala 2.13
• [SPARK-38755] [PYTHON][3.3] إضافة ملف لمعالجة وظائف Pandas العامة المفقودة
• [SPARK-39444] [SQL] إضافة OptimizeSubqueries إلى قائمة nonExcludableRules
• [SPARK-39316] [SQL] دمج PromotePrecision و CheckOverflow في حساب ثنائي عشري
• [SPARK-39505] [واجهة المستخدم] عرض محتوى سجل الإلغاء في واجهة المستخدم
• [SPARK-39448] [SQL] إضافة ReplaceCTERefWithRepartition إلى nonExcludableRules القائمة
• [SPARK-37961] [SQL] تجاوز maxRows/maxRowsPerPartition لبعض عوامل التشغيل المنطقية
• [SPARK-35223] إعادة إضافة ارتباط التنقل بين المشكلات
• [SPARK-39633] [SQL] دعم الطابع الزمني بالثوان ل TimeTravel باستخدام خيارات Dataframe
• [SPARK-38796] [SQL] تحديث الوثائق لسلاسل تنسيق الأرقام باستخدام الدالات {try_}to_number
• [SPARK-39650] [SS] إصلاح مخطط القيمة غير الصحيح في دفق إلغاء التكرار مع التوافق مع الإصدارات السابقة
• [SPARK-39636] [CORE][واجهة المستخدم] إصلاح أخطاء متعددة في JsonProtocol، مما يؤثر على عمليات تخزين كومة الذاكرة المؤقتة StorageLevels و Task/Executor ResourceRequests
• [SPARK-39432] [SQL] إرجاع ELEMENT_AT_BY_INDEX_ZERO من element_at (*، 0)
• [SPARK-39349] إضافة أسلوب CheckError مركزي لمسار الخطأ QA
• [SPARK-39453] [SQL] يدعم DS V2 الضغط لأسفل على الوظائف غير التجميعية (غير ANSI)
• [SPARK-38978] [SQL] يدعم DS V2 دفع عامل تشغيل OFFSET لأسفل
• [SPARK-39567] [SQL] دعم فواصل ANSI الزمنية في الدالات المئوية
• [SPARK-39383] [SQL] دعم الأعمدة الافتراضية في ALTER TABLE ALTER COLUMNS إلى مصادر بيانات V2
• [SPARK-39396] [SQL] إصلاح استثناء تسجيل الدخول إلى LDAP "رمز الخطأ 49 - بيانات اعتماد غير صالحة"
• [SPARK-39548] [SQL] الأمر CreateView مع استعلام عبارة نافذة ضرب تعريف نافذة خاطئ لم يتم العثور على مشكلة
• [SPARK-39575] [AVRO] أضف ByteBuffer#rewind بعد ByteBuffer#get in Avr...
• [SPARK-39543] يجب تمرير خيار DataFrameWriterV2 إلى خصائص التخزين إذا كان احتياطيا إلى الإصدار 1
• [SPARK-39564] [SS] عرض معلومات جدول الكتالوج للخطة المنطقية في استعلام الدفق
• [SPARK-39582] [SQL] إصلاح علامة "منذ" ل array_agg
• [SPARK-39388] [SQL] إعادة الاستخدام orcSchema عند دفع دالات تقييم Orc لأسفل
• [SPARK-39511] [SQL] تحسين الحد المحلي 1 للجانب الأيمن من الصلة شبه/المضادة اليسرى إذا كانت حالة الانضمام فارغة
• [SPARK-38614] [SQL] لا تدفع لأسفل الحد من خلال النافذة التي تستخدم percent_rank
• [SPARK-39551] [SQL] إضافة فحص خطة غير صالح ل AQE
• [SPARK-39383] [SQL] دعم الأعمدة الافتراضية في ALTER TABLE ADD COLUMNS إلى مصادر بيانات V2
• [SPARK-39538] [SQL] تجنب إنشاء مسجل SLF4J غير ضروري
• [SPARK-39383] [SQL] Backport اليدوي إلى DBR 11.x: إعادة بناء التعليمات البرمجية لدعم العمود الافتراضي لتخطي تمرير المحلل الأساسي حول
• [SPARK-39397] [SQL] الاسترخاء AliasAwareOutputExpression لدعم الاسم المستعار مع التعبير
• [SPARK-39496] [SQL] معالجة البنية الخالية في Inline.eval
• [SPARK-39545] [SQL] concat تجاوز الأسلوب في ExpressionSet Scala 2.13 لتحسين الأداء
• [SPARK-39340] [SQL] يجب أن تسمح DS v2 agg pushdown بالنقاط في اسم أعمدة المستوى الأعلى
• [SPARK-39488] [SQL] تبسيط معالجة الأخطاء ل TempResolvedColumn
• [SPARK-38846] [SQL] إضافة تعيين بيانات صريح بين Teradata Numeric Type وSpark DecimalType
• [SPARK-39520] [SQL] -- تجاوز الأسلوب ل ExpressionSet في Scala 2.13
• [SPARK-39470] [SQL] دعم فواصل ANSI الزمنية إلى الأرقام العشرية
• [SPARK-39477] [SQL] إزالة معلومات "عدد الاستعلامات" من الملفات الذهبية ل SQLQueryTestSuite
• [SPARK-39419] [SQL] إصلاح ArraySort لطرح استثناء عندما يرجع المقارن قيمة خالية
• [SPARK-39061] [SQL] تعيين يقبل القيم الخالية بشكل صحيح لسمات Inline الإخراج
• [SPARK-39320] [SQL] دعم الدالة التجميعية MEDIAN
• [SPARK-39261] [CORE] تحسين تنسيق الخط الجديد لرسائل الخطأ
• [SPARK-39355] [SQL] يستخدم عمود واحد مقتبس لإنشاء قاعدة بيانات غير محلولة
• [SPARK-39351] [SQL] يجب تنقيح خصائص SHOW CREATE TABLE
• [SPARK-37623] [SQL] دعم الدالة التجميعية ANSI: regr_intercept
• [SPARK-39374] [SQL] تحسين رسالة الخطأ لقائمة الأعمدة المحددة من قبل المستخدم
• [SPARK-39255] [SQL][3.3] تحسين رسائل الخطأ
• [SPARK-39321] [SQL] إعادة بناء التعليمات البرمجية TryCast لاستخدام RuntimeReplaceable
• [SPARK-39406] [PYTHON] قبول صفيف NumPy في createDataFrame
• [SPARK-39267] [SQL] تنظيف رمز dsl غير الضروري
• [SPARK-39171] [SQL] توحيد التعبير Cast
• [SPARK-28330] [SQL] دعم ANSI SQL: عبارة إزاحة النتيجة في تعبير الاستعلام
• [SPARK-39203] [SQL] إعادة كتابة موقع الجدول إلى URI المطلق استنادا إلى URI لقاعدة البيانات
• [SPARK-39313] [SQL] toCatalystOrdering يجب أن تفشل إذا تعذرت ترجمة V2Expression
• [SPARK-39301] [SQL][PYTHON] الاستفادة من LocalRelation واحترام حجم دفعة السهم في createDataFrame مع تحسين السهم
• [SPARK-39400] [SQL] يجب أن يزيل spark-sql dir لمورد الخلية في جميع الأحوال

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 11.1.

بيئة النظام

• نظام التشغيل: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2022-08-15.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)