Databricks Runtime 11.2 (EoS)

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 11.2، المشغل بواسطة Apache Spark 3.3.0. أصدرت Databricks هذا الإصدار في سبتمبر 2022.

ميزات وتحسينات جديدة

• التغيير إلى أذونات ALTER TABLE في عناصر التحكم بالوصول إلى الجدول (قوائم التحكم بالوصول إلى الجدول)
• التقليم الديناميكي ل MERGE INTO
• الكشف المحسن عن التعارضات في Delta مع تقليم الملفات الديناميكية
• بطاقة تكامل مفتوحة المصدر جديدة في صفحات DSE/SQL الرئيسية
• تحويل إلى تحسينات الكشف عن قسم DELTA
• تدعم مخططات الجدول الآن القيم الافتراضية للأعمدة
• وظائف جيوفضائية H3 جديدة
• تبعية وقت تشغيل Databricks الجديدة
• إحضار المفتاح الخاص بك: تشفير بيانات اعتماد Git
• SQL: وظيفة تجميعية جديدة any_value
• أوامر نظام ملفات Databricks Utilities المسموح بها على المزيد من أنواع المجموعات
• يمكن الآن منح امتيازات CREATE على metastores ل Unity Catalog
• عمليات الكتابة المحسنة للجداول غير المدمجة في أنظمة المجموعات التي تدعم Photon
• دعم الفوتون لمزيد من مصادر البيانات
• SQL: يدعم ALTER SHARE الآن إصدار البدء

التغيير إلى أذونات ALTER TABLE في عناصر التحكم بالوصول إلى الجدول (قوائم التحكم بالوصول إلى الجدول)

الآن، يحتاج المستخدمون فقط إلى MODIFY أذونات لتغيير مخطط الجدول أو خصائصه باستخدام ALTER TABLE. لا تزال الملكية مطلوبة لمنح أذونات على جدول أو تغيير مالكه وموقعه أو إعادة تسميته. يجعل هذا التغيير نموذج الإذن لقوائم التحكم بالوصول للجدول متسقا مع كتالوج Unity. راجع ALTER TABLE.

التقليم الديناميكي ل MERGE INTO

عند استخدام الحوسبة التي تدعم Photon، MERGE INTO يستخدم الآن تنقيم الملفات والأقسام الديناميكية عند الاقتضاء لتحسين الأداء، على سبيل المثال عند دمج جدول مصدر صغير في جدول هدف أكبر.

الكشف المحسن عن التعارضات في Delta مع تقليم الملفات الديناميكية

عند التحقق من وجود تعارضات محتملة أثناء التثبيتات، يأخذ اكتشاف التعارض الآن في الاعتبار الملفات التي يتم تقليمها بواسطة تشذيب الملفات الديناميكية، ولكن لم يكن سيتم تقليمها بواسطة عوامل تصفية ثابتة. يؤدي هذا إلى انخفاض عدد المعاملات الفاشلة.

بطاقة تكامل مفتوحة المصدر جديدة في صفحات DSE/SQL الرئيسية

تقديم بطاقة "تكاملات المصدر المفتوح" الجديدة في صفحات DSE/SQL الرئيسية التي تعرض خيارات تكامل مصدر مفتوح مثل Delta Live Tables وdbt core.

تحويل إلى تحسينات الكشف عن قسم DELTA

CONVERT TO DELTA يستنتج تلقائيا مخطط القسم لجداول Parquet المسجلة في Hive metastore أو كتالوج Unity، مما يلغي الحاجة إلى توفير PARTITIONED BY عبارة .

CONVERT TO DELTA يستفيد من معلومات القسم من metastore لاكتشاف الملفات لجدول Parquet بدلا من سرد المسار الأساسي بأكمله، ما يضمن عدم إضافة الأقسام التي تم إسقاطها إلى جدول Delta.

راجع التحويل إلى Delta Lake.

تدعم مخططات الجدول الآن القيم الافتراضية للأعمدة

تدعم مخططات الجدول الآن تعيين القيم الافتراضية للأعمدة. INSERTUPDATEيمكن أن تشير الأوامر و DELETE لهذه الأعمدة إلى هذه القيم باستخدام DEFAULT الكلمة الأساسية . على سبيل المثال، CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET متبوعا ب INSERT INTO t VALUES (1, DEFAULT) إلحاق الصف (1, 42). يتم دعم هذا السلوك لمصادر بيانات CSV وJSON وOrc وParquet.

وظائف جيوفضائية H3 جديدة

يمكنك الآن استخدام 28 تعبيرا H3 مضمنا جديدا للمعالجة الجيوفضائية في المجموعات التي تدعم Photon، والمتوفرة في SQL وSc scala وPython. راجع الدالات الجغرافية المكانية H3.

تبعية وقت تشغيل Databricks الجديدة

يعتمد وقت تشغيل Databricks الآن على إصدار مكتبة H3 Java 3.7.0.

إحضار المفتاح الخاص بك: تشفير بيانات اعتماد Git

يمكنك استخدام Azure Key Vault لتشفير رمز الوصول الشخصي Git المميز (PAT) أو بيانات اعتماد Git الأخرى.

راجع إعداد مجلدات Databricks Git (Repos).

SQL: وظيفة تجميعية جديدة any_value

ترجع الدالة التجميعية الجديدة any_value أي قيمة عشوائية expr لمجموعة من الصفوف. راجع الدالة التجميعية any_value.

أوامر نظام ملفات Databricks Utilities المسموح بها على المزيد من أنواع المجموعات

dbutils.fs يسمح الآن بالأوامر (باستثناء الأوامر المتعلقة بالتركيب) على مجموعات عزل المستخدم باستخدام كتالوج Unity، بالإضافة إلى مجموعات ACL للجدول القديم عندما يكون لدى ANY FILE المستخدم أذونات.

يمكن الآن منح امتيازات CREATE على metastores ل Unity Catalog

يمكن الآن منح امتيازات CREATE CATALOG وCREATE EXTERNAL LOCATION وCREATE SHARE وCREATE RECIPIENT وCREATE PROVIDER على مخازن تعريف كتالوج Unity.

عمليات الكتابة المحسنة للجداول غير المدمجة في أنظمة المجموعات التي تدعم Photon

تعمل الجداول المدارة في كتالوج Unity الآن تلقائيا على الاحتفاظ بالملفات ذات الحجم المضبوط جيدا من الجداول غير المفصولة لتحسين سرعة الاستعلام وتحسين الأداء.

دعم الفوتون لمزيد من مصادر البيانات

يدعم Photon الآن المزيد من مصادر البيانات، بما في ذلك CSV وAvro، وهو متوافق أيضا مع إطارات البيانات المخزنة مؤقتا. في السابق، كان مسح مصادر البيانات هذه يعني أنه لا يمكن فوتون الاستعلام بأكمله، بغض النظر عن عوامل تشغيل الاستعلام أو تعبيراته. الآن، يمكن فوتون الاستعلامات التي تقوم بفحص مصادر البيانات هذه، مما يؤدي إلى فتح زمن الانتقال الكبير وتحسينات TCO.

يتم تمكين هذه الميزة افتراضيا spark.databricks.photon.photonRowToColumnar.enabled بواسطة التكوين.

القيود:

• المخططات ذات الأنواع المتداخلة غير مدعومة (مثل الصفائف والخرائط والبنى) في هذا الإصدار.
• مصادر ORC وRDD وKinesis وKafka وDyventHub غير مدعومة في هذا الإصدار.

SQL: يدعم ALTER SHARE الآن إصدار البدء

ALTER SHARE يدعم START VERSIONالأمر الآن ، والذي يسمح للموفرين بمشاركة البيانات بدءا من إصدار جدول معين. راجع ALTER SHARE.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • استياء من 0.3.4 إلى 0.3.5
  • filelock من 3.7.1 إلى 3.8.0
  • رسم من 5.8.2 إلى 5.9.0
  • protobuf من 4.21.2 إلى 4.21.5
• مكتبات R التي تمت ترقيتها:
  • مكنسة من 0.8.0 إلى 1.0.0
  • bslib من 0.3.1 إلى 0.4.0
  • المتصل من 3.7.0 إلى 3.7.1
  • علامة الإقطف من 6.0-92 إلى 6.0-93
  • dbplyr من 2.2.0 إلى 2.2.1
  • devtools من 2.4.3 إلى 2.4.4
  • تقييم من 0.15 إلى 0.16
  • بعيدا من 2.1.0 إلى 2.1.1
  • fontawesome من 0.2.2 إلى 0.3.0
  • في المستقبل من 1.26.1 إلى 1.27.0
  • الأنواع المعممة من 0.1.2 إلى 0.1.3
  • غيرت من 1.6.0 إلى 1.7.0
  • globals من 0.15.1 إلى 0.16.0
  • googlesheets4 من 1.0.0 إلى 1.0.1
  • hardhat من 1.1.0 إلى 1.2.0
  • htmltools من 0.5.2 إلى 0.5.3
  • بالتوازي من 1.32.0 إلى 1.32.1
  • الركيزة من 1.7.0 إلى 1.8.0
  • pkgload من 1.2.4 إلى 1.3.0
  • processx من 3.6.1 إلى 3.7.0
  • Rcpp من 1.0.8.3 إلى 1.0.9
  • وصفات من 0.2.0 إلى 1.0.1
  • rlang من 1.0.2 إلى 1.0.4
  • roxygen2 من 7.2.0 إلى 7.2.1
  • RSQLite من 2.2.14 إلى 2.2.15
  • sass من 0.4.1 إلى 0.4.2
  • لامعة من 1.7.1 إلى 1.7.2
  • stringi من 1.7.6 إلى 1.7.8
  • من 3.1.7 إلى 3.1.8
  • tidyverse من 1.3.1 إلى 1.3.2
  • timeDate من 3043.102 إلى 4021.104
  • xfun من 0.31 إلى 0.32
• مكتبات Java التي تمت ترقيتها:
  • org.apache.orc.orc-core من 1.7.4 إلى 1.7.5
  • org.apache.orc.orc-mapreduce من 1.7.4 إلى 1.7.5
  • org.apache.orc.orc-shims من 1.7.4 إلى 1.7.5

Apache Spark

يتضمن Databricks Runtime 11.2 Apache Spark 3.3.0. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 11.1 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-40151] [WARMFIX][SC-109002][SC-108809][SQL] إرجاع أنواع الفاصل الزمني ل ANSI الأوسع من الدالات المئوية
• [SPARK-40054] [SQL] استعادة بناء جملة معالجة الأخطاء try_cast()
• [SPARK-39489] [CORE] تحسين أداء تسجيل الأحداث JsonProtocol باستخدام جاكسون بدلا من Json4s
• [SPARK-39319] [CORE][SQL] جعل سياقات الاستعلام جزءا من SparkThrowable
• [SPARK-40085] [SQL] استخدام فئة الخطأ INTERNAL_ERROR بدلا من IllegalStateException للإشارة إلى الأخطاء
• [SPARK-40001] [SQL] جعل عمليات الكتابة NULL إلى أعمدة JSON الافتراضية تكتب 'null' إلى التخزين
• [SPARK-39635] [SQL] دعم مقاييس برنامج التشغيل في DS v2 custom metric API
• [SPARK-39184] [SQL] معالجة صفيف النتائج غير المحجم بتسلسلات التاريخ والطوابع الزمنية
• [SPARK-40019] [SQL] تعليق إعادة بناء التعليمات البرمجية ل ArrayType يحتوي علىNull وإعادة بناء التعليمات البرمجية لمنطق سوء الفهم في تعبير collectionOperator حول containsNull
• [SPARK-39989] [SQL] دعم إحصائيات العمود المقدرة إذا كان تعبيرا قابلا للطي
• [SPARK-39926] [SQL] إصلاح الخطأ في الدعم الافتراضي للعمود لمسح Parquet غير المتجه
• [SPARK-40052] [SQL] معالجة المخازن المؤقتة لل بايت المباشر في VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] إصلاح نوع الفاصل الزمني الهدف في أخطاء تجاوز الإرسال
• [SPARK-39835] [SQL] إصلاح إزالة الفرز العمومي أسفل الفرز المحلي
• [SPARK-40002] [SQL] لا تدفع لأسفل الحد من خلال النافذة باستخدام ntile
• [SPARK-39976] [SQL] يجب أن يتعامل ArrayIntersect مع القيمة الخالية في التعبير الأيسر بشكل صحيح
• [SPARK-39985] [SQL] تمكين قيم العمود الافتراضي الضمني في الإدراجات من DataFrames
• [SPARK-39776] [SQL] يجب أن تضيف السلسلة المطولة JOIN نوع الصلة
• [SPARK-38901] [SQL] يدعم DS V2 دفع دالات misc لأسفل
• [SPARK-40028] [SQL][متابعة] تحسين أمثلة دالات السلسلة
• [SPARK-39983] [CORE][SQL] لا تقم بتخزين علاقات البث غير المتسلسلة مؤقتا على برنامج التشغيل
• [SPARK-39812] [SQL] تبسيط التعليمات البرمجية التي يتم إنشاؤها AggregateExpression باستخدام toAggregateExpression
• [SPARK-40028] [SQL] إضافة أمثلة ثنائية لتعبيرات السلسلة
• [SPARK-39981] [SQL] طرح الاستثناء QueryExecutionErrors.castingCauseOverflowErrorInTableInsert في Cast
• [SPARK-40007] [PYTHON][SQL] إضافة "الوضع" إلى الوظائف
• [SPARK-40008] [SQL] دعم تحويل التكاملات إلى فواصل ANSI
• [SPARK-40003] [PYTHON][SQL] إضافة "وسيط" إلى الدالات
• [SPARK-39952] [SQL] يجب أن يكون SaveIntoDataSourceCommand علاقة نتائج مستطيلة
• [SPARK-39951] [SQL] تحديث فحص عمودي Parquet V2 للحول المتداخلة
• [SPARK-33236] [تبديل عشوائي] Backport إلى DBR 11.x: تمكين خدمة التبديل العشوائي المستندة إلى الدفع لتخزين الحالة في قاعدة بيانات مستوى NM للعمل الذي يحافظ على إعادة التشغيل
• [SPARK-39836] [SQL] تبسيط V2ExpressionBuilder عن طريق استخراج الأسلوب الشائع.
• [SPARK-39873] [SQL] إزالته OptimizeLimitZero ودمجه في EliminateLimits
• [SPARK-39961] [SQL] ترجمة DS V2 push-down Cast إذا كان الإرسال آمنا
• [SPARK-39872] [SQL] التغيير لاستخدامه BytePackerForLong#unpack8Values مع واجهة برمجة تطبيقات إدخال الصفيف في VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] إزالة غير ضرورية AliasHelper أو PredicateHelper لبعض القواعد
• [SPARK-39900] [SQL] معالجة شرط جزئي أو منفي في دفعة التقييم الخاصة بالتنسيق الثنائي
• [SPARK-39904] [SQL] إعادة تسمية الاستدلال لتفضيل دلالات الخيار وتوضيحها في مصدر بيانات CSV
• [SPARK-39958] [SQL] إضافة سجل تحذير عندما يتعذر تحميل كائن قياس مخصص
• [SPARK-39932] [SQL] يجب أن يقوم WindowExec بإلغاء تحديد المخزن المؤقت للقسم النهائي
• [SPARK-37194] [SQL] تجنب الفرز غير الضروري في الكتابة v1 إذا لم يكن قسما ديناميكيا
• [SPARK-39902] [SQL] إضافة تفاصيل الفحص إلى عقدة فحص خطة spark في SparkUI
• [SPARK-39865] [SQL] إظهار رسائل الخطأ المناسبة على أخطاء تجاوز السعة لإدراج الجدول
• [SPARK-39940] [SS] تحديث جدول الكتالوج على استعلام الدفق باستخدام مصدر DSv1
• [SPARK-39827] [SQL] استخدام فئة ARITHMETIC_OVERFLOW الخطأ عند تجاوز int في add_months()
• [SPARK-39914] [SQL] إضافة عامل تصفية DS V2 إلى تحويل عامل التصفية V1
• [SPARK-39857] [SQL] منفذ DBR 11.x الخلفي اليدوي؛ يستخدم V2ExpressionBuilder نوع بيانات LiteralValue خاطئ ل In predicate #43454
• [SPARK-39840] [SQL][PYTHON] عامل PythonArrowInput كمقياس ل PythonArrowOutput
• [SPARK-39651] [SQL] شرط عامل تصفية اقتطاع إذا كانت المقارنة مع rand محددة
• [SPARK-39877] [PYTHON] إضافة إلغاء العرض المحوري إلى واجهة برمجة تطبيقات PySpark DataFrame
• [SPARK-39909] [SQL] تنظيم التحقق من معلومات الدفع لأسفل ل JDBCV2Suite
• [SPARK-39834] [SQL][SS] تضمين إحصائيات الأصل والقيود ل LogicalRDD إذا كان يأتي من DataFrame
• [SPARK-39849] [SQL] Dataset.as (StructType) يملأ الأعمدة الجديدة المفقودة بقيمة خالية
• [SPARK-39860] [SQL] يجب توسيع المزيد من التعبيرات دالة التقييم
• [SPARK-39823] [SQL][PYTHON] إعادة تسمية Dataset.as Dataset.to وإضافة DataFrame.to في PySpark
• [SPARK-39918] [SQL][ثانوي] استبدال الصياغة "غير قابلة للمقارنة" ب "لا تضاهى" في رسالة الخطأ
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder يستخدم نوع بيانات LiteralValue خاطئ ل In predicate
• [SPARK-39862] [SQL] منفذ خلفي يدوي ل PR 43654 يستهدف DBR 11.x: تحديث SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS للسماح /رفض ALTER TABLE ... إضافة أوامر COLUMN بشكل منفصل.
• [SPARK-39844] [SQL] منفذ خلفي يدوي ل PR 43652 يستهدف DBR 11.x
• [SPARK-39899] [SQL] إصلاح تمرير معلمات الرسالة إلى InvalidUDFClassException
• [SPARK-39890] [SQL] جعل TakeOrderedAndProjectExec يرث AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] دعم CharType في PySpark
• [SPARK-38864] [SQL] إضافة إلغاء العرض المحوري / الذوبان إلى مجموعة البيانات
• [SPARK-39864] [SQL] تسجيل ببطء ExecutionListenerBus
• [SPARK-39808] [SQL] دعم وضع الدالة التجميعية
• [SPARK-39875] [SQL] تغيير protected الأسلوب في الفئة النهائية إلى private أو package-visible
• [SPARK-39731] [SQL] إصلاح المشكلة في مصادر بيانات CSV وJSON عند تحليل التواريخ بتنسيق "yyyyMMdd" باستخدام نهج محلل الوقت المصحح
• [SPARK-39805] [SS] إيقاف المشغل.مرة واحدة وتعزيز المشغل.AvailableNow
• [SPARK-39784] [SQL] وضع القيم الحرفية على الجانب الأيسر من عامل تصفية مصدر البيانات بعد ترجمة Catalyst Expression إلى عامل تصفية مصدر البيانات
• [SPARK-39672] [SQL][3.1] إصلاح إزالة المشروع قبل التصفية باستخدام الاستعلام الفرعي المترابط
• [SPARK-39552] [SQL] توحيد v1 وv2 DESCRIBE TABLE
• [SPARK-39810] [SQL] يجب على Catalog.tableExists معالجة مساحة الاسم المتداخلة
• [SPARK-37287] [SQL] سحب القسم الديناميكي وفرز المستودع من FileFormatWriter
• [SPARK-39469] [SQL] استنتاج نوع التاريخ لاستدلال مخطط CSV
• [SPARK-39148] [SQL] يمكن أن يعمل الدفع التجميعي DS V2 مع OFFSET أو LIMIT
• [SPARK-39818] [SQL] إصلاح الخطأ في أنواع ARRAY وSTRUCT وMAP مع القيم الافتراضية مع حقل (حقول) NULL
• [SPARK-39792] [SQL] إضافة DecimalDivideWithOverflowCheck للمتوسط العشري
• [SPARK-39798] [SQL] إعادة التبسيط toSeq.toArray باستخدام .toArray[Any] في الدالة الإنشائية ل GenericArrayData
• [SPARK-39759] [SQL] تنفيذ listIndexes في JDBC (لهجة H2)
• [SPARK-39385] [SQL] يدعم الدفع لأسفل REGR_AVGX و REGR_AVGY
• [SPARK-39787] [SQL] استخدام فئة الخطأ في خطأ تحليل الدالة to_timestamp
• [SPARK-39760] [PYTHON] دعم Varchar في PySpark
• [SPARK-39557] [SQL] الرجوع اليدوي إلى DBR 11.x: دعم صفيف، STRUCT، أنواع MAP كقيم افتراضية
• [SPARK-39758] [SQL][3.3] إصلاح NPE من دالات regexp على أنماط غير صالحة
• [SPARK-39749] [SQL] وضع ANSI SQL: استخدام تمثيل سلسلة عادية على تحويل عشري إلى سلسلة
• [SPARK-39704] [SQL] تنفيذ createIndex و dropIndex و indexExists في JDBC (لهجة H2)
• [SPARK-39803] [SQL] استخدم LevenshteinDistance بدلا من StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] دعم نوع TimestampNTZ في مصدر بيانات JDBC
• [SPARK-39781] [SS] إضافة دعم لتوفير max_open_files لموفر مخزن حالة rocksdb
• [SPARK-39719] [R] تنفيذ databaseExists/getDatabase في مساحة اسم دعم SparkR 3L
• [SPARK-39751] [SQL] إعادة تسمية مقياس فحوصات المفاتيح المجمعة لتجزئة التجزئة
• [SPARK-39772] يجب أن تكون مساحة الاسم [SQL] فارغة عندما تكون قاعدة البيانات فارغة في الدالات الإنشائية القديمة
• [SPARK-39625] [SPARK-38904][SQL] إضافة Dataset.as(StructType)
• [SPARK-39384] [SQL] التحويل البرمجي للدالات التجميعية للتراجع الخطي المضمنة لهجة JDBC
• [SPARK-39720] [R] تنفيذ tableExists/getTable في SparkR لمساحة اسم 3L
• [SPARK-39744] [SQL] إضافة الدالة REGEXP_INSTR
• [SPARK-39716] [R] إنشاء currentDatabase/setCurrentDatabase/listCatalogs في مساحة اسم دعم SparkR 3L
• [SPARK-39788] [SQL] إعادة التسمية catalogName إلى ل dialectNameJdbcUtils
• [SPARK-39647] [CORE] تسجيل المنفذ مع ESS قبل تسجيل BlockManager
• [SPARK-39754] [CORE][SQL] إزالة غير مستخدم import أو غير ضروري {}
• [SPARK-39706] [SQL] تعيين عمود مفقود مع defaultValue كثابت في ParquetColumnVector
• [SPARK-39699] [SQL] جعل طي المشروع أكثر ذكاء حول تعبيرات إنشاء المجموعة
• [SPARK-39737] [SQL] PERCENTILE_CONT ويجب أن يدعم عامل PERCENTILE_DISC التصفية التجميعي
• [SPARK-39579] [SQL][PYTHON][R] جعل ListFunctions/getFunction/functionExists متوافقا مع مساحة اسم الطبقة 3
• [SPARK-39627] [SQL] يجب أن تعمل عملية دفع JDBC V2 على توحيد واجهة برمجة تطبيقات التحويل البرمجي
• [SPARK-39748] [SQL][SS] تضمين الخطة المنطقية الأصلية ل LogicalRDD إذا كانت تأتي من DataFrame
• [SPARK-39385] [SQL] ترجمة دالات الانحدار الخطي التجميعية للدفع لأسفل
• [SPARK-39695] [SQL] إضافة الدالة REGEXP_SUBSTR
• [SPARK-39667] [SQL] إضافة حل بديل آخر عندما لا تكون هناك ذاكرة كافية لإنشاء الجدول وبثه
• [SPARK-39666] [ES-337834][SQL] استخدام UnsafeProjection.create لالاحترام spark.sql.codegen.factoryMode في ExpressionEncoder
• [SPARK-39643] [SQL] حظر تعبيرات الاستعلام الفرعي في القيم الافتراضية
• [SPARK-38647] [SQL] إضافة مزيج SupportsReportOrdering في واجهة الفحص (DataSourceV2)
• [SPARK-39497] [SQL] تحسين استثناء التحليل لعمود مفتاح الخريطة المفقود
• [SPARK-39661] [SQL] تجنب إنشاء مسجل SLF4J غير ضروري
• [SPARK-39713] [SQL] وضع ANSI: إضافة اقتراح لاستخدام try_element_at لخطأ INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL]يدعم DS V2 دفع دالات التاريخ والوقت لأسفل
• [SPARK-39638] [SQL] التغيير لاستخدامه ConstantColumnVector لتخزين أعمدة الأقسام في OrcColumnarBatchReader
• [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) تنظيف من ColumnVectorUtils
• [SPARK-39231] [SQL] استخدم ConstantColumnVector بدلا من On/OffHeapColumnVector لتخزين أعمدة الأقسام في VectorizedParquetRecordReader
• [SPARK-39547] [SQL] يجب ألا يطرح V2SessionCatalog NoSuchDatabaseException في loadNamspaceMetadata
• [SPARK-39447] [SQL] تجنب AssertionError في AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] إعادة صياغة MISSING_COLUMN
• [SPARK-39679] [SQL] يجب أن يحترم TakeOrderedAndProjectExec ترتيب الإخراج التابع
• [SPARK-39606] [SQL] استخدام الإحصائيات التابعة لتقدير عامل تشغيل الطلب
• [SPARK-39611] [PYTHON][PS] إصلاح الأسماء المستعارة الخاطئة في array_ufunc
• [SPARK-39656] [SQL][3.3] إصلاح مساحة اسم خاطئة في DescribeNamespaceExec
• [SPARK-39675] [SQL] تبديل تكوين "spark.sql.codegen.factoryMode" من غرض الاختبار إلى الغرض الداخلي
• [SPARK-39139] [SQL] يدعم DS V2 الضغط لأسفل DS V2 UDF
• [SPARK-39434] [SQL] توفير سياق استعلام خطأ وقت التشغيل عندما يكون فهرس الصفيف خارج الحدود
• [SPARK-39479] [SQL] يدعم DS V2 دفع دالات الرياضيات لأسفل (غير ANSI)
• [SPARK-39618] [SQL] إضافة الدالة REGEXP_COUNT
• [SPARK-39553] [CORE] لا ينبغي أن يؤدي التبديل غير المسجل متعدد مؤشرات الترابط إلى طرح NPE عند استخدام Scala 2.13
• [SPARK-38755] [PYTHON][3.3] إضافة ملف لمعالجة وظائف Pandas العامة المفقودة
• [SPARK-39444] [SQL] إضافة OptimizeSubqueries إلى قائمة nonExcludableRules
• [SPARK-39316] [SQL] دمج PromotePrecision و CheckOverflow في حساب ثنائي عشري
• [SPARK-39505] [واجهة المستخدم] عرض محتوى سجل الإلغاء في واجهة المستخدم
• [SPARK-39448] [SQL] إضافة ReplaceCTERefWithRepartition إلى nonExcludableRules القائمة
• [SPARK-37961] [SQL] تجاوز maxRows/maxRowsPerPartition لبعض عوامل التشغيل المنطقية
• [SPARK-35223] إعادة إضافة ارتباط التنقل بين المشكلات
• [SPARK-39633] [SQL] دعم الطابع الزمني بالثوان ل TimeTravel باستخدام خيارات Dataframe
• [SPARK-38796] [SQL] تحديث الوثائق لسلاسل تنسيق الأرقام باستخدام الدالات {try_}to_number
• [SPARK-39650] [SS] إصلاح مخطط القيمة غير الصحيح في دفق إلغاء التكرار مع التوافق مع الإصدارات السابقة
• [SPARK-39636] [CORE][واجهة المستخدم] إصلاح أخطاء متعددة في JsonProtocol، مما يؤثر على عمليات تخزين كومة الذاكرة المؤقتة StorageLevels و Task/Executor ResourceRequests
• [SPARK-39432] [SQL] إرجاع ELEMENT_AT_BY_INDEX_ZERO من element_at (*، 0)
• [SPARK-39349] إضافة أسلوب CheckError مركزي لمسار الخطأ QA
• [SPARK-39453] [SQL] يدعم DS V2 الضغط لأسفل على الوظائف غير التجميعية (غير ANSI)
• [SPARK-38978] [SQL] يدعم DS V2 دفع عامل تشغيل OFFSET لأسفل
• [SPARK-39567] [SQL] دعم فواصل ANSI الزمنية في الدالات المئوية
• [SPARK-39383] [SQL] دعم الأعمدة الافتراضية في ALTER TABLE ALTER COLUMNS إلى مصادر بيانات V2
• [SPARK-39396] [SQL] إصلاح استثناء تسجيل الدخول إلى LDAP "رمز الخطأ 49 - بيانات اعتماد غير صالحة"
• [SPARK-39548] [SQL] الأمر CreateView مع استعلام عبارة نافذة ضرب تعريف نافذة خاطئ لم يتم العثور على مشكلة
• [SPARK-39575] [AVRO] أضف ByteBuffer#rewind بعد ByteBuffer#get in Avr...
• [SPARK-39543] يجب تمرير خيار DataFrameWriterV2 إلى خصائص التخزين إذا كان احتياطيا إلى الإصدار 1
• [SPARK-39564] [SS] عرض معلومات جدول الكتالوج للخطة المنطقية في استعلام الدفق
• [SPARK-39582] [SQL] إصلاح علامة "منذ" ل array_agg
• [SPARK-39388] [SQL] إعادة الاستخدام orcSchema عند دفع دالات تقييم Orc لأسفل
• [SPARK-39511] [SQL] تحسين الحد المحلي 1 للجانب الأيمن من الصلة شبه/المضادة اليسرى إذا كانت حالة الانضمام فارغة
• [SPARK-38614] [SQL] لا تدفع لأسفل الحد من خلال النافذة التي تستخدم percent_rank
• [SPARK-39551] [SQL] إضافة فحص خطة غير صالح ل AQE
• [SPARK-39383] [SQL] دعم الأعمدة الافتراضية في ALTER TABLE ADD COLUMNS إلى مصادر بيانات V2
• [SPARK-39538] [SQL] تجنب إنشاء مسجل SLF4J غير ضروري
• [SPARK-39383] [SQL] Backport اليدوي إلى DBR 11.x: إعادة بناء التعليمات البرمجية لدعم العمود الافتراضي لتخطي تمرير المحلل الأساسي حول
• [SPARK-39397] [SQL] الاسترخاء AliasAwareOutputExpression لدعم الاسم المستعار مع التعبير
• [SPARK-39496] [SQL] معالجة البنية الخالية في Inline.eval
• [SPARK-39545] [SQL] concat تجاوز الأسلوب في ExpressionSet Scala 2.13 لتحسين الأداء
• [SPARK-39340] [SQL] يجب أن تسمح DS v2 agg pushdown بالنقاط في اسم أعمدة المستوى الأعلى
• [SPARK-39488] [SQL] تبسيط معالجة الأخطاء ل TempResolvedColumn
• [SPARK-38846] [SQL] إضافة تعيين بيانات صريح بين Teradata Numeric Type وSpark DecimalType
• [SPARK-39520] [SQL] -- تجاوز الأسلوب ل ExpressionSet في Scala 2.13
• [SPARK-39470] [SQL] دعم فواصل ANSI الزمنية إلى الأرقام العشرية
• [SPARK-39477] [SQL] إزالة معلومات "عدد الاستعلامات" من الملفات الذهبية ل SQLQueryTestSuite
• [SPARK-39419] [SQL] إصلاح ArraySort لطرح استثناء عندما يرجع المقارن قيمة خالية
• [SPARK-39061] [SQL] تعيين يقبل القيم الخالية بشكل صحيح لسمات Inline الإخراج
• [SPARK-39320] [SQL] دعم الدالة التجميعية MEDIAN
• [SPARK-39261] [CORE] تحسين تنسيق الخط الجديد لرسائل الخطأ
• [SPARK-39355] [SQL] يستخدم عمود واحد مقتبس لإنشاء قاعدة بيانات غير محلولة
• [SPARK-39351] [SQL] يجب تنقيح خصائص SHOW CREATE TABLE
• [SPARK-37623] [SQL] دعم الدالة التجميعية ANSI: regr_intercept
• [SPARK-39374] [SQL] تحسين رسالة الخطأ لقائمة الأعمدة المحددة من قبل المستخدم
• [SPARK-39255] [SQL][3.3] تحسين رسائل الخطأ
• [SPARK-39321] [SQL] إعادة بناء التعليمات البرمجية TryCast لاستخدام RuntimeReplaceable
• [SPARK-39406] [PYTHON] قبول صفيف NumPy في createDataFrame
• [SPARK-39267] [SQL] تنظيف رمز dsl غير الضروري
• [SPARK-39171] [SQL] توحيد التعبير Cast
• [SPARK-28330] [SQL] دعم ANSI SQL: عبارة إزاحة النتيجة في تعبير الاستعلام
• [SPARK-39203] [SQL] إعادة كتابة موقع الجدول إلى URI المطلق استنادا إلى URI لقاعدة البيانات
• [SPARK-39313] [SQL] toCatalystOrdering يجب أن تفشل إذا تعذرت ترجمة V2Expression
• [SPARK-39301] [SQL][PYTHON] الاستفادة من LocalRelation واحترام حجم دفعة السهم في createDataFrame مع تحسين السهم
• [SPARK-39400] [SQL] يجب أن يزيل spark-sql dir لمورد الخلية في جميع الأحوال

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 11.2.

بيئة النظام

• نظام التشغيل: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 2.1.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2022-08-15.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)