Databricks Runtime 13.1 (EoS)

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 13.1، المشغل بواسطة Apache Spark 3.4.0.

أصدرت Databricks هذا الإصدار في مايو 2023.

ميزات وتحسينات جديدة

• دعم نظام المجموعة ل JDK 17 (معاينة عامة)
• إضافة بيانات أو تغييرها أو حذفها في جداول الدفق
• قراءة Kafka باستخدام SQL
• وظائف SQL المضمنة الجديدة
• دعم كتالوج Unity لمكتبات Python ذات نطاق المجموعة
• تمكين افتراضي موسع للكتابات المحسنة في كتالوج Unity
• دعم متقدم للمشغلين المناسبين في أحمال عمل Structured Streaming
• نسخة دلتا ل كتالوج Unity في المعاينة العامة
• دعم Pub/Sub للبث المنظم
• إسقاط التكرارات داخل العلامات المائية في Structured Streaming
• دعم موسع لتحويلات دلتا من جداول Iceberg مع أعمدة أقسام مقتطعة
• تغييرات مخطط الدفق مع تعيين العمود في Delta Lake
• إزالة إصدار البدء
• تعبيرات H3 الجديدة المتوفرة مع Python

دعم نظام المجموعة ل JDK 17 (معاينة عامة)

يوفر Databricks الآن دعم نظام المجموعة ل Java Development Kit (JDK) 17. راجع Databricks SDK ل Java.

إضافة بيانات أو تغييرها أو حذفها في جداول الدفق

يمكنك الآن استخدام عبارات DML لتعديل جداول الدفق المنشورة في كتالوج Unity بواسطة خطوط أنابيب Delta Live Tables. راجع إضافة بيانات أو تغييرها أو حذفها في جدول دفق وإضافة بيانات أو تغييرها أو حذفها في جدول تدفق هدف. يمكنك أيضا استخدام عبارات DML لتعديل جداول الدفق التي تم إنشاؤها في Databricks SQL.

قراءة Kafka باستخدام SQL

يمكنك الآن استخدام الدالة read_kafka SQL لقراءة بيانات Kafka. يتم دعم الدفق باستخدام SQL فقط في Delta Live Tables أو مع جداول الدفق في Databricks SQL. راجع read_kafka دالة قيم الجدول.

وظائف SQL المضمنة الجديدة

تمت إضافة الدالات التالية:

• array_prepend(array, elem) إرجاع array prepended by elem.
• try_aes_decrypt(expr, key [, mode [, padding]]) فك تشفير ثنائي تم إنتاجه باستخدام تشفير AES، ويرجع NULL إذا كان هناك خطأ.
• sql_keywords() إرجاع جدول الكلمات الأساسية ل Azure Databricks SQL.

دعم كتالوج Unity لمكتبات Python ذات نطاق المجموعة

يحتوي كتالوج Unity على بعض القيود على استخدام المكتبة. في Databricks Runtime 13.1 وما فوق، يتم دعم مكتبات Python ذات نطاق المجموعة، بما في ذلك ملفات عجلة Python التي يتم تحميلها كملفات مساحة عمل. المكتبات التي تتم الإشارة إليها باستخدام مسارات ملفات DBFS غير مدعومة، سواء في جذر DBFS أو موقع خارجي مثبت على DBFS. مكتبات غير Python غير مدعومة. راجع مكتبات نظام المجموعة.

في Databricks Runtime 13.0 وما دونه، لا يتم دعم المكتبات ذات نطاق نظام المجموعة على المجموعات التي تستخدم وضع الوصول المشترك في مساحة عمل ممكنة لكتالوج Unity.

تمكين افتراضي موسع للكتابات المحسنة في كتالوج Unity

تم توسيع دعم الكتابة المحسن الافتراضي لجداول Delta المسجلة في كتالوج Unity ليشمل CTAS عبارات وعمليات INSERT للجداول المقسمة. يتوافق هذا السلوك مع الإعدادات الافتراضية في مستودعات SQL. راجع عمليات الكتابة المحسنة ل Delta Lake على Azure Databricks.

دعم متقدم للمشغلين المناسبين في أحمال عمل Structured Streaming

يمكنك الآن ربط عوامل تشغيل متعددة ذات حالة معا، ما يعني أنه يمكنك تغذية إخراج عملية مثل التجميع في نافذة إلى عملية أخرى ذات حالة مثل الصلة. راجع ما هو البث ذي الحالة؟.

نسخة دلتا ل كتالوج Unity في المعاينة العامة

يمكنك الآن استخدام نسخة سطحية لإنشاء جداول مدارة جديدة لكتالوج Unity من الجداول المدارة الموجودة في كتالوج Unity. راجع استنساخ سطحي لجداول كتالوج Unity.

دعم Pub/Sub للبث المنظم

يمكنك الآن استخدام موصل مضمن للاشتراك في Google Pub/Sub باستخدام Structured Streaming. راجع الاشتراك في Google Pub/Sub.

إسقاط التكرارات داخل العلامات المائية في Structured Streaming

يمكنك الآن استخدام dropDuplicatesWithinWatermark بالاشتراك مع حد علامة مائية محدد لإلغاء تكرار السجلات في Structured Streaming. راجع إسقاط التكرارات داخل العلامة المائية.

دعم موسع لتحويلات دلتا من جداول Iceberg مع أعمدة أقسام مقتطعة

يمكنك الآن استخدام CLONE و CONVERT TO DELTA مع جداول Iceberg التي تحتوي على أقسام محددة على أعمدة مقتطعة من الأنواع intو longو.string الأعمدة المقتطعة من النوع decimal غير معتمدة.

تغييرات مخطط الدفق مع تعيين العمود في Delta Lake

يمكنك الآن توفير موقع تعقب مخطط لتمكين الدفق من جداول Delta مع تمكين تعيين العمود. راجع البث مع تعيين العمود وتغييرات المخطط.

إزالة إصدار البدء

START VERSION مهمل الآن ل ALTER SHARE.

تعبيرات H3 الجديدة المتوفرة مع Python

h3_coverash3 تتوفر التعبيرات و h3_coverash3string مع Python.

إصلاح الأخطاء

لم تعد Parquet failOnUnknownFields تسقط البيانات بصمت عند عدم تطابق النوع

إذا تمت قراءة ملف Parquet مع الخيار فقط failOnUnknownFields أو مع "المحمل التلقائي" في failOnNewColumns وضع تطور المخطط، تفشل الأعمدة التي تحتوي على أنواع بيانات مختلفة الآن وتوصي باستخدام rescuedDataColumn. يقوم برنامج التحميل التلقائي الآن بقراءة أنواع الأعداد الصحيحة أو القصيرة أو البايت ولم يعد يقوم بإنقاذها إذا تم توفير أحد أنواع البيانات هذه. يقترح ملف Parquet أحد النوعين الآخرين.

كسر التغييرات

ترقية إصدار sqlite-jdbc إلى 3.42.0.0 لعنوان CVE-2023-32697

ترقية إصدار sqlite-jdbc من 3.8.11.2 إلى 3.42.0.0. واجهات برمجة التطبيقات للإصدار 3.42.0.0 غير متوافقة تماما مع 3.8.11.2. إذا كنت تستخدم sqlite-jdbc في التعليمات البرمجية الخاصة بك، فتحقق من تقرير توافق sqlite-jdbc للحصول على التفاصيل. إذا قمت بالترحيل إلى 13.1 واستخدام sqlite، فتأكد من أساليبك ونوع الإرجاع في الإصدار 3.42.0.0.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • نظرة عامة على الواجهات من 1.0.2 إلى 1.0.3
  • filelock من 3.10.7 إلى 3.12.0
  • pyarrow من 7.0.0 إلى 8.0.0
  • التقارب من 8.0.1 إلى 8.1.0
• مكتبات R التي تمت ترقيتها:
• مكتبات Java التي تمت ترقيتها:
  • com.github.ben-manes.الكافيين.الكافيين من 2.3.4 إلى 2.9.3
  • io.delta.delta-sharing-spark_2.12 من 0.6.8 إلى 0.6.4
  • net.snowflake.snowflake-jdbc من 3.13.29 إلى 3.13.22
  • org.checkerframework.checker-qual من 3.5.0 إلى 3.19.0
  • org.scalactic.scalactic_2.12 من 3.0.8 إلى 3.2.15
  • org.scalatest.scalatest_2.12 من 3.0.8 إلى 3.2.15
  • org.xerial.sqlite-jdbc من 3.8.11.2 إلى 3.42.0.0

Apache Spark

يتضمن Databricks Runtime 13.1 Apache Spark 3.4.0. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 13.0 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-42719] [DBRRM-199][SC-131578] إرجاع "[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][SC-130056][CORE] العودة [SC-127830]/
• [SPARK-43331] [SC-130064][CONNECT] إضافة Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][CONNECT][PYTHON] اجعل من الممكن توسيع ChannelBuilder ل SparkConnectClient
• [SPARK-43323] [SC-129966][SQL][PYTHON] إصلاح DataFrame.toPandas مع تمكين السهم لمعالجة الاستثناءات بشكل صحيح
• [SPARK-42940] [SC-129896][SS][CONNECT] تحسين إدارة الجلسة لتدفق الاستعلامات
• [SPARK-43032] [SC-125756] [CONNECT][SS] إضافة إدارة استعلام البث
• [SPARK-16484] [SC-129975][SQL] إضافة دعم ل Datasketches HllSketch
• [SPARK-43260] [SC-129281][PYTHON] ترحيل أخطاء نوع سهم Spark SQL pandas إلى فئة الخطأ.
• [SPARK-41766] [SC-129964][CORE] معالجة طلب إيقاف التشغيل المرسل قبل تسجيل المنفذ
• [SPARK-43307] [SC-129971][PYTHON] ترحيل أخطاء قيمة PandasUDF إلى فئة الخطأ
• [SPARK-43206] [SC-129903] [SS] [CONNECT] استثناء StreamingQuery() يتضمن تتبع المكدس
• [SPARK-43311] [SC-129905][SS] إضافة تحسينات إدارة ذاكرة موفر مخزن حالة RocksDB
• [SPARK-43237] [SC-129898][CORE] معالجة رسالة الاستثناء الخالية في سجل الأحداث
• [SPARK-43320] [SC-129899][SQL][HIVE] الاتصال مباشرة ب Apache Hive 2.3.9 API
• [SPARK-43270] [SC-129897][PYTHON] تنفيذ __dir__() لتضمين pyspark.sql.dataframe.DataFrame الأعمدة
• [SPARK-43183] إرجاع "[SC-128938][SS] تقديم رد اتصال جديد "...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery في انتظارTermination()
• [SPARK-43257] [SC-129675][SQL] استبدال فئة الخطأ _LEGACY_ERROR_TEMP_2022 بخطأ داخلي
• [SPARK-43198] [SC-129470][CONNECT] إصلاح "تعذر تهيئة ammonite للفئة..." عند استخدام عامل التصفية
• [SPARK-43165] [SC-129777][SQL] نقل canWrite إلى DataTypeUtils
• [SPARK-43298] [SC-129729][PYTHON][ML] فشل predict_batch_udf مع إدخال عددي بحجم دفعة واحدة
• [SPARK-43298] [SC-129700]إرجاع "[PYTHON][ML] فشل predict_batch_udf مع إدخال عددي بحجم دفعة واحدة"
• [SPARK-43052] [SC-129663][CORE] معالجة stacktrace باستخدام اسم ملف فارغ في سجل الأحداث
• [SPARK-43183] [SC-128938][SS] تقديم رد اتصال جديد "onQueryIdle" إلى StreamingQueryListener
• [SPARK-43209] [SC-129190][CONNECT][PYTHON] ترحيل أخطاء التعبير إلى فئة الخطأ
• [SPARK-42151] [SC-128754][SQL] محاذاة تعيينات التحديث مع سمات الجدول
• [SPARK-43134] [SC-129468] [CONNECT] [SS] استثناء عميل JVM StreamingQuery() API
• [SPARK-43298] [SC-129699][PYTHON][ML] فشل predict_batch_udf مع إدخال عددي بحجم دفعة واحدة
• [SPARK-43248] [SC-129660][SQL] تسلسل/إلغاء تسلسل المسار على المتوازي جمع إحصائيات القسم
• [SPARK-43274] [SC-129464][SPARK-43275][PYTHON][CONNECT] قدم PySparkNotImplementedError
• [SPARK-43146] [SC-128804][CONNECT][PYTHON] تنفيذ تقييم متلهف لإعادة الإنعاش repr_html
• [SPARK-42953] [SC-129469][الاتصال][متابعة] إصلاح إصدار اختبار maven لاختبارات عميل Scala UDF
• [SPARK-43144] [SC-129280] Scala Client DataStreamReader table() API
• [SPARK-43136] [SC-129358][CONNECT] إضافة groupByKey + mapGroup + دوال coGroup
• [SPARK-43156] [SC-129672][SC-128532][SQL] إصلاح COUNT(*) is null الخطأ في الاستعلام الفرعي العددي المترابط
• [SPARK-43046] [SC-129110] [SS] [الاتصال] تم تنفيذ Python API dropDuplicatesWithinWatermark ل Spark Connect
• [SPARK-43199] [SC-129467][SQL] جعل InlineCTE غير فعال
• [SPARK-43293] [SC-129657][SQL] __qualified_access_only يجب تجاهله في الأعمدة العادية
• [SPARK-43276] [SC-129461][CONNECT][PYTHON] ترحيل أخطاء نافذة اتصال Spark إلى فئة الخطأ
• [SPARK-43174] [SC-129109][SQL] إصلاح اكتمال SparkSQLCLIDriver
• [SPARK-43084] [SC-128654] [SS] إضافة دعم applyInPandasWithState ل spark connect
• [SPARK-43119] [SC-129040][SQL] دعم الحصول على كلمات SQL الأساسية ديناميكيا من خلال JDBC API وTVF
• [SPARK-43082] [SC-129112][CONNECT][PYTHON] ملفات Python UDF محسنة للسهم في Spark Connect
• [SPARK-43085] [SC-128432][SQL] دعم التعيين الافتراضي للعمود لأسماء الجداول متعددة الأجزاء
• [SPARK-43226] [LC-671] تعريف المستخرجات لبيانات التعريف الثابتة للملف
• [SPARK-43210] [SC-129189][CONNECT][PYTHON] قدم PySparkAssertionError
• [SPARK-43214] [SC-129199][SQL] نشر مقاييس جانب برنامج التشغيل ل LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] إصلاح فشل ReplE2ESuite باستمرار مع JDK 17
• [SPARK-43268] [SC-129249][SQL] استخدام فئات الخطأ المناسبة عند إنشاء استثناءات برسالة
• [SPARK-43142] [SC-129299] إصلاح تعبيرات DSL على السمات ذات الأحرف الخاصة
• [SPARK-43129] [SC-128896] Scala core API لتدفق Spark Connect
• [SPARK-43233] [SC-129250] [SS] إضافة تسجيل ل Kafka Batch Reading لقسم الموضوع ونطاق الإزاحة ومعرف المهمة
• [SPARK-43249] [SC-129195][CONNECT] إصلاح الإحصائيات المفقودة لأمر SQL
• [SPARK-42945] [SC-129188][CONNECT] PYSPARK_JVM_STACKTRACE_ENABLED الدعم في Spark Connect
• [SPARK-43178] [SC-129197][CONNECT][PYTHON] ترحيل أخطاء UDF إلى إطار عمل خطأ PySpark
• [SPARK-43123] [SC-128494][SQL] يجب عدم تسريب بيانات تعريف الحقل الداخلي إلى الكتالوجات
• [SPARK-43217] [SC-129205] التكرار بشكل صحيح في الخرائط/الصفائف المتداخلة في findNestedField
• [SPARK-43243] [SC-129294][PYTHON][CONNECT] إضافة معلمة مستوى إلى printSchema ل Python
• [SPARK-43230] [SC-129191][CONNECT] تبسيط DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][SQL] الاحترام يتطلبDistributionAndOrdering في CTAS/RTAS
• [SPARK-43234] [SC-129192][CONNECT][PYTHON] ValueError الترحيل من Conect DataFrame إلى فئة الخطأ
• [SPARK-43212] [SC-129187][SS][PYTHON] ترحيل أخطاء Structured Streaming إلى فئة الخطأ
• [SPARK-43239] [SC-129186][PS] إزالة null_counts من المعلومات()
• [SPARK-43190] [SC-128930][SQL] يجب أن يكون ListQuery.childOutput متسقا مع الإخراج التابع
• [SPARK-43191] [SC-128924][CORE] استبدال الانعكاس w/ الاتصال المباشر ل Hadoop CallerContext
• [SPARK-43193] [SC-129042][SS] إزالة الحل البديل ل HADOOP-12074
• [SPARK-42657] [SC-128621][CONNECT] دعم البحث عن ملفات فئات REPL من جانب العميل ونقلها إلى الخادم كأجزاء اصطناعية
• [SPARK-43098] [SC-77059][SQL] إصلاح خطأ عدد التصحيحات عندما يحتوي الاستعلام الفرعي العددي على عبارة مجمعة حسب
• [SPARK-43213] [SC-129062][PYTHON] إضافة DataFrame.offset إلى Vanilla PySpark
• [SPARK-42982] [SC-128400][CONNECT][PYTHON] إصلاح createDataFrame لمراعاة المخطط المحدد ddl
• [SPARK-43124] [SC-129011][SQL] Dataset.show projects CommandResults محليا
• [SPARK-42998] [SC-127422][CONNECT][PYTHON] إصلاح DataFrame.collect باستخدام البنية الخالية
• [SPARK-41498] [SC-125343]Revert " نشر بيانات التعريف من خلال Union"
• [SPARK-42960] [SC-129010] [CONNECT] [SS] إضافة await_termination() وواجهة برمجة تطبيقات exception() لاستعلام البث في Python
• [SPARK-42552] [SC-128824][SQL] تصحيح استراتيجية تحليل مرحلتين من محلل antlr
• [SPARK-43207] [SC-128937][CONNECT] إضافة وظائف المساعد لاستخراج القيمة من التعبير الحرفي
• [SPARK-43186] [SC-128841][SQL][HIVE] إزالة الحل البديل ل FileSinkDesc
• [SPARK-43107] [SC-128533][SQL] دمج المستودعات في الصلة المطبقة على جانب دفق الانضمام إلى البث
• [SPARK-43195] [SC-128922][CORE] إزالة برنامج تضمين غير ضروري قابل للتسلسل في HadoopFSUtils
• [SPARK-43137] [SC-128828][SQL] تحسين ArrayInsert إذا كان الموضع قابلا للطي وإيجابية.
• [SPARK-37829] [SC-128827][SQL] يجب أن ترجع Dataframe.joinWith outer-join قيمة خالية للصف غير المتطابق
• [SPARK-43042] [SC-128602] [SS] [الاتصال] إضافة جدول() دعم واجهة برمجة التطبيقات ل DataStreamReader
• [SPARK-43153] [SC-128753][CONNECT] تخطي تنفيذ Spark عندما يكون إطار البيانات محليا
• [SPARK-43064] [SC-128496][SQL] يجب أن تظهر علامة تبويب Spark SQL CLI SQL مرة واحدة فقط
• [SPARK-43126] [SC-128447][SQL] وضع علامة على تعبيرين من تعبيرات Hive UDF على أنها ذات حالة
• [SPARK-43111] [SC-128750][PS][CONNECT][PYTHON] دمج العبارات المتداخلة if في عبارات مفردة if
• [SPARK-43113] [SC-128749][SQL] تقييم المتغيرات من جانب الدفق عند إنشاء تعليمة برمجية لشرط مرتبط
• [SPARK-42895] [SC-127258][CONNECT] تحسين رسائل الخطأ لجلسات Spark المتوقفة
• [SPARK-42884] [SC-126662][CONNECT] إضافة تكامل Ammonite REPL
• [SPARK-43168] [SC-128674][SQL] إزالة أسلوب get PhysicalDataType من فئة Datatype
• [SPARK-43121] [SC-128455][SQL] استخدم BytesWritable.copyBytes بدلا من النسخ اليدوي في 'HiveInspectors
• [SPARK-42916] [SC-128389][SQL] JDBCTableCatalog يحافظ على تعريف Char/Varchar على جانب القراءة
• [SPARK-43050] [SC-128550][SQL] إصلاح بناء التعبيرات التجميعية عن طريق استبدال دالات التجميع
• [SPARK-43095] [SC-128549][SQL] تجنب بمجرد كسر ديمومة الاستراتيجية للدفعة: Infer Filters
• [SPARK-43130] [SC-128597][SQL] نقل InternalType إلى PhysicalDataType
• [SPARK-43105] [SC-128456][CONNECT] اختصار وحدات البايت والسلاسل في رسالة proto
• [SPARK-43099] [SC-128596][SQL] استخدم getName بدلا من getCanonicalName للحصول على اسم فئة المنشئ عند تسجيل udf إلى FunctionRegistry
• [SPARK-42994] [SC-128586][التعلم الآلي][CONNECT] يدعم PyTorch Distributor الوضع المحلي
• [SPARK-42859] العودة إلى "[SC-127935][CONNECT][PS] الدعم الأساسي لواجهة برمجة تطبيقات Pandas على Spark Connect"
• [SPARK-43021] [SC-128472][SQL] CoalesceBucketsInJoin لا يعمل عند استخدام AQE
• [SPARK-43125] [SC-128477][CONNECT] إصلاح تعذر على خادم الاتصال معالجة الاستثناء برسالة فارغة
• [SPARK-43147] [SC-128594] إصلاح flake8 lint للفحص المحلي
• [SPARK-43031] [SC-128360] [SS] [الاتصال] تمكين اختبار الوحدة والمكمل للبث
• [SPARK-43039] [LC-67] دعم الحقول المخصصة في عمود _metadata مصدر الملف.
• [SPARK-43120] [SC-128407][SS] إضافة دعم لتعقب استخدام ذاكرة كتل مثبتة لمخزن حالة RocksDB
• [SPARK-43110] [SC-128381][SQL] نقل asIntegral إلى PhysicalDataType
• [SPARK-43118] [SC-128398][SS] إزالة التأكيد غير الضروري ل UninterruptibleThread في KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][CONNECT][PYTHON] دعم أسماء الحقول المتداخلة المكررة
• [SPARK-42437] [SC-128339][PYTHON][CONNECT] سيسمح PySpark catalog.cacheTable بتحديد مستوى التخزين
• [SPARK-42985] [SC-128332][CONNECT][PYTHON] إصلاح createDataFrame لمراعاة تكوينات SQL
• [SPARK-39696] [SC-127830][CORE] إصلاح تعارض البيانات في الوصول إلى TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][SQL] نقل متكامل إلى PhysicalDataType
• [SPARK-42741] [SC-125547][SQL] لا تفك تحويلات في مقارنة ثنائية عندما تكون القيمة الحرفية خالية
• [SPARK-43057] [SC-127948][CONNECT][PYTHON] ترحيل أخطاء Spark Connect Column إلى فئة الخطأ
• [SPARK-42859] [SC-127935][CONNECT][PS] الدعم الأساسي لواجهة برمجة تطبيقات pandas على Spark Connect
• [SPARK-43013] [SC-127773][PYTHON] ValueError ترحيل من DataFrame إلى PySparkValueError.
• [SPARK-43089] [SC-128051][CONNECT] تنقيح سلسلة تصحيح الأخطاء في واجهة المستخدم
• [SPARK-43028] [SC-128070][SQL] إضافة SQL_CONF_NOT_FOUND فئة الخطأ
• [SPARK-42999] [SC-127842][الاتصال] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][SQL] إضافة اختبار ل dropDuplicates في JavaDatasetSuite
• [SPARK-43075] [SC-127939][CONNECT] قم بالتغيير gRPC إلى grpcio عندما لا يكون مثبتا.
• [SPARK-42953] [SC-127809][الاتصال] عامل تصفية مكتوب، خريطة، flatMap، mapPartitions
• [SPARK-42597] [SC-125506][SQL] دعم نوع تاريخ فك التفريع إلى نوع الطابع الزمني
• [SPARK-42931] [SC-127933][SS] تقديم dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][CONNECT] إضافة ثوابت أنواع البيانات الأولية
• [SPARK-43077] [SC-128050][SQL] تحسين رسالة الخطأ UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][SS][الاتصال] واجهات برمجة تطبيقات DataStreamReader
• [SPARK-43049] [SC-127846][SQL] استخدام CLOB بدلا من VARCHAR(255) ل StringType ل Oracle JDBC
• [SPARK-43018] [SC-127762][SQL] إصلاح الخطأ لأوامر INSERT باستخدام القيم الحرفية للطوابع الزمنية
• [SPARK-42855] [SC-127722][SQL] استخدام عمليات التحقق الفارغة لوقت التشغيل في TableOutputResolver
• [SPARK-43030] [SC-127847][SQL] إلغاء تكرار العلاقات مع أعمدة بيانات التعريف
• [SPARK-42993] [SC-127829][التعلم الآلي][CONNECT] جعل موزع PyTorch متوافقا مع Spark Connect
• [SPARK-43058] [SC-128072][SQL] نقل رقمي وكسري إلى PhysicalDataType
• [SPARK-43056] [SC-127946][SS] يجب أن يستمر تثبيت مخزن حالة RocksDB في العمل في الخلفية فقط إذا تم إيقافه مؤقتا
• [SPARK-43059] [SC-127947][CONNECT][PYTHON] ترحيل TypeError من DataFrame(Reader|الكاتب) في فئة الخطأ
• [SPARK-43071] [SC-128018][SQL] دعم SELECT DEFAULT مع ORDER BY و LIMIT و OFFSET لعلاقة مصدر INSERT
• [SPARK-43061] [SC-127956][CORE][SQL] تقديم PartitionEvaluator لتنفيذ عامل تشغيل SQL
• [SPARK-43067] [SC-127938][SS] تصحيح موقع ملف مورد فئة الخطأ في موصل Kafka
• [SPARK-43019] [SC-127844][SQL] نقل Ordering إلى PhysicalDataType
• [SPARK-43010] [SC-127759][PYTHON] ترحيل أخطاء العمود إلى فئة الخطأ
• [SPARK-42840] [SC-127782][SQL] تغيير _LEGACY_ERROR_TEMP_2004 الخطأ إلى خطأ داخلي
• [SPARK-43041] [SC-127765][SQL] استعادة منشئات الاستثناءات للتوافق في واجهة برمجة تطبيقات الموصل
• [SPARK-42939] [SC-127761][SS][CONNECT] واجهة برمجة تطبيقات Python الأساسية المتدفقة ل Spark Connect
• [SPARK-42844] [SC-127766][SQL] تحديث فئة _LEGACY_ERROR_TEMP_2008 الخطأ إلى INVALID_URL
• [SPARK-42316] [SC-127720][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][CONNECT][PYTHON] ترحيل أخطاء Spark Connect DataFrame إلى فئة الخطأ
• [SPARK-42983] [SC-127717][CONNECT][PYTHON] إصلاح createDataFrame للتعامل مع صفيف خدر 0 باهت بشكل صحيح
• [SPARK-42955] [SC-127476][SQL] تخطي classifyException والتفاف AnalysisException ل SparkThrowable
• [SPARK-42949] [SC-127255][SQL] تبسيط التعليمات البرمجية ل NAAJ
• [SPARK-43011] [SC-127577][SQL] array_insert يجب أن يفشل مع فهرس 0
• [SPARK-42974] [SC-127487][CORE] استعادة Utils.createTempDir لاستخدام ShutdownHookManager أسلوب وتنظيف JavaUtils.createTempDir .
• [SPARK-42964] [SC-127585][SQL] PosgresDialect '42P07' يعني أيضا وجود جدول بالفعل
• [SPARK-42978] [SC-127351][SQL] Derby&PG: لا يمكن ل RENAME تأهيل اسم جدول جديد باسم مخطط
• [SPARK-37980] [SC-127668][SQL] الوصول row_index عبر _metadata إن أمكن في الاختبارات
• [SPARK-42655] [SC-127591][SQL] خطأ مرجع عمود غامض غير صحيح
• [SPARK-43009] [SC-127596][SQL] ذات sql() معلمات مع Any ثوابت
• [SPARK-43026] [SC-127590][SQL] تطبيق AQE مع ذاكرة التخزين المؤقت للجداول غير التبادلية
• [SPARK-42963] [SC-127576][SQL] توسيع SparkSessionExtensions لإدخال القواعد في محسن مرحلة استعلام AQE
• [SPARK-42918] [SC-127357] تعميم معالجة سمات بيانات التعريف في FileSourceStrategy
• [SPARK-42806] [SC-127452][SPARK-42811][CONNECT] إضافة Catalog دعم
• [SPARK-42997] [SC-127535][SQL] يجب أن يستخدم TableOutputResolver مسارات الأعمدة الصحيحة في رسائل الخطأ للصفائف والخرائط
• [SPARK-43006] [SC-127486][PYSPARK] إصلاح الأخطاء المطبعية في StorageLevel eq()
• [SPARK-43005] [SC-127485][PYSPARK] إصلاح الأخطاء المطبعية في pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][CORE] إصلاح الأخطاء المطبعية في ResourceRequest.equals()
• [SPARK-42907] [SC-126984][CONNECT][PYTHON] تنفيذ وظائف Avro
• [SPARK-42979] [SC-127272][SQL] تعريف الدالات الإنشائية الحرفية ككلمات أساسية
• [SPARK-42946] [SC-127252][SQL] تنقيح البيانات الحساسة المتداخلة بواسطة استبدال المتغير
• [SPARK-42952] [SC-127260][SQL] تبسيط معلمة قاعدة المحلل PreprocessTableCreation وDataSourceAnalysis
• [SPARK-42683] [LC-75] إعادة تسمية أعمدة بيانات التعريف المتعارضة تلقائيا
• [SPARK-42853] [SC-126101][متابعة] إصلاح التعارضات
• [SPARK-42929] [SC-126748][CONNECT] جعل mapInPandas / mapInArrow يدعم "is_barrier"
• [SPARK-42968] [SC-127271][SS] إضافة خيار لتخطي منسق التثبيت كجزء من StreamingWrite API لمصادر/متلقي DSv2
• [SPARK-42954] [SC-127261][PYTHON][CONNECT] إضافة YearMonthIntervalType إلى عميل PySpark وSpark Connect Python
• [SPARK-41359] [SC-127256][SQL] استخدام PhysicalDataType بدلا من DataType في UnsafeRow
• [SPARK-42873] [SC-127262][SQL] تعريف أنواع Spark SQL ككلمات أساسية
• [SPARK-42808] [SC-126302][CORE] تجنب الحصول على المعالجات المتوفرة في كل مرة في MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][SQL] PlanSubqueries يجب تعيين InSubqueryExec#shouldBroadcast إلى true
• [SPARK-42896] [SC-126729][SQL][PYTHON] إجراء mapInPandas / mapInArrow تنفيذ وضع حاجز الدعم
• [SPARK-42874] [SC-126442][SQL] تمكين إطار عمل اختبار الملف الذهبي الجديد لتحليل جميع ملفات الإدخال
• [SPARK-42922] [SC-126850][SQL] الانتقال من عشوائي إلى SecureRandom
• [SPARK-42753] [SC-126369] إعادة الاستخدام يشير إلى العقد غير الموجودة
• [SPARK-40822] [SC-126274][SQL] الأسماء المستعارة للأعمدة المشتقة الثابتة
• [SPARK-42908] [SC-126856][PYTHON] رفع RuntimeError عندما يكون SparkContext مطلوبا ولكن لم تتم تهيئته
• [SPARK-42779] [SC-126042][SQL] السماح للكتابات V2 بالإشارة إلى حجم قسم التبديل العشوائي الاستشاري
• [SPARK-42914] [SC-126727][PYTHON] إعادة استخدام transformUnregisteredFunction ل DistributedSequenceID.
• [SPARK-42878] [SC-126882][CONNECT] يمكن أن تقبل واجهة برمجة تطبيقات الجدول في DataFrameReader أيضا الخيارات
• [SPARK-42927] [SC-126883][CORE] تغيير نطاق الوصول إلى o.a.spark.util.Iterators#sizeprivate[util]
• [SPARK-42943] [SC-126879][SQL] استخدام LONGTEXT بدلا من TEXT ل StringType لطول فعال
• [SPARK-37677] [SC-126855][CORE] يمكن أن يؤدي إلغاء الضغط إلى الاحتفاظ بأذونات الملف
• [SPARK-42891] [13.x][SC-126458][CONNECT][PYTHON] تنفيذ واجهة برمجة تطبيقات خريطة CoGrouped
• [SPARK-41876] [SC-126849][CONNECT][PYTHON] تنفيذ DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][CORE][SQL] تغيير نطاق ProtobufSerDe الوصول إلى التطبيقات ذات الصلة إلى private[protobuf]
• [SPARK-42819] [SC-125879][SS] إضافة دعم لإعداد max_write_buffer_number write_buffer_size ل RocksDB المستخدمة في الدفق
• [SPARK-42924] [SC-126737][SQL][CONNECT][PYTHON] توضيح تعليق SQL args ذات المعلمات
• [SPARK-42748] [SC-126455][CONNECT] إدارة البيانات الاصطناعية من جانب الخادم
• [SPARK-42816] [SC-126365][CONNECT] دعم الحد الأقصى لحجم الرسالة حتى 128 ميغابايت
• [SPARK-42850] [SC-126109][SQL] إزالة القاعدة المكررة CombineFilters في Optimizer
• [SPARK-42662] [SC-126355][CONNECT][PS] إضافة رسالة proto لواجهة برمجة تطبيقات pandas على فهرس Spark الافتراضي
• [SPARK-42720] [SC-126136][PS][SQL] يستخدم التعبير للفهرس الافتراضي للتسلسل الموزع بدلا من الخطة
• [SPARK-42790] [SC-126174][SQL] تجريد الأسلوب المستبعد لاختبار أفضل لاختبارات JDBC docker.
• [SPARK-42900] [SC-126473][CONNECT][PYTHON] إصلاح createDataFrame لمراعاة الاستدلال وأسماء الأعمدة
• [SPARK-42917] [SC-126657][SQL] getUpdateColumnNullabilityQuery الصحيح ل DerbyDialect
• [SPARK-42684] [SC-125157][SQL] يجب ألا يسمح كتالوج v2 بالقيمة الافتراضية للعمود بشكل افتراضي
• [SPARK-42861] [SC-126635][SQL] استخدام private[sql] بدلا من protected[sql] لتجنب إنشاء مستند API
• [SPARK-42920] [SC-126728][CONNECT][PYTHON] تمكين اختبارات UDF باستخدام UDT
• [SPARK-42791] [SC-126617][SQL] إنشاء إطار عمل اختبار ملف ذهبي جديد للتحليل
• [SPARK-42911] [SC-126652][PYTHON] تقديم المزيد من الاستثناءات الأساسية
• [SPARK-42904] [SC-126634][SQL] دعم Char/Varchar كتالوج JDBC
• [SPARK-42901] [SC-126459][CONNECT][PYTHON] الانتقال StorageLevel إلى ملف منفصل لتجنب الإمكانات file recursively imports
• [SPARK-42894] [SC-126451][CONNECT] دعم cacheunpersiststorageLevel/persist//عميل Spark connect jvm
• [SPARK-42792] [SC-125852][SS] إضافة دعم WRITE_FLUSH_BYTES ل RocksDB المستخدم في عوامل التشغيل ذات الحالة المتدفقة
• [SPARK-41233] [SC-126441][CONNECT][PYTHON] إضافة array_prepend إلى عميل Spark Connect Python
• [SPARK-42681] [SC-125149][SQL] قيد ترتيب الاسترخاء ل ALTER TABLE ADD|استبدال واصف العمود
• [SPARK-42889] [SC-126367][CONNECT][PYTHON] تنفيذ ذاكرة التخزين المؤقت، والاستمرار، وعدم الاحتفاظ بها، وstorageLevel
• [SPARK-42824] [SC-125985][CONNECT][PYTHON] توفير رسالة خطأ واضحة لسمات JVM غير المدعومة
• [SPARK-42340] [SC-126131][CONNECT][PYTHON] تنفيذ واجهة برمجة تطبيقات الخرائط المجمعة
• [SPARK-42892] [SC-126454][SQL] نقل نفس النوع والأساليب ذات الصلة من DataType
• [SPARK-42827] [SC-126126][CONNECT] دعم functions#array_prepend عميل Scala connect
• [SPARK-42823] [SC-125987][SQL] spark-sql يدعم shell مساحات الأسماء متعددة الأقسام للتهيئة
• [SPARK-42817] [SC-125960][CORE] تسجيل اسم خدمة التبديل العشوائي مرة واحدة في ApplicationMaster
• [SPARK-42786] [SC-126438][الاتصال] تحديد مكتوب
• [SPARK-42800] [SC-125868][CONNECT][PYTHON][ML] تنفيذ دالة ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][SQL] دعم Codegen ل HiveSimpleUDF
• [SPARK-41233] [SC-126110][SQL][PYTHON] إضافة array_prepend دالة
• [SPARK-42864] [SC-126268][التعلم الآلي][3.4] جعل الخاص IsotonicRegression.PointsAccumulator
• [SPARK-42876] [SC-126281][SQL] يجب أن يكون نوع البيانات المادية ل DataType خاصا [sql]
• [SPARK-42101] [SC-125437][SQL] جعل دعم AQE InMemoryTableScanExec
• [SPARK-41290] [SC-124030][SQL] دعم تعبيرات GENERATED ALWAYS AS للأعمدة في عبارات إنشاء/استبدال الجدول
• [SPARK-42870] [SC-126220][CONNECT] الانتقال toCatalystValue إلى connect-common
• [SPARK-42247] [SC-126107][CONNECT][PYTHON] إصلاح UserDefinedFunction للحصول على returnType
• [SPARK-42875] [SC-126258][CONNECT][PYTHON] إصلاح toPandas للتعامل مع أنواع المنطقة الزمنية والخريطة بشكل صحيح
• [SPARK-42757] [SC-125626][CONNECT] تنفيذ textFile ل DataFrameReader
• [SPARK-42803] [SC-126081][CORE][SQL][ML] استخدام الدالة getParameterCount بدلا من getParameterTypes.length
• [SPARK-42833] [SC-126043][SQL] إعادة بناء التعليمات البرمجية applyExtensions في SparkSession
• [SPARK-41765] إرجاع "[SC-123550][SQL] سحب مقاييس الكتابة v1...
• [SPARK-42848] [SC-126105][CONNECT][PYTHON] تنفيذ DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][CONNECT][PYTHON] دعم UserDefinedType في Spark Connect
• [SPARK-42818] [SC-125861][CONNECT][PYTHON] تنفيذ DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][CONNECT] إضافة client_type إلى رسالة Protobuf AddArtifactsRequest
• [SPARK-42772] [SC-125860][SQL] تغيير القيمة الافتراضية لخيارات JDBC حول الدفع لأسفل إلى true
• [SPARK-42771] [SC-125855][SQL] إعادة بناء التعليمات البرمجية HiveGenericUDF
• [SPARK-25050] [SC-123839][SQL] Avro: كتابة الاتحادات المعقدة
• [SPARK-42765] [SC-125850][CONNECT][PYTHON] تمكين الاستيراد pandas_udf من pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][CORE] MapOutputTracker#getMapLocation يجب أن يحترم spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][SQL] تحسين أداء أقسام الإفلات
• [SPARK-42689] [SC-125195][CORE][SHUFFLE] السماح ل ShuffleDriverComponent بتعريف ما إذا كانت بيانات التبديل العشوائي مخزنة بشكل موثوق
• [SPARK-42726] [SC-125279][CONNECT][PYTHON] أنجز DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][SQL] سحب مقاييس الكتابة v1 إلى WriteFiles
• [SPARK-41171] [SC-124191][SQL] الاستدلال ودفع حد النافذة لأسفل من خلال النافذة إذا كانت partitionSpec فارغة
• [SPARK-42686] [SC-125292][CORE] تأجيل التنسيق لرسائل تتبع الأخطاء في TaskMemoryManager
• [SPARK-42756] [SC-125443][CONNECT][PYTHON] الدالة Helper لتحويل proto literal إلى قيمة في عميل Python
• [SPARK-42793] [SC-125627][CONNECT] connect تتطلب الوحدة النمطية build_profile_flags
• [SPARK-42701] [SC-125192][SQL] إضافة الدالة try_aes_decrypt()
• [SPARK-42679] [SC-125438][CONNECT][PYTHON] createDataFrame لا يعمل مع مخطط غير يقبل القيم الخالية
• [SPARK-42733] [SC-125542][CONNECT][متابعة] الكتابة بدون مسار أو جدول
• [SPARK-42777] [SC-125525][SQL] دعم تحويل إحصائيات كتالوج TimestampNTZ إلى إحصائيات التخطيط
• [SPARK-42770] [SC-125558][CONNECT] إضافة truncatedTo(ChronoUnit.MICROS) لجعل SQLImplicitsTestSuite في Java 17 يومية اختبار اجتياز مهمة GA
• [SPARK-42752] [SC-125550][PYSPARK][SQL] جعل استثناءات PySpark قابلة للطباعة أثناء التهيئة
• [SPARK-42732] [SC-125544][PYSPARK][CONNECT] دعم أسلوب getActiveSession لجلسة اتصال spark
• [SPARK-42755] [SC-125442][CONNECT] تحويل القيمة الحرفية للعامل إلى connect-common
• [SPARK-42747] [SC-125399][ML] إصلاح الحالة الداخلية غير الصحيحة ل LoR و AFT
• [SPARK-42740] [SC-125439][SQL] إصلاح الخطأ الذي تكون فيه الإزاحة أو الترحيل غير صالح لبعض اللهجات المضمنة
• [SPARK-42745] [SC-125332][SQL] يعمل الاسم المستعار المحسنAwareOutputExpression مع DSv2
• [SPARK-42743] [SC-125330][SQL] دعم تحليل أعمدة TimestampNTZ
• [SPARK-42721] [SC-125371][CONNECT] اعتراض تسجيل RPC
• [SPARK-42691] [SC-125397][CONNECT][PYTHON] تنفيذ Dataset.semanticHash
• [SPARK-42688] [SC-124922][CONNECT] إعادة تسمية client_id طلب proto Connect إلى session_id
• [SPARK-42310] [SC-122792][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][CORE] تحسين إجراءات Utils.bytesToString
• [SPARK-42725] [SC-125296][CONNECT][PYTHON] جعل معلمات صفيف دعم LiteralExpression
• [SPARK-42702] [SC-125293][SPARK-42623][SQL] دعم الاستعلام ذات المعلمات في الاستعلام الفرعي وCTE
• [SPARK-42697] [SC-125189][WEBUI] إصلاح /api/v1/applications لإرجاع إجمالي وقت التشغيل بدلا من 0 لحقل المدة
• [SPARK-42733] [SC-125278][CONNECT][PYTHON] إصلاح DataFrameWriter.save للعمل بدون معلمة المسار
• [SPARK-42376] [SC-124928][SS] إدخال نشر العلامة المائية بين عوامل التشغيل
• [SPARK-42710] [SC-125205][CONNECT][PYTHON] إعادة تسمية Proto FrameMap إلى MapPartitions
• [SPARK-37099] [SC-123542][SQL] تقديم حد المجموعة ل Window للتصفية المستندة إلى الرتبة لتحسين حساب أعلى k
• [SPARK-42630] [SC-125207][CONNECT][PYTHON] تقديم UnparsedDataType وتأخير تحليل سلسلة DDL حتى يتوفر SparkConnectClient
• [SPARK-42690] [SC-125193][CONNECT] تنفيذ وظائف تحليل CSV/JSON لعميل Scala
• [SPARK-42709] [SC-125172][PYTHON] إزالة افتراض __file__ توفر
• [SPARK-42318] [SC-122648][SPARK-42319][SQL] تعيين الاسم إلى LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][SQL] دعم نوع بيانات محلل json "timestamp_ltz" ك TimestampType
• [SPARK-42722] [SC-125175][CONNECT][PYTHON] يجب ألا يقوم مخطط Python Connect def() بالتخزين المؤقت للمخطط
• [SPARK-42643] [SC-125152][CONNECT][PYTHON] تسجيل وظائف Java (التجميع) المعرفة من قبل المستخدم
• [SPARK-42656] [SC-125177][CONNECT][متابعة] إصلاح البرنامج النصي spark-connect
• [SPARK-41516] [SC-123899] [SQL] السماح للهجات jdbc بتجاوز الاستعلام المستخدم لإنشاء جدول
• [SPARK-41725] [SC-124396][CONNECT] التنفيذ السريع DF.sql()
• [SPARK-42687] [SC-124896][SS] رسالة خطأ أفضل لعملية عدم الدعم pivot في البث
• [SPARK-42676] [SC-124809][SS] كتابة نقاط التحقق المؤقتة لاستعلامات الدفق إلى نظام الملفات المحلي حتى إذا تم تعيين FS الافتراضي بشكل مختلف
• [SPARK-42303] [SC-122644][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][SQL] تأكد من وحدة زمنية واحدة على الأقل بعد "الفاصل الزمني"
• [SPARK-42649] [SC-124576][CORE] إزالة رأس ترخيص Apache القياسي من أعلى ملفات مصدر الجهات الخارجية
• [SPARK-42611] [SC-124395][SQL] إدراج عمليات التحقق من طول الحرف/varchar للحاول الداخلية أثناء الدقة
• [SPARK-42419] [SC-124019][CONNECT][PYTHON] ترحيل إلى إطار خطأ لواجهة برمجة تطبيقات عمود Spark Connect.
• [SPARK-42637] [SC-124522][CONNECT] إضافة SparkSession.stop()
• [SPARK-42647] [SC-124647][PYTHON] تغيير الاسم المستعار للأنوعات المهملة والمزالة
• [SPARK-42616] [SC-124389][SQL] يجب على SparkSQLCLIDriver إغلاق حالة جلسة عمل الخلية التي بدأت فقط
• [SPARK-42593] [SC-124405][PS] إهمال وإزالة واجهات برمجة التطبيقات التي ستتم إزالتها في pandas 2.0.
• [SPARK-41870] [SC-124402][CONNECT][PYTHON] إصلاح createDataFrame لمعالجة أسماء الأعمدة المكررة
• [SPARK-42569] [SC-124379][CONNECT] طرح استثناءات لواجهة برمجة تطبيقات الجلسة غير المدعومة
• [SPARK-42631] [SC-124526][CONNECT] دعم الملحقات المخصصة في عميل Scala
• [SPARK-41868] [SC-124387][CONNECT][PYTHON] إصلاح createDataFrame لدعم المدد
• [SPARK-42572] [SC-124171][SQL][SS] إصلاح سلوك StateStoreProvider.validateStateRowFormat

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 13.1.

بيئة النظام

• نظام التشغيل: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2023-02-10.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)