Databricks Runtime 13.2 (EoS)

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 13.2، المشغل بواسطة Apache Spark 3.4.0.

أصدرت Databricks هذا الإصدار في يوليو 2023.

ميزات وتحسينات جديدة

• نقاط تفتيش Changelog لمخزن حالة RocksDB
• موثوقية محسنة ل فراغ مع استنساخ سطحي في كتالوج Unity.
• دعم Python UDFs في SQL
• Delta Lake UniForm for Iceberg قيد المعاينة العامة
• تكوين أنظمة المجموعات السائلة في Delta Lake في المعاينة العامة
• دعم الأرشفة في Azure Databricks
• دعم عبارة IDENTIFIER
• دعم كتالوج Unity لوظائف Python وPandas المعرفة من قبل المستخدم (UDFs)
• مشاركة المخططات باستخدام Delta Sharing
• إصلاح الأخطاء

نقاط تفتيش Changelog لمخزن حالة RocksDB

يمكنك تمكين نقاط التحقق changelog لتقليل مدة نقطة التحقق وزمن الانتقال من طرف إلى طرف لأحمال عمل الدفق المنظم ذات الحالة. توصي Databricks بتمكين نقاط التحقق changelog لجميع استعلامات Structured Streaming ذات الحالة. راجع تمكين التحقق من سجل التغيير.

موثوقية محسنة ل فراغ مع استنساخ سطحي في كتالوج Unity.

عند استخدام الجداول المدارة لكتالوج Unity لمصدر وهدف عملية استنساخ ضحلة، يدير كتالوج Unity ملفات البيانات الأساسية لتحسين الموثوقية لمصدر وهدف عملية الاستنساخ. لا يؤدي التشغيل VACUUM على مصدر نسخة ضحلة إلى قطع الجدول المستنسخ. راجع نسخ كتالوج فراغ وUnity الضحلة.

دعم Python UDFs في SQL

يمكنك الآن الإعلان عن الوظائف المعرفة من قبل المستخدم باستخدام Python داخل عبارات SQL CREATE FUNCTION في كتالوج Unity. راجع الدالات المعرفة من قبل المستخدم (UDFs) في كتالوج Unity.

Delta Lake UniForm for Iceberg قيد المعاينة العامة

يسمح لك Delta Lake Universal Format (UniForm) بقراءة جداول Delta مع عملاء Iceberg. راجع استخدام UniForm لقراءة جداول Delta مع عملاء Iceberg.

تكوين أنظمة المجموعات السائلة في Delta Lake في المعاينة العامة

يحل تكوين أنظمة المجموعات السائلة في Delta Lake محل تقسيم الجدول وتبسيط ZORDER قرارات تخطيط البيانات وتحسين أداء الاستعلام. راجع استخدام التجميع السائل لجداول Delta.

دعم الأرشفة في Azure Databricks

يقدم دعم الأرشفة في Azure Databricks مجموعة من القدرات التي تمكنك من استخدام نهج دورة الحياة المستندة إلى السحابة على تخزين الكائنات السحابية التي تحتوي على جداول Delta لنقل الملفات إلى طبقات التخزين الأرشيفية. راجع دعم الأرشفة في Azure Databricks.

دعم عبارة IDENTIFIER

يستخدم IDENTIFIER(:mytable) لتحديد معلمات أسماء الجداول والأعمدة والدالة والمخطط بأمان في العديد من عبارات SQL.

دعم كتالوج Unity لوظائف Python وPandas المعرفة من قبل المستخدم (UDFs)

في Databricks Runtime 13.2 وما فوق، يتم دعم الوظائف المعرفة من قبل المستخدم (UDFs) المكتوبة في Python على المجموعات التي تستخدم وضع الوصول المشترك في مساحة عمل ممكنة لكتالوج Unity. وهذا يشمل Python وPandas UDFs. للحصول على تفاصيل حول Python UDFs، راجع الوظائف العددية المعرفة من قبل المستخدم - Python.

مشاركة المخططات باستخدام Delta Sharing

يضيف Databricks Runtime 13.2 القدرة على استخدام ALTER SHARE <share-name> ADD SCHEMA <schema-name> لمشاركة مخطط كامل باستخدام Delta Sharing، ما يمنح المستلم حق الوصول إلى جميع الجداول وطرق العرض في المخطط في اللحظة التي تشاركها فيها، إلى جانب أي جداول وطرق عرض تتم إضافتها إلى المخطط في المستقبل. راجع إضافة مخططات إلى مشاركة وALTER SHARE.

إصلاح الأخطاء

• تم إصلاح خطأ مع قارئ JSON، حيث تم تحليل السجلات في PERMISSIVE الوضع إذا failOnUnknownFieldsmode تم تمكينه. يتم الآن إسقاط السجلات في DROPMALFORMEDparser الوضع أو تتم كتابتها إلى badRecordsPath، إذا تم تعيين أي من هذه الخيارات. FAILFAST يطرح خطأ إذا لم يتطابق نوع العمود.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • nodeenv من 1.7.0 إلى 1.8.0
• مكتبات R التي تمت ترقيتها:
• مكتبات Java التي تمت ترقيتها:
  • io.delta.delta-sharing-spark_2.12 من 0.6.7 إلى 0.7.0

Apache Spark

يتضمن Databricks Runtime 13.2 Apache Spark 3.4.0. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 13.1 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-42750] [SC-133452][DBRRM-273] دعم عبارة "إدراج حسب الاسم"
• [SPARK-43133] [SC-133728] دعم Scala Client DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][CONNECT][PS] تمكين SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] إصلاح (NullOps|NumOps).(eq|ne) Spark Connect.
• [SPARK-44021] [SC-134109][SQL] إضافة spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][SQL] التجريد __auto_generated_subquery_name من المعرف في الأخطاء
• [SPARK-43976] [SC-133375][CORE] معالجة الحالة حيث لا توجد modifiedConfigs في سجلات الأحداث
• [SPARK-32559] [SC-133992][SQL] إصلاح منطق الاقتطاع لم يتعامل مع أحرف التحكم ASCII بشكل صحيح
• [SPARK-43421] [SC-132930][SS] تنفيذ نقاط التحقق المستندة إلى Changelog لموفر مخزن حالة RocksDB
• [SPARK-43594] [SC-133851][SQL] إضافة LocalDateTime إلى anyToMicros
• [SPARK-43884] [SC-133867] علامات المعلمات في DDL
• [SPARK-43398] [SC-133894][CORE] يجب أن تكون مهلة المنفذ هي الحد الأقصى من التبديل الخامل ومهلة rdd
• [SPARK-43610] [SC-133892][CONNECT][PS] تمكين InternalFrame.attach_distributed_column في Spark Connect.
• [SPARK-43971] [SC-133826][CONNECT][PYTHON] دعم إنشاء PythonDataFrame بطريقة الدفق
• [SPARK-44006] [SC-133652][CONNECT][PYTHON] دعم البيانات الاصطناعية لذاكرة التخزين المؤقت
• [SPARK-43790] [SC-133468][PYTHON][CONNECT][ML] إضافة copyFromLocalToFs واجهة برمجة تطبيقات
• [SPARK-43921] [SC-133461][PROTOBUF] إنشاء ملفات واصف Protobuf في وقت الإنشاء
• [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] تنفيذ دعم الملف في SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][PYTHON][SS][ثانوي] إصلاح نوع Python StreamingQueryProgress
• [SPARK-43768] [SC-132398][PYTHON][CONNECT] دعم إدارة تبعية Python في Python Spark Connect
• [SPARK-43979] [13.X] Revert "[SC-133456][SQL] يجب التعامل مع CollectedMetrics على أنها نفس المعاملة للانضمام الذاتي"
• [SPARK-42290] [SC-133696][SQL] لا يمكن الإبلاغ عن خطأ OOM عند تشغيل AQE
• [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] إضافة دالات رياضية SQL إلى Scala وPython
• [SPARK-43747] [SC-132047][PYTHON][CONNECT] تنفيذ دعم pyfile في SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] تمكين TimedeltaOps.(sub|rsub) باستخدام Spark Connect
• [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] تمكين اختبار التماثل: test_line_plot، test_pie_plot.
• [SPARK-43867] [SC-132895][SQL] تحسين المرشحين المقترحين للسمة التي لم يتم حلها
• [SPARK-43901] [SC-133454][SQL] Avro to Support نوع عشري مخصص مدعوم ب Long
• [SPARK-43267] [SC-133024][JDBC] معالجة عمود postgres غير معروف يحدده المستخدم كسلسلة في الصفيف
• [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] إضافة وظائف xpath_* إلى Scala وPython
• [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] إضافة قيمة مئوية إلى Scala وPython API
• [SPARK-43717] [SC-133455][CONNECT] لا يمكن ل Scala client reduce agg معالجة الأقسام الخالية للمدخلات الأولية scala
• [SPARK-43984] [SC-133469][SQL][PROTOBUF] التغيير لاستخدامه foreach عندما map لا ينتج عنه نتائج
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] تنفيذ SparkSession.addArtifact(s) في عميل Python
• [SPARK-44002] [SC-133606][CONNECT] إصلاح معالج حالات البيانات الاصطناعية
• [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] إضافة دالات تجميع الانحدار الخطي إلى Scala وPython
• [SPARK-43920] [SC-133614][SQL][CONNECT] إنشاء وحدة sql/api
• [SPARK-43979] [SC-133456][SQL] يجب التعامل مع CollectedMetrics على أنها نفس المعاملة للانضمام الذاتي
• [SPARK-43977] [SC-133373][CONNECT] إصلاح نتيجة التحقق غير المتوقعة من dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: إصلاح التعدادات كأخطاء ints
• [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] إضافة وظائف unix_* إلى Scala وPython
• [SPARK-43807] [SC-132545][SQL] ترحيل _LEGACY_ERROR_TEMP_1269 إلى PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][SQL] لا يعرض إصلاح الخطأ sql للعمود ل Percentile[Cont|قرص]
• [SPARK-42626] [SC-133248][CONNECT] إضافة مكرر مدمر ل SparkResult
• [SPARK-43333] [SC-132898][SQL] السماح ل Avro بتحويل نوع الاتحاد إلى SQL مع اسم حقل ثابت مع النوع
• [SPARK-43953] [SC-133134][CONNECT] أبعد pass
• [SPARK-43970] [SC-133403][PYTHON][CONNECT] إخفاء أساليب إطار البيانات غير المدعومة من الإكمال التلقائي
• [SPARK-43973] [SC-133272][SS][واجهة المستخدم] يجب أن تعرض واجهة مستخدم الدفق المنظم الاستعلامات الفاشلة بشكل صحيح
• [SPARK-42577] [SC-125445][CORE] إضافة الحد الأقصى من المحاولات للمراحر لتجنب إعادة المحاولة اللانهائية المحتملة
• [SPARK-43841] [SC-132699][SQL] معالجة سمات المرشح بدون بادئة في StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][CORE][متابعة]تعديل إصدار دعم التكوين spark.rdd.cache.visibilityTracking.enabled إلى 3.5.0
• [SPARK-37942] [SC-130983][CORE][SQL] ترحيل فئات الخطأ
• [SPARK-43898] [SC-132926][CORE] التسجيل immutable.ArraySeq$ofRef تلقائيا في KryoSerializer Scala 2.13
• [SPARK-43775] [SC-132891][SQL] DataSource V2: السماح بتمثيل التحديثات كحذف وإدراج
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] دعم UserDefinedType في createDataFrame من pandas DataFrame و toPandas
• [SPARK-43418] [SC-132753][SC-130685][CONNECT] إضافة SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][SQL] تحويل _LEGACY_ERROR_TEMP_0036 إلى INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE] إصلاح حساب تراكم أقل في حالة مهمة إعادة المحاولة باستخدام ذاكرة التخزين المؤقت rdd
• [SPARK-43892] [SC-133006][PYTHON] إضافة دعم الإكمال التلقائي ل df[|] في pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] إضافة نمط اختياري ل Catalog.listDatabases
• [SPARK-43205] [SC-132623] عبارة IDENTIFIER
• [SPARK-43545] [SC-132378][SQL][PYTHON] دعم نوع الطابع الزمني المتداخل
• [SPARK-43949] [SC-133048][PYTHON] ترقية cloudpickle إلى 2.2.1
• [SPARK-43760] [SC-132809][SQL] القيمة الخالية لنتائج الاستعلام الفرعي العددي
• [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] إصلاح TimedeltaOps Spark Connect
• [SPARK-43895] [SC-132897][CONNECT][GO] إعداد مسار حزمة go
• [SPARK-43894] [SC-132892][PYTHON] إصلاح الخطأ في df.cache()
• [SPARK-43509] [SC-131625][CONNECT] دعم إنشاء جلسات عمل Spark Connect متعددة
• [SPARK-43882] [SC-132888][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] إصلاح NumOps Spark Connect
• [SPARK-43604] [SC-132165][SQL] إعادة بناء التعليمات البرمجية INVALID_SQL_SYNTAX لتجنب تضمين نص الخطأ في التعليمات البرمجية المصدر
• [SPARK-43859] [SC-132883][SQL] تجاوز toString في LateralColumnAliasReference
• [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] إضافة نمط اختياري ل Catalog.listCatalogs
• [SPARK-43353] إرجاع "[SC-132734][PYTHON] ترحيل أخطاء الجلسة المتبقية إلى فئة الخطأ"
• [SPARK-43375] [SC-130309][CONNECT] تحسين رسائل الخطأ INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][CONNECT] إزالة التكرار toSeq من SparkConnectPlanner ل Scala 2.13
• [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] إصلاح DatetimeOps Spark Connect
• [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] إصلاح BinaryOps Spark Connect
• [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] إصلاح NullOps Spark Connect
• [SPARK-43782] [SC-132885][CORE] دعم تكوين مستوى السجل مع تكوين Spark ثابت
• [SPARK-43132] [SC-131623] [SS] [CONNECT] واجهة برمجة تطبيقات Python Client DataStreamWriter foreach()
• [SPARK-43290] [SC-131961][SQL] إضافة دعم AES IV وAD إلى ExpressionImplUtils
• [SPARK-43795] [SC-132532][CONNECT] إزالة المعلمات غير المستخدمة ل SparkConnectPlanner
• [SPARK-42317] [SC-129194][SQL] تعيين الاسم إلى _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][SQL] استخدام فئات الخطأ في أخطاء التحويل البرمجي ل ResolveDefaultColumns
• [SPARK-43749] [SC-132423][SPARK-43750][SQL] تعيين أسماء لفئة الخطأ _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][CORE] إزالة الإعلانات غير المستخدمة من الوحدة النمطية الأساسية
• [SPARK-43314] [SC-129970][CONNECT][PYTHON] ترحيل أخطاء عميل Spark Connect إلى فئة الخطأ
• [SPARK-43799] [SC-132715][PYTHON] إضافة خيار ثنائي واصف إلى واجهة برمجة تطبيقات Pyspark Protobuf
• [SPARK-43837] [SC-132678][SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][SQL] تعيين اسم لفئة الخطأ LEGACY_ERROR_TEMP(1254 و1315)
• [SPARK-43886] [SC-132808][PYTHON] قبول مجموعة الأنواع المعممة كتلميحات كتابة من Pandas UDF
• [SPARK-43530] [SC-132653][PROTOBUF] قراءة ملف الواصف مرة واحدة فقط
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] تعيين أسماء لفئة الخطأ _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] إصلاح CategoricalOps Spark Connect
• [SPARK-39979] [SC-132685][SQL] إضافة خيار لاستخدام متجهات عرض متغير كبير لعمليات UDF الأسهم
• [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] إصلاح StringOps Spark Connect
• [SPARK-43353] [SC-132734][PYTHON] ترحيل أخطاء الجلسة المتبقية إلى فئة الخطأ
• [SPARK-43815] [SC-132781][SQL] إضافة to_varchar اسم مستعار ل to_char
• [SPARK-43543] [13.x][SC-131839][PYTHON] إصلاح سلوك MapType المتداخل في Pandas UDF
• [SPARK-43361] [SC-131789][PROTOBUF] تحديث الوثائق للأخطاء المتعلقة بتسلسل التعداد
• [SPARK-43740] [SC-132035][PYTHON][CONNECT] إخفاء الأساليب غير المدعومة session من الإكمال التلقائي
• [SPARK-43022] [SC-131681][CONNECT] دعم وظائف protobuf لعميل Scala
• [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] NotImplementedError الترحيل إلى PySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL] تمكين الإعادة عندما يكون ذلك ممكنا
• [SPARK-42421] [SC-132695][CORE] استخدم utils للحصول على مفتاح التخصيص الديناميكي المستخدم في نقطة التحقق المحلية
• [SPARK-43590] [SC-132012][CONNECT] قم connect-jvm-client-mima-check بإجراء لدعم التحقق من mima باستخدام protobuf الوحدة النمطية
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS] ترحيل الأخطاء المتبقية من DataFrame(Reader|الكاتب) في فئة الخطأ
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: السماح ب serde مع قائمة التعداد ك ints
• [SPARK-43789] [SC-132397][R] يستخدم 'spark.sql.execution.arrow.maxRecordsPerBatch' في R createDataFrame مع سهم بشكل افتراضي
• [SPARK-43596] [SC-126994][SQL] معالجة دالة تقييم IsNull في إعادة كتابةDomainJoins
• [SPARK-42249] [SC-122565][SQL] تحسين ارتباط html للوثائق في رسائل الخطأ.
• [SPARK-43128] [SC-131628][CONNECT][SS] جعل recentProgress والعودة lastProgress StreamingQueryProgress متسقة مع واجهة برمجة تطبيقات Scala الأصلية
• [SPARK-43387] [SC-130448][SQL] توفير رمز خطأ يمكن قراءته من قبل الإنسان _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [واجهة المستخدم] إصلاح الخطأ أثناء تسلسل ExecutorPeakMetricsDistributions في استجابة واجهة برمجة التطبيقات
• [SPARK-42958] [SC-131475][CONNECT] إعادة بناء التعليمات البرمجية connect-jvm-client-mima-check لدعم التحقق من mima مع وحدة avro
• [SPARK-43591] [SC-131977][SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][CORE] استخدام فئات الخطأ في org.apache.spark.io
• [SPARK-43759] [SC-132189][SQL][PYTHON] كشف TimestampNTZType في pyspark.sql.types
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] تعيين أسماء لفئة الخطأ _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][WEBUI] حقل المعالجة missing row.excludedInStages
• [SPARK-42956] [SC-127257][CONNECT] دعم وظائف avro لعميل Scala
• [SPARK-43487] [SC-131975][SQL] إصلاح رسالة خطأ CTE المتداخلة
• [SPARK-43265] [SC-129653] نقل إطار عمل الخطأ إلى وحدة نمطية شائعة
• [SPARK-40912] [SC-131547][CORE]حمل الاستثناءات في KryoDeserializationStream
• [SPARK-43583] [SC-131976][CORE] الحصول على MergedBlockedMetaReqHandler من المفوض بدلا من مثيل SaslRpcHandler
• [SPARK-42996] [SC-131997][CONNECT][PS][ML] إنشاء وتعيين تذاكر JIRA المناسبة لجميع الاختبارات الفاشلة.
• [SPARK-38469] [SC-131425][CORE] استخدام فئة الخطأ في org.apache.spark.network
• [SPARK-43718] [SC-132014][SQL] تعيين يقبل القيم الخالية بشكل صحيح للمفاتيح في الصلات باستخدام
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop يجب أن يقبل عمودا فارغا
• [SPARK-43743] [SC-132038][SQL] منفذ HIVE-12188(DoAs لا يعمل بشكل صحيح في HS2 غير الآمن من kerberos)
• [SPARK-43598] [SC-131929][SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][CORE] إصلاح ClassNotFoundException أثناء الترحيل
• [SPARK-43360] [SC-131526][SS][CONNECT] Scala client StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE] استخدام فئات الخطأ في org.apache.spark.memory
• [SPARK-43345] [SC-131790][SPARK-43346][SQL] إعادة تسمية فئات الخطأ LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][SQL] تعبير اختصار دعم إزالة التعبير الفرعي
• [SPARK-38462] [SC-130449][CORE] إضافة INTERNAL_ERROR_EXECUTOR فئة الخطأ
• [SPARK-43589] [SC-131798][SQL] إصلاح cannotBroadcastTableOverMaxTableBytesError للاستخدام bytesToString
• [SPARK-43539] [SC-131830][SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][SQL] استنساخ خطة ذاكرة التخزين المؤقت InMemoryRelation لمنع الخطة المستنسخة من الرجوع إلى نفس الكائنات
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] توسيع INTERNAL_ERROR مع الفئات وإضافة فئة الخطأ INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][SQL] إصلاح الكاتب المتزامن لا يقوم بتحديث مقاييس الملفات
• [SPARK-43383] [SC-130660][SQL] إضافة rowCount إحصائيات إلى LocalRelation
• [SPARK-43574] [SC-131739][PYTHON][SQL] دعم لتعيين Python القابل للتنفيذ لواجهات برمجة تطبيقات الدالة UDF وpandas في العمال أثناء وقت التشغيل
• [SPARK-43569] [SC-131694][SQL] إزالة الحل البديل ل HADOOP-14067
• [SPARK-43183] [SC-128938][SS][13.x] تقديم رد اتصال جديد "onQueryIdle" إلى StreamingQueryListener
• [SPARK-43528] [SC-131531][SQL][PYTHON] دعم أسماء الحقول المكررة في createDataFrame باستخدام pandas DataFrame
• [SPARK-43548] [SC-131686][SS] إزالة الحل البديل ل HADOOP-16255
• [SPARK-43494] [SC-131272][CORE] استدعاء replicate() HdfsDataOutputStreamBuilder مباشر بدلا من الانعكاس في SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][CORE] معالجة خصائص hadoopProperties والمقاييس المفقودة
• [SPARK-42899] [SC-126456][SQL] إصلاح DataFrame.to (المخطط) لمعالجة الحالة التي يوجد فيها حقل متداخل غير يقبل القيم الخالية في حقل يقبل القيم الخالية
• [SPARK-43302] [SC-129747][SQL] جعل Python UDAF وظيفة تجميعية
• [SPARK-43223] [SC-131270][الاتصال] اكتب agg، ووظائف التقليل، RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS] توسيع QueryTerminatedEvent لاحتواء فئة الخطأ إذا كانت موجودة في الاستثناء
• [SPARK-43359] [SC-131463][SQL] يجب أن يؤدي الحذف من جدول Hive إلى طرح "UNSUPPORTED_FEATURE. TABLE_OPERATION"
• [SPARK-43284] [SC-130313] التبديل مرة أخرى إلى السلاسل المرمزة بعنوان URL
• [SPARK-43492] [SC-131227][SQL] إضافة أسماء مستعارة DATE_ADD للدالة 3-args و DATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON] دعم نوع البنية في createDataFrame من pandas DataFrame
• [SPARK-43386] [SC-131110][SQL] تحسين قائمة الأعمدة/السمات المقترحة في UNRESOLVED_COLUMN.WITH_SUGGESTION فئة الخطأ
• [SPARK-43443] [SC-131332][SQL] إضافة معيار لاستدلال نوع الطابع الزمني عند استخدام قيمة غير صالحة
• [SPARK-43518] [SC-131420][SQL] تحويل _LEGACY_ERROR_TEMP_2029 إلى INTERNAL_ERROR
• [SPARK-42604] [SC-130648][CONNECT] تنفيذ functions.typedlit
• [SPARK-42323] [ES-669513] إرجاع "[SC-123479][SQL] تعيين الاسم إلى _LEGACY_ERROR_TEMP_2332"
• [SPARK-43357] [SC-130649][SQL] تاريخ اقتباس نوع تاريخ التصفية
• [SPARK-43410] [SC-130526][SQL] تحسين الحلقة المتجهة ل skipValues المحزمة
• [SPARK-43441] [SC-130995][CORE] makeDotNode يجب ألا يفشل عند غياب DeterministicLevel
• [SPARK-43324] [SC-130455][SQL] معالجة أوامر UPDATE للمصادر المستندة إلى دلتا
• [SPARK-43272] [SC-131168][CORE] استدعاء createFile مباشر بدلا من الانعكاس
• [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] ترحيل أخطاء جلسة Spark Connect إلى فئة الخطأ
• [SPARK-43405] [SC-130987][SQL] إزالة عديمة الفائدة getRowFormatSQL، ، inputRowFormatSQL، outputRowFormatSQL أسلوب
• [SPARK-43447] [SC-131017][R] دعم R 4.3.0
• [SPARK-43425] [SC-130981][SQL] إضافة TimestampNTZType إلى ColumnarBatchRow
• [SPARK-41532] [SC-130523][CONNECT][العميل] إضافة التحقق من العمليات التي تتضمن إطارات بيانات متعددة
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] ترحيل أخطاء Spark Connect Structured Streaming إلى فئة الخطأ
• [SPARK-42992] [13.x][SC-129465][PYTHON] تقديم PySparkRuntimeError
• [SPARK-43422] [SC-130982][SQL] الاحتفاظ بالعلامات على LogicalRelation مع إخراج بيانات التعريف
• [SPARK-43390] [SC-130646][SQL] يسمح DSv2 ل CTAS/RTAS بحجز قيمة خالية للمخطط
• [SPARK-43430] [SC-130989][CONNECT][PROTO] يدعم ExecutePlanRequest خيارات الطلب العشوائي.
• [SPARK-43313] [SC-130254][SQL] إضافة القيم الافتراضية للعمود المفقود لإجراءات MERGE INSERT
• [SPARK-42842] [SC-130438][SQL] دمج _LEGACY_ERROR_TEMP_2006 فئة الخطأ في REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][SQL] تمكين spark.sql.thriftServer.interruptOnCancel بشكل افتراضي
• [SPARK-43292] [SC-130525][CORE][CONNECT] الانتقال ExecutorClassLoader إلى core الوحدة النمطية وتبسيطها Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL] تحسين دعم نوع TimestampNTZ في مصدر بيانات JDBC
• [SPARK-43343] [SC-130629][SS] يجب أن يعطل FileStreamSource فحصا إضافيا لملف glob عند إنشاء DataSource
• [SPARK-43312] [SC-130294][PROTOBUF] خيار تحويل أي حقول إلى JSON
• [SPARK-43404] [SC-130586][SS] تخطي إعادة استخدام ملف sst لنفس الإصدار من مخزن حالة RocksDB لتجنب خطأ عدم تطابق المعرف
• [SPARK-43397] [SC-130614][CORE] مدة إيقاف تشغيل منفذ السجل في executorLost الأسلوب
• [SPARK-42388] [SC-128568][SQL] تجنب قراءة تذييل parquet مرتين في القارئ المتجه
• [SPARK-43306] [13.x][SC-130320][PYTHON] ترحيل ValueError من أنواع Spark SQL إلى فئة الخطأ
• [SPARK-43337] [SC-130353][واجهة المستخدم][3.4] لا يتم عرض أيقونات سهم Asc/desc لعمود الفرز في عمود الجدول
• [SPARK-43279] [SC-130351][CORE] تنظيف الأعضاء غير المستخدمين من SparkHadoopUtil
• [SPARK-43250] [SC-130147][SQL] استبدال فئة _LEGACY_ERROR_TEMP_2014 الخطأ بخطأ داخلي
• [SPARK-43363] [SC-130299][SQL][PYTHON] إجراء لاستدعاء astype نوع الفئة فقط عندما لا يتم توفير نوع السهم
• [SPARK-43261] [SC-130154][PYTHON] TypeError الترحيل من أنواع Spark SQL إلى فئة الخطأ
• [SPARK-41971] [SC-130230][SQL][PYTHON] إضافة تكوين لتحويل pandas كيفية التعامل مع أنواع البنية
• [SPARK-43381] [SC-130464][CONNECT] جعل "transformStatCov" كسول
• [SPARK-43362] [SC-130481][SQL] معالجة خاصة لنوع JSON لموصل MySQL
• [SPARK-42843] [SC-130196][SQL] تحديث _LEGACY_ERROR_TEMP_2007 فئة الخطأ إلى REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][CONNECT] دفق العلاقات المحلية
• [SPARK-43181] [SC-130476][SQL] إظهار UI WebURL في spark-sql shell
• [SPARK-43051] [SC-130194][CONNECT] إضافة خيار لإرسال القيم الافتراضية
• [SPARK-43204] [SC-129296][SQL] محاذاة تعيينات MERGE مع سمات الجدول
• [SPARK-43348] [SC-130082][PYTHON] الدعم Python 3.8 في PyPy3
• [SPARK-42845] [SC-130078][SQL] تحديث فئة الخطأ _LEGACY_ERROR_TEMP_2010 إلى InternalError
• [SPARK-43211] [SC-128978][HIVE] إزالة دعم Hadoop2 في IsolatedClientLoader

بيئة النظام

• نظام التشغيل: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2023-02-10.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)