Databricks Runtime 13.3 LTS

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 13.3 LTS، مدعوما ب Apache Spark 3.4.1.

أصدرت Databricks هذا الإصدار في أغسطس 2023.

ميزات وتحسينات جديدة

• دعم Scala للمجموعات المشتركة
• قائمة السماح لنصوص init وJARs وإحداثيات Maven على المجموعات المشتركة لكتالوج Unity في المعاينة العامة
• دعم وحدات التخزين للبرنامج النصي init وJARs في المعاينة العامة
• عمليات الإرسال الآمنة الممكنة افتراضيا لعمليات Delta Lake
• تقديم العلامات باستخدام كتالوج Unity
• يقوم Databricks Runtime بإرجاع خطأ إذا تم تعديل ملف بين تخطيط الاستعلام والاستدعاء
• الكتابة فوق مخطط الحظر عند استخدام الكتابة فوق القسم الديناميكي
• دمج copyFile API في dbutils.fs.cp
• دعم برنامج تشغيل Databricks ODBC/JDBC
• دعم علامات المعلمات (الموضعية) غير المسماة
• تمكين تسمية أعمدة السلسلة الزمنية
• وظائف SQL الجديدة للخريطة النقطية
• وظائف التشفير المحسنة
• دعم كتالوج Unity ل REFRESH FOREIGN
• إدراج حسب الاسم
• مشاركة طرق العرض المجسدة باستخدام Delta Sharing

دعم Scala للمجموعات المشتركة

تدعم المجموعات المشتركة التي تدعم كتالوج Unity Scala الآن، عند استخدام Databricks Runtime 13.3 وما فوق.

قائمة السماح لنصوص init وJARs وإحداثيات Maven على المجموعات المشتركة لكتالوج Unity في المعاينة العامة

يمكنك الآن استخدام كتالوج allowlist Unity للتحكم في تثبيت البرامج النصية init وJARs وMaven على الحساب مع وضع الوصول المشترك الذي يقوم بتشغيل Databricks Runtime 13.3 وما فوق. راجع Allowlist libraries and init scripts on shared compute.

دعم وحدات التخزين للبرنامج النصي init وJARs في المعاينة العامة

يمكنك الآن استخدام وحدات تخزين كتالوج Unity لتخزين البرامج النصية init وJARs على الحساب مع أوضاع الوصول المعينة أو المشتركة التي تعمل على Databricks Runtime 13.3 وما فوق. راجع أين يمكن تثبيت البرامج النصية init؟ والمكتبات ذات نطاق نظام المجموعة.

عمليات الإرسال الآمنة الممكنة افتراضيا لعمليات Delta Lake

ينتج عن Delta UPDATE والعمليات MERGE الآن خطأ عندما لا يمكن تحويل القيم بأمان إلى النوع في مخطط الجدول الهدف. تتبع spark.sql.storeAssignmentPolicy جميع القوالب الضمنية في Delta الآن بدلا من spark.sql.ansi.enabled. راجع توافق ANSI في وقت تشغيل Databricks.

تقديم العلامات باستخدام كتالوج Unity

باستخدام Databricks Runtime 13.3 LTS والإحدث، يمكنك تطبيق العلامات على العناصر القابلة للتأمين. تساعدك العلامات على تنظيم العناصر القابلة للتأمين وتبسيط البحث عن أصول البيانات واكتشافها. راجع تطبيق العلامات على الكائنات القابلة للتأمين لكتالوج Unity.

يقوم Databricks Runtime بإرجاع خطأ إذا تم تعديل ملف بين تخطيط الاستعلام والاستدعاء

تقوم استعلامات وقت تشغيل Databricks الآن بإرجاع خطأ إذا تم تحديث ملف بين تخطيط الاستعلام والاستدعاء. قبل هذا التغيير، كان وقت تشغيل Databricks يقرأ ملفا بين هذه المراحل، ما يؤدي أحيانا إلى نتائج غير متوقعة.

الكتابة فوق مخطط الحظر عند استخدام الكتابة فوق القسم الديناميكي

لا يمكنك التعيين overwriteSchema إلى true مع الكتابة فوق القسم الديناميكي في Delta Lake. يمنع هذا تلف الجدول المحتمل بسبب عدم تطابق المخطط. راجع الكتابة فوق القسم الديناميكي.

دمج copyFile API في dbutils.fs.cp

تم الآن تحسين أمر dbutils.fs.cp نسخ dbutils لنسخ أسرع. مع هذا التحسين، يمكن أن تصل عمليات النسخ إلى 100x أسرع، اعتمادا على حجم الملف. تتوفر الميزة عبر جميع أنظمة الملفات التي يمكن الوصول إليها في Azure Databricks، بما في ذلك وحدات تخزين كتالوج Unity وتركيبات Databricks Filesystem.

دعم برنامج تشغيل Databricks ODBC/JDBC

يدعم Azure Databricks برامج تشغيل ODBC وJDBC التي تم إصدارها في العامين الماضيين. قم بتنزيل أحدث برنامج تشغيل في تنزيل برنامج تشغيل ODBC وتنزيل برنامج تشغيل JDBC.

دعم علامات المعلمات (الموضعية) غير المسماة

SparkSession.sql() تدعم واجهة برمجة التطبيقات الآن الاستعلامات ذات المعلمات باستخدام بناء الجملة ? بالإضافة إلى الاستعلامات ذات المعلمات باستخدام بناء الجملة:parm. راجع علامات المعلمات.

تمكين تسمية أعمدة السلسلة الزمنية

يمكنك الآن تسمية أعمدة السلاسل الزمنية عند إنشاء قيود المفتاح الأساسي.

وظائف SQL الجديدة للخريطة النقطية

قدمت Azure Databricks الآن مجموعة من الوظائف التي يمكن استخدامها لتعيين القيم الرقمية المتكاملة على صورة نقطية وتجميعها. يمكن استخدام هذا لحساب عدد من القيم المميزة مسبقا.

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

وظائف التشفير المحسنة

تم تحسين وظائف aes_encrypt aes_decrypt try_aes_decrypt مع دعم متجهات التهيئة (IV) والبيانات الإضافية المصادق عليها (AAD).

دعم كتالوج Unity ل REFRESH FOREIGN

يمكنك الآن تحديث الكتالوجات والمخططات والجداول الخارجية في كتالوج Unity باستخدام REFRESH FOREIGN CATALOGو REFRESH FOREIGN SCHEMAو REFRESH FOREIGN TABLE. راجع تحديث الخارجي (كتالوج ومخطط وجدول) .

إدراج حسب الاسم

عند إدراج صفوف في جدول، يمكنك الآن السماح ل Azure Databricks بتعيين الأعمدة والحقول في الاستعلام المصدر تلقائيا إلى أعمدة الجدول حسب اسمها. راجع إدراج في.

مشاركة طرق العرض المجسدة باستخدام Delta Sharing

تدعم عبارة ALTER SHARE الآن طرق العرض المجسدة.

كسر التغييرات

التغييرات في التحويل الضمني عند تخزين الصفوف في جدول باستخدام MERGE INTO و UPDATE

يتبع Azure Databricks الآن التكوين spark.sql.storeAssignmentPolicy للصب الضمني عند تخزين الصفوف في جدول. تطرح القيمة ANSI الافتراضية خطأ عند تخزين القيم التي تتجاوز الحد الأقصى. في السابق، سيتم تخزين القيم بشكل NULL افتراضي.

كما في المثال التالي، يمكنك معالجة التجاوز عن طريق إعادة كتابة الجدول لاستخدام نوع أوسع للعمود الذي يسبب الخطأ.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

تغييرات استدلال مخطط Parquet

عند استنتاج المخططات من ملفات Parquet غير المكتوبة بواسطة Spark، int64 سيتم الآن كتابة أعمدة الطابع الزمني التي تمت تعليقات توضيحية عليها isAdjustedToUTC=false بشكل افتراضي TIMESTAMP_NTZ . في السابق، تم استنتاج هذه كنوع TIMESTAMP . يحسن هذا التحديث دقة تعيين أنواع Parquet إلى أنواع Spark SQL.

ونتيجة لذلك، قد تؤدي قراءة البيانات من ملفات Parquet الخارجية إلى جدول Delta إلى حدوث خطأ إذا لم يتم تمكين الميزة timestampNtz . سيتم عرض الخطأ كما يلي:

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

للحفاظ على السلوك السابق ومنع هذا الخطأ، يمكنك تعيين معلمة spark.sql.parquet.inferTimestampNTZ.enabled تكوين Spark إلى false.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • تصحيح الأخطاء من 1.5.1 إلى 1.6.0
  • استياء من 0.3.6 إلى 0.3.7
  • fastjsonschema من 2.16.3 إلى 2.18.0
  • filelock من 3.12.0 إلى 3.12.2
• مكتبات R التي تمت ترقيتها:
  • SparkR من 3.4.0 إلى 3.4.1
• مكتبات Java التي تمت ترقيتها:
  • org.apache.orc.orc-core من 1.8.3-shaded-protobuf إلى 1.8.4-shaded-protobuf
  • org.apache.orc.orc-mapreduce من 1.8.3-shaded-protobuf إلى 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims من 1.8.3 إلى 1.8.4
  • org.eclipse.jetty.jetty-client من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet من 9.4.50.v20221201 إلى 9.4.51.v20230217
  • org.xerial.snappy.snappy-java من 1.1.8.4 إلى 1.1.10.1

Apache Spark

يتضمن Databricks Runtime 13.3 Apache Spark 3.4.1. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 13.2 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• يمكنك الآن تعيين متغير SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 بيئة نظام المجموعة لاستخدام موصل Spark-snowflake v2.12.0.
• [SPARK-43380] [DBRRM-383] إرجاع "[SC-133100][SQL] إصلاح تحاف نوع بيانات Avro...
• [SPARK-44504] [Backport][13.2][13.x][13.3] إلغاء تحميل الموفر وبالتالي فرض إغلاق مثيل DB وتحرير الموارد عند خطأ مهمة الصيانة
• [SPARK-44059] [SC-137023] إضافة دعم المحلل للوسيطات المسماة للوظائف المضمنة
• [SPARK-44485] [SC-137653][SQL] تحسين TreeNode.generateTreeString
• [SPARK-42944] [SC-137164][SS][PYTHON] تدفق ForeachBatch في Python
• [SPARK-44446] [SC-136994][PYTHON] إضافة عمليات التحقق لحالات خاصة من نوع القائمة المتوقعة
• [SPARK-44439] [SC-136973][CONNECT][SS]تم إصلاح listListeners لإرسال المعرفات مرة أخرى إلى العميل فقط
• [SPARK-44216] [SC-136941] [PYTHON] جعل واجهة برمجة تطبيقات assertSchemaEqual عامة
• [SPARK-44201] [SC-136778][CONNECT][SS]إضافة دعم ل Streaming Listener في Scala ل Spark Connect
• [SPARK-43915] [SC-134766][SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43798] إرجاع "[SC-133990][SQL][PYTHON] دعم وظائف الجدول المعرفة من قبل المستخدم في Python"
• [SPARK-44398] [SC-136720][CONNECT] واجهة برمجة تطبيقات Scala foreachBatch
• [SPARK-44476] [SC-137169][CORE][CONNECT] إصلاح محتوى البيانات الاصطناعية ل JobArtifactState بدون بيانات اصطناعية مقترنة
• [SPARK-44269] [SC-135817][SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2310-2314]
• [SPARK-44395] [SC-136744][SQL] تحديث وسيطات TVF لطلب أقواس حول المعرف بعد الكلمة الأساسية TABLE
• [SPARK-43915] [SC-134766][SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] إضافة دعم UDFRegistration إلى Connect Scala Client
• [SPARK-44109] [SC-134755][CORE] إزالة المواقع المفضلة المكررة لكل قسم RDD
• [SPARK-44169] [SC-135497][SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-41487] [SC-135636][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1020
• [SPARK-44398] [SC-136720][CONNECT] واجهة برمجة تطبيقات Scala foreachBatch
• [SPARK-44153] [SC-134977][CORE][واجهة المستخدم] عمود الدعم Heap Histogram في Executors علامة التبويب
• [SPARK-44044] [SC-135695][SS] تحسين رسالة الخطأ لوظائف النافذة مع الدفق
• [SPARK-43914] [SC-135414][SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2433-2437]
• [SPARK-44217] [SC-136805][PYTHON] السماح بالدقة المخصصة للمساواة بين fp وتقريبي
• [SPARK-44370] [SC-136575][CONNECT] ترحيل Buf remote generation alpha إلى المكونات الإضافية البعيدة
• [SPARK-44410] [SC-136930][PYTHON][CONNECT] تعيين جلسة عمل نشطة في الإنشاء، وليس فقط getOrCreate
• [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] إعادة تمكين test_artifact مع التغييرات ذات الصلة
• [SPARK-44145] [SC-136698][SQL] رد الاتصال عندما يكون جاهزا للتنفيذ
• [SPARK-44264] [SC-136870][PYTHON][ML] فئة FunctionPickler
• [SPARK-43986] [SC-135623][SQL] إنشاء فئات خطأ لحالات فشل استدعاء دالة HyperLogLog
• [SPARK-44139] [SC-134967][SQL] تجاهل عوامل التصفية المدفوعة بالكامل في عمليات MERGE المستندة إلى المجموعة
• [SPARK-44338] [SC-136718][SQL] إصلاح رسالة خطأ عدم تطابق مخطط طريقة العرض
• [SPARK-44208] [SC-135505][CORE][SQL] تعيين أسماء فئة خطأ واضحة لبعض المنطق الذي يستخدم الاستثناءات مباشرة
• [SPARK-44364] [SC-136773] [PYTHON] إضافة دعم لنوع بيانات القائمة[الصف] المتوقع
• [SPARK-44180] [SC-136792][SQL] يجب أن تطبق DistributionAndOrderingUtils ResolveTimeZone
• [SPARK-43389] [SC-136772][SQL] تمت إضافة فحص فارغ لخيار lineSep
• [SPARK-44388] [SC-136695][CONNECT] إصلاح مشكلة تحويل protobuf عند تحديث مثيل UDF
• [SPARK-44352] [SC-136373][CONNECT] أعد نفس النوع والأصدقاء في DataType.
• [SPARK-43975] [SC-134265][SQL] DataSource V2: معالجة أوامر UPDATE للمصادر المستندة إلى المجموعة
• [SPARK-44360] [SC-136461][SQL] دعم تشذيب المخطط في عمليات MERGE المستندة إلى دلتا
• [SPARK-44138] [SC-134907][SQL] حظر التعبيرات والاستعلامات الفرعية والتجاميع غير المحددة في شروط MERGE
• [SPARK-43321] [SC-136678][الاتصال][متابعة] أسماء أفضل لواجهات برمجة التطبيقات المستخدمة في Scala Client joinWith
• [SPARK-44263] [SC-136447][CONNECT] دعم المعترضات المخصصة
• [SPARK-39851] [SC-123383][SQL] تحسين تقدير إحصائيات الصلة إذا كان أحد الجانبين يمكنه الحفاظ على التفرد
• [SPARK-44390] [SC-136677][CORE][SQL] إعادة التسمية SparkSerDerseUtils إلى SparkSerDeUtils
• [SPARK-44004] [SC-134751][SQL] تعيين اسم وتحسين رسالة الخطأ لأخطاء LEGACY المتكررة.
• [SPARK-44322] [SC-136204][CONNECT] جعل المحلل يستخدم SqlApiConf بدلا من SQLConf.
• [SPARK-44271] [SC-136347][SQL] نقل دالات القيم الافتراضية من StructType إلى ResolveDefaultColumns
• [SPARK-44332] [SC-136413][CORE][WEBUI] إصلاح خطأ الفرز لعمود معرف المنفذ في صفحة واجهة مستخدم المنفذين
• [SPARK-44282] [SC-135948][CONNECT] إعداد تحليل DataType للاستخدام في Spark Connect Scala Client
• [SPARK-44349] [SC-136581][R] إضافة دالات رياضية إلى SparkR
• [SPARK-44397] [SC-136647][PYTHON] كشف assertDataFrameEqual في pyspark.testing.utils
• [SPARK-42981] [SC-136620][CONNECT] إضافة تسلسل سهم مباشر
• [SPARK-44373] [SC-136577][SQL] التفاف معActive لمنطق تحليل واجهة برمجة تطبيقات مجموعة البيانات w/ لجعل التكوين المتعلق بالمحلل يعمل
• [SPARK-44340] [SC-136574][SQL] تحديد منطق الحوسبة من خلال واجهة برمجة تطبيقات PartitionEvaluator واستخدامه في WindowGroupLimitExec
• [SPARK-43665] [SC-136573][CONNECT][PS] تمكين PandasSQLStringFormatter.vformat للعمل مع Spark Connect
• [SPARK-44325] [SC-136572][SQL] استخدام واجهة برمجة تطبيقات PartitionEvaluator في SortMergeJoinExec
• [SPARK-44315] [SC-136171][SQL][CONNECT] نقل DefinedByConstructorParams إلى sql/api
• [SPARK-44275] [SC-136184][CONNECT] إضافة آلية إعادة المحاولة القابلة للتكوين إلى Scala Spark Connect
• [SPARK-44326] [SC-136208][SQL][CONNECT] نقل الكائنات المستخدمة من عميل Scala إلى الوحدات النمطية الشائعة
• [SPARK-43321] [SC-136156][الاتصال] مجموعة البيانات#Joinwith
• [SPARK-44343] [SC-136372][CONNECT] إعداد ScalaReflection للانتقال إلى SQL/API
• [SPARK-44313] [SC-136081][SQL] إصلاح التحقق من صحة تعبير العمود الذي تم إنشاؤه عند وجود عمود char/varchar في المخطط
• [SPARK-43963] [SC-134145][SQL] DataSource V2: معالجة أوامر MERGE للمصادر المستندة إلى المجموعة
• [SPARK-44363] [SC-136433] [PYTHON] عرض النسبة المئوية للصفوف غير المتكافئة في مقارنة DataFrame
• [SPARK-44251] [SC-136432][SQL] تعيين nullable بشكل صحيح على مفتاح الصلة المدمج في صلة USING الخارجية الكاملة
• [SPARK-43948] [SC-133366][SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][CONNECT][PYTHON] إضافة hll_sketch_agg hll_union_agg to_varchar try_aes_decrypt إلى Scala وPython
• [SPARK-44351] [SC-136353][SQL] إجراء بعض التبسيط التركيبي
• [SPARK-44281] [SC-135963][SQL] نقل خطأ QueryCompilation الذي يستخدمه DataType إلى sql/api ك DataTypeErrors
• [SPARK-44283] [SC-136109][CONNECT] نقل الأصل إلى SQL/API
• [SPARK-43926] [SC-135590][CONNECT][PYTHON] إضافة array_agg array_size والعلاقة الأساسية count_min_sketch وقناع named_struct json_* إلى Scala وPython
• [SPARK-44327] [SC-136187][SQL][CONNECT] إضافة دالات any وإلى len Scala
• [SPARK-44290] [SC-136300][CONNECT] الملفات والأرشيفات المستندة إلى جلسة العمل في Spark Connect
• [SPARK-44061] [SC-136299][PYTHON] إضافة دالة util assertDataFrameEqual
• [SPARK-44331] [SC-136324][CONNECT][PYTHON] إضافة دالات نقطية إلى Scala وPython
• [SPARK-44342] [SC-136334][SQL] استبدال SQLContext ب SparkSession ل GenTPCDSData
• [SPARK-42583] [SC-124190][SQL] إزالة الصلة الخارجية إذا كانت جميعها دالات تجميعية مميزة
• [SPARK-44333] [SC-136206][CONNECT][SQL] نقل EnhancedLogicalPlan من ParserUtils
• [SPARK-43824] [SC-132655][SPARK-43825] [SQL] تعيين أسماء لفئة الخطأ _LEGACY_ERROR_TEMP_128[1-2]
• [SPARK-43939] [SC-134602][CONNECT][PYTHON] إضافة وظائف try_* إلى Scala وPython
• [SPARK-44193] [SC-135886][CONNECT] تنفيذ اعتراض استثناءات GRPC للتحويل
• [SPARK-44284] [SC-136107][CONNECT] إنشاء نظام تكوين بسيط ل sql/api
• [SPARK-43913] [SC-133368][SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2426-2432]
• [SPARK-44291] إرجاع "[SC-135924][SPARK-43416][CONNECT] إصلاح المخطط غير الصحيح لاستعلام النطاق"
• [SPARK-44312] [SC-136185][CONNECT][PYTHON] السماح بتعيين عامل مستخدم مع متغير بيئة
• [SPARK-44154] [SC-136060] تنفيذ وظائف النقط
• [SPARK-43885] [SC-133996][SQL] DataSource V2: معالجة أوامر MERGE للمصادر المستندة إلى دلتا
• [SPARK-43924] [SC-135161][CONNECT][PYTHON] إضافة دالات misc إلى Scala وPython
• [SPARK-43969] [SC-134556][SQL] إعادة بناء التعليمات البرمجية وتعيين الأسماء إلى فئة الخطأ _LEGACY_ERROR_TEMP_1170
• [SPARK-44185] [SC-135730][SQL] إصلاح المسار غير المتسق المؤهل بين عمليات الكتالوج والبيانات
• [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] إضافة دالات وقت التاريخ إلى Scala وPython وConnect - الجزء 2
• [SPARK-43942] [SC-134527][CONNECT][PYTHON] إضافة دالات السلسلة إلى Scala وPython - الجزء 1
• [SPARK-44266] [SC-135813][SQL] نقل Util.truncatedString إلى sql/api
• [SPARK-44195] [SC-135722][R] إضافة واجهات برمجة تطبيقات JobTag إلى SparkR SparkContext
• [SPARK-44200] [SC-135736][SQL] دعم قاعدة محلل وسيطة TABLE ل TableValuedFunction
• [SPARK-44254] [SC-135709][SQL] نقل QueryExecutionErrors التي يستخدمها DataType إلى sql/api ك DataTypeErrors
• [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] إصلاح مخطط غير صحيح لاستعلام النطاق
• [SPARK-43922] [SC-135612][SQL] إضافة دعم المعلمات المسماة في المحلل لمكالمات الدالة
• [SPARK-44300] [SC-135882][CONNECT] إصلاح تنظيف البيانات الاصطناعية للحد من نطاق الحذف إلى البيانات الاصطناعية المحددة لجلسة العمل
• [SPARK-44293] [SC-135849][CONNECT] إصلاح URI غير صالح ل JARs المخصص في Spark Connect
• [SPARK-44215] [SC-135850][SHUFFLE] إذا كانت مجموعات num هي 0، فيجب على الخادم طرح RuntimeException
• [SPARK-44245] [SC-135851][PYTHON] يجب أن تكون pyspark.sql.dataframe sample() doctests توضيحية فقط
• [SPARK-44274] [SC-135814][CONNECT] انقل دالات util المستخدمة بواسطة ArtifactManager إلى common/utils
• [SPARK-44194] [SC-135815][PYTHON][CORE] إضافة واجهات برمجة تطبيقات JobTag إلى PySpark SparkContext
• [SPARK-42828] [SC-135733][PYTHON][SQL] تعليقات توضيحية أكثر وضوحا لنوع Python ل GroupedData
• [SPARK-44079] [SC-135486][SQL] إصلاح ArrayIndexOutOfBoundsException عند تحليل الصفيف كبنية باستخدام وضع PERMISSIVE مع سجل تالف
• [SPARK-44255] [SC-135809][SQL] نقل StorageLevel إلى common/utils
• [SPARK-42169] [SC-135795] [SQL] تنفيذ إنشاء التعليمات البرمجية لدالة to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][SQL][PYTHON] إعادة بناء التعليمات البرمجية PythonUDTFRunner لإرسال نوع الإرجاع الخاص به بشكل منفصل
• [SPARK-43353] [SC-132734][PYTHON] ترحيل أخطاء الجلسة المتبقية إلى فئة الخطأ
• [SPARK-44211] [SC-135718][PYTHON][CONNECT] تنفيذ SparkSession.is_stopped
• [SPARK-42784] يجب أن يستمر [SC-135691] في إنشاء subDir عندما يكون عدد subDir في دمج dir أقل من conf
• [SPARK-41599] [SC-135616] تسرب الذاكرة في FileSystem.CACHE عند إرسال التطبيقات لتأمين نظام المجموعة باستخدام InProcessLauncher
• [SPARK-44241] [SC-135613][الذاكرة الأساسية] تعيين io.connectionTimeout/connectionCreationTimeout إلى صفر أو سالب عن طريق الخطأ سيؤدي إلى سلبيات/عمليات تدمير المنفذ المستمرة
• [SPARK-44133] [SC-134795][13.X][PYTHON] ترقية MyPy من 0.920 إلى 0.982
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Event Serde بتنسيق JSON
• [SPARK-44188] [SC-135173][CORE] إزالة الأسلوب عديم الفائدة resetAllPartitions في ActiveJob
• [SPARK-43757] [SC-135418][CONNECT] تغيير توافق العميل من قائمة السماح إلى قائمة الرفض
• [SPARK-43474] [SC-135521] [SS] [CONNECT] إضافة وصول spark connect إلى إطارات بيانات وقت التشغيل حسب المعرف.
• [SPARK-44183] [SC-135209][PYTHON] إنشاء PyArrow الحد الأدنى من الإصدار إلى 4.0.0
• [SPARK-44248] [SC-135554][SS][SQL][Kafka] إضافة الموقع المفضل في مصدر kafka v2
• [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] إضافة دالات وقت التاريخ إلى Scala وPython و Connect API - الجزء 1
• [SPARK-44161] [SC-135326][الاتصال] معالجة إدخال الصف لUDFs
• [SPARK-44227] [SC-135520][SQL] استخراج المخططات من StructField
• [SPARK-44064] [SC-135116][CORE][SQL] إضافة دالة جديدة apply إلى NonFateSharingCache
• [SPARK-44171] [SC-135269][SQL] تعيين أسماء لفئة الخطأ LEGACY_ERROR_TEMP[2279-2282] وحذف بعض فئات الخطأ غير المستخدمة
• [SPARK-44056] [SC-134758][SQL] تضمين اسم UDF في رسالة خطأ فشل تنفيذ UDF عند توفره
• [SPARK-44205] [SC-135422][SQL] استخراج رمز Catalyst من DecimalType
• [SPARK-44220] [SC-135484][SQL] نقل StringConcat إلى sql/api
• [SPARK-44146] [SC-135230][CONNECT] عزل ملفات jars و classfiles لجلسة Spark Connect
• [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr scope Session.active
• [SPARK-40850] [SC-135417][SQL] إصلاح الاستعلامات المفسرة لحالة الاختبار قد تنفذ Codegen
• [SPARK-44204] [SC-135253][SQL][HIVE] إضافة recordHiveCall مفقود ل getPartitionNames
• [SPARK-44237] [SC-135485][CORE] تبسيط منطق بحث منشئ DirectByteBuffer
• [SPARK-44189] [SC-135170][CONNECT][PYTHON] دعم المعلمات الموضعية بواسطة sql()
• [SPARK-44140] [SC-134893][SQL][PYTHON] دعم المعلمات الموضعية في Python sql()
• [SPARK-44164] [SC-135158][SQL] استخراج أسلوب toAttribute من StructField إلى فئة Util
• [SPARK-44178] [SC-135113][CONNECT] دعم المعلمات الموضعية في sql()
• [SPARK-43208] [SC-128955][SQL][HIVE] يجب على IsolatedClassLoader إغلاق فئة الحاجز InputStream بعد القراءة
• [SPARK-43063] [SC-128382][SQL] df.show يجب أن يطبع المقبض null بدلا من null
• [SPARK-42539] [SC-124464][SQL][HIVE] التخلص من classloader المنفصل عند استخدام إصدار Hive "المضمن" لعميل بيانات التعريف
• [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] إضافة نمط اختياري ل Catalog.listFunctions
• [SPARK-44066] [SC-134878][SQL] دعم المعلمات الموضعية في Scala/Java sql()
• [SPARK-44078] [SC-134869][CONNECT][CORE] إضافة دعم لعزل classloader/resource
• [SPARK-43470] [SC-135187][CORE] إضافة معلومات إصدار نظام التشغيل وJava وPython إلى سجل التطبيق
• [SPARK-43136] [SC-135238][CONNECT][متابعة] إضافة اختبارات ل KeyAs
• [SPARK-39740] [SC-135093][UI]: ترقية المخطط الزمني ل vis إلى 7.7.2 لإصلاح CVE-2020-28487
• [SPARK-42298] [SC-133952][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2132
• [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] إضافة نمط اختياري ل Catalog.listTables
• [SPARK-44026] [SC-135181] السماح بتوفير القيمة الأولية ل SQLMetrics
• [SPARK-44202] [SC-135244][CORE] إضافة واجهات برمجة تطبيقات JobTag إلى JavaSparkContext
• [SPARK-44030] [SC-135237][SQL] تنفيذ DataTypeExpression لتقديم Unapply للتعبير
• [SPARK-43876] إرجاع "[SC-134603][SQL] تمكين تجزئة سريعة للاستعلامات المميزة"
• [SPARK-40082] [SC-126437] جدولة الدمجتأنال عند إعادة محاولة دفع دمج shuffleMapStage ولكن لا توجد مهام قيد التشغيل
• [SPARK-43888] [SC-132893][CORE] نقل التسجيل إلى المشتركة/utils
• [SPARK-43474] [SC-134400] [SS] [CONNECT] إضافة SessionHolder إلى SparkConnectPlanner
• [SPARK-43944] [SC-134490][CONNECT][PYTHON] إضافة دالات السلسلة إلى Scala وPython - الجزء 2
• [SPARK-44134] [SC-134954][CORE] إصلاح تعيين الموارد (GPU/FPGA) إلى 0 عند تعيينها في spark-defaults.conf
• [SPARK-44142] [SC-134947][PYTHON] استبدال النوع ب tpe في الأداة المساعدة لتحويل أنواع python إلى أنواع شرارة
• [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] إضافة واجهات برمجة تطبيقات SparkContext لإلغاء الاستعلام حسب العلامة
• [SPARK-44000] [SC-133634][SQL] إضافة تلميح لتعطيل البث والنسخ المتماثل لجانب واحد من الصلة
• [SPARK-43937] [SC-134362][CONNECT][PYTHON] إضافة ifnull,isnotnull,equal_null,nullif,nvl,nvl2 إلى Scala وPython
• [SPARK-43624] [13.x][SC-134557][PS][CONNECT] أضف EWM إلى SparkConnectPlanner.
• [SPARK-44040] [SC-134366][SQL] إصلاح إحصائيات الحوسبة عند عقدة AggregateExec فوق QueryStageExec
• [SPARK-43485] [SC-131264][SQL] إصلاح رسالة الخطأ الخاصة كوسيطة unit دالات datetime add/diff
• [SPARK-43794] [SC-132561][SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_1335
• [SPARK-43511] [SC-134749][CONNECT][SS]تنفيذ MapGroupsWithState و FlatMapGroupsWithState APIs ل Spark Connect
• [SPARK-43529] [SQL] دعم تعبيرات خيارات الجدول CREATE/REPLACE + تنظيف التعليمات البرمجية
• [SPARK-44106] [SC-134750][PYTHON][CONNECT] إضافة __repr__ ل GroupedData
• [SPARK-42299] [SC-133190] تعيين اسم إلى _LEGACY_ERROR_TEMP_2206
• [SPARK-43290] [SC-134388][SQL] إضافة دعم aes_encrypt IVs وAD
• [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] إضافة current وظائف مثل إلى Scala وPython
• [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] إضافة وظائف regexp_* إلى Scala وPython
• [SPARK-44107] [SC-134746][CONNECT][PYTHON] إخفاء أساليب العمود غير المعتمدة من الإكمال التلقائي
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - Event Serde بتنسيق JSON
• [SPARK-43773] [SC-132659][CONNECT][PYTHON] تنفيذ دالات 'levenshtein(str1, str2[, threshold])' في عميل python
• [SPARK-44125] [SC-134745][R] دعم Java 21 في SparkR
• [SPARK-43919] [SC-133374][SQL] استخراج وظائف JSON خارج الصف
• [SPARK-43769] [SC-132520][CONNECT] تنفيذ دالات 'levenshtein(str1, str2[, threshold])'
• [SPARK-44012] [SC-134662][SS] KafkaDataConsumer لطباعة بعض حالة القراءة
• [SPARK-43876] [SC-134603][SQL] تمكين تجزئة سريعة للاستعلامات المميزة
• [SPARK-44024] [SC-134497][SQL] التغيير لاستخدامه map عند unzip استخدامه فقط لاستخراج عنصر واحد
• [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] إضافة عمليات البت إلى Scala وPython و Connect API
• [SPARK-44092] [SC-134506][CORE] إضافة Utils.isJavaVersionAtLeast21 وجعل core الوحدة النمطية تمر باستخدام Java 21
• [SPARK-44018] [SC-134512][SQL] تحسين hashCode و toString لبعض تعبير DS V2
• [SPARK-44105] [SC-134582][SQL] LastNonNull يجب حلها ببطء
• [SPARK-44081] [SC-134434] تبسيط واجهة برمجة تطبيقات PartitionedFileUtil قليلا
• [SPARK-43791] [SC-132531][SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_1336
• [SPARK-44071] [SC-134435] تعريف واستخدام لم يتم حله[ورقة طرفية|أحادية]سمات العقدة.
• [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] تعيين أسماء لفئة الخطأ _LEGACY_ERROR_TEMP_2418-2425
• [SPARK-43742] [SC-132684][SQL] إعادة بناء التعليمات البرمجية لدقة قيمة العمود الافتراضية
• [SPARK-43493] [SC-132063][SQL] إضافة وسيطة أقصى مسافة إلى الدالة levenshtein()
• [SPARK-44075] [SC-134382][CONNECT] جعل transformStatCorr كسول
• [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] إضافة بعض، bool_or، bool_and، كل إلى Scala وPython وConnect
• [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] إضافة وظائف make_* إلى Scala وPython
• [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] تعيين أسماء لفئة الخطأ _LEGACY_ERROR_TEMP_24[06-10]
• [SPARK-43962] [SC-133367][SQL] تحسين رسائل الخطأ: CANNOT_DECODE_URL، CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE، CANNOT_PARSE_DECIMAL، ، CANNOT_READ_FILE_FOOTER. CANNOT_RECOGNIZE_HIVE_TYPE
• [SPARK-43938] [SC-133887][CONNECT][PYTHON] إضافة وظائف to_* إلى Scala وPython
• [SPARK-44055] [SC-134321][CORE] إزالة الدالات المكررة override من CheckpointRDD
• [SPARK-43802] [SC-132597][SQL] إصلاح codegen ل unhex و unbase64 مع failOnError=true
• [SPARK-43798] [SC-133990][SQL][PYTHON] دعم وظائف الجدول المعرفة من قبل المستخدم في Python
• [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] إضافة any_value approx_percentile count_if first_value histogram_numeric last_value وتقليلها إلى Scala وPython و Connect API
• [SPARK-43380] [SC-133100][SQL] إصلاح مشكلات تحويل نوع بيانات Avro لتجنب إنتاج نتائج غير صحيحة
• [SPARK-43803] [SC-133729] [SS] [CONNECT] تحسين awaitTermination() لمعالجة قطع اتصال العميل
• [SPARK-43179] [SC-129070][SHUFFLE] السماح للتطبيقات بالتحكم في ما إذا كان يتم حفظ بيانات التعريف الخاصة بها في db بواسطة خدمة التبديل العشوائي الخارجية

دعم برنامج تشغيل Databricks ODBC/JDBC

يدعم Databricks برامج تشغيل ODBC/JDBC التي تم إصدارها في العامين الماضيين. يرجى تنزيل برامج التشغيل التي تم إصدارها مؤخرا والترقية (تنزيل ODBC، تنزيل JDBC).

راجع تحديثات صيانة Databricks Runtime 13.3.

بيئة النظام

• نظام التشغيل: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2023-02-10.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)