Databricks Runtime 14.2 (EoS)

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 14.2، المشغل بواسطة Apache Spark 3.5.0.

أصدرت Databricks هذا الإصدار في نوفمبر 2023.

ميزات وتحسينات جديدة

• CACHE SELECT تم تجاهله الآن
• سلوك التخزين المؤقت المحسن
• معالجة الملفات التالفة الثابتة في أوامر DML
• دعم سجل المخطط للوظائف ذات الصلة protobuf وAvro في المجموعات المشتركة
• foreachBatchوالدعم StreamingListener
• التزامن على مستوى الصف متوفر بشكل عام ويتم تشغيله بشكل افتراضي
• مشاركة دلتا: يمكن للمستلمين إجراء استعلامات دفعية وCDF واستعلامات دفق على الجداول المشتركة باستخدام متجهات الحذف (معاينة عامة)
• استنساخ سطحي للجداول الخارجية كتالوج Unity (معاينة عامة)
• خوارزمية تعيين التخزين المؤقت للقرص الجديد
• from_avro مع موصل سجل المخطط يضيف دعما لتطور المخطط
• مجموعة إحصائيات متعددة مؤشرات الترابط أسرع
• عوامل التصفية المنبثقة في DeltaSource على ملفات Delta
• دعم دالات Scala العددية المعرفة من قبل المستخدم على المجموعات المشتركة (معاينة عامة)

CACHE SELECT تم تجاهله الآن

يتم الآن تجاهل أمر CACHE SELECT SQL لصالح خوارزمية تخزين مؤقت محسنة. راجع تحسين الأداء باستخدام التخزين المؤقت على Azure Databricks.

سلوك التخزين المؤقت المحسن

يحتوي موضع DiskCache بواسطة مجدول Spark الآن على تعيين قسم أسرع، وموازنة أفضل أثناء التحجيم التلقائي لنظام المجموعة، وتنفيذ استعلام أكثر اتساقا.

معالجة الملفات التالفة الثابتة في أوامر DML

لم تعد أوامر DELETEDML و UPDATEو MERGE INTO تحترم خيارات ignoreCorruptFiles القراءة و ignoreMissingFiles. عند مواجهة ملف غير قابل للقراءة في جدول، تفشل هذه الأوامر الآن حتى إذا تم تحديد هذه الخيارات.

دعم سجل المخطط للوظائف ذات الصلة protobuf وAvro في المجموعات المشتركة

يمكنك الآن استخدام from_avroوظائف Python to_avrofrom_protobufو to_protobuf مع سجل المخطط في المجموعات المشتركة.

foreachBatchوالدعم StreamingListener

يمكنك الآن استخدام واجهات foreachBatch() برمجة التطبيقات و StreamingListener مع Structured Streaming في المجموعات المشتركة. راجع استخدام foreachBatch للكتابة إلى متلقيات البيانات العشوائية ومراقبة استعلامات الدفق المنظم على Azure Databricks.

التزامن على مستوى الصف متوفر بشكل عام ويتم تشغيله بشكل افتراضي

يقلل التزامن على مستوى الصف من التعارضات بين عمليات الكتابة المتزامنة عن طريق الكشف عن التغييرات على مستوى الصف. يتم دعم التزامن على مستوى الصف فقط على الجداول دون تقسيم، والتي تتضمن جداول ذات تجمعات سائلة. يتم تمكين التزامن على مستوى الصف بشكل افتراضي على جداول Delta مع تمكين متجهات الحذف. راجع تعارضات الكتابة مع التزامن على مستوى الصف.

مشاركة دلتا: يمكن للمستلمين إجراء استعلامات دفعية وCDF واستعلامات دفق على الجداول المشتركة باستخدام متجهات الحذف (معاينة عامة)

يمكن لمستلمي Delta Sharing الآن تنفيذ استعلامات الدفعة وCDF والدفق على الجداول المشتركة التي تستخدم متجهات الحذف. في Databricks Runtime 14.1، يمكنهم فقط إجراء استعلامات الدفعات. راجع إضافة جداول مع متجهات الحذف أو تعيين العمود إلى مشاركة، وقراءة الجداول مع تمكين متجهات الحذف أو تعيين الأعمدة، وقراءة الجداول مع تمكين متجهات الحذف أو تعيين العمود.

استنساخ سطحي للجداول الخارجية كتالوج Unity (معاينة عامة)

يمكنك الآن استخدام الاستنساخ الضحل مع الجداول الخارجية لكتالوج Unity. راجع استنساخ سطحي لجداول كتالوج Unity.

خوارزمية تعيين التخزين المؤقت للقرص الجديد

يستخدم مجدول Spark الآن خوارزمية تخزين مؤقت جديدة للقرص. تعمل الخوارزمية على تحسين استخدام القرص وتعيين القسم عبر العقد، مع تعيين أسرع في البداية وبعد أحداث تحجيم نظام المجموعة. يعمل تعيين ذاكرة التخزين المؤقت الملصقة على تحسين التناسق عبر عمليات التشغيل ويقلل من البيانات المنقولة أثناء عمليات إعادة التوازن.

from_avro مع موصل سجل المخطط يضيف دعما لتطور المخطط

يمكنك الآن تمكين البنية الأساسية لبرنامج ربط العمليات التجارية الخاصة بك لإعادة التشغيل عند اكتشاف السجلات المتطورة. في السابق، إذا حدث تطور المخطط مع from_avro الموصل، فستعود nullالأعمدة الجديدة . راجع قراءة وكتابة بيانات Avro المتدفقة.

مجموعة إحصائيات متعددة مؤشرات الترابط أسرع

مجموعة الإحصائيات أسرع ب 10 مرات على المجموعات الصغيرة عند تشغيل CONVERT TO DELTA أو الاستنساخ من جداول Iceberg وParquet. راجع التحويل إلى Delta Lake ونسخ جداول Parquet و Iceberg.

عوامل التصفية المنبثقة في DeltaSource على ملفات Delta

لاستخدام أفضل، يتم الآن دفع عوامل تصفية الأقسام على استعلامات تدفق جداول دلتا لأسفل إلى Delta قبل تحديد المعدل.

دعم دالات Scala العددية المعرفة من قبل المستخدم على المجموعات المشتركة (معاينة عامة)

يمكنك الآن استخدام الدوال العددية المعرفة من قبل المستخدم Scala على المجموعات الممكنة لكتالوج Unity المكونة مع وضع الوصول المشترك. راجع الدالات العددية المعرفة من قبل المستخدم - Scala.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • fastjsonschema من 2.18.0 إلى 2.19.0
  • filelock من 3.12.3 إلى 3.12.4
  • googleapis-common-protos من 1.60.0 إلى 1.61.0
• مكتبات R التي تمت ترقيتها:
• مكتبات Java التي تمت ترقيتها:

Apache Spark

يتضمن Databricks Runtime 14.2 Apache Spark 3.5.0. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 14.1، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-45592] [DBRRM-624] إرجاع "[SC-146977][SQL] مشكلة التصحيح في AQE مع InMemoryTableScanExec"
• [SPARK-45524] [DBRRM-625] إرجاع "[SC-146319][PYTHON][SQL] الدعم الأولي f...
• [SPARK-45433] [DBRRM-621] إرجاع "[SC-145163][SQL] إصلاح استنتاج مخطط CSV/JSON...
• [SPARK-45592] [SC-146977][SQL] مشكلة التصحيح في AQE مع InMemoryTableScanExec
• [SPARK-45354] إرجاع "[SC-143991][SQL] حل الدوال من أسفل لأعلى"
• [SPARK-45680] [اختبار فقط][SASP-2347][CONNECT] إصلاح الاختبارات
• [SPARK-45680] [CONNECT] جلسة عمل الإصدار
• [SPARK-43380] [SC-146726][ES-897115][SQL] إصلاح التباطؤ في قراءة Avro
• [SPARK-45649] [SC-146742][SQL] توحيد إطار الإعداد ل OffsetWindowFunctionFrame
• [SPARK-40820] [SC-146727][PYTHON][SQL] إنشاء StructType من Json
• [SPARK-45620] [SC-146225][PYTHON] إصلاح واجهات برمجة التطبيقات التي تواجه المستخدم المتعلقة ب Python UDTF لاستخدام camelCase
• [SPARK-45727] [SC-146978][SS] إزالة الخريطة غير المستخدمة في محاكاة نشر العلامة المائية
• [SPARK-45723] [SC-146890][PYTHON][CONNECT] تتجنب أساليب الكتالوج تحويل pandas
• [SPARK-45574] [SC-146106][SQL] إضافة :: بناء الجملة كاختصار للصب
• [SPARK-45670] [SC-146725][CORE][3.5] لا يدعم --total-executor-cores SparkSubmit عند النشر على K8s
• [SPARK-45661] [SC-146594][SQL][PYTHON] إضافة إلىNullable في StructType وMapType و ArrayType
• [SPARK-45524] [SC-146319][PYTHON][SQL] الدعم الأولي لواجهة برمجة تطبيقات قراءة مصدر بيانات Python
• [SPARK-45542] [SC-145892][CORE] استبدال setSafeMode(HdfsConstants.SafeModeAction, boolean) ب setSafeMode(SafeModeAction, boolean)
• [SPARK-45652] [SC-146641][SQL] SPJ: معالجة أقسام الإدخال الفارغة بعد التصفية الديناميكية
• [SPARK-45454] [SC-144846][SQL] تعيين مالك الجدول الافتراضي إلى current_user
• [SPARK-45554] [SC-146875][PYTHON] تقديم معلمة مرنة إلى assertSchemaEqual
• [SPARK-45242] [SC-143410][SQL] استخدام معرف DataFrame للتحقق من صحة CollectMetrics دلاليا
• [SPARK-45674] [SC-146862][CONNECT][PYTHON] تحسين رسالة الخطأ للسمات المعتمدة على JVM على Spark Connect.
• [SPARK-45646] [SC-146276][SQL] إزالة متغيرات وقت الترميز الثابت قبل Hive 2.0
• [SPARK-43380] [SC-146726][ES-897115][SQL] إصلاح التباطؤ في قراءة Avro
• [SPARK-45545] [SC-146484][CORE] تمرير SSLOptions أينما أنشأنا SparkTransportConf
• [SPARK-45641] [SC-146260][واجهة المستخدم] عرض وقت بدء التطبيق على AllJobsPage
• [SPARK-40154] [SC-146491][Python][المستندات] مستوى التخزين الصحيح في Dataframe.cache docstring
• [SPARK-45626] [SC-146259][SQL] تحويل _LEGACY_ERROR_TEMP_1055 إلى REQUIRES_SINGLE_PART_NAMESPACE
• [SPARK-45507] [SC-145900][SQL] تصحيح تصحيح الاستعلامات الفرعية العددية المتداخلة المتداخلة مع تجميعات COUNT
• [SPARK-45619] [SC-146226][CONNECT][PYTHON] تطبيق المقاييس التي تمت ملاحظتها على كائن المراقبة
• [SPARK-45588] [SC-145909][PROTOBUF][CONNECT][ثانوي] تحسين Scaladoc ل StreamingForeachBatchHelper
• [SPARK-45616] [SC-146120][CORE] تجنب ParVector، الذي لا ينشر ThreadLocals أو SparkSession
• [SPARK-45604] [SC-146105][SQL] إضافة التحقق من LogicalType على INT64 -> تحويل DateTime على Parquet Vectorized Reader
• [SPARK-44649] [SC-145891][SQL] يدعم عامل تصفية وقت التشغيل تمرير تعبيرات جانبية مكافئة لإنشاء
• [SPARK-41674] [SC-128408][SQL] يجب أن يدعم عامل تصفية وقت التشغيل جانب الانضمام العشوائي متعدد المستويات كجانب إنشاء عامل تصفية
• [SPARK-45547] [SC-146228][ML] التحقق من صحة المتجهات باستخدام دالة مضمنة
• [SPARK-45558] [SC-145890][SS] تقديم ملف بيانات تعريف لتدفق عامل التشغيل ذي الحالة
• [SPARK-45618] [SC-146252][CORE] إزالة BaseErrorHandler
• [SPARK-45638] [SC-146251][SQL][Avro] تحسين تغطية اختبار التحويل العشري
• [SPARK-44837] [SC-146020][SQL] تغيير رسالة خطأ عمود ALTER TABLE ALTER PARTITION
• [SPARK-45561] [SC-146264][SQL] إضافة تحويلات مناسبة ل TINYINT في MySQLDialect
• [SPARK-45632] [SC-146255][SQL] يجب أن تتجنب ذاكرة التخزين المؤقت للجداول ColumnarToRow غير الضرورية عند تمكين AQE
• [SPARK-45569] [SC-145932][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2152 الخطأ
• [SPARK-44784] [SC-141015][CONNECT] جعل اختبار SBT hermetic.
• [SPARK-45452] [SC-144836][SQL] تحسين InMemoryFileIndex لاستخدام FileSystem.listFiles واجهة برمجة التطبيقات
• [SPARK-44735] [SC-146186][SQL] إضافة تحذير msg عند إدراج أعمدة بنفس الاسم حسب الصف لا تتطابق مع
• [SPARK-45351] [SC-144791][CORE] تغيير spark.shuffle.service.db.backend القيمة الافتراضية إلى ROCKSDB
• [SPARK-45553] [SC-145906][PS] إهمال assertPandasOnSparkEqual
• [SPARK-45613] [SC-146022][CORE] كشف DeterministicLevel كواجهة برمجة تطبيقات المطور
• [SPARK-45549] [SC-145895][CORE] إزالة غير مستخدم numExistingExecutors في CoarseGrainedSchedulerBackend
• [SPARK-45609] [SC-146030][CONNECT] تضمين SqlState في رسالة SparkThrowable proto
• [SPARK-45595] [SC-146037] كشف sqlstate في رسالة خطأ
• [SPARK-45628] [SC-146123][ML] تحسين vector_to_array ل .mllib.linalg.SparseVector
• [SPARK-45009] [SC-145884][SQL][متابعة] إيقاف تشغيل الفصل في شروط الانضمام لاختبار AQE InSubquery
• [SPARK-45576] [SC-145883][CORE] إزالة سجلات التصحيح غير الضرورية في ReloadingX509TrustManagerSuite
• [SPARK-45485] [SC-145719][CONNECT] تحسينات عامل المستخدم: استخدم متغير env SPARK_CONNECT_USER_AGENT وقم بتضمين سمات خاصة بالبيئة
• [SPARK-45508] [SC-145513][CORE] إضافة "-add-opens=java.base/jdk.internal.ref=ALL-UNNAMED" حتى يتمكن النظام الأساسي من الوصول إلى منظف على Java 9+
• [SPARK-45595] إرجاع "[SC-146037] كشف SQLSTATE في رسالة خطأ"
• [SPARK-45595] [SC-146037] كشف SQLSTATE في رسالة الخطأ
• [SPARK-45112] Revert "[SC-143259][SQL] Use UnresolvedFunction ba...
• [SPARK-45257] [SC-143411][CORE] تمكين spark.eventLog.compress بشكل افتراضي
• [SPARK-45586] [SC-145899][SQL] تقليل زمن انتقال المحول البرمجي للخطط ذات أشجار التعبير الكبيرة
• [SPARK-45517] [SC-145691][CONNECT][14.x] توسيع المزيد من منشئات الاستثناء لدعم معلمات إطار الخطأ
• [SPARK-45581] [SC-145896] جعل SQLSTATE إلزاميا.
• [SPARK-45427] [SC-145590][CORE] إضافة إعدادات RPC SSL إلى SSLOptions وSparkTransportConf
• [SPARK-45261] [SC-143357][CORE] إصلاح EventLogFileWriters للتعامل معه none كمبرمج
• [SPARK-45582] [SC-145897][SS] تأكد من عدم استخدام مثيل المتجر بعد استدعاء الالتزام داخل تجميع تدفق وضع الإخراج
• [SPARK-45562] [SC-145720][SC-144650][SQL] XML: جعل 'rowTag' خيارا مطلوبا
• [SPARK-45392] [SC-144362][CORE][SQL][SS] استبدال Class.newInstance() ب Class.getDeclaredConstructor().newInstance()
• [SPARK-45433] [SC-145163][SQL] إصلاح استنتاج مخطط CSV/JSON عندما لا تتطابق الطوابع الزمنية مع تنسيق الطابع الزمني المحدد
• [SPARK-45458] [SC-145011][SQL] تحويل IllegalArgumentException إلى SparkIllegalArgumentException في bitwiseExpressions
• [SPARK-45564] [SC-145735][SQL] تبسيط "DataFrameStatFunctions.bloomFilter" باستخدام تعبير "BloomFilterAggregate"
• [SPARK-45566] [SC-145777][PS] دعم استخدامات الاختبار الشبيهة ب Pandas لواجهة برمجة تطبيقات Pandas على Spark
• [SPARK-45498] [SC-145509][CORE] المتابعة: تجاهل إكمال المهمة من المرحلة القديمة أ...
• [SPARK-45483] [SC-145152][CONNECT] تصحيح مجموعات الدالات في connect.functions
• [SPARK-45577] [SC-145781][PYTHON] إصلاح UserDefinedPythonTableFunctionAnalyzeRunner لتمرير القيم المطوية من الوسيطات المسماة
• [SPARK-45009] [SC-138223][متابعة] إيقاف تشغيل فك التشفير في شروط الانضمام ل AetherSQLQuerySuite
• [SPARK-45415] [SC-145344] السماح بالتعطيل الانتقائي ل "fallocate" في RocksDB statestore
• [SPARK-45500] [SC-145134][CORE][WEBUI] إظهار عدد برامج التشغيل المكتملة بشكل غير طبيعي في MasterPage
• [SPARK-44120] [SC-144349][PYTHON] دعم Python 3.12
• [SPARK-45439] [SC-145589][SQL][واجهة المستخدم] تقليل استخدام الذاكرة ل LiveStageMetrics.accumIdsToMetricType
• [SPARK-45565] [SC-145717][واجهة المستخدم] حلقة JSON.stringify وJSON.parse غير الضرورية لقائمة المهام على تفاصيل المرحلة
• [SPARK-45567] [SC-145718][CONNECT] إزالة التكرار إذا كان في org.apache.spark.sql.connect.execution.ExecuteGrpcResponseSender#run
• [SPARK-45112] [SC-143259][SQL] استخدام الدقة المستندة إلى تم حلها في وظائف مجموعة بيانات SQL
• [SPARK-45486] [SASP-2457][SC-145612][CONNECT] جعل طلب add_artifact غير متكرر
• [SPARK-44913] [SC-144326][SQL] يدعم DS V2 الضغط لأسفل V2 UDF الذي يحتوي على أسلوب سحري
• [SPARK-45538] [SC-145635][PYTHON][CONNECT]pyspark connect overwrite_partitions الخطأ
• [SPARK-45491] [SC-145622] إضافة SQLSTATES مفقودة 2/2
• [SPARK-45009] [SC-145620][SC-138223][SQL] فك ترميز الاستعلامات الفرعية المسندة في حالة الانضمام
• [SPARK-45377] [SC-144377][CORE] معالجة InputStream في NettyLogger
• [SPARK-45248] [SC-143759][CORE]تعيين المهلة لخادم واجهة مستخدم spark
• [SPARK-44594] [SC-145611][SS] إزالة معلمة الأسلوب المكرر في موصل kafka
• [SPARK-45539] [SC-145621][SS] إضافة التأكيد والسجل للإشارة إلى أن تعريف العلامة المائية مطلوب لاستعلامات تجميع الدفق في وضع الإلحاق
• [SPARK-44262] [SC-145639][SQL] إضافة dropTable و getInsertStatement إلى JdbcDialect
• [SPARK-45516] [SC-145480][CONNECT] تضمين QueryContext في رسالة SparkThrowable proto
• [SPARK-45310] [SC-145127][CORE] يجب أن تحترم حالة كتلة تبديل التقرير العشوائي خدمة التبديل أثناء إيقاف تشغيل الترحيل
• [SPARK-45521] [SC-145487][ML] تجنب إعادة حساب nnz في VectorAssembler
• [SPARK-45418] [SC-145485][SQL][PYTHON][CONNECT] تغيير الاسم المستعار للعمود current_database() إلى current_schema()
• [SPARK-45116] [SC-145142][SQL] إضافة بعض التعليقات لبارام JdbcDialect createTable
• [SPARK-45495] [SC-145529][الذاكرة الأساسية] دعم ملف تعريف مورد المهمة على مستوى المرحلة لنظام مجموعة k8s عند تعطيل التخصيص الديناميكي
• [SPARK-45487] [SC-145559] إصلاح SQLSTATEs والأخطاء المؤقتة
• [SPARK-45505] [SC-145550][PYTHON] إعادة بناء التعليمات البرمجية analyzeInPython لجعلها قابلة لإعادة الاستخدام
• [SPARK-45132] [SC-145425][SQL] إصلاح المعرف لادعاء الدالة
• [SPARK-45213] [SC-145020][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2151 الخطأ
• [SPARK-45416] [SC-145126][CONNECT] تناسق التحقق من السلامة لنتائج الأسهم
• [SPARK-45163] [SC-143386][SQL] دمج UNSUPPORTED_VIEW_OPERATION UNSUPPORTED_TABLE_OPERATION وإصلاح بعض المشاكل
• [SPARK-45421] [SC-144814][SQL] Catch AnalysisException عبر InlineCTE
• [SPARK-43664] [SC-145404][CONNECT][PS] رفع استثناء ل ps.sql مع كائن Pandas on-Spark على Spark Connect.
• [SPARK-45402] [SC-145371][SQL][PYTHON] إضافة واجهة برمجة تطبيقات UDTF لأساليب "التقييم" و"الإنهاء" لاستهلاك نتيجة "التحليل" السابقة
• [SPARK-36112] [SC-67885] [SQL] الدعم المرتبط EXISTS والاستعلام الفرعي IN باستخدام إطار عمل DecorrelateInnerQuery
• [SPARK-45383] [SC-144929][SQL] إصلاح رسالة الخطأ للسفر عبر الزمن مع جدول غير موجود
• [SPARK-43254] [SC-143318][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2018 الخطأ
• [SPARK-45204] [SC-145167][CONNECT] إضافة ExecuteHolder اختياري إلى SparkConnectPlanner
• [SPARK-45451] [SC-145144][SQL] جعل مستوى التخزين الافتراضي لذاكرة التخزين المؤقت لمجموعة البيانات قابلا للتكوين
• [SPARK-45192] [SC-143194][واجهة المستخدم] إصلاح معلمة lineInterpolate المتأخرة ل graphviz edge
• [SPARK-45467] [SC-145146][CORE] استبدال Proxy.getProxyClass() ب Proxy.newProxyInstance().getClass
• [SPARK-45397] [SC-145139][التعلم الآلي][CONNECT] إضافة محول ميزة تجميع الصفيف
• [SPARK-44855] [SC-145226][CONNECT] تعديلات صغيرة لإرفاق ExecuteGrpcResponseSender ب ExecuteResponseObserver
• [SPARK-45398] [SC-144796][SQL] إلحاق ESCAPE في sql() Like التعبير
• [SPARK-45494] [SC-145129][CORE][PYTHON] تقديم دالات util لقراءة/كتابة صفيف بايت ل PythonWorkerUtils
• [SPARK-45464] [SC-145125][CORE] إصلاح بنية توزيع شبكة الاتصال
• [SPARK-45461] [SC-144851][CORE][SQL][MLLIB] تقديم معين ل StorageLevel
• [SPARK-45450] [SC-145009][PYTHON] إصلاح الواردات وفقا ل PEP8: pyspark.pandas وpyspark (core)
• [SPARK-45475] [SC-145018][SQL] يستخدم DataFrame.foreachPartition بدلا من RDD.foreachPartition في JdbcUtils
• [SPARK-45271] [SC-143778][SQL] دمج _LEGACY_ERROR_TEMP_1113 في TABLE_OPERATION وحذف بعض الطرق غير المستخدمة في QueryCompilationErrors
• [SPARK-45449] [SC-145013][SQL] مشكلة إبطال ذاكرة التخزين المؤقت مع جدول JDBC
• [SPARK-45473] [SC-145017][SQL] إصلاح رسالة خطأ غير صحيحة ل RoundBase
• [SPARK-43299] [SC-145022][SS][CONNECT] تحويل StreamingQueryException في Scala Client
• [SPARK-45474] [SC-145014][CORE][WEBUI] دعم التصفية ذات المستوى الأعلى في MasterPage JSON API
• [SPARK-45205] [SC-145012][SQL] CommandResultExec لتجاوز أساليب المكرر لتجنب تشغيل مهام متعددة.
• [SPARK-45472] [SC-145004][SS] لا يحتاج مخزن حالة RocksDB إلى إعادة التحقق من وجود مسار نقطة التحقق
• [SPARK-45470] [SC-145010][SQL] تجنب لصق قيمة سلسلة نوع ضغط خلية orc
• [SPARK-45448] [SC-144829][PYTHON] إصلاح الواردات وفقا ل PEP8: pyspark.testing وpyspark.mllib وpyspark.resource وpyspark.streaming
• [SPARK-45446] [SC-144828][PYTHON] إصلاح عمليات الاستيراد وفقا ل PEP8: pyspark.errors و pyspark.ml
• [SPARK-45239] [SC-144832][CONNECT] تقليل spark.connect.jvmStacktrace.maxSize الافتراضي
• [SPARK-45436] [SC-144831][PYTHON][CONNECT] تتحقق أساليب DataFrame من نفس الجلسة
• [SPARK-45413] [SC-144847][CORE] إضافة تحذير لإعداد دعم LevelDB المنسدل
• [SPARK-45462] [SC-144848][CORE][WEBUI] إظهار Duration في ApplicationPage
• [SPARK-44527] [SC-144855][SQL] استبدل ScalarSubquery بالقيمة الفارغة إذا كانت قيمة maxRows الخاصة به 0
• [SPARK-45401] [SC-144854][PYTHON] إضافة أسلوب cleanup جديد في واجهة UDTF
• [SPARK-43704] [SC-144849][CONNECT][PS] دعم MultiIndex ل to_series()
• [SPARK-45424] [SC-144888][SQL] إصلاح TimestampFormatter إرجاع نتائج التحليل الاختيارية عند تطابق البادئة فقط
• [SPARK-45441] [SC-144833][PYTHON] تقديم المزيد من دوال util ل PythonWorkerUtils
• [SPARK-45412] [SC-144803][PYTHON][CONNECT] التحقق من صحة الخطة والجلسة في DataFrame.__init__
• [SPARK-45408] [SC-144810][CORE] إضافة إعدادات RPC SSL إلى TransportConf
• [SPARK-45432] [SC-144818][CORE] إزالة الدالة الإنشائية Hadoop-2 LocatedFileStatus المهملة
• [SPARK-45434] [SC-144819][التعلم الآلي][CONNECT] يتحقق LogisticRegression من تسميات التدريب
• [SPARK-45420] [SC-144808][SQL][PYTHON][CONNECT] إضافة DataType.fromDDL إلى PySpark
• [SPARK-45406] [SC-144793][PYTHON][CONNECT] حذف schema من منشئ DataFrame
• [SPARK-45404] [SC-144799][CORE] دعم AWS_ENDPOINT_URL متغير env
• [SPARK-43620] [SC-144792][CONNECT][PS] يعتمد إصلاح واجهات برمجة تطبيقات Pandas على الميزات غير المدعومة
• [SPARK-45354] [SC-143991][SQL] حل الدوال من أسفل إلى أعلى
• [SPARK-45394] [SASP-1480][SC-144712][PYTHON][CONNECT] إضافة عمليات إعادة المحاولة لواجهة برمجة تطبيقات البيانات الاصطناعية. تحسين معالجة الأخطاء (المتابعة إلى [SPARK-45093]).
• [SPARK-45120] [SC-142780][SPARK-45150][واجهة المستخدم] ترقية d3 من v3 إلى v7(v7.8.5) وتطبيق تغييرات واجهة برمجة التطبيقات في واجهة المستخدم
• [SPARK-44838] [SC-143983][SQL] تحسين raise_error
• [SPARK-45312] [SC-143754][SQL][واجهة المستخدم] دعم تبديل عرض/إخفاء مخطط svg في صفحة التنفيذ
• [SPARK-45378] [SC-144448][CORE] إضافة convertToNettyForSsl إلى ManagedBuffer
• [SPARK-44762] [SC-144338][CONNECT][CORE] مستند SparkConnect.addJobTag واتصال SparkSession.addTag
• [SPARK-45383] معالجة RelationTimeTravel التي لم يتم حلها بأمان
• [SPARK-45347] [SC-144512][SQL][CONNECT] تضمين SparkThrowable في FetchErrorDetailsResponse
• [SPARK-45012] [SC-141512][SQL] يجب أن يطرح CheckAnalysis خطة مدمجة في AnalysisException
• [SPARK-45359] [SC-144336][PYTHON][CONNECT] DataFrame.{columns, colRegex, explain} يجب رفع استثناءات عندما تكون الخطة غير صالحة
• [SPARK-45227] [SC-144233][CORE] إصلاح مشكلة مؤشر ترابط أمان دقيقة مع CoarseGrainedExecutorBackend
• [SPARK-45266] [SC-144171][PYTHON] إعادة بناء التعليمات البرمجية لقاعدة محلل ResolveFunctions لتأخير إنشاء صلة أفقية عند استخدام وسيطات الجدول
• [SPARK-45266] إرجاع "[SC-144171][PYTHON] قاعدة محلل ResolveFunctions لإعادة بناء التعليمات البرمجية لتأخير إنشاء صلة أفقية عند استخدام وسيطات الجدول"
• [SPARK-45371] [SC-144389][CONNECT] إصلاح مشكلات التظليل في عميل Spark Connect Scala
• [SPARK-45057] [SC-144214][CORE] تجنب الحصول على تأمين القراءة عندما يكون keepReadLock خطأ
• [SPARK-45385] [SC-144357][SQL] إهمال spark.sql.parser.escapedStringLiterals
• [SPARK-45340] [SC-143917][SQL] إزالة تكوين SQL spark.sql.hive.verifyPartitionPath
• [SPARK-45266] [SC-144171][PYTHON] إعادة بناء التعليمات البرمجية لقاعدة محلل ResolveFunctions لتأخير إنشاء صلة أفقية عند استخدام وسيطات الجدول
• [SPARK-45362] [SC-144198][PYTHON] عرض تعبيرات PARTITION BY قبل أن يستهلكها أسلوب Python UDTF 'eval'
• [SPARK-45346] [SC-143925][SQL] يجب أن يحترم استنتاج مخطط Parquet العلامة الحساسة لحالة الأحرف عند دمج المخطط
• [SPARK-45341] [SC-143933][CORE] تصحيح مستوى العنوان في تعليقات KVStore.java لتشغيله sbt doc بنجاح باستخدام Java 17
• [SPARK-45334] [SC-143914][SQL] إزالة تعليق مضلل في parquetSchemaConverter
• [SPARK-45337] [SC-143932][CORE] إعادة بناء التعليمات البرمجية AbstractCommandBuilder#getScalaVersion لإزالة التحقق من Scala 2.12
• [SPARK-45329] [SC-143918][PYTHON][CONNECT] تتخطى أساليب DataFrame تحويل pandas
• [SPARK-43662] [SC-143923][PS][CONNECT] merge_asof الدعم في Spark Connect
• [SPARK-44126] [SC-143751][CORE] يجب عدم زيادة عدد فشل الترحيل العشوائي عند إيقاف تشغيل المنفذ الهدف
• [SPARK-44550] [SC-119768][SQL] تمكين إصلاحات التصحيح ل null IN (empty list) ضمن ANSI
• [SPARK-45316] [SC-143783][CORE][SQL] إضافة معلمات ignoreCorruptFiles/ignoreMissingFiles جديدة إلى HadoopRDD و NewHadoopRDD
• [SPARK-45093] [SC-143414][CONNECT][PYTHON] الإبلاغ عن الخطأ لاستعلام addArtifacts
• [SPARK-44756] [SC-143787][CORE] يتوقف المنفذ عند فشل إعادة المحاولةBlockTransferor في بدء إعادة المحاولة
• [SPARK-45333] [SC-143768][CORE] إصلاح خطأ وحدة واحد متعلق ب spark.eventLog.buffer.kb
• [SPARK-45317] [SC-143750][SQL][CONNECT] معالجة اسم الملف الفارغ في تتبعات المكدس للاستثناءات
• [SPARK-45191] [SC-143407][SQL] InMemoryTableScanExec simpleStringWithNodeId يضيف معلومات عمودية
• [SPARK-45235] [SC-143314][CONNECT][PYTHON] دعم معلمات الخريطة والصفيف حسب sql()
• [SPARK-45138] [SC-143309][SS] تعريف فئة خطأ جديدة وتطبيقها عند فشل حالة التحقق من DFS
• [SPARK-45297] [SC-143644][SQL] إزالة الحل البديل ل dateformatter المضاف في SPARK-31827
• [SPARK-44345] [SC-143593][CORE] انخفاض unknown shuffle map output مستوى السجل إلى WARN إذا تم تمكين ترحيل التبديل العشوائي
• [SPARK-44463] [SC-143251][SS][CONNECT] تحسين معالجة الأخطاء لعامل Connect steaming Python
• [SPARK-45207] [SC-143603][SQL][CONNECT] تنفيذ إثراء الخطأ لعميل Scala
• [SPARK-45240] [SC-143602][SQL][CONNECT] تنفيذ إثراء الخطأ لعميل Python
• [SPARK-45216] [SC-143288][SQL] إصلاح واجهات برمجة تطبيقات مجموعة البيانات الأولية غير المحددة
• [SPARK-45251] [SC-143419][CONNECT] إضافة حقل client_type ل FetchErrorDetails
• [SPARK-45137] [SC-143001][CONNECT] دعم معلمات الخريطة/الصفيف في معلمات sql()
• [SPARK-45224] [SC-143257][PYTHON] إضافة أمثلة على الخريطة والصفيف كمعلمات sql()
• [SPARK-44622] [SC-143205][SQL][CONNECT] تنفيذ FetchErrorDetails RPC
• [SPARK-45178] [SC-136089] احتياطي لتنفيذ دفعة واحدة ل Trigger.AvailableNow مع مصادر غير مدعومة بدلا من استخدام برنامج التضمين
• [SPARK-44823] [14.x][SC-142979][PYTHON] تحديث الأسود إلى 23.9.1 والتحقق المصحح
• [SPARK-45078] [SC-142954][SQL] إصلاح array_insert عدم عمل ImplicitCastInputTypes
• [SPARK-44579] [SC-138428][SQL] مقاطعة الدعم عند الإلغاء في SQLExecution
• [SPARK-45252] [SC-143371][CORE] إلغاء الرموز الأكبر/الأقل من الرموز في التعليقات لتنفيذها sbt doc بنجاح
• [SPARK-45189] [SC-142973][SQL] يجب أن يتضمن إنشاء تسوية من TableIdentifier حقل الكتالوج
• [SPARK-45229] [SC-143254][CORE][واجهة المستخدم] إظهار عدد برامج التشغيل التي تنتظر في حالة المرسلة في MasterPage
• [SPARK-43453] Revert "[SC-143135][PS] تجاهل names متى MultiIndex axis=1 ل concat"

دعم برنامج تشغيل Databricks ODBC/JDBC

يدعم Databricks برامج تشغيل ODBC/JDBC التي تم إصدارها في العامين الماضيين. يرجى تنزيل برامج التشغيل التي تم إصدارها مؤخرا والترقية (تنزيل ODBC، تنزيل JDBC).

راجع تحديثات صيانة Databricks Runtime 14.2.

بيئة النظام

• نظام التشغيل: Ubuntu 22.04.3 LTS
• Java: Zulu 8.72.0.17-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 3.0.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Posit مدير الحِزَم CRAN على 2023-02-10.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)