Databricks Runtime 11.3 LTS

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 11.3 LTS، مدعوما ب Apache Spark 3.3.0. أصدرت Databricks هذا الإصدار في أكتوبر 2022.

التغيرات السلوكية

[كسر التغيير] يتطلب إصدار Python الجديد تحديث عملاء Databricks Connect V1 Python

لتطبيق تصحيحات الأمان المطلوبة، تتم ترقية إصدار Python في Databricks Runtime 11.3 LTS من 3.9.5 إلى 3.9.19. نظرا لأن هذه التغييرات قد تتسبب في حدوث أخطاء في العملاء الذين يستخدمون وظائف PySpark معينة، يجب تحديث أي عملاء يستخدمون Databricks Connect V1 ل Python مع Databricks Runtime 11.3 LTS إلى Python 3.9.7 أو أحدث.

ميزات وتحسينات جديدة

• مشغل الدفق المنظم مرة واحدة مهمل
• تغيير مسار المصدر للمحمل التلقائي
• يدعم موصل Databricks Kinesis الآن القراءة من تدفقات بيانات Kinesis في وضع EFO
• وظائف H3 جيوفضائية جديدة ودعم فوتون إضافي لجميع وظائف H3
• ميزات جديدة للإداء/إخراج التنبؤ
• زيادة الأقسام الأولية للفحص بحثا عن استعلامات انتقائية
• تصور إصدارات خطة AQE الجديدة
• أوضاع تعقب التقدم وإزالة السجل الجديدة غير المتزامنة
• يدعم الدفق المنظم على كتالوج Unity الآن display()
• يتم الآن تسجيل أحداث المسار بتنسيق JSON
• المعالجة التعسفية ذات الحالة في الدفق المنظم باستخدام Python
• استنتاج التاريخ في ملفات CSV
• نسخ الدعم لجداول Apache Parquet وApache Iceberg (معاينة عامة)
• استخدم SQL لتحديد مواقع التخزين على مستوى المخطط والكتالوج للجداول المدارة في كتالوج Unity

مشغل الدفق المنظم مرة واحدة مهمل

Trigger.Once تم إهمال الإعداد. توصي Databricks باستخدام Trigger.AvailableNow. راجع تكوين فواصل مشغل Structured Streaming.

تغيير مسار المصدر للمحمل التلقائي

يمكنك الآن تغيير مسار إدخال الدليل ل Auto Loader الذي تم تكوينه باستخدام وضع سرد الدليل دون الحاجة إلى اختيار دليل نقطة تحقق جديد. راجع تغيير مسار المصدر للتحميل التلقائي.

يدعم موصل Databricks Kinesis الآن القراءة من تدفقات بيانات Kinesis في وضع EFO

يمكنك الآن استخدام مصدر الدفق المهيكل Databricks Kinesis في Databricks Runtime 11.3 LTS لتشغيل الاستعلامات التي تقرأ من تدفقات بيانات Kinesis في وضع المروحة المحسن. يسمح هذا بمعدل نقل مخصص لكل جزء، لكل مستهلك، وتسليم السجل في وضع الدفع.

وظائف H3 جيوفضائية جديدة ودعم فوتون إضافي لجميع وظائف H3

تقديم 4 وظائف H3 جديدة و h3_maxchildh3_minchildh3_pointash3و و.h3_pointash3string تتوفر هذه الدالات في SQL وSc scala وPython. يتم الآن دعم جميع تعبيرات H3 في Photon. راجع الدالات الجغرافية المكانية H3.

ميزات جديدة للإداء/إخراج التنبؤ

يدعم Photon وضع النطاق لتشغيل الإطارات، باستخدام RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. يدعم Photon أيضا وضع النطاق لإطارات النمو، باستخدام RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

زيادة الأقسام الأولية للفحص بحثا عن استعلامات انتقائية

تمت زيادة قيمة الأقسام الأولية للمسح الضوئي إلى 10 للاستعلام الانتقائي مع take/tail/limit في أنظمة المجموعات التي تدعم Photon وفي LIMIT Databricks SQL. مع 10 أقسام، يمكنك تجنب النفقات العامة لبدء وظائف صغيرة متعددة وبطء التوسيع. يمكنك أيضا تكوين هذا من خلال spark.sql.limit.selectiveInitialNumPartitions.

تصور إصدارات خطة AQE الجديدة

تقديم إصدارات خطة AQE التي تسمح لك بتصور تحديثات خطة وقت التشغيل من تنفيذ الاستعلام التكيفي (AQE).

أوضاع تعقب التقدم وإزالة السجل الجديدة غير المتزامنة

تقديم أوضاع Structured Streaming تسمى تتبع التقدم غير المتزامن وتطهير السجل غير المتزامن. يقلل وضع إزالة السجل غير المتزامن من زمن انتقال استعلامات الدفق عن طريق إزالة السجلات المستخدمة لتعقب التقدم في الخلفية.

يدعم الدفق المنظم على كتالوج Unity الآن display()

يمكنك الآن استخدام display() عند استخدام Structured Streaming للعمل مع الجداول المسجلة في كتالوج Unity.

يتم الآن تسجيل أحداث المسار بتنسيق JSON

يكتب Azure Databricks الآن أحداث المسار إلى سجل برنامج التشغيل بتنسيق JSON. بينما سيكون كل حدث قابلا لتحليل JSON، قد لا تحتوي الأحداث الكبيرة على كافة الحقول، أو قد يتم اقتطاع الحقول. يتم تسجيل كل حدث في سطر واحد مع البادئة Event received: . فيما يلي مثال على الحدث.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

المعالجة التعسفية ذات الحالة في الدفق المنظم باستخدام Python

تقديم الدالة applyInPandasWithState التي يمكن استخدامها لإجراء معالجة تعسفية ذات حالة في PySpark. وهذا يعادل الدالة flatMapGroupsWithState في واجهة برمجة تطبيقات Java.

استنتاج التاريخ في ملفات CSV

تقديم استدلال محسن لعمود نوع التاريخ في ملفات CSV. عندما يكون تنسيق التاريخ متناسقا عبر سجلات عمود، يمكن استنتاج هذه الأعمدة ك DateType. يمكنك أيضا الحصول على مجموعة من تنسيقات التاريخ عبر أعمدة مختلفة. يمكن ل Azure Databricks استنتاج تنسيق التاريخ تلقائيا لكل عمود. يتم ترك أعمدة التاريخ في ملفات CSV قبل Databricks Runtime 11.3 LTS ك StringType.

نسخ الدعم لجداول Apache Parquet وApache Iceberg (معاينة عامة)

يمكن الآن استخدام الاستنساخ لإنشاء جداول Delta وتحديثها بشكل متزايد والتي تعكس جداول Apache Parquet وApache Iceberg. يمكنك تحديث جدول Parquet المصدر وتطبيق التغييرات بشكل متزايد على جدول Delta المستنسخ باستخدام أمر الاستنساخ. راجع استنساخ جداول Parquet و Iceberg بشكل متزايد إلى Delta Lake.

استخدم SQL لتحديد مواقع التخزين على مستوى المخطط والكتالوج للجداول المدارة في كتالوج Unity

يمكنك الآن استخدام MANAGED LOCATION الأمر SQL لتحديد موقع تخزين سحابي للجداول المدارة على مستويات الكتالوج والمخطط. راجع إنشاء كتالوج وإنشاء مخطط.

تغييرات السلوك

Databricks Connect 11.3.2

تحديث عميل Databricks Connect 11.3.2 مدعوم الآن. راجع ملاحظات إصدار Databricks Connect وDatabricks Connect.

موصل Azure Databricks Snowflake المحدث

تم تحديث موصل Azure Databricks Snowflake إلى أحدث إصدار من التعليمات البرمجية من المستودع مفتوح المصدر، Snowflake Data Source ل Apache Spark. وهو الآن متوافق تماما مع Databricks Runtime 11.3 LTS، بما في ذلك دفع التقييم والتنزيل التدريجي لخطة الاستعلام الداخلي مع الحفاظ على جميع ميزات الإصدار مفتوح المصدر.

ذاكرة التخزين المؤقت Hadoop ل S3A معطلة الآن

ذاكرة التخزين المؤقت Hadoop (FileSystem Apache Hadoop Main 3.3.4 API) ل S3A معطلة الآن. هذا للمحاذاة مع موصلات التخزين السحابية الأخرى. بالنسبة لأحمال العمل التي تعتمد على التخزين المؤقت لنظام الملفات، تأكد من تزويد أنظمة الملفات التي تم إنشاؤها حديثا بتكوينات Hadoop الصحيحة، بما في ذلك موفري بيانات الاعتماد.

يتطابق مخطط مجموعة إحصائيات Delta Lake الآن مع ترتيب الأعمدة في تعريف مخطط الجدول

يعالج هذا التغيير خطأ في بروتوكول Delta Lake حيث لم يتم تجميع الإحصائيات للأعمدة بسبب عدم تطابق في DataFrame وترتيب عمود الجدول. في بعض الحالات، قد تواجه انخفاض أداء الكتابة بسبب مجموعة الإحصائيات في الحقول التي لم يتم تعقبها مسبقا. راجع تخطي البيانات ل Delta Lake.

يطرح applyInPandasWithState خطأ إذا كان الاستعلام يحتوي على تبديل عشوائي بعد عامل التشغيل

يطرح عامل التشغيل applyInPandasWithState خطأ إذا كان الاستعلام يحتوي shuffle على بعد عامل التشغيل. يحدث هذا عندما يضيف shuffle المستخدم بعد العملية، أو يضيف shuffle المحسن أو المتلقي ضمنيا.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • استياء من 0.3.5 إلى 0.3.6
• مكتبات R التي تمت ترقيتها:
  • مكنسة من 1.0.0 إلى 1.0.1
  • المتصل من 3.7.1 إلى 3.7.2
  • dplyr من 1.0.9 إلى 1.0.10
  • dtplyr من 1.2.1 إلى 1.2.2
  • forcats من 0.5.1 إلى 0.5.2
  • في المستقبل من 1.27.0 إلى 1.28.0
  • future.apply من 1.9.0 إلى 1.9.1
  • غيرت من 1.7.0 إلى 1.8.0
  • globals من 0.16.0 إلى 0.16.1
  • gtable من 0.3.0 إلى 0.3.1
  • haven من 2.5.0 إلى 2.5.1
  • hms من 1.1.1 إلى 1.1.2
  • httr من 1.4.3 إلى 1.4.4
  • من 1.39 إلى 1.40
  • modelr من 0.1.8 إلى 0.1.9
  • الركيزة من 1.8.0 إلى 1.8.1
  • progressr من 0.10.1 إلى 0.11.0
  • readxl من 1.4.0 إلى 1.4.1
  • reprex من 2.0.1 إلى 2.0.2
  • rlang من 1.0.4 إلى 1.0.5
  • rmarkdown من 2.14 إلى 2.16
  • RSQLite من 2.2.15 إلى 2.2.16
  • rstudioapi من 0.13 إلى 0.14
  • rversions من 2.1.1 إلى 2.1.2
  • rvest من 1.0.2 إلى 1.0.3
  • مقاييس من 1.2.0 إلى 1.2.1
  • sparklyr من 1.7.7 إلى 1.7.8
  • stringr من 1.4.0 إلى 1.4.1
  • البقاء على قيد الحياة من 3.2-13 إلى 3.4-0
  • نص صغير من 0.40 إلى 0.41
  • viridisLite من 0.4.0 إلى 0.4.1
• مكتبات Java التي تمت ترقيتها:
  • com.fasterxml.jackson.core.jackson-annotations من 2.13.3 إلى 2.13.4
  • com.fasterxml.jackson.core.jackson-core من 2.13.3 إلى 2.13.4
  • com.fasterxml.jackson.core.jackson-databind من 2.13.3 إلى 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor من 2.13.3 إلى 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda من 2.13.3 إلى 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 من 2.13.3 إلى 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer من 2.13.3 إلى 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 من 2.13.3 إلى 2.13.4
  • org.apache.hadoop.hadoop-client-api من 3.3.2-databricks إلى 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime من 3.3.2 إلى 3.3.4
  • org.apache.orc.orc-core من 1.7.5 إلى 1.7.6
  • org.apache.orc.orc-mapreduce من 1.7.5 إلى 1.7.6
  • org.apache.orc.orc-shims من 1.7.5 إلى 1.7.6
  • org.apache.parquet.parquet-column من 1.12.0-databricks-0004 إلى 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common من 1.12.0-databricks-0004 إلى 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding من 1.12.0-databricks-0004 إلى 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures من 1.12.0-databricks-0004 إلى 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop من 1.12.0-databricks-0004 إلى 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson من 1.12.0-databricks-0004 إلى 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet من 2.34 إلى 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core من 2.34 إلى 2.36
  • org.glassfish.jersey.core.jersey-client من 2.34 إلى 2.36
  • org.glassfish.jersey.core.jersey-common من 2.34 إلى 2.36
  • org.glassfish.jersey.core.jersey-server من 2.34 إلى 2.36
  • org.glassfish.jersey.inject.jersey-hk2 من 2.34 إلى 2.36

Apache Spark

يتضمن Databricks Runtime 11.3 LTS Apache Spark 3.3.0. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 11.2 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-39957] [WARMFIX][SC-111425][CORE] التأخير علىDisconnected لتمكين برنامج التشغيل يتلقى ExecutorExitCode
• [SPARK-39955] [WARMFIX][SC-111424][CORE] تحسين عملية LaunchTask لتجنب فشل المرحلة الناجم عن فشل إرسال رسائل LaunchTask
• [SPARK-40474] [SC-106248][Cherry-Pick] تصحيح سلوك استنتاج مخطط CSV لأعمدة التاريخ والوقت وتقديم الكشف التلقائي لحقول التاريخ
• [SPARK-40535] [SC-111243][SQL] إصلاح الخطأ لن يتم إنشاء المخزن المؤقت ل AggregatingAccumulator إذا كانت صفوف الإدخال فارغة
• [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] تنفيذ applyInPandasWithState في PySpark
• [SPARK-40460] [SC-110832][SS] إصلاح مقاييس الدفق عند تحديد _metadata
• [SPARK-40324] [SC-109943][SQL] توفير سياق استعلام ل ParseException
• [SPARK-40466] [SC-110899][SS] تحسين رسالة الخطأ عند تعطيل DSv2 أثناء عدم توفر DSv1
• [SPARK-40456] [SC-110848][SQL] يجب أن يكون PartitionIterator.hasNext رخيصة للاتصال بشكل متكرر
• [SPARK-40169] [SC-110772][SQL] عدم الضغط على عوامل تصفية Parquet بدون أي مرجع إلى مخطط البيانات
• [SPARK-40467] [SC-110759][SS] تقسيم FlatMapGroupsWithState إلى مجموعات اختبار متعددة
• [SPARK-40468] [SC-110813][SQL] إصلاح تشذيب العمود في CSV عند تحديد _corrupt_record
• [SPARK-40291] [SC-110085][SQL] تحسين الرسالة للعمود غير الموجود في خطأ عبارة تجميع حسب
• [SPARK-40398] [SC-110762][CORE][SQL] استخدام التكرار الحلقي بدلا من Arrays.stream api
• [SPARK-40433] [SC-110684][SS][PYTHON] أضف إلىJVMRow في PythonSQLUtils لتحويل صف PySpark المخلل إلى صف JVM
• [SPARK-40414] [SC-110568][SQL][PYTHON] نوع أكثر عمومية على PythonArrowInput وPythonArrowOutput
• [SPARK-40352] [SC-109945][SQL] إضافة أسماء مستعارة للدالة: len و datepart و dateadd و date_diff و curdate
• [SPARK-40470] [SC-110761][SQL] معالجة GetArrayStructFields و GetMapValue في دالة "arrays_zip"
• [SPARK-40387] [SC-110685][SQL] تحسين تنفيذ Spark Decimal
• [SPARK-40429] [SC-110675][SQL] تعيين KeyGroupedPartitioning فقط عندما يكون العمود المشار إليه في الإخراج
• [SPARK-40432] [SC-110716][SS][PYTHON] تقديم GroupStateImpl وGroupStateTimeout في PySpark
• [SPARK-39915] [SC-110496][SQL] تأكد من تحديد المستخدم لتقسيم الإخراج في AQE
• [SPARK-29260] [SQL] الدعم ALTER DATABASE SET LOCATION إذا كان HMS يدعم
• [SPARK-40185] [SC-110056][SQL] إزالة اقتراح العمود عندما تكون قائمة المرشحين فارغة
• [SPARK-40362] [SC-110401][SQL] إصلاح المتعارف عليه في BinaryComparison
• [SPARK-40411] [SC-110381][SS] إعادة بناء التعليمات البرمجية FlatMapGroupsWithStateExec ليكون لها سمة أصل
• [SPARK-40293] [SC-110084][SQL] جعل رسالة خطأ الجدول V2 أكثر معنى
• [SPARK-38734] [SC-110383][SQL] إزالة فئة الخطأ INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][SQL] إصلاح أسماء الأعمدة في الدالة "arrays_zip" عند الإشارة إلى الصفائف من البنيات المتداخلة
• [SPARK-40276] [SC-109674][CORE] تقليل حجم نتيجة RDD.takeOrdered
• [SPARK-40197] [SC-109176][SQL] استبدال خطة الاستعلام بسياق MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][SQL] الترحيل إلى DATATYPE_MISMATCH فئة الخطأ
• [SPARK-40149] [SC-110055][SQL] نشر أعمدة بيانات التعريف من خلال Project
• [SPARK-40280] [SC-110146][SQL] إضافة دعم للدفع لأسفل parquet لل int مشروح وطويل
• [SPARK-40220] [SC-110143][SC-109175][SQL] عدم إخراج الخريطة الفارغة لمعلمات رسالة الخطأ
• [SPARK-40295] [SC-110070][SQL] السماح بوظائف v2 مع args الحرفية في توزيع/ترتيب الكتابة
• [SPARK-40156] [SC-109264][SQL] url_decode() يجب أن ترجع فئة خطأ
• [SPARK-39195] [SQL] يجب أن يجهض Spark OutputCommitCoordinator المرحلة عندما يكون الملف الملتزم به غير متناسق مع حالة المهمة
• [SPARK-40260] [SC-109424][SQL] استخدام فئات الخطأ في أخطاء التحويل البرمجي لموضع GROUP BY
• [SPARK-40205] [SC-110144][SC-109082][SQL] توفير سياق استعلام ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][SQL] تحسين الدالة TO_BINARY()
• [SPARK-40209] [SC-109081][SQL] لا تغير قيمة الفاصل الزمني للعدد العشري في changePrecision() عند حدوث أخطاء
• [SPARK-40319] [SC-109873][SQL] إزالة أسلوب خطأ تنفيذ الاستعلام المكرر PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][SQL] يجب أن يطرح try_add/try_divide/try_subtract/try_multiply الرقمية خطأ من أطفالهم
• [SPARK-40183] [SC-108907][SQL] استخدام NUMERIC_VALUE_OUT_OF_RANGE فئة الخطأ للتجاوز في التحويل العشري
• [SPARK-40180] [SC-109069][SQL] تنسيق رسائل الخطأ حسب spark-sql
• [SPARK-40153] [SC-109165][SQL] توحيد دالات الحل والدالات ذات القيمة الجدولية
• [SPARK-40308] [SC-109880][SQL] السماح لوسائط المحدد غير القابلة للطي بالوظيفة str_to_map
• [SPARK-40219] [SC-110052][SC-109663][SQL] يجب أن تحتوي الخطة المنطقية للعرض الذي تم حله على المخطط لتجنب البحث المتكرر
• [SPARK-40098] [SC-109939][SC-108693][SQL] تنسيق رسائل الخطأ في Thrift Server
• [SPARK-39917] [SC-109038][SQL] استخدام فئات خطأ مختلفة للتجاوز الحسابي الرقمي/الفاصل الزمني
• [SPARK-40033] [SC-109875][SQL] دعم تنقيح المخطط المتداخل من خلال element_at
• [SPARK-40194] [SC-109660][SQL] يجب أن تقوم الدالة SPLIT على regex الفارغة باقتطاع سلسلة فارغة لاحقة.
• [SPARK-40228] [SC-109835][SQL] لا تبسط multiLike إذا لم يكن الطفل تعبيرا رخيصة
• [SPARK-40039] [SC-109896][SC-109260][SS] تقديم مدير ملفات نقطة التحقق المتدفقة استنادا إلى واجهة Hadoop القابلة للاجهاض
• [SPARK-40285] [SC-109679][SQL] roundTo[Numeric] تبسيط ل Spark Decimal
• [SPARK-39896] [SC-109658][SQL] يجب أن يعمل UnwrapCastInBinaryComparison عند فشل القيمة الحرفية ل In/InSet downcast
• [SPARK-40040] [SC-109662][SQL] دفع الحد المحلي إلى كلا الجانبين إذا كان شرط الانضمام فارغا
• [SPARK-40055] [SC-109075][SQL] يجب أن ترجع listCatalogs أيضا spark_catalog حتى عندما يكون تنفيذ spark_catalog هو defaultSessionCatalog
• [SPARK-39915] [SC-109391][SQL] قد لا تقوم Dataset.repartition(N) بإنشاء أجزاء N غير AQE
• [SPARK-40207] [SC-109401][SQL] حدد اسم العمود عندما لا يكون نوع البيانات معتمدا من قبل مصدر البيانات
• [SPARK-40245] [SC-109295][SQL] إصلاح التحقق من المساواة FileScan عند عدم قراءة أعمدة تصفية الأقسام أو البيانات
• [SPARK-40113] [SC-109405][SQL] تطبيقات واجهة Reactor ParquetScanBuilder DataSourceV2
• [SPARK-40211] [SC-109226][CORE][SQL] السماح بتخصيص رقم الأقسام الأولية في سلوك take()
• [SPARK-40252] [SC-109379][SQL] استبدال Stream.collect(Collectors.joining) بواجهة StringJoiner برمجة التطبيقات
• [SPARK-40247] [SC-109272][SQL] إصلاح التحقق من المساواة في BitSet
• [SPARK-40067] [SQL] استخدم Table#name() بدلا من Scan#name() لملء اسم الجدول في عقدة BatchScan في SparkUI
• [SPARK-39966] [SQL] استخدام عامل تصفية V2 في SupportsDelete
• [SPARK-39607] [SC-109268][SQL][DSV2] يدعم التوزيع وترتيب الدالة V2 كتابة
• [SPARK-40224] [SC-109271][SQL] جعل ObjectHashAggregateExec يصدر الذاكرة بفارغ الصبر عند الرجوع إلى القائمة على الفرز
• [SPARK-40013] [SQL] يجب أن يكون لتعبيرات DS V2 الافتراضية toString
• [SPARK-40214] [SC-109079][PYTHON][SQL] إضافة "get" إلى الوظائف
• [SPARK-40192] [SC-109089][SQL][ML] إزالة المجموعة الزائدة عن الحاجة
• [SPARK-40146] [SC-108694][SQL] ببساطة codegen للحصول على قيمة الخريطة
• [SPARK-40109] [SQL] دالة SQL جديدة: get()
• [SPARK-39929] [SQL] يدعم DS V2 دفع دالات السلسلة لأسفل (غير ANSI)
• [SPARK-39819] [SQL] يمكن أن يعمل الدفع التجميعي DS V2 مع Top N أو Paging (فرز مع التعبيرات)
• [SPARK-40213] [SC-109077][SQL] دعم تحويل قيمة ASCII للأحرف اللاتينية 1
• [SPARK-39887] [SQL] يجب أن تحتفظ RemoveRedundantAliases بأسماء مستعارة تجعل إخراج عقد الإسقاط فريدا
• [SPARK-39764] [SQL] جعل عملية فعلية مماثلة ل ScanOperation
• [SPARK-39964] [SQL] يجب أن تعمل عملية الدفع DS V2 على توحيد مسار الترجمة
• [SPARK-39528] [SQL] استخدام عامل تصفية V2 في SupportsRuntimeFiltering
• [SPARK-40066] [SQL] وضع ANSI: إرجاع القيمة الفارغة دائما عند الوصول غير الصالح إلى عمود الخريطة
• [SPARK-39912] [SPARK-39828][SQL] تحسين CatalogImpl
• [SPARK-39833] [SC-108736][SQL] تعطيل فهرس عمود Parquet في DSv1 لإصلاح مشكلة تصحيح في حالة تداخل الأقسام وأعمدة البيانات
• [SPARK-39880] [SQL] يجب أن يطبع الأمر V2 SHOW FUNCTIONS اسم الدالة المؤهلة مثل v1
• [SPARK-39767] [SQL] إزالة اسم كائن ثنائي كبير الحجم لم يتم حله وإضافة معرف غير محلول
• [SPARK-40163] [SC-108740][SQL] feat: SparkSession.config(Map)
• [SPARK-40136] [SQL] إصلاح جزء سياقات استعلام SQL
• [SPARK-40107] [SC-108689][SQL] سحب التحويل الفارغ2null من FileFormatWriter
• [SPARK-40121] [PYTHON][SQL] تهيئة الإسقاط المستخدم ل Python UDF
• [SPARK-40128] [SQL] جعل VectorizedColumnReader يتعرف على DELTA_LENGTH_BYTE_ARRAY كترميز عمود مستقل
• [SPARK-40132] [ML] استعادة rawPredictionCol إلى MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][SQL] تحسين EliminateSorts لدعم إزالة الفرز عبر LocalLimit
• [SPARK-39629] [SQL] دعم v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][SQL] إضافة تحميل زائد array_sort (عمود، مقارن) إلى عمليات DataFrame
• [SPARK-40117] [PYTHON][SQL] تحويل الشرط إلى java في DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] تحسين إعادة الجزاء في ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] إضافة اسم كتالوج جلسة العمل لجدول ودالة قاعدة البيانات v1
• [SPARK-39889] [SQL] استخدام فئات خطأ مختلفة للفاصل الرقمي/الفاصل الزمني مقسوما على 0
• [SPARK-39741] [SQL] دعم ترميز/فك ترميز url كدالة مضمنة ووظائف مرتبطة ب url مرتبة
• [SPARK-40102] [SQL] استخدام SparkException بدلا من IllegalStateException في SparkPlan
• [SPARK-40014] [SQL] دعم تحويل المنازل العشرية إلى فواصل ANSI
• [SPARK-39776] [SQL][متابعة] تحديث UT من PlanStabilitySuite في وضع ANSI
• [SPARK-39963] [SQL] تبسيط SimplifyCasts.isWiderCast

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 11.3.

بيئة النظام

• نظام التشغيل: Ubuntu 20.04.5 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.19
• R: 4.1.3
• Delta Lake: 2.1.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2022-09-08.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)