Databricks Runtime 15.4 LTS

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 15.4 LTS، مدعوما ب Apache Spark 3.5.0.

أصدرت Databricks هذا الإصدار في أغسطس 2024.

التغيرات السلوكية

• VARIANT يؤدي استخدام كنوع إدخال أو إخراج مع Python UDF أو UDAF أو UDTF إلى طرح استثناء
• التغيير إلى وضع ربط المخطط الافتراضي لطرق العرض
• عدم السماح باستخدام بناء الجملة غير الموثق ! بدلا من NOT التعبيرات المنطقية الخارجية
• عدم السماح ببناء جملة تعريف العمود غير الموثق في طرق العرض
• معالجة الأخطاء المتسقة لفك ترميز Base64 في Spark و Photon
• تؤدي إضافة قيد CHECK على عمود غير صالح الآن إلى إرجاع UNRESOLVED_COLUMN. فئة الخطأ WITH_SUGGESTION

VARIANT يؤدي استخدام كنوع إدخال أو إخراج مع Python UDF أو UDAF أو UDTF إلى طرح استثناء

[كسر التغيير] في Databricks Runtime 15.3 وما فوق، يؤدي استدعاء أي دالة معرفة من قبل مستخدم Python (UDF) أو دالة تجميعية معرفة من قبل المستخدم (UDAF) أو دالة جدول معرفة من قبل المستخدم (UDTF) تستخدم VARIANT نوعا كوسيطة أو قيمة إرجاع إلى طرح استثناء. يتم إجراء هذا التغيير لمنع المشكلات التي قد تحدث بسبب قيمة غير صالحة تم إرجاعها بواسطة إحدى هذه الدالات. لمعرفة المزيد حول VARIANT النوع، راجع استخدام VARIANTs لتخزين البيانات شبه المنظمة.

التغيير إلى وضع ربط المخطط الافتراضي لطرق العرض

تتكيف طرق العرض الآن مع تغييرات المخطط في الاستعلام الأساسي باستخدام تعويض المخطط مع قواعد التحويل العادية. هذا تغيير عن الوضع الافتراضي BINDING السابق، والذي أثار أخطاء عند تعذر إجراء تحويل آمن عند الرجوع إلى طريقة العرض.

راجع الدالة CREATE VIEW و cast.

عدم السماح باستخدام بناء الجملة غير الموثق ! بدلا من NOT التعبيرات المنطقية الخارجية

مع هذا الإصدار، لم يعد يسمح باستخدام ! كمرادف لتعبيرات NOT منطقية خارج. على سبيل المثال، عبارات مثل ما يلي: CREATE ... IF ! EXISTS، IS ! NULL، ! NULL وعمود أو خاصية حقل، ! IN و! BETWEEN، يجب استبدال ب: CREATE ... IF NOT EXISTSو IS NOT NULLو NOT NULL و خاصية عمود أو حقل وNOT IN.NOT BETWEEN

يضمن هذا التغيير التناسق، ويتوافق مع معيار SQL، ويجعل SQL الخاص بك أكثر قابلية للنقل.

عامل تشغيل ! البادئة المنطقية (على سبيل المثال، !is_mgr أو !(true AND false)) غير متأثر بهذا التغيير.

عدم السماح ببناء جملة تعريف العمود غير الموثق في طرق العرض

يدعم Databricks CREATE VIEW مع الأعمدة المسماة وتعليقات الأعمدة. في السابق، تم السماح بمواصفات أنواع NOT NULL الأعمدة أو القيود أو DEFAULT . مع هذا الإصدار، لم يعد بإمكانك استخدام بناء الجملة هذا.

يضمن هذا التغيير التناسق، ويتوافق مع معيار SQL، ويدعم التحسينات المستقبلية.

معالجة الأخطاء المتسقة لفك ترميز Base64 في Spark و Photon

يغير هذا الإصدار كيفية معالجة Photon لأخطاء فك ترميز Base64 لمطابقة معالجة Spark لهذه الأخطاء. قبل هذه التغييرات، فشل مسار إنشاء التعليمات البرمجية Photon وSpark في بعض الأحيان في رفع استثناءات التحليل، بينما فسر Spark التنفيذ بشكل صحيح أو IllegalArgumentException ConversionInvalidInputError. يضمن هذا التحديث أن Photon يثير باستمرار نفس الاستثناءات مثل Spark أثناء أخطاء فك ترميز Base64، ما يوفر معالجة أخطاء أكثر قابلية للتنبؤ وموثوقية.

تؤدي إضافة قيد CHECK على عمود غير صالح الآن إلى إرجاع UNRESOLVED_COLUMN. فئة الخطأ WITH_SUGGESTION

لتوفير رسائل خطأ أكثر فائدة، في Databricks Runtime 15.3 وما فوق، ALTER TABLE ADD CONSTRAINT ترجع عبارة تتضمن قيدا CHECK يشير إلى اسم عمود غير صالح UNRESOLVED_COLUMN. WITH_SUGGESTION فئة الخطأ. في السابق، INTERNAL_ERROR تم إرجاع .

ميزات وتحسينات جديدة

• دالات التحقق من صحة UTF-8
• to_avro ووظائف from_avro
• واجهات برمجة تطبيقات مجموعة البيانات التي تم كتابتها باستخدام Scala UDFs
• تمكين UniForm Iceberg باستخدام ALTER TABLE
• الدالة try_url_decode
• السماح للمحسن بالاعتماد على قيود المفتاح الخارجي غير المفروضة اختياريا
• يتم تشغيل المهمة المتوازية للكتابة فوق الانتقائية
• تحسين الأداء لتغيير موجز البيانات مع الكتابة فوق انتقائية
• زمن انتقال الاستعلام المحسن للأمر COPY INTO
• دعم إسقاط ميزة جدول قيود التحقق
• تدعم حوسبة المستخدم الفردي التحكم الدقيق في الوصول وطرق العرض المجسدة وجداول الدفق (معاينة عامة)
• دعم موسع لمكتبات Java وSc scala
• دعم موسع لعمليات Scala Dataset
• Scala هو GA على الحوسبة المشتركة في كتالوج Unity
• الوصول المحكوم بكتالوج Unity إلى الخدمات السحابية الخارجية باستخدام بيانات اعتماد الخدمة (معاينة عامة)

دالات التحقق من صحة UTF-8

يقدم هذا الإصدار الوظائف التالية للتحقق من صحة سلاسل UTF-8:

• is_valid_utf8 التحقق ما إذا كانت السلسلة سلسلة UTF-8 صالحة.
• make_valid_utf8 تحويل سلسلة UTF-8 غير صالحة محتملة إلى سلسلة UTF-8 صالحة باستخدام أحرف الاستبدال
• validate_utf8 يثير خطأ إذا لم يكن الإدخال سلسلة UTF-8 صالحة.
• ترجع NULL try_validate_utf8 إذا لم يكن الإدخال سلسلة UTF-8 صالحة.

to_avro ووظائف from_avro

تسمح وظائف to_avro from_avro بتحويل أنواع SQL إلى بيانات Avro الثنائية والعودة.

واجهات برمجة تطبيقات مجموعة البيانات التي تم كتابتها باستخدام Scala UDFs

يتضمن هذا الإصدار دعما إضافي لواجهات برمجة تطبيقات مجموعة البيانات التي تم كتابتها مع وظائف Scala المعرفة من قبل المستخدم (باستثناء الوظائف التجميعية المعرفة من قبل المستخدم) على الحوسبة الممكنة بواسطة كتالوج Unity مع وضع الوصول المشترك. راجع واجهات برمجة تطبيقات مجموعة البيانات التي تم كتابتها.

تمكين UniForm Iceberg باستخدام ALTER TABLE

يمكنك الآن تمكين UniForm Iceberg على الجداول الموجودة دون إعادة كتابة ملفات البيانات. راجع تمكين عن طريق تغيير جدول موجود.

الدالة try_url_decode

يقدم هذا الإصدار الدالة try_url_decode ، والتي تفك ترميز سلسلة مرمزة بعنوان URL. إذا لم تكن السلسلة بالتنسيق الصحيح، ترجع NULL الدالة بدلا من رفع خطأ.

السماح للمحسن بالاعتماد على قيود المفتاح الخارجي غير المفروضة اختياريا

لتحسين أداء الاستعلام، يمكنك الآن تحديد الكلمة الأساسية على RELY FOREIGN KEY القيود عند إنشاء جدول أو تعديله .

يتم تشغيل المهمة المتوازية للكتابة فوق الانتقائية

الكتابة فوق الانتقائية باستخدام replaceWhere تشغيل المهام الآن التي تحذف البيانات وتدرج بيانات جديدة بالتوازي، ما يحسن أداء الاستعلام واستخدام نظام المجموعة.

تحسين الأداء لتغيير موجز البيانات مع الكتابة فوق انتقائية

لم تعد الكتابة فوق الانتقائية باستخدام replaceWhere على الجداول التي تحتوي على موجز بيانات التغيير تكتب ملفات بيانات تغيير منفصلة للبيانات المدرجة. تستخدم هذه العمليات عمودا مخفيا _change_type موجودا في ملفات بيانات Parquet الأساسية لتسجيل التغييرات دون تضخيم الكتابة.

زمن انتقال الاستعلام المحسن للأمر COPY INTO

يتضمن هذا الإصدار تغييرا يحسن زمن انتقال الاستعلام للأمر COPY INTO . يتم تنفيذ هذا التحسين عن طريق جعل تحميل الحالة بواسطة مخزن حالة RocksDB غير متزامن. مع هذا التغيير، يجب أن تشاهد تحسنا في أوقات البدء للاستعلامات ذات الحالات الكبيرة، مثل الاستعلامات التي تحتوي على عدد كبير من الملفات التي تم استيعابها بالفعل.

دعم إسقاط ميزة جدول قيود التحقق

يمكنك الآن إسقاط checkConstraints ميزة الجدول من جدول Delta باستخدام ALTER TABLE table_name DROP FEATURE checkConstraints. راجع تعطيل قيود التحقق.

تدعم حوسبة المستخدم الفردي التحكم الدقيق في الوصول وطرق العرض المجسدة وجداول الدفق (معاينة عامة)

عند تمكين مساحة عمل للحساب بلا خادم، يضيف Databricks Runtime 15.4 LTS دعما للتحكم في الوصول الدقيق على حساب مستخدم واحد. عندما يصل استعلام إلى أي من الكائنات التالية، يمرر مورد حساب مستخدم واحد على Databricks Runtime 15.4 LTS الاستعلام إلى الحساب بلا خادم لتشغيل تصفية البيانات:

• طرق العرض المعرفة عبر الجداول التي لا يتمتع فيها المستخدم بالامتياز SELECT .
• طرق العرض الديناميكية.
• الجداول التي تم تطبيق عوامل تصفية الصفوف أو أقنعة الأعمدة عليها.
• طرق العرض المجسدة وجداول الدفق.

هذه الاستعلامات غير مدعومة على حساب مستخدم واحد يقوم بتشغيل Databricks Runtime 15.3 وما دونه.

لمزيد من المعلومات، راجع التحكم في الوصول الدقيق على حساب مستخدم واحد.

دعم موسع لمكتبات Java وSc scala

بدءا من Databricks Runtime 15.4 LTS، تتوفر جميع مكتبات Java و Scala المجمعة مع Databricks Runtime في جميع أوضاع الوصول إلى الحوسبة عند استخدام كتالوج Unity. لمعرفة المزيد حول دعم اللغة على الحوسبة الممكنة لكتالوج Unity، راجع قيود وضع الوصول إلى الحساب لكتالوج Unity.

دعم موسع لعمليات Scala Dataset

مع هذا الإصدار، تدعم موارد الحوسبة الممكنة لكتالوج Unity التي تستخدم وضع الوصول المشترك عمليات Scala Dataset التالية: mapو mapPartitionsforeachPartitionflatMapreduce filter.

Scala هو GA على الحوسبة المشتركة في كتالوج Unity

مع هذا الإصدار، يتوفر Scala بشكل عام على الحوسبة الممكنة لكتالوج Unity لوضع الوصول المشترك، بما في ذلك دعم الوظائف العددية المعرفة من قبل المستخدم (UDFs). الدفق المنظم، وHive UDFs، والوظائف التجميعية المعرفة من قبل مستخدم Apache Hive غير مدعومة. للحصول على قائمة كاملة بالقيود، راجع حساب قيود وضع الوصول لكتالوج Unity.

الوصول المحكوم بكتالوج Unity إلى الخدمات السحابية الخارجية باستخدام بيانات اعتماد الخدمة (معاينة عامة)

تمكن بيانات اعتماد الخدمة المصادقة البسيطة والآمنة مع خدمات مستأجر السحابة باستخدام الهويات المدارة من Azure (MI) و كتالوج Unity. راجع إدارة الوصول إلى الخدمات السحابية الخارجية باستخدام بيانات اعتماد الخدمة.

إصلاح الأخطاء

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • azure-core من 1.30.1 إلى 1.30.2
  • google-auth من 2.29.0 إلى 2.31.0
  • google-cloud-storage من 2.16.0 إلى 2.17.0
  • google-resumable-media من 2.7.0 إلى 2.7.1
  • googleapis-common-protos من 1.63.0 إلى 1.63.2
  • mlflow-skinny من 2.11.3 إلى 2.11.4
  • proto-plus من 1.23.0 إلى 1.24.0
  • s3transfer من 0.10.1 إلى 0.10.2
• مكتبات R التي تمت ترقيتها:
• مكتبات Java التي تمت ترقيتها:
  • com.databricks.databricks-sdk-java من 0.17.1 إلى 0.27.0
  • com.ibm.icu.icu4j من 72.1 إلى 75.1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider من 1.6.1-linux-x86_64 إلى 1.6.2-linux-x86_64

Apache Spark

يتضمن Databricks Runtime 15.4 LTS Apache Spark 3.5.0. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 15.3، وإصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-48503] [DBRRM-1150][SC-172196][SQL] السماح بتجميع التعبيرات في الاستعلامات الفرعية العددية، إذا كانت مرتبطة بصفوف خارجية
• [SPARK-48834] [سلوك-79][SC-170972][SQL] تعطيل الإدخال/الإخراج المتغير إلى UDFs العددية Python، UDTFs، UDAFs أثناء تجميع الاستعلام
• [SPARK-48441] [SC-170980][SQL][WARMFIX] إصلاح سلوك StringTrim للترميزات غير UTF8_BINARY
• [SPARK-48440] [SC-170895][SQL][WARMFIX] إصلاح سلوك StringTranslate للتدوينات غير UTF8_BINARY
• [SPARK-48872] [SC-170866][PYTHON] تقليل النفقات العامة _capture_call_site
• [SPARK-48862] [SC-170845][PYTHON][CONNECT] تجنب الاتصال _proto_to_string عندما لا يتم تمكين مستوى المعلومات
• [SPARK-48852] [SC-170837][CONNECT] إصلاح دالة اقتطاع السلسلة في الاتصال
• [SPARK-48791] [SC-170658][CORE] إصلاح الانحدار الناتج عن حمل تسجيل المجمعات باستخدام CopyOnWriteArrayList
• [SPARK-48118] [SQL] دعم SPARK_SQL_LEGACY_CREATE_HIVE_TABLE متغير env
• [SPARK-48241] [SC-165811][SQL] فشل تحليل CSV مع أعمدة نوع char/varchar
• [SPARK-48168] [SC-166900][SQL] إضافة دعم عوامل تشغيل تغيير البت
• [SPARK-48148] [SC-165630][CORE] يجب عدم تعديل كائنات JSON عند قراءتها كسلسلة
• [SPARK-46625] [SC-170561] CTE مع عبارة Identifier كمرجع
• [SPARK-48771] [SC-170546][SQL] تسريع LogicalPlanIntegrity.validateExprIdUniqueness خطط الاستعلام الكبيرة
• [SPARK-48831] [سلوك-76][SC-170554][CONNECT] جعل اسم العمود الافتراضي متوافقا cast مع Spark Classic
• [SPARK-48623] [SC-170544][CORE] عمليات ترحيل التسجيل المنظمة [الجزء 2]
• [SPARK-48296] [SC-166138][SQL] دعم Codegen ل to_xml
• [SPARK-48027] [SC-165154][SQL] يجب على InjectRuntimeFilter للانضمام متعدد المستويات التحقق من نوع الصلة التابعة
• [SPARK-48686] [SC-170365][SQL] تحسين أداء ParserUtils.unescapeSQLString
• [SPARK-48798] [SC-170588][PYTHON] تقديم spark.profile.render التنميط المستند إلى SparkSession
• [SPARK-48048] [SC-169099] إرجاع "[SC-164846][CONNECT][SS] تمت إضافة دعم وحدة الإصغاء من جانب العميل ل Scala"
• [SPARK-47910] [SC-168929][CORE] إغلاق الدفق عند إغلاق DiskBlockObjectWriterResources لتجنب تسرب الذاكرة
• [SPARK-48816] [SC-170547][SQL] اختصار محولات الفاصل الزمني في UnivocityParser
• [SPARK-48589] [SC-170132][SQL][SS] إضافة خيار snapshotStartBatchId و snapshotPartitionId إلى مصدر بيانات الحالة
• [SPARK-48280] [SC-170293][SQL] تحسين منطقة سطح اختبار الترتيب باستخدام تعبير المشي
• [SPARK-48837] [SC-170540][ML] في CountVectorizer، اقرأ المعلمة الثنائية مرة واحدة فقط لكل تحويل، وليس مرة واحدة لكل صف
• [SPARK-48803] [SC-170541][SQL] طرح خطأ داخلي في مسلسل Orc(De) للمحاذاة مع ParquetWriteSupport
• [SPARK-48764] [SC-170129][PYTHON] تصفية الإطارات المتعلقة ب IPython من مكدس المستخدم
• [SPARK-48818] [SC-170414][PYTHON] تبسيط percentile الوظائف
• [SPARK-48479] [SC-169079][SQL] دعم إنشاء SQL UDFs عددية وجدول في المحلل
• [SPARK-48697] [SC-170122][LC-4703][SQL] إضافة عوامل تصفية سلسلة مدركة للترقية
• [SPARK-48800] [SC-170409][CONNECT][SS] Deflake ClientStreamingQuerySuite
• [SPARK-48738] [SC-169814][SQL] صحيح منذ إصدار الاسم المستعار randomالمرح المضمن و positionو modو cardinalityو current_schemaو userو session_userوchar_length و وcharacter_length
• [SPARK-48638] [SC-169575][CONNECT] إضافة دعم ExecutionInfo ل DataFrame
• [SPARK-48064] [SC-164697][SQL] تحديث رسائل الخطأ لفئات الخطأ ذات الصلة الروتينية
• [SPARK-48810] [CONNECT] يجب أن تكون واجهة برمجة تطبيقات Session stop() غير متكررة ولا تفشل إذا تم إغلاق الجلسة بالفعل بواسطة الخادم
• [SPARK-48650] [15.x][PYTHON] عرض موقع مكالمة صحيح من دفتر ملاحظات IPython
• [SPARK-48271] [SC-166076][SQL] تحويل خطأ المطابقة في RowEncoder إلى UNSUPPORTED_DATA_TYPE_FOR_ENCODER
• [SPARK-48709] [SC-169603][SQL] إصلاح عدم تطابق دقة نوع varchar ل DataSourceV2 CTAS
• [SPARK-48792] [SC-170335][SQL] إصلاح الانحدار ل INSERT مع قائمة أعمدة جزئية إلى جدول يحتوي على char/varchar
• [SPARK-48767] [SC-170330][SQL] إصلاح بعض مطالبات الخطأ عندما variant تكون بيانات النوع غير صالحة
• [SPARK-48719] [SC-170339][SQL] إصلاح خطأ الحساب ل RegrSlope عندما RegrIntercept تكون المعلمة الأولى خالية
• [SPARK-48815] [SC-170334][CONNECT] تحديث البيئة عند إيقاف جلسة الاتصال
• [SPARK-48646] [SC-169020][PYTHON] تحسين معرف API لمصدر بيانات Python وكتابة تلميحات
• [SPARK-48806] [SC-170310][SQL] تمرير الاستثناء الفعلي عند فشل url_decode
• [SPARK-47777] [SC-168818] إصلاح اختبار اتصال مصدر بيانات تدفق python
• [SPARK-48732] [SC-169793][SQL] تنظيف استخدام واجهة برمجة التطبيقات المهملة المتعلقة JdbcDialect.compileAggregate
• [SPARK-48675] [SC-169538][SQL] إصلاح جدول ذاكرة التخزين المؤقت مع عمود مرتب
• [SPARK-48623] [SC-169034][CORE] عمليات ترحيل التسجيل المنظمة
• [SPARK-48655] [SC-169542][SQL] SPJ: إضافة اختبارات لتخطي التبديل العشوائي للاستعلامات المجمعة
• [SPARK-48586] [SC-169808][SS] إزالة الحصول على التأمين في doMaintenance() عن طريق إجراء نسخة عميقة من تعيينات الملفات في RocksDBFileManager في التحميل()
• [SPARK-48799] [Backport][15.x][SC-170283][SS] إعادة بناء التعليمات البرمجية لإصدار بيانات تعريف عامل التشغيل للقراءة/الكتابة والمتصلين
• [SPARK-48808] [SC-170309][SQL] إصلاح NPE عند توصيل thriftserver من خلال Hive 1.2.1 ومخطط النتيجة فارغ
• [SPARK-48715] [SC-170291][SQL] دمج التحقق من صحة UTF8String في تطبيقات دالة السلسلة المدركة للترجيم
• [SPARK-48747] [SC-170120][SQL] إضافة مكرر نقطة التعليمات البرمجية إلى UTF8String
• [SPARK-48748] [SC-170115][SQL] ذاكرة التخزين المؤقت numChars في UTF8String
• [SPARK-48744] [SC-169817][الذاكرة الأساسية] يجب إنشاء إدخال السجل مرة واحدة فقط
• [SPARK-46122] [SC-164313][SQL] تعيين spark.sql.legacy.createHiveTableByDefault إلى false بشكل افتراضي
• [SPARK-48765] [SC-170119][نشر] تحسين تقييم القيمة الافتراضية SPARK_IDENT_STRING
• [SPARK-48759] [SC-170128][SQL] إضافة مستند ترحيل ل CREATE TABLE AS SELECT تغيير سلوك تغيير السلوك منذ Spark 3.4
• [SPARK-48598] [SC-169484][PYTHON][CONNECT] نشر المخطط المخزن مؤقتا في عمليات إطار البيانات
• [SPARK-48766] [SC-170126][PYTHON] توثيق الفرق السلوكي extraction بين element_at و try_element_at
• [SPARK-48768] [SC-170124][PYTHON][CONNECT] يجب ألا يتم تخزينها مؤقتا explain
• [SPARK-48770] [Backport][15.x][SC-170133][SS] قم بالتغيير لقراءة بيانات تعريف المشغل مرة واحدة على برنامج التشغيل للتحقق مما إذا كان يمكننا العثور على معلومات ل numColsPrefixKey المستخدم لاستعلامات agg لنافذة الجلسة
• [SPARK-48656] [SC-169529][CORE] إجراء فحص طول وطرح خطأ COLLECTION_SIZE_LIMIT_EXCEEDED في CartesianRDD.getPartitions
• [SPARK-48597] [SC-168817][SQL] تقديم علامة لخاصية isStreaming في التمثيل النصي للخطة المنطقية
• [SPARK-48472] [SC-169044][SQL] تمكين تعبيرات العاكسة باستخدام سلاسل مجمعة
• [SPARK-48699] [SC-169597][SQL] تحسين واجهة برمجة تطبيقات الترتيب
• [SPARK-48682] [SC-169812][SQL][سلوك-58] استخدام ICU في تعبير InitCap لسلاسل UTF8_BINARY
• [SPARK-48282] [SC-169813][SQL] تغيير منطق بحث السلسلة UTF8_BINARY_LCASE الترتيب (StringReplace، FindInSet)
• [SPARK-47353] [SC-169599][SQL] تمكين دعم الترتيب لتعبير الوضع
• [SPARK-48320] [SPARK-48490] مزامنة أحدث سمة تسجيل وحالات اختبار من OSS Spark
• [SPARK-48629] [SC-169479] ترحيل التعليمات البرمجية المتبقية إلى إطار عمل تسجيل منظم
• [SPARK-48681] [SC-169469][SQL][سلوك-58] استخدام ICU في التعبيرات السفلية/العليا لسلاسل UTF8_BINARY
• [SPARK-48573] [15.x][SC-169582][SQL] ترقية إصدار ICU
• [SPARK-48687] [Backport][15.x][SS] إضافة تغيير لإجراء التحقق من صحة مخطط الحالة والتحديث على برنامج التشغيل للاستعلامات ذات الحالة
• [SPARK-47579] [15.x][SC-167310][CORE][PART4] ترحيل logInfo مع متغيرات إلى إطار عمل تسجيل منظم
• [SPARK-48008] [SC-167363][1/2] دعم UDAFs في Spark Connect
• [SPARK-48578] [SC-169505][SQL] إضافة الدالات ذات الصلة بالتحقق من صحة سلسلة UTF8
• [SPARK-48670] [SC-169598][SQL] تقديم اقتراح كجزء من رسالة الخطأ عند إعطاء اسم ترتيب غير صحيح
• [SPARK-48059] [SPARK-48145][SPARK-48134][SPARK-48182][SPARK-48209][SPA... … RK-48291] إطار عمل السجل المنظم على جانب java
• [SPARK-47599] [15.x][SC-166000][MLLIB] MLLib: ترحيل logWarn مع متغيرات إلى إطار عمل تسجيل منظم
• [SPARK-48706] [SC-169589][PYTHON] يجب ألا يطرح Python UDF في وظائف الترتيب الأعلى خطأ داخليا
• [SPARK-48498] [سلوك-38][SC-168060][SQL] قم دائما ب ترك مساحة للأحرف في دالات التقييم
• [SPARK-48662] [SC-169533][SQL] إصلاح تعبير StructsToXml مع الترتيب
• [SPARK-48482] [SC-167702][PYTHON][15.x] يجب أن تقبل dropDuplicates وdropDuplicatesWIthinWatermark args لطول المتغير
• [SPARK-48678] [SC-169463][CORE] تحسينات الأداء ل SparkConf.get (ConfigEntry)
• [SPARK-48576] [SQL] إعادة تسمية UTF8_BINARY_LCASE إلى UTF8_LCASE
• [SPARK-47927] [SC-164123][SQL]: إصلاح سمة قابلية القيم الخالية في أداة فك ترميز UDF
• [SPARK-47579] [SC-165297][CORE][PART1] ترحيل logInfo مع المتغيرات إلى إطار عمل تسجيل منظم (جديد)
• [SPARK-48695] [SC-169473][PYTHON] TimestampNTZType.fromInternal عدم استخدام الأساليب المهملة
• [SPARK-48431] [SC-167290][LC-4066][SQL] عدم إعادة توجيه دالات التقييم على الأعمدة المجمعة إلى برامج قراءة الملفات
• [SPARK-47579] إرجاع "[SC-165297][CORE][PART1] ترحيل logInfo مع المتغيرات إلى إطار عمل تسجيل منظم"
• [SPARK-47585] [SC-164306][SQL] SQL core: ترحيل logInfo مع المتغيرات إلى إطار عمل التسجيل المنظم
• [SPARK-48466] [SC-169042][SQL] إنشاء عقدة مخصصة ل EmptyRelation في AQE
• [SPARK-47579] [SC-165297][CORE][PART1] ترحيل logInfo مع متغيرات إلى إطار عمل تسجيل منظم
• [SPARK-48410] [SC-168320][SQL] إصلاح تعبير InitCap UTF8_BINARY_LCASE وICU
• [SPARK-48318] [SC-167709][SQL] تمكين دعم الانضمام إلى التجزئة لجميع الترتيبات (الأنواع المعقدة)
• [SPARK-48435] [SC-168128][SQL] يجب ألا يدعم ترتيب UNICODE المساواة الثنائية
• [SPARK-48555] [SC-169041][SQL][PYTHON][CONNECT] دعم استخدام الأعمدة كمعلمات للعديد من الوظائف في pyspark/scala
• [SPARK-48591] [SC-169081][PYTHON] إضافة دالة مساعد لتبسيطها Column.py
• [SPARK-48574] [SC-169043][SQL] إصلاح الدعم ل StructTypes مع الترتيب
• [SPARK-48305] [SC-166390][SQL] إضافة دعم الترتيب لتعبيرات CurrentLike
• [SPARK-48342] [SC-168941][SQL] مقدمة عن محلل البرمجة النصية SQL
• [SPARK-48649] [SC-169024][SQL] إضافة تكوينات "ignoreInvalidPartitionPaths" و"spark.sql.files.ignoreInvalidPartitionPaths" للسماح بتجاهل مسارات القسم غير الصالحة
• [SPARK-48000] [SC-167194][SQL] تمكين دعم الانضمام إلى التجزئة لجميع الترتيبات (StringType)
• [SPARK-48459] [SC-168947][CONNECT][PYTHON] تنفيذ DataFrameQueryContext في Spark Connect
• [SPARK-48602] [SC-168692][SQL] جعل مولد csv يدعم نمط إخراج مختلف مع spark.sql.binaryOutputStyle
• [SPARK-48283] [SC-168129][SQL] تعديل مقارنة السلسلة UTF8_BINARY_LCASE
• [SPARK-48610] [SC-168830][SQL] إعادة بناء التعليمات البرمجية: استخدم idMap المساعد بدلا من OP_ID_TAG
• [SPARK-48634] [SC-169021][PYTHON][CONNECT] تجنب تهيئة threadpool بشكل ثابت في ExecutePlanResponseReattachableIterator
• [SPARK-47911] [SC-164658][SQL] يقدم BinaryFormatter عالميا لجعل الإخراج الثنائي متسقا
• [SPARK-48642] [SC-168889][CORE] خطأ SparkOutOfMemoryError بسبب مهمة القتل عند الامتداد
• [SPARK-48572] [SC-168844][SQL] إصلاح تعبيرات DateSub و DateAdd و WindowTime و TimeWindow و SessionWindow
• [SPARK-48600] [SC-168841][SQL] إصلاح التعبيرات الضمنية FrameLessOffsetWindowFunction
• [SPARK-48644] [SC-168933][SQL] إجراء فحص طول وطرح خطأ COLLECTION_SIZE_LIMIT_EXCEEDED في Hex.hex
• [SPARK-48587] [SC-168824][متغير] تجنب تضخيم التخزين عند الوصول إلى متغير فرعي
• [SPARK-48647] [SC-168936][PYTHON][CONNECT] تحسين رسالة الخطأ ل YearMonthIntervalType في df.collect
• [SPARK-48307] [SC-167802][SQL] يجب أن يحتفظ InlineCTE بالعلاقات غير المضمنة في عقدة WithCTE الأصلية
• [SPARK-48596] [SC-168581][SQL] تحسين Perf لحساب سلسلة سداسية عشرية لفترة طويلة
• [SPARK-48621] [SC-168726][SQL] إصلاح مثل التبسيط في المحسن للسلاسل المجمعة
• [SPARK-47148] [SC-164179][SQL] تجنب تجسيد AQE ExchangeQueryStageExec عند الإلغاء
• [SPARK-48584] [SC-168579][SQL] تحسين Perf ل unescapePathName
• [SPARK-48281] [SC-167260][SQL] تغيير منطق بحث السلسلة UTF8_BINARY_LCASE الترتيب (StringInStr، SubstringIndex)
• [SPARK-48577] [SC-168826][SQL] استبدال تسلسل UTF-8 بايت غير صحيح
• [SPARK-48595] [SC-168580][CORE] تنظيف استخدام واجهة برمجة التطبيقات المهملة المتعلقة commons-compress
• [SPARK-48030] [SC-164303][SQL] SPJ: ذاكرة التخزين المؤقت rowOrdering وstructType ل InternalRowComparableWrapper
• [SPARK-48004] [SC-164005][SQL] إضافة سمة WriteFilesExecBase للكتابة v1
• [SPARK-48551] [SC-168438][SQL] تحسين Perf ل escapePathName
• [SPARK-48565] [SC-168437][واجهة المستخدم] إصلاح عرض تفريغ مؤشر الترابط في واجهة المستخدم
• [SPARK-48364] [SC-166782][SQL] إضافة تحويل نوع AbstractMapType وإصلاح مخطط معلمة RaiseError للعمل مع السلاسل المجمعة
• [SPARK-48421] [SC-168689][SQL] SPJ: إضافة وثائق
• [SPARK-48604] [SC-168698][SQL] استبدال استدعاء الأسلوب المهمل new ArrowType.Decimal(precision, scale)
• [SPARK-46947] [SC-157561][CORE] تأخير تهيئة مدير الذاكرة حتى يتم تحميل البرنامج المساعد لبرنامج التشغيل
• [SPARK-48411] [SC-168576][SS][PYTHON] إضافة اختبار E2E ل DropDuplicateWithinWatermark
• [SPARK-48543] [SC-168697][SS] تعقب حالات فشل التحقق من صحة صف الحالة باستخدام فئة خطأ صريحة
• [SPARK-48221] [SC-167143][SQL] تغيير منطق بحث السلسلة UTF8_BINARY_LCASE الترتيب (يحتوي على، StartsWith، EndsWith، StringLocate)
• [SPARK-47415] [SC-168441][SQL] إضافة دعم الترتيب لتعبير Levenshtein
• [SPARK-48593] [SC-168719][PYTHON][CONNECT] إصلاح تمثيل سلسلة دالة lambda
• [SPARK-48622] [SC-168710][SQL] احصل على SQLConf مرة واحدة عند حل أسماء الأعمدة
• [SPARK-48594] [SC-168685][PYTHON][CONNECT] إعادة تسمية parent الحقل إلى child في ColumnAlias
• [SPARK-48403] [SC-168319][SQL] إصلاح التعبيرات السفلية والعلوية UTF8_BINARY_LCASE وICU
• [SPARK-48162] [SC-166062][SQL] إضافة دعم الترتيب لتعبيرات MISC
• [SPARK-48518] [SC-167718][CORE] جعل ضغط LZF قادرا على التشغيل بالتوازي
• [SPARK-48474] [SC-167447][CORE] إصلاح اسم فئة السجل في SparkSubmitArgumentsSparkSubmit
• [SPARK-48012] [SC-168267][SQL] SPJ: دعم Transfrom Expressions for One Side Shuffle
• [SPARK-48552] [SC-168212][SQL] يجب أن يطرح استدلال مخطط CSV متعدد الأسطر أيضا FAILED_READ_FILE
• [SPARK-48560] [SC-168268][SS][PYTHON] جعل StreamingQueryListener.spark settable
• [SPARK-48569] [SC-168321][SS][CONNECT] معالجة حالات الحافة في query.name
• [SPARK-47260] [SC-167323][SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_3250
• [SPARK-48564] [SC-168327][PYTHON][CONNECT] نشر المخطط المخزن مؤقتا في عمليات المجموعة
• [SPARK-48155] [SC-165910][SQL] يجب أن يتحقق AQEPropagateEmptyRelation للانضمام مما إذا كان البقاء تابعا هو BroadcastQueryStageExec فقط
• [SPARK-48506] [SC-167720][CORE] الأسماء القصيرة لبرنامج ترميز الضغط غير حساسة لحالة الأحرف باستثناء تسجيل الأحداث
• [SPARK-48447] [SC-167607][SS] تحقق من فئة موفر مخزن الحالة قبل استدعاء الدالة الإنشائية
• [SPARK-47977] [SC-167650] يجب ألا يطرح DateTimeUtils.timestampDiff و DateTimeUtils.timestampAdd استثناء INTERNAL_ERROR
• [SPARK-48513] [Backport][15.x][SC-168085][SS] إضافة فئة خطأ لتوافق مخطط الحالة وإعادة بناء التعليمات البرمجية الثانوية
• [SPARK-48413] [SC-167669][SQL] ALTER COLUMN مع الترتيب
• [SPARK-48561] [SC-168250][PS][CONNECT] طرح PandasNotImplementedError لدالات الرسم غير المعتمدة
• [SPARK-48465] [SC-167531][SQL] تجنب نشر العلاقة الفارغة بدون عملية
• [SPARK-48553] [SC-168166][PYTHON][CONNECT] ذاكرة التخزين المؤقت المزيد من الخصائص
• [SPARK-48540] [SC-168069][CORE] تجنب إعدادات تحميل إخراج اللبلاب إلى stdout
• [SPARK-48535] [SC-168057][SS] تحديث مستندات التكوين للإشارة إلى إمكانية فقدان البيانات/مشكلة تلفها إذا تم تمكين تخطي القيم الخالية لتكوين عمليات ربط دفق البيانات
• [SPARK-48536] [SC-168059][PYTHON][CONNECT] مخطط تحديد مستخدم ذاكرة التخزين المؤقت في applyInPandas وتطبيقInArrow
• [SPARK-47873] [SC-163473][SQL] كتابة سلاسل مجمعة إلى Hive metastore باستخدام نوع السلسلة العادية
• [SPARK-48461] [SC-167442][SQL] استبدال NullPointerExceptions بفئة الخطأ في تعبير AssertNotNull
• [SPARK-47833] [SC-163191][SQL][CORE] توفير مكدس المتصل ل checkAndGlobPathIfNecessary AnalysisException
• [SPARK-47898] [SC-163146][SQL] منفذ HIVE-12270: إضافة دعم DBTokenStore إلى الرمز المميز لتفويض HS2
• [SPARK-47578] [SC-167497][R] ترحيل RPackageUtils مع متغيرات إلى إطار عمل تسجيل منظم
• [SPARK-47875] [SC-162935][CORE] أبعد spark.deploy.recoverySerializer
• [SPARK-47552] [SC-160880][CORE] تعيين spark.hadoop.fs.s3a.connection.establish.timeout إلى 30s إذا كان مفقودا
• [SPARK-47972] [SC-167692][SQL] تقييد تعبير CAST للترقيات
• [SPARK-48430] [SC-167489][SQL] إصلاح استخراج قيمة الخريطة عندما تحتوي الخريطة على سلاسل مجمعة
• [SPARK-47318] [SC-162712][CORE][3.5] يضيف جولة HKDF إلى اشتقاق مفتاح AuthEngine لاتباع ممارسات KEX القياسية
• [SPARK-48503] [سلوك-29][ES-1135236][SQL] إصلاح الاستعلامات الفرعية العددية غير الصحيحة باستخدام تجميع حسب على أعمدة غير مكافئة تم السماح بها بشكل غير صحيح
• [SPARK-48508] [SC-167695][CONNECT][PYTHON] مخطط مستخدم ذاكرة التخزين المؤقت المحدد في DataFrame.{to, mapInPandas, mapInArrow}
• [SPARK-23015] [SC-167188][WINDOWS] إصلاح الخطأ في Windows حيث يؤدي بدء تشغيل مثيلات Spark متعددة في نفس الثانية إلى حدوث فشل
• [SPARK-45891] [SC-167608]Revert " وصف مخطط التقطيع للمتغير"
• [SPARK-48391] [SC-167554][CORE]استخدام addAll بدلا من إضافة دالة في أسلوب fromAccumulatorInfos لفئة TaskMetrics
• [SPARK-48496] [SC-167600][CORE] استخدام مثيلات نمط regex الثابتة في JavaUtils.timeStringAs وJavaUtils.byteStringAs
• [SPARK-48476] [SC-167488][SQL] إصلاح رسالة خطأ NPE ل null delmiter csv
• [SPARK-48489] [SC-167598][SQL] طرح خطأ أفضل يواجه المستخدم عند قراءة مخطط غير قانوني من مصدر بيانات النص
• [SPARK-48471] [SC-167324][CORE] تحسين الوثائق ودليل الاستخدام لخادم المحفوظات
• [SPARK-45891] [SC-167597] وصف مخطط التقطيع للمتغير
• [SPARK-47333] [SC-159043][SQL] استخدام checkInputDataTypes للتحقق من أنواع المعلمات للدالة to_xml
• [SPARK-47387] [SC-159310][SQL] إزالة بعض فئات الخطأ غير المستخدمة
• [SPARK-48265] [ES-1131440][SQL] يجب أن تقوم دفعة حد مجموعة نافذة الاستدلال بالطي المستمر
• [SPARK-47716] [SC-167444][SQL] تجنب تعارض اسم العرض في حالة اختبار الفرز الدلالي SQLQueryTestSuite
• [SPARK-48159] [SC-167141][SQL] توسيع الدعم للسلاسل المجمعة في تعبيرات التاريخ والوقت
• [SPARK-48462] [SC-167271][SQL][الاختبارات] استخدام معSQLConf في الاختبارات: إعادة بناء التعليمات البرمجية HiveQuerySuite وHiveTableScanSuite
• [SPARK-48392] [SC-167195][CORE] spark-defaults.conf تحميل أيضا عند توفيرها --properties-file
• [SPARK-48468] [SC-167417] إضافة واجهة LogicalQueryStage في المحفز
• [SPARK-47578] [SC-164988][CORE] Backport اليدوي ل Spark PR #46309: ترحيل logWarning مع المتغيرات إلى إطار عمل تسجيل منظم
• [SPARK-48415] [SC-167321]إعادة "[PYTHON] إعادة بناء التعليمات البرمجية TypeName لدعم أنواع البيانات ذات المعلمات"
• [SPARK-46544] [SC-151361][SQL] دعم v2 وصف الجدول الموسع مع إحصائيات الجدول
• [SPARK-48325] [SC-166963][CORE] تحديد الرسائل دائما في ExecutorRunner.killProcess
• [SPARK-46841] [SC-167139][SQL] إضافة دعم الترتيب للترجمة المحلية ل ICU ومحددات الترتيب
• [SPARK-47221] [SC-157870][SQL] يستخدم التواقيع من CsvParser إلى AbstractParser
• [SPARK-47246] [SC-158138][SQL] استبدال InternalRow.fromSeq ب new GenericInternalRow لحفظ تحويل مجموعة
• [SPARK-47597] [SC-163932][البث] Backport اليدوي ل Spark PR #46192: Streaming: Migrate logInfo with variables to structured logging framework
• [SPARK-48415] [SC-167130][PYTHON] إعادة بناء التعليمات البرمجية TypeName لدعم أنواع البيانات ذات المعلمات
• [SPARK-48434] [SC-167132][PYTHON][CONNECT] استخدم printSchema المخطط المخزن مؤقتا
• [SPARK-48432] [ES-1097114][SQL] تجنب إلغاء علبة الأعداد الصحيحة في UnivocityParser
• [SPARK-47463] [SC-162840][SQL] استخدام V2Predicate لالتفاف التعبير بنوع الإرجاع المنطقي
• [SPARK-47781] [SC-162293][SQL] معالجة المنازل العشرية السالبة لمصادر بيانات JDBC
• [SPARK-48394] [SC-166966][CORE] Cleanup mapIdToMapIndex على mapoutput unregister
• [SPARK-47072] [SC-156933][SQL] إصلاح تنسيقات الفاصل الزمني المعتمدة في رسائل الخطأ
• [SPARK-47001] [SC-162487][SQL] التحقق من الإيقاف المؤقت في المحسن
• [SPARK-48335] [SC-166387][PYTHON][CONNECT] جعل _parse_datatype_string التوافق مع Spark Connect
• [SPARK-48329] [SC-166518][SQL] تمكين spark.sql.sources.v2.bucketing.pushPartValues.enabled بشكل افتراضي
• [SPARK-48412] [SC-166898][PYTHON] تحليل json لنوع بيانات إعادة بناء التعليمات البرمجية
• [SPARK-48215] [SC-166781][SQL] توسيع الدعم للسلاسل المجمعة على تعبير date_format
• [SPARK-45009] [SC-166873][SQL][متابعة] إضافة فئة خطأ واختبارات لفك ترميز الاستعلامات الفرعية التقييمية في حالة الصلة التي تشير إلى كل من الصلة التابعة
• [SPARK-47960] [SC-165295][SS][15.x] السماح بتسلسل عوامل التشغيل الأخرى ذات الحالة بعد عامل تشغيل transformWithState.
• [SPARK-48340] [SC-166468][PYTHON] يستنتج Support TimestampNTZ خطأ في مخطط prefer_timestamp_ntz
• [SPARK-48157] [SC-165902][SQL] إضافة دعم الترتيب لتعبيرات CSV
• [SPARK-48158] [SC-165652][SQL] إضافة دعم الترتيب لتعبيرات XML
• [SPARK-48160] [SC-166064][SQL] إضافة دعم الترتيب لتعبيرات XPATH
• [SPARK-48229] [SC-165901][SQL] إضافة دعم الترتيب لتعبيرات inputFile
• [SPARK-48367] [SC-166487][CONNECT] إصلاح lint-scala ل scalafmt للكشف عن الملفات لتنسيقها بشكل صحيح
• [SPARK-47858] [SC-163095][SPARK-47852][PYTHON][SQL] إعادة بناء البنية لسياق خطأ DataFrame
• [SPARK-48370] [SC-166787][CONNECT] نقطة التحقق ونقطة الاختيار المحلية في عميل Scala Spark Connect
• [SPARK-48247] [SC-166028][PYTHON] استخدام كافة القيم في الإملاء عند الاستدلال على مخطط MapType
• [SPARK-48395] [SC-166794][PYTHON] إصلاح StructType.treeString الأنواع ذات المعلمات
• [SPARK-48393] [SC-166784][PYTHON] نقل مجموعة من الثوابت إلى pyspark.util
• [SPARK-48372] [SC-166776][SPARK-45716][PYTHON] أنجز StructType.treeString
• [SPARK-48258] [SC-166467][PYTHON][CONNECT] نقطة التحقق ونقطة الاختيار المحلية في Spark Connect

راجع تحديثات صيانة Databricks Runtime 15.4 LTS.

بيئة النظام

• نظام التشغيل: Ubuntu 22.04.4 LTS
• Java: Zulu 8.78.0.19-CA-linux64
• Scala: 2.12.18
• Python: 3.11.0
• R: 4.3.2
• Delta Lake: 3.2.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Posit مدير الحِزَم CRAN.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)