Databricks Runtime 9.0 (EoS)

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 9.0 وDatabricks Runtime 9.0 Photon، مدعوم من Apache Spark 3.1.2. أصدرت Databricks هذا الإصدار في أغسطس 2021. الفوتون في المعاينة العامة.

التصحيح

ذكر إصدار سابق من ملاحظات الإصدار هذه بشكل غير صحيح أنه تمت ترقية تبعيات Apache Parquet من 1.10 إلى 1.12. في الواقع، تظل تبعيات Parquet في الإصدار 1.10. تمت إزالة ملاحظة الإصدار غير الصحيحة.

ميزات وتحسينات جديدة

• واجهة برمجة تطبيقات جديدة للإحصائيات الموجزة لمجموعات البيانات (معاينة عامة)
• تكوين مصدر بيانات خارجي أسهل لموصل Azure Synapse
• تحديد جلسة العمل اختياريا إلى مدة محددة لموصل Amazon Redshift
• محمل تلقائي
• SQL
• دعم R
• تجنب الإعادة عن طريق تحديد الحالة الأولية للمعالجة ذات الحالة المتدفقة المنظمة
• يتوفر الآن تنفيذ تعديل منخفض لأمر Delta MERGE INTO (معاينة عامة)

واجهة برمجة تطبيقات جديدة للإحصائيات الموجزة لمجموعات البيانات (معاينة عامة)

يسمح لك الأمر الجديد dbutils.data.summarize في Databricks Utilities بتشغيل مهمة Spark التي تحسب تلقائيا إحصائيات الملخص على أعمدة Spark DataFrame ثم تعرض النتائج بشكل تفاعلي. تتوفر هذه الدالة في Scala وPython. راجع الأداة المساعدة للبيانات (dbutils.data).

تكوين مصدر بيانات خارجي أسهل لموصل Azure Synapse

يسمح لك الخيار الجديد externalDataSource في Query data في موصل Azure Synapse Analytics باستخدام مصدر بيانات خارجي تم توفيره مسبقا للقراءة من قاعدة بيانات Azure Synapse. يزيل externalDataSource الخيار الحاجة إلى CONTROL الإذن المطلوب مسبقا.

عند تعيين externalDataSource، يجب أن يشير مصدر البيانات الخارجي والخيار tempDir المستخدم لتكوين التخزين المؤقت إلى نفس الحاوية في حساب التخزين.

تحديد جلسة العمل اختياريا إلى مدة محددة لموصل Amazon Redshift

يسمح لك الخيار الجديد fs.s3a.assumed.role.session.duration في Query Amazon Redshift باستخدام موصل Azure Databricks بتعيين مدة للجلسة اختياريا عندما يصل Redshift إلى مستودع S3 المؤقت بدور مفترض.

محمل تلقائي

• قائمة الملفات المحسنة
• تخزين بيانات الصور المحسن
• صور مصغرة للملفات الثنائية (معاينة عامة)
• DirectoryRename تمكن الأحداث المعالجة الذرية لملفات متعددة

قائمة الملفات المحسنة

توفر تحسينات التحميل التلقائي تحسينات في الأداء وتوفير التكاليف عند سرد الدلائل المتداخلة في التخزين السحابي، بما في ذلك AWS S3 وAzure Data Lake Storage Gen2 (ADLS Gen2) وGoogle Cloud Storage (GCS).

على سبيل المثال، إذا كان لديك ملفات يتم تحميلها ك /some/path/YYYY/MM/DD/HH/fileName، للعثور على جميع الملفات في هذه الدلائل، يستخدم "المحمل التلقائي" لإجراء قائمة متوازية لجميع الدلائل الفرعية، مما يتسبب في 365 (في اليوم) * 24 (في الساعة) = 8760 استدعاء دليل LIST API إلى التخزين الأساسي لكل دليل عام. من خلال تلقي استجابة مسطحة من أنظمة التخزين هذه، يقلل Auto Loader عدد استدعاءات واجهة برمجة التطبيقات إلى عدد الملفات في نظام التخزين مقسوما على عدد النتائج التي يتم إرجاعها بواسطة كل استدعاء لواجهة برمجة التطبيقات (1000 ل S3 و5000 ل ADLS Gen2 و1024 ل GCS)، ما يقلل إلى حد كبير من تكاليف السحابة.

تخزين بيانات الصور المحسن

يمكن ل Auto Loader الآن الكشف التلقائي عن بيانات الصور التي يتم استيعابها وتحسين تخزينها في جداول Delta لتحسين أداء القراءة والكتابة. راجع استيعاب الصورة أو البيانات الثنائية إلى Delta Lake for ML.

صور مصغرة للملفات الثنائية (معاينة عامة)

binaryFile تحتوي الصور بتنسيق تم تحميلها أو حفظها كجداول Delta باستخدام "المحمل التلقائي" على تعليقات توضيحية مرفقة بحيث تظهر الصور المصغرة للصور عند عرض الجدول في دفتر ملاحظات Azure Databricks. لمزيد من المعلومات، راجع الصور.

DirectoryRename تمكن الأحداث المعالجة الذرية لملفات متعددة

تقوم تدفقات التحميل التلقائي التي تم إنشاؤها في Databricks Runtime 9.0 وما فوق على Azure Data Lake Storage Gen2 بإعداد إعلامات أحداث الملف لتضمين إعادة تسمية الدليل والاستماع إلى RenameDirectory الأحداث. يمكنك استخدام إعادة تسمية الدليل لجعل ملفات متعددة تظهر ذريا ل Auto Loader.

SQL

• استبعاد الأعمدة في SELECT * (معاينة عامة)
• دالات SQL العددية (معاينة عامة)
• مرجع الأسماء المستعارة والأعمدة السابقة في FROM الاستعلامات الفرعية (معاينة عامة)

استبعاد الأعمدة في SELECT * (معاينة عامة)

SELECT * يدعم الآن كلمة EXCEPT أساسية، والتي تسمح لك باستبعاد أعمدة المستوى الأعلى المحددة من التوسيع. على سبيل المثال، SELECT * EXCEPT (b) FROM tbl من جدول مع مخطط (a, b, c) يتوسع إلى (a, c).

دالات SQL العددية (معاينة عامة)

CREATE FUNCTION يدعم الآن وظائف SQL العددية. يمكنك إنشاء دالات عددية تأخذ مجموعة من الوسيطات وترجع قيمة نوع عددي واحدة. يمكن أن يكون نص الدالة SQL أي تعبير. على سبيل المثال:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

للحصول على التفاصيل، راجع CREATE FUNCTION (SQL وPython).

مرجع الأسماء المستعارة والأعمدة السابقة في FROM الاستعلامات الفرعية (معاينة عامة)

يمكن الآن أن تسبق LATERAL الاستعلامات الفرعية في FROM عبارة استعلام الكلمة الأساسية التي تسمح لها بالإشارة إلى الأسماء المستعارة والأعمدة في العناصر السابقةFROM. على سبيل المثال:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

LATERAL تدعم INNERالكلمة الأساسية و CROSSو.LEFT (OUTER) JOIN

راجع المعلمات والمعلمات.

دعم R

مكتبات R ذات نطاق دفتر الملاحظات (معاينة عامة)

تسمح لك المكتبات ذات نطاق دفتر الملاحظات بتثبيت المكتبات وإنشاء بيئة محددة النطاق لجلسة عمل دفتر ملاحظات. لا تؤثر هذه المكتبات على دفاتر الملاحظات الأخرى التي تعمل على نفس المجموعة. تتوفر المكتبات على كل من عقد برنامج التشغيل والعامل، بحيث يمكنك الرجوع إليها في الوظائف المعرفة من قبل المستخدم. راجع مكتبات R ذات نطاق دفتر الملاحظات.

رسائل تحذير في دفاتر ملاحظات R

يتم الآن تعيين القيمة الافتراضية للخيار warn إلى 1 داخل دفاتر ملاحظات R. ونتيجة لذلك، يتم الآن عرض جميع التحذيرات كجزء من نتيجة الأمر. لمعرفة المزيد حول warn الخيار، راجع إعدادات الخيارات.

تجنب الإعادة عن طريق تحديد الحالة الأولية للمعالجة ذات الحالة المتدفقة المنظمة

يمكنك الآن تحديد حالة أولية محددة من قبل المستخدم للمعالجة المنظمة ذات الحالة المتدفقة باستخدام [flat]MapGroupsWithState عامل التشغيل.

راجع تحديد الحالة الأولية ل mapGroupsWithState.

يتوفر الآن تنفيذ تعديل منخفض لأمر Delta MERGE INTO (معاينة عامة)

يحتوي أمر Delta MERGE INTO على تطبيق جديد متوفر يقلل من تبديل الصفوف غير المعدلة. يعمل هذا على تحسين أداء الأمر ويساعد على الاحتفاظ بالتكتل الموجود على الجدول، مثل ترتيب Z. لتمكين دمج التبديل العشوائي المنخفض، قم بتعيين spark.databricks.delta.merge.enableLowShuffle إلى true. راجع دمج التبديل العشوائي المنخفض على Azure Databricks.

إصلاح الأخطاء

• لم يعد بإمكانك الكتابة فوق طريقة عرض عن طريق إنشاء طريقة عرض بنفس الاسم.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • اعتماد من 2021.5.30 إلى 2020.12.5
  • chardet من 3.0.4 إلى 4.0.0
  • Cython من 0.29.21 إلى 0.29.23
  • مصمم الديكور من 4.4.2 إلى 5.0.6
  • ipython من 7.19.0 إلى 7.22.0
  • joblib من 0.17.0 إلى 1.0.1
  • jupyter-client من 6.1.7 إلى 6.1.12
  • jupyter-core من 4.6.3 إلى 4.7.1
  • kiwisolver من 1.3.0 إلى 1.3.1
  • matplotlib من 3.2.2 إلى 3.4.2
  • الباندا من 1.1.5 إلى 1.2.4
  • pip من 20.2.4 إلى 21.0.1
  • مجموعة أدوات المطالبة من 3.0.8 إلى 3.0.17
  • protobuf من 3.17.3 إلى 3.17.2
  • ptyprocess من 0.6.0 إلى 0.7.0
  • pyarrow من 1.0.1 إلى 4.0.0
  • Pygments من 2.7.2 إلى 2.8.1
  • pyzmq من 19.0.2 إلى 20.0.0
  • الطلبات من 2.24.0 إلى 2.25.1
  • s3transfer من 0.3.6 إلى 0.3.7
  • scikit-learn من 0.23.2 إلى 0.24.1
  • scipy من 1.5.2 إلى 1.6.2
  • seaborn من 0.10.0 إلى 0.11.1
  • الإعدادات من 50.3.1 إلى 52.0.0
  • نماذج الإحصائيات من 0.12.0 إلى 0.12.2
  • إعصار من 6.0.4 إلى 6.1
  • virtualenv من 20.2.1 إلى 20.4.1
  • عجلة من 0.35.1 إلى 0.36.2
• مكتبات R التي تمت ترقيتها:
  • مصفوفة من 1.3-3 إلى 1.3-4

Apache Spark

يتضمن Databricks Runtime 9.0 Apache Spark 3.1.2. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 8.4 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-35886] [SQL][3.1] لا يجب أن يستبدل PromotePrecision genCodePromotePrecision ب genCode
• [SPARK-35879] [CORE][SHUFFLE] إصلاح تراجع الأداء الناتج عن collectFetchRequests
• [SPARK-35817] [SQL][3.1] استعادة أداء الاستعلامات مقابل جداول Avro العريضة
• [SPARK-35841] [SQL] لا يعمل تحويل السلسلة إلى نوع عشري إذا كان ...
• [SPARK-35783] [SQL] تعيين قائمة أعمدة القراءة في تكوين المهمة لتقليل قراءة بيانات ORC
• [SPARK-35576] [SQL][3.1] تنقيح المعلومات الحساسة في نتيجة الأمر "تعيين"
• [SPARK-35449] [SQL][3.1] استخراج التعبيرات الشائعة فقط من قيم CaseWhen إذا تم تعيين elseValue
• [SPARK-35288] [SQL] يجب أن يعثر StaticInvoke على الأسلوب دون تطابق فئات الوسيطات الدقيقة
• [SPARK-34794] [SQL] إصلاح مشكلات اسم متغير lambda في وظائف DataFrame المتداخلة
• [SPARK-35278] [SQL] يجب أن يعثر Invoke على الأسلوب مع العدد الصحيح من المعلمات
• [SPARK-35226] [SQL] دعم خيار refreshKrb5Config في مصادر بيانات JDBC
• [SPARK-35244] [SQL] يجب أن يطرح Invoke الاستثناء الأصلي
• [SPARK-35213] [SQL] الاحتفاظ بالترتيب الصحيح للبنى المتداخلة في عمليات متسلسل مع الحقل
• [SPARK-35087] [واجهة المستخدم] تظهر بعض الأعمدة في الجدول المقاييس المجمعة بواسطة المنفذ لصفحة تفاصيل المرحلة بشكل غير صحيح.
• [SPARK-35168] [SQL] mapred.reduce.tasks يجب أن تكون shuffle.partitions not adaptive.coalescePartitions.initialPartitionNum
• [SPARK-35127] [واجهة المستخدم] عندما نبدل بين صفحات تفاصيل المرحلة المختلفة، قد يكون عنصر الإدخال في الصفحة المفتوحة حديثا فارغا
• [SPARK-35142] [PYTHON][ML] إصلاح نوع إرجاع غير صحيح ل rawPredictionUDF في OneVsRestModel
• [SPARK-35096] [SQL] يجب أن يلتزم SchemaPruning spark.sql.caseSensitive config
• [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias should not create UnresolvedAlias
• [SPARK-35080] [SQL] السماح فقط لمجموعة فرعية من دالات تقييم المساواة المترابطة عند تجميع استعلام فرعي
• [SPARK-35117] [واجهة المستخدم] تغيير شريط التقدم مرة أخرى لتمييز نسبة المهام قيد التقدم
• [SPARK-35136] إزالة القيمة الخالية الأولية من LiveStage.info
• [SPARK-34834] [الشبكة] إصلاح تسرب ذاكرة Netty المحتمل في TransportResponseHandler
• [SPARK-35045] [SQL] إضافة خيار داخلي للتحكم في المخزن المؤقت للإدخل في عدم التجانس
• [SPARK-35014] إصلاح نمط PhysicalAggregation لعدم إعادة كتابة التعبيرات القابلة للطي
• [SPARK-35019] [PYTHON][SQL] إصلاح عدم تطابق تلميحات النوع في pyspark.sql.*
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() يجب أن يحترم قيمة القسم فارغة
• [SPARK-34630] [PYTHON] إضافة typehint ل pyspark.الإصدار
• [SPARK-34963] [SQL] إصلاح تشذيب الأعمدة المتداخلة لاستخراج حقل البنية غير الحساس لحالة الأحرف من صفيف البنية
• [SPARK-34988] [CORE][3.1] ترقية Jetty ل CVE-2021-28165
• [SPARK-34922] [SQL][3.1] استخدام دالة مقارنة التكلفة النسبية في CBO
• [SPARK-34970] [SQL][الأمان][3.1] تنقيح خيارات نوع الخريطة في إخراج explain()
• [SPARK-34923] [SQL] يجب أن يكون إخراج بيانات التعريف فارغا لمزيد من الخطط
• [SPARK-34949] [CORE] منع إعادة تسجيل BlockManager عند إيقاف تشغيل المنفذ
• [SPARK-34939] [CORE] طرح استثناء فشل الإحضار عندما يتعذر إلغاء تسلسل حالات الخريطة التي تم بثها
• [SPARK-34909] [SQL] إصلاح تحويل السالب إلى غير موقع في conv()
• [SPARK-34845] [CORE] يجب ألا يرجع ProcfsMetricsGetter مقاييس procfs الجزئية
• [SPARK-34814] [SQL] يجب أن يتعامل LikeSimplification مع NULL
• [SPARK-34876] [SQL] تعبئة defaultResult من التجميعات غير القابلة للقيم الخالية
• [SPARK-34829] [SQL] إصلاح نتائج دالة الترتيب الأعلى
• [SPARK-34840] [SHUFFLE] إصلاح حالات التلف في التبديل العشوائي المدمج ...
• [SPARK-34833] [SQL] تطبيق ترك المساحة لليمين بشكل صحيح على الاستعلامات الفرعية المترابطة
• [SPARK-34630] [PYTHON][SQL] تمت إضافة typehint ل pyspark.sql.Column.contains
• [SPARK-34763] يجب أن يتعامل [SQL] col(), $"name" و df("name") مع أسماء الأعمدة المقتبسة بشكل صحيح
• [SPARK-33482] [SPARK-34756] [SQL] إصلاح التحقق من المساواة في FileScan
• [SPARK-34790] [CORE] تعطيل إحضار كتل التبديل العشوائي في دفعة واحدة عند تمكين تشفير io
• [SPARK-34803] [PYSPARK] تمرير ImportError الذي تم رفعه إذا فشلت pandas أو pyarrow في الاستيراد
• [SPARK-34225] [CORE] لا تقم بترميز المزيد عند تمرير سلسلة نموذج URI إلى addFile أو addJar
• [SPARK-34811] [CORE] تنقيح fs.s3a.access.key مثل السر والرمز المميز
• [SPARK-34796] [SQL][3.1] تهيئة متغير العداد ل LIMIT code-gen في doProduce()
• [SPARK-34128] [SQL] منع تحذيرات TTransportException غير المرغوب فيها المتضمنة في THRIFT-4805
• [SPARK-34776] [SQL] يجب ألا يؤدي تشذيب الأعمدة المتداخلة إلى تقليم السمات المنتجة للنافذة
• [SPARK-34087] [3.1][SQL] إصلاح تسرب الذاكرة ل ExecutionListenerBus
• [SPARK-34772] [SQL] يجب أن تستخدم RebaseDateTime loadRebaseRecords محمل فئة Spark بدلا من السياق
• [SPARK-34719] [SQL][3.1] حل استعلام العرض بشكل صحيح بأسماء أعمدة مكررة
• [SPARK-34766] [SQL][3.1] عدم التقاط تكوين maven لطرق العرض
• [SPARK-34731] [CORE] تجنب ConcurrentModificationException عند تنقيح الخصائص في EventLoggingListener
• [SPARK-34737] [SQL][3.1] يطفو الإدخال المصبوب ليتضاعف في TIMESTAMP_SECONDS
• [SPARK-34749] [SQL][3.1] تبسيط ResolveCreateNamedStruct
• [SPARK-34768] [SQL] احترام حجم المخزن المؤقت للإدخل الافتراضي في Univocity
• [SPARK-34770] [SQL] يجب ألا يفشل InMemoryCatalog.tableExists إذا لم تكن قاعدة البيانات موجودة
• [SPARK-34504] [SQL] تجنب الحل غير الضروري لطرق عرض SQL المؤقتة لأوامر DDL
• [SPARK-34727] [SQL] إصلاح التناقض في الصب العائم إلى الطابع الزمني
• [SPARK-34723] [SQL] نوع المعلمة الصحيح لإزالة التعبير الفرعي ضمن مرحلة كاملة
• [SPARK-34724] [SQL] إصلاح التقييم المفسر باستخدام getMethod بدلا من getDeclaredMethod
• [SPARK-34713] [SQL] إصلاح المجموعة بواسطة CreateStruct باستخدام ExtractValue
• [SPARK-34697] [SQL] السماح ل DESCRIBE FUNCTION و SHOW FUNCTIONS بالشرح حول || (عامل تسلسل السلسلة)
• [SPARK-34682] [SQL] استخدام PrivateMethodTester بدلا من الانعكاس
• [SPARK-34682] [SQL] إصلاح الانحدار في التحقق من خطأ المتعارف عليه في CustomShuffleReaderExec
• [SPARK-34681] [SQL] إصلاح الخطأ الخاص بصلة التجزئة الخارجية الكاملة العشوائية عند إنشاء الجانب الأيسر بشرط غير متساو
• [SPARK-34545] [SQL] إصلاح المشكلات المتعلقة بميزة valueCompare في pyrolite
• [SPARK-34607] [SQL][3.1] إضافة Utils.isMemberClass لإصلاح خطأ اسم فئة غير صحيح على jdk8u
• [SPARK-34596] [SQL] استخدم Utils.getSimpleName لتجنب الضغط على اسم الفئة المضطل في NewInstance.doGenCode
• [SPARK-34613] [SQL] لا تلتقط طريقة عرض الإصلاح تعطيل تكوين التلميح
• [SPARK-32924] [WEBUI] جعل عمود المدة في واجهة المستخدم الرئيسية مرتبا بالترتيب الصحيح
• [SPARK-34482] [SS] تصحيح SparkSession النشط ل StreamExecution.logicalPlan
• [SPARK-34567] [SQL] يجب على CreateTableAsSelect تحديث المقاييس أيضا
• [SPARK-34599] [SQL] إصلاح المشكلة التي لا تدعم INSERT INTO OVERWRITE أعمدة الأقسام التي تحتوي على نقطة ل DSv2
• [SPARK-34577] [SQL] إصلاح إسقاط/إضافة أعمدة إلى مجموعة بيانات DESCRIBE NAMESPACE
• [SPARK-34584] [SQL] يجب أن يتبع القسم الثابت أيضا StoreAssignmentPolicy عند إدراجه في جداول v2
• [SPARK-34555] [SQL] حل إخراج بيانات التعريف من DataFrame
• [SPARK-34534] إصلاح ترتيب blockIds عند استخدام FetchShuffleBlocks لجلب الكتل
• [SPARK-34547] [SQL] استخدام أعمدة بيانات التعريف للدقة كحل أخير فقط
• [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap فشل لاسم العمود الذي يحتوي على نقطة
• [SPARK-34561] [SQL] إصلاح إسقاط/إضافة أعمدة من/إلى مجموعة بيانات v2 DESCRIBE TABLE
• [SPARK-34556] [SQL] يجب أن يراعي التحقق من أعمدة الأقسام الثابتة المكررة التكوين الحساس لحالة الأحرف
• [SPARK-34392] [SQL] دعم ZoneOffset +h:mm في DateTimeUtils. getZoneId
• [SPARK-34550] [SQL] تخطي قيمة InSet الخالية أثناء دفع عامل التصفية إلى Hive metastore
• [SPARK-34543] [SQL] spark.sql.caseSensitive احترام التكوين أثناء حل مواصفات القسم في الإصدار 1 SET LOCATION
• [SPARK-34436] [SQL] دعم DPP مثل تعبير ANY/ALL
• [SPARK-34531] [CORE] إزالة علامة واجهة برمجة التطبيقات التجريبية في PrometheusServlet
• [SPARK-34497] [SQL] إصلاح موفري اتصال JDBC المضمنين لاستعادة تغييرات سياق أمان JVM
• [SPARK-34515] [SQL] إصلاح NPE إذا كانت InSet تحتوي على قيمة خالية أثناء getPartitionsByFilter
• [SPARK-34490] [SQL] يجب أن يفشل التحليل إذا كانت طريقة العرض تشير إلى جدول تم إسقاطه
• [SPARK-34473] [SQL] تجنب NPE في DataFrameReader.schema(StructType)
• [SPARK-34384] [CORE] إضافة مستندات مفقودة لواجهات برمجة تطبيقات ResourceProfile
• [SPARK-34373] [SQL] HiveThriftServer2 startWithContext قد يتعطل مع مشكلة تعارض
• [SPARK-20977] [CORE] استخدام حقل غير نهائي لحالة CollectionAccumulator
• [SPARK-34421] [SQL] حل الوظائف المؤقتة وطرق العرض في طرق العرض باستخدام CTEs
• [SPARK-34431] [CORE] تحميل hive-site.xml مرة واحدة فقط
• [SPARK-34405] [CORE] إصلاح متوسط قيمة timersLabels في فئة PrometheusServlet
• [SPARK-33438] [SQL] توطد الكائنات بفارغ الصبر باستخدام SQL Confs المحددة للأمر set -v
• [SPARK-34158] عنوان URL غير صحيح للمطور الوحيد Matei في pom.xml
• [SPARK-34346] [CORE][SQL][3.1] io.file.buffer.size الذي تم تعيينه بواسطة spark.buffer.size سيتم تجاوزه عن طريق تحميل hive-site.xml قد يتسبب عن طريق الخطأ في تراجع perf
• [SPARK-34359] [SQL][3.1] إضافة تكوين قديم لاستعادة مخطط الإخراج من SHOW DATABASES
• [SPARK-34331] [SQL] تسريع دقة عمود بيانات التعريف DS v2
• [SPARK-34318] [SQL][3.1] يجب أن تعمل Dataset.colRegex مع أسماء الأعمدة والمؤهلات التي تحتوي على خطوط جديدة
• [SPARK-34326] [CORE][SQL] إصلاح UTs المضافة في SPARK-31793 اعتمادا على طول المسار المؤقت
• [SPARK-34319] [SQL] حل السمات المكررة ل FlatMapCoGroupsInPandas/MapInPandas
• [SPARK-34310] [CORE][SQL] استبدال الخريطة والتسطيح ب FlatMap
• [SPARK-34083] [SQL][3.1] استخدام التعريفات الأصلية TPCDS ل char/varchar colums
• [SPARK-34233] [SQL][3.1] إصلاح NPE لحشو الأحرف في المقارنة الثنائية
• [SPARK-34270] [SS] يجب ألا يتجاوز دمج StateStoreMetrics StateStoreCustomMetric
• [SPARK-34144] [SQL] تم طرح استثناء عند محاولة كتابة القيم المحلية والتلقاية الفورية إلى علاقة JDBC
• [SPARK-34273] [CORE] لا تقم بإعادة تسجيل BlockManager عند إيقاف SparkContext
• [SPARK-34262] [SQL][3.1] تحديث البيانات المخزنة مؤقتا لجدول v1 في ALTER TABLE .. SET LOCATION
• [SPARK-34275] [CORE][SQL][MLLIB] يستبدل عامل التصفية والحجم بالعدد
• [SPARK-34260] [SQL] إصلاح تم الحل عند إنشاء طريقة عرض مؤقتة مرتين
• [SPARK-33867] [SQL] لا تتم معالجة القيم الفورية وقيم LocalDate عند إنشاء استعلامات SQL
• [SPARK-34193] [CORE] مدير كتلة TorrentBroadcast إيقاف تشغيل إصلاح السباق
• [SPARK-34221] [WEBUI] تأكد من فشل مرحلة في صفحة واجهة المستخدم، يمكن عرض رسالة الخطأ المقابلة بشكل صحيح
• [SPARK-34236] [SQL] إصلاح v2 الكتابة فوق w/ رفع الأقسام الثابتة الفارغة لا يمكن ترجمة التعبير إلى عامل تصفية المصدر: فارغ
• [SPARK-34212] [SQL] إصلاح القراءة العشرية غير الصحيحة من ملفات Parquet
• [SPARK-34244] [SQL] إزالة إصدار دالة Scala من regexp_extract_all
• [SPARK-34235] [SS] جعل spark.sql.hive كحزمة خاصة
• [SPARK-34232] [CORE] حدث Redact SparkListenerEnvironmentUpdate في السجل
• [SPARK-34229] [SQL] يجب أن يقرأ Avro القيم العشرية مع مخطط الملف
• [SPARK-34223] [SQL] إصلاح NPE للقسم الثابت مع قيمة خالية في InsertIntoHadoopFsRelationCommand
• [SPARK-34192] [SQL] نقل ترك مساحة الأحرف إلى جانب الكتابة وإزالة التحقق من الطول على جانب القراءة أيضا
• [SPARK-34203] [SQL] تحويل null قيم القسم إلى __HIVE_DEFAULT_PARTITION__ في كتالوج v1 In-Memory
• [SPARK-33726] [SQL] إصلاح أسماء الحقول المكررة أثناء التجميع
• [SPARK-34133] [AVRO] احترام حساسية الحالة عند إجراء مطابقة حقل Catalyst-to-Avro
• [SPARK-34187] [SS] استخدام نطاق الإزاحة المتوفر الذي تم الحصول عليه أثناء التحقق عند التحقق من صحة الإزاحة
• [SPARK-34052] [SQL][3.1] تخزين نص SQL لعرض مؤقت تم إنشاؤه باستخدام "جدول ذاكرة التخزين المؤقت .. كما حدد ..."
• [SPARK-34213] [SQL] تحديث البيانات المخزنة مؤقتا لجدول v1 في LOAD DATA
• [SPARK-34191] [PYTHON][SQL] إضافة كتابة للتحميل الزائد udf
• [SPARK-34200] [SQL] يجب أن يأخذ مرجع العمود الغامض في الاعتبار توفر السمة
• [SPARK-33813] [SQL][3.1] إصلاح المشكلة التي لا يمكن لمصدر JDBC التعامل مع الأنواع المكانية ل MS SQL Server
• [SPARK-34178] [SQL] نسخ العلامات للعقدة الجديدة التي تم إنشاؤها بواسطة MultiInstanceRelation.newInstance
• [SPARK-34005] [CORE][3.1] تحديث مقاييس ذاكرة الذروة لكل منفذ في نهاية المهمة
• [SPARK-34115] [CORE] تحقق من SPARK_TESTING كفال كسول لتجنب التباطؤ
• [SPARK-34153] [SQL][3.1][3.0] إزالة غير مستخدم من getRawTable()HiveExternalCatalog.alterPartitions()
• [SPARK-34130] [SQL] تكوين مسبق Impove لتحريك حرف varchar وفحص الطول باستخدام StaticInvoke
• [SPARK-34027] [SQL][3.1] تحديث ذاكرة التخزين المؤقت في ALTER TABLE .. RECOVER PARTITIONS
• [SPARK-34151] [SQL] يستبدل ب java.io.File.toURLjava.io.File.toURI.toURL
• [SPARK-34140] [SQL][3.1] نقل QueryCompilationErrors.scala إلى org/apache/spark/sql/errors
• [SPARK-34080] [التعلم الآلي][PYTHON] إضافة UnivariateFeatureSelector
• [SPARK-33790] [CORE][3.1] تقليل استدعاء rpc ل getFileStatus في SingleFileEventLogFileReader
• [SPARK-34118] [CORE][SQL][3.1] يستبدل عامل التصفية ويتحقق من الفراغ بوجود أو تثبيت
• [SPARK-34114] يجب عدم اقتطاع [SQL] لليمين للتحقق من طول الحرف من جانب القراءة والحشو
• [SPARK-34086] [SQL][3.1] ينشئ RaiseError الكثير من التعليمات البرمجية وقد يفشل codegen في فحص الطول ل char varchar
• [SPARK-34075] [SQL][CORE] يتم سرد الدلائل المخفية لاستدلال القسم
• [SPARK-34076] [SQL] فشل SQLContext.dropTempTable إذا كانت ذاكرة التخزين المؤقت غير فارغة
• [SPARK-34084] [SQL][3.1] إصلاح التحديث التلقائي لاحصائيات الجدول في ALTER TABLE .. ADD PARTITION
• [SPARK-34090] [SS] نتيجة Cache HadoopDelegationTokenManager.isServiceEnabled المستخدمة في KafkaTokenUtil.needTokenUpdate
• [SPARK-34069] [CORE] يجب أن تحترم مهام إنهاء الحاجز SPARK_JOB_INTERRUPT_ON_CANCEL
• [SPARK-34091] [SQL] يجب أن يكون إحضار الدفعة العشوائي قادرا على التعطيل بعد تمكينه
• [SPARK-34059] [SQL][CORE][3.1] استخدم for/foreach بدلا من الخريطة للتأكد من تنفيذها بفارغ الصبر
• [SPARK-34002] [SQL] إصلاح استخدام أداة الترميز في ScalaUDF
• [SPARK-34060] [SQL][3.1] إصلاح التخزين المؤقت لجدول Hive أثناء تحديث الإحصائيات بواسطة ALTER TABLE .. DROP PARTITION
• [SPARK-31952] [SQL] إصلاح مقياس تسرب الذاكرة غير الصحيح عند إجراء التجميع
• [SPARK-33591] [SQL][3.1] التعرف null في قيم مواصفات القسم
• [SPARK-34055] [SQL][3.1] تحديث ذاكرة التخزين المؤقت في ALTER TABLE .. ADD PARTITION
• [SPARK-34039] [SQL][3.1] يجب أن يبطل ReplaceTable ذاكرة التخزين المؤقت
• [SPARK-34003] [SQL] إصلاح تعارضات القاعدة بين PaddingAndLengthCheckForCharVarchar و ResolveAggregateFunctions
• [SPARK-33938] [SQL][3.1] تحسين مثل أي/كل عن طريق LikeSimplification
• [SPARK-34021] [R] إصلاح الارتباطات التشعبية في وثائق SparkR لتقديم CRAN
• [SPARK-34011] [SQL][3.1][3.0] تحديث ذاكرة التخزين المؤقت في ALTER TABLE .. RENAME TO PARTITION
• [SPARK-33948] [SQL] إصلاح خطأ CodeGen لأسلوب MapObjects.doGenCode في Scala 2.13
• [SPARK-33635] [SS] ضبط ترتيب الفحص في KafkaTokenUtil.needTokenUpdate لمعالجة تراجع perf
• [SPARK-33029] [CORE][WEBUI] إصلاح صفحة منفذ واجهة المستخدم لوضع علامة غير صحيحة على برنامج التشغيل على أنه مستبعد
• [SPARK-34015] [R] إصلاح توقيت الإدخال في gapply
• [SPARK-34012] [SQL] الحفاظ على تناسق السلوك عندما يكون التكوين spark.sql.legacy.parser.havingWithoutGroupByAsWhere صحيحا مع دليل الترحيل
• [SPARK-33844] [SQL][3.1] يجب أن يتحقق الأمر InsertIntoHiveDir من اسم العمود أيضا
• [SPARK-33935] [SQL] إصلاح دالة تكلفة CBO
• [SPARK-33100] [SQL] تجاهل فاصلة منقوطة داخل تعليق بين قوسين في spark-sql
• [SPARK-34000] [CORE] إصلاح stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException
• [SPARK-33992] [SQL] تجاوز transformUpWithNewOutput لإضافة allowInvokingTransformsInAnalyzer
• [SPARK-33894] [SQL] تغيير رؤية فئات الحالة الخاصة في mllib لتجنب أخطاء التحويل البرمجي لوقت التشغيل باستخدام Scala 2.13
• [SPARK-33950] [SQL][3.1][3.0] تحديث ذاكرة التخزين المؤقت في الإصدار 1 ALTER TABLE .. DROP PARTITION
• [SPARK-33980] [SS] إبطال char/varchar في spark.readStream.schema
• [SPARK-33945] [SQL][3.1] يعالج بذور عشوائية تتكون من شجرة expr
• [SPARK-33398] إصلاح تحميل نماذج الشجرة قبل Spark 3.0
• [SPARK-33963] [SQL] HiveTableRelation تحديد إحصائيات جدول w/o
• [SPARK-33906] [WEBUI] إصلاح خطأ صفحة منفذ واجهة المستخدم العالقة بسبب peakMemoryMetrics غير المعرفة
• [SPARK-33944] [SQL] تسجيل غير صحيح لمفاتيح المستودعات في خيارات SharedState
• [SPARK-33936] [SQL][3.1] إضافة الإصدار عند إضافة واجهات الموصل
• [SPARK-33916] [CORE] إصلاح إزاحة التخزين الاحتياطي وتحسين تغطية اختبار برنامج ضغط الوسائط وفكها
• [SPARK-33899] [SQL][3.1] إصلاح فشل التأكيد في الإصدار 1 إظهار الجداول/طرق العرض على spark_catalog
• [SPARK-33901] [SQL] إصلاح خطأ عرض Char و Varchar بعد DDLs
• [SPARK-33897] [SQL] لا يمكن تعيين الخيار "متقاطع" في أسلوب الصلة
• [SPARK-33907] [SQL][3.1] اقتطاع أعمدة JsonToStructs فقط إذا كانت خيارات التحليل فارغة
• [SPARK-33621] [SPARK-33784] [SQL][3.1] إضافة طريقة لإدخال قواعد إعادة كتابة مصدر البيانات
• [SPARK-33900] [WEBUI] إظهار حجم القراءة/ السجلات عشوائيا بشكل صحيح عند توفر remotebytesread فقط
• [SPARK-33892] [SQL] عرض char/varchar في DESC و SHOW CREATE TABLE
• [SPARK-33895] [SQL] فشل Char و Varchar في MetaOperation of ThriftServer
• [SPARK-33659] [SS] توثيق السلوك الحالي لواجهة برمجة تطبيقات DataStreamWriter.toTable
• [SPARK-33893] [CORE] استبعاد مدير كتلة احتياطية من executorList
• [SPARK-33277] [PYSPARK][SQL] استخدام ContextAwareIterator للتوقف عن الاستهلاك بعد انتهاء المهمة
• [SPARK-33889] [SQL][3.1] إصلاح NPE من SHOW PARTITIONS جداول V2
• [SPARK-33879] [SQL] فشل قيم Char Varchar في مطابقة خطأ w/ كأعمدة أقسام
• [SPARK-33877] [SQL] المستندات المرجعية ل SQL لقائمة الأعمدة INSERT w/
• [SPARK-33876] [SQL] إضافة فحص طول لقراءة char/varchar من الجداول w/ موقع خارجي
• [SPARK-33846] [SQL] تضمين تعليقات لمخطط متداخل في StructType.toDDL
• [SPARK-33860] [SQL] جعل CatalystTypeConverters.convertToCatalyst يطابق قيمة الصفيف الخاصة
• [SPARK-33834] [SQL] التحقق من ALTER TABLE CHANGE COLUMN باستخدام Char وVarchar
• [SPARK-33853] [SQL] شرح CODEGEN و BenchmarkQueryTest لا يظهران التعليمات البرمجية للسحابة الفرعية
• [SPARK-33836] [SS][PYTHON] كشف DataStreamReader.table وDataStreamWriter.toTable
• [SPARK-33829] [SQL][3.1] يجب أن تعيد إعادة تسمية جداول v2 إنشاء ذاكرة التخزين المؤقت
• [SPARK-33756] [SQL] جعل MapIterator الخاص ب BytesToBytesMap مكرر
• [SPARK-33850] [SQL] لا تعرض EXPLAIN FORMATTED خطة الاستعلامات الفرعية إذا تم تمكين AQE
• [SPARK-33841] [CORE][3.1] إصلاح مشكلة في الوظائف التي تختفي بشكل متقطع من SHS تحت التحميل العالي
• [SPARK-33593] [SQL] حصل قارئ المتجهات على بيانات غير صحيحة بقيمة قسم ثنائي
• [SPARK-26341] [WEBUI] كشف مقاييس ذاكرة المنفذ على مستوى المرحلة، في علامة التبويب المراحل
• [SPARK-33831] [واجهة المستخدم] تحديث إلى jetty 9.4.34
• [SPARK-33822] [SQL] CastSupport.cast استخدام الأسلوب في HashJoin
• [SPARK-33774] [واجهة المستخدم][CORE] الرجوع إلى الشكل الرئيسي" بإرجاع الخطأ 500 في نظام المجموعة المستقلة
• [SPARK-26199] [SPARK-31517] [R] إصلاح استراتيجية معالجة ... الأسماء في تغيير
• [SPARK-33819] [CORE][3.1] يجب أن يكون SingleFileEventLogFileReader/RollingEventLogFilesFileReader package private
• [SPARK-33697] [SQL] يجب أن تتطلب RemoveRedundantProjects ترتيب الأعمدة بشكل افتراضي
• [SPARK-33752] [SQL][3.1] تجنب getSimpleMessage من AnalysisException يضيف فاصلة منقوطة بشكل متكرر
• [SPARK-33788] [SQL][3.1][3.0][2.4] طرح NoSuchPartitionsException من HiveExternalCatalog.dropPartitions()
• [SPARK-33803] [SQL] فرز خصائص الجدول حسب المفتاح في الأمر وصف الجدول
• [SPARK-33786] [SQL] يجب احترام مستوى التخزين لذاكرة التخزين المؤقت عند تغيير اسم الجدول
• [SPARK-33273] [SQL] إصلاح حالة تعارض في تنفيذ الاستعلام الفرعي
• [SPARK-33653] [SQL][3.1] DSv2: يجب أن يتلاشى جدول التحديث في الجدول نفسه
• [SPARK-33777] [SQL] فرز إخراج V2 SHOW PARTITIONS
• [SPARK-33733] [SQL] يجب أن يتحقق PullOutNondeministic من الحقل المحدد ويجمعه
• [SPARK-33764] [SS] جعل الفاصل الزمني لصيانة مخزن الحالة بمثابة تكوين SQL
• [SPARK-33729] [SQL] عند تحديث ذاكرة التخزين المؤقت، يجب ألا يستخدم Spark الخطة المخزنة مؤقتا عند تخزين البيانات مؤقتا
• [SPARK-33742] [SQL][3.1] طرح PartitionsAlreadyExistException من HiveExternalCatalog.createPartitions()
• [SPARK-33706] [SQL] طلب معرف قسم محدد بالكامل في partitionExists()
• [SPARK-33740] [SQL] تكوينات hadoop في hive-site.xml يمكن أن تتجاوز تلك hadoop الموجودة مسبقا
• [SPARK-33692] [SQL] يجب أن تستخدم طريقة العرض الكتالوج الملتقط ومساحة الاسم لدالة البحث
• [SPARK-33669] رسالة خطأ خاطئة من مراقبة حالة تطبيق YARN عند إيقاف sc.stop في وضع عميل yarn
• [SPARK-32110] [SQL] تطبيع الأرقام العائمة الخاصة في HyperLogLog++
• [SPARK-33677] [SQL] تخطي قاعدة LikeSimplification إذا كان النمط يحتوي على أي escapeChar
• [SPARK-33693] [SQL] إهمال spark.sql.hive.convertCTAS
• [SPARK-33641] [SQL] إبطال أنواع الأحرف/varchar الجديدة في واجهات برمجة التطبيقات العامة التي تنتج نتائج غير صحيحة
• [SPARK-32680] [SQL] عدم المعالجة المسبقة V2 CTAS مع استعلام لم يتم حله
• [SPARK-33676] [SQL] تتطلب المطابقة الدقيقة لمواصفات القسم مع المخطط في V2 ALTER TABLE .. ADD/DROP PARTITION
• [SPARK-33670] [SQL] تحقق من أن موفر القسم هو Hive في v1 SHOW TABLE EXTENDED
• [SPARK-33663] [SQL] يجب عدم استدعاء عدم التخزين المؤقت على طرق العرض المؤقتة غير الموجودة
• [SPARK-33667] [SQL] spark.sql.caseSensitive احترام التكوين أثناء حل مواصفات القسم في الإصدار 1 SHOW PARTITIONS
• [SPARK-33652] [SQL] DSv2: يجب أن يقوم DeleteFrom بتحديث ذاكرة التخزين المؤقت

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 9.0.

بيئة النظام

• نظام التشغيل: Ubuntu 20.04.2 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.0 (2021-05-18)
• Delta Lake 1.0.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2021-07-28.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)