Databricks Runtime 10.3 (EoS)

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 10.3 وDatabricks Runtime 10.3 Photon، المشغل بواسطة Apache Spark 3.2.1. الفوتون في المعاينة العامة. أصدرت Databricks هذا الإصدار في فبراير 2022.

ميزات وتحسينات جديدة

• يستخدم كتاب Parquet وAvro الآن المنطقة الزمنية للجلسة عند إعادة إنشاء الطوابع الزمنية في مصادر بيانات Parquet
• وظائف جديدة في Spark SQL
• يتوفر الآن دمج تبديل عشوائي منخفض بشكل عام
• ميزات COPY INTO الجديدة: وضع التحقق من الصحة وتطور المخطط
• أعمدة الهوية مدعومة الآن في جداول Delta (معاينة عامة)

يستخدم كتاب Parquet وAvro الآن المنطقة الزمنية للجلسة عند إعادة إنشاء الطوابع الزمنية في مصادر بيانات Parquet

يستخدم كتاب Parquet وAvro الآن المنطقة الزمنية للجلسة أثناء إعادة تعيين الطابع الزمني في legacy الوضع بدلا من استخدام المنطقة الزمنية الافتراضية ل JVM. يتم تعيين المنطقة الزمنية لجلسة العمل إلى المنطقة الزمنية JVM بشكل افتراضي.

وظائف جديدة في Spark SQL

يتم الآن دعم وظائف Spark SQL التالية في هذا الإصدار:

• aes_decrypt: فك تشفير الإدخال باستخدام AES.
• aes_encrypt: تشفير الإدخال باستخدام AES.
• يحتوي على: يحدد ما إذا كان التعبير يحتوي على تعبير آخر.
• ينتهي ب: يحدد ما إذا كان التعبير ينتهي بتعبير آخر.
• percentile_cont: إرجاع قيمة مئوية.
• startswith: يحدد ما إذا كان التعبير يبدأ بتعبير آخر.

يتوفر الآن دمج تبديل عشوائي منخفض بشكل عام

يستخدم الأمر Delta MERGE INTO تقنية تسمى دمج التبديل العشوائي المنخفض، ما يقلل من تبديل الصفوف غير المعدلة. يعمل هذا على تحسين أداء الأمر ويساعد على الاحتفاظ بالتكتل الموجود على الجدول، مثل ترتيب Z. تم تقديم هذه الوظيفة في Databricks Runtime 9.0 للمعاينة العامة ووصلت الآن إلى التوفر العام. لتمكين دمج التبديل العشوائي المنخفض، قم بتعيين spark.databricks.delta.merge.enableLowShuffle إلى true. راجع دمج التبديل العشوائي المنخفض على Azure Databricks.

ميزات COPY INTO الجديدة: وضع التحقق من الصحة وتطور المخطط

وضع التحقق من الصحة: COPY INTO يدعم الآن وضعا VALIDATE يتم فيه التحقق من صحة البيانات التي سيتم تحميلها في جدول ولكن لا تتم كتابتها في الجدول. تتضمن عمليات التحقق من الصحة هذه ما يلي:

• ما إذا كان يمكن تحليل البيانات.
• ما إذا كان المخطط يطابق مخطط الجدول أو إذا كان المخطط بحاجة إلى تطوير.
• ما إذا تم استيفاء جميع قيود قابلية القيم الخالية والتحقق منها.

استخدام المثال:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

الإعداد الافتراضي هو التحقق من صحة جميع البيانات التي سيتم تحميلها. يمكنك توفير عدد من الصفوف للتحقق من صحتها باستخدام ROWS الكلمة الأساسية، مثل VALIDATE 15 ROWS. COPY INTO ترجع العبارة معاينة لبيانات 50 صفا أو أقل، عند استخدام عدد أقل من 50 مع ROWS الكلمة الأساسية).

تطور المخطط: COPY INTO يدعم الآن تطور المخطط مع mergeSchema الخيار في COPY_OPTIONS. لتطوير مخطط جدول، يجب أن يكون لديك OWN أذونات على الجدول.

استخدام المثال:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

راجع COPY INTO.

أعمدة الهوية مدعومة الآن في جداول Delta (معاينة عامة)

يدعم Delta Lake الآن أعمدة الهوية. عند الكتابة إلى جدول Delta يعرف عمود هوية، ولا توفر قيما لهذا العمود، تقوم Delta الآن تلقائيا بتعيين قيمة فريدة أو متزايدة إحصائيا أو متناقصة. راجع CREATE TABLE [USING].

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • استياء من 0.3.3 إلى 0.3.4
  • filelock من 3.4.0 إلى 3.4.2
  • numpy من 1.19.2 إلى 1.20.1
  • بشكل مخطط من 5.3.1 إلى 5.5.0
• مكتبات R التي تمت ترقيتها:
  • backports من 1.4.0 إلى 1.4.1
  • brio من 1.1.2 إلى 1.1.3
  • مكنسة من 0.7.10 إلى 0.7.11
  • فئة من 7.3-19 إلى 7.3-20
  • cpp11 من 0.4.1 إلى 0.4.2
  • DBI من 1.1.1 إلى 1.1.2
  • devtools من 2.4.2 إلى 2.4.3
  • ملخص من 0.6.28 إلى 0.6.29
  • dtplyr من 1.1.0 إلى 1.2.0
  • fansi من 0.5.0 إلى 1.0.2
  • الأجنبية من 0.8-81 إلى 0.8-82
  • fs من 1.5.0 إلى 1.5.2
  • غيرت من 1.4.3 إلى 1.5.0
  • لصق من 1.5.0 إلى 1.6.0
  • httpuv من 1.6.3 إلى 1.6.5
  • jsonlite من 1.7.2 إلى 1.7.3
  • من 1.36 إلى 1.37
  • كتلة من 7.3-54 إلى 7.3-55
  • مصفوفة من 1.3-4 إلى 1.4-0
  • nlme من 3.1-152 إلى 3.1-155
  • nnet frm 7.3-16 إلى 7.3-17
  • openssl من 1.4.5 إلى 1.4.6
  • بالتوازي من 1.29.0 إلى 1.30.0
  • pkgbuild من 1.2.0 إلى 1.3.1
  • pkgload من 1.2.3 إلى 1.2.4
  • progressr من 0.9.0 إلى 0.10.0
  • Rcpp من 1.0.7 إلى 1.0.8
  • قراءة من 2.1.0 إلى 2.1.1
  • أجهزة التحكم عن بعد من 2.4.1 إلى 2.4.2
  • RSQLite من 2.2.8 إلى 2.2.9
  • sessioninfo من 1.2.1 إلى 1.2.2
  • sparklyr من 1.7.2 إلى 1.7.4
  • اختبار من 3.1.0 إلى 3.1.1
  • نص صغير من 0.35 إلى 0.36
  • استخدام هذا من 2.1.3 إلى 2.1.5
  • vroom من 1.5.6 إلى 1.5.7
  • withr من 2.4.2 إلى 2.4.3
  • xfun من 0.28 إلى 0.29
  • xml2 من 1.3.2 إلى 1.3.3
• مكتبات Java التي تمت ترقيتها:
  • dev.ludovic.netlib.arpack من 1.3.2 إلى 2.2.1
  • dev.ludovic.netlib.blas من 1.3.2 إلى 2.2.1
  • dev.ludovic.netlib.lapack من 1.3.2 إلى 2.2.1
  • io.delta.delta-sharing-spark_2.12 من 0.2.0 إلى 0.3.0

Apache Spark

يتضمن Databricks Runtime 10.3 Apache Spark 3.2.1. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 10.2 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-37896] [SQL] تنفيذ ConstantColumnVector وتحسين أداء بيانات تعريف الملف المخفية
• [SPARK-37924] [SQL] فرز خصائص الجدول حسب المفتاح في SHOW CREATE TABLE على VIEW (v1)
• [SPARK-37636] [SQL] ترحيل CREATE NAMESPACE لاستخدام الأمر V2 بشكل افتراضي
• [SPARK-37381] [SQL] Unify v1 وv2 SHOW CREATE TABLE tests
• [SPARK-37876] [CORE][SQL] الانتقال SpecificParquetRecordReaderBase.listDirectory إلى TestUtils
• [SPARK-37854] [CORE] استبدال التحقق من النوع بمطابقة النمط في تعليمة Spark البرمجية
• [SPARK-36967] [CORE] الإبلاغ عن حجم كتلة التبديل العشوائي الدقيق إذا انحرف
• [SPARK-37864] [SQL] دعم القيم المنطقية المقروءة المتجهة تستخدم ترميز RLE مع Parquet DataPage V2
• [SPARK-37862] [SQL] يجب أن يتخطى RecordBinaryComparator بسرعة التحقق من المحاذاة مع النظام الأساسي غير المتوافق
• [SPARK-37855] [SQL] IllegalStateException عند تحويل صفيف داخل بنية متداخلة
• [SPARK-37858] [SQL] طرح SparkRuntimeException مع فئات الخطأ من وظائف AES
• [SPARK-37841] [SQL] يجب ألا يحاول BasicWriteTaskStatsTracker الحصول على حالة لملف تم تخطيه
• [SPARK-37860] [واجهة المستخدم] إصلاح taskindex في المخطط الزمني لحدث مهمة صفحة المرحلة
• [SPARK-36879] [SQL] دعم ترميز صفحة بيانات Parquet v2 (DELTA_BINARY_PACKED) للمسار المتجه
• [SPARK-37828] [SQL] دفع عوامل التصفية لأسفل من خلال إعادة توازن الأقسام
• [SPARK-37802] [SQL][3.2] يجب أن يعمل اسم الحقل المركب مع دفع التجميع لأسفل
• [SPARK-37826] [SQL] استخدام اسم برنامج ترميز zstd في أسماء ملفات ORC ل hive orc impl
• [SPARK-37820] [SQL] استبدال ApacheCommonBase64 ب JavaBase64 لطرائف السلسلة
• [SPARK-37832] [SQL] يجب أن يستخدم محول بنية Orc صفيفا للبحث عن محولات الحقول بدلا من قائمة مرتبطة
• [SPARK-37786] [SQL] يستخدم دعم StreamingQueryListener SQLConf.get للحصول على SQLConf من SessionState المطابق
• [SPARK-37527] [SQL] ترجمة المزيد من الدوال التجميعية القياسية للدفع لأسفل
• [SPARK-37777] [SQL] تحديث بناء جملة SQL ل SHOW FUNCTIONS
• [SPARK-8582] [CORE] نقطة تفتيش بفارغ الصبر عندما يطلب منها القيام بذلك بشكل حقيقي
• [SPARK-37822] [SQL] يجب أن ترجع StringSplit صفيفا على عناصر غير خالية
• [SPARK-37812] [SQL] عند إلغاء تسلسل بنية Orc، أعد استخدام صف النتائج عندما يكون ذلك ممكنا
• [SPARK-37367] [SQL] اختبار استثناء يمكن إعادة تمكينه في طريقة عرض DDLParserSuite.create – أساسي
• [SPARK-37796] [SQL] يجب أن تتخطى ByteArrayMethods arrayEquals بسرعة التحقق من المحاذاة مع النظام الأساسي غير المتوافق
• [SPARK-37817] [SQL][ثانوي] إزالة التعليمات البرمجية غير القابلة للوصول في complexTypeExtractors.scala
• [SPARK-37807] [SQL] إصلاح خطأ مطبعي في رسالة HttpAuthenticationException
• [SPARK-37750] [SQL] وضع ANSI: إرجاع نتيجة فارغة اختياريا إذا لم يكن العنصر موجودا في الصفيف/الخريطة
• [SPARK-37789] [SQL] إضافة فئة لتمثيل الدوال التجميعية العامة في DS V2
• [SPARK-37785] [SQL][CORE] إضافة Utils.isInRunningSparkTask
• [SPARK-37780] [SQL] يستخدم دعم QueryExecutionListener SQLConf.get للحصول على SQLConf من SessionState المقابل
• [SPARK-37783] [SS][SQL][CORE] تمكين الإعادة عندما يكون ذلك ممكنا
• [SPARK-37726] [SQL] إضافة مقاييس حجم الانسكاب للانضمام إلى دمج الفرز
• [SPARK-37800] [SQL] يقوم TreeNode.argString بتنسيق الوسيطات من النوع Set[_]
• [SPARK-37716] [SQL] تحسين رسائل الخطأ عندما يكون ل LateralJoin تعبيرات غير محددة
• [SPARK-37779] [SQL] جعل خطة ColumnarToRowExec قابلة للمتعارف عليها بعد (de) التسلسل
• [SPARK-37578] [SQL] تحديث مقاييس المهام من مقاييس ds v2 المخصصة
• [SPARK-37676] [SQL] دعم دالة تجميع ANSI: percentile_cont
• [SPARK-37724] [SQL] وضع ANSI: تعطيل الكلمات الأساسية المحجوزة ANSI بشكل افتراضي
• [SPARK-37705] [SQL][3.2] إعادة قاعدة الطوابع الزمنية في المنطقة الزمنية للجلسة المحفوظة في بيانات تعريف Parquet/Avro
• [SPARK-34755] [SQL] دعم استخدامات تحويل تنسيق الأرقام
• [SPARK-36703] [SQL] إزالة الفرز إذا كان تابع RepartitionByExpression
• [SPARK-37369] [SQL] تجنب انتقال ColumnarToRow المكرر على InMemoryTableScan
• [SPARK-37450] [SQL] اقتطاع الحقول غير الضرورية من إنشاء
• [SPARK-37728] [SQL] يمكن أن تؤدي قراءة الأعمدة المتداخلة باستخدام قارئ ORC المتجه إلى ArrayIndexOutOfBoundsException
• [SPARK-37564] [SQL] إضافة code-gen لفرز التجميع بدون مفاتيح التجميع
• [SPARK-37659] [واجهة المستخدم][3.2] إصلاح حالة تعارض FsHistoryProvider بين معلومات سجل القائمة والحذف
• [SPARK-37727] [SQL] إظهار التكوينات التي تم تجاهلها وإخفاء تحذيرات التكوين المعينة بالفعل في SparkSession.builder.getOrCreate
• [SPARK-37391] [SQL]يوضح JdbcConnectionProvider ما إذا كان يعدل سياق الأمان
• [SPARK-37273] [SQL] دعم أعمدة بيانات تعريف الملف المخفية في Spark SQL
• [SPARK-36876] [SQL] دعم تقليم القسم الديناميكي ل HiveTableScanExec
• [SPARK-37546] [SQL] يجب أن يكون الأمر V2 ReplaceTableAsSelect مؤهلا للموقع
• [SPARK-37545] [SQL] يجب أن يكون الأمر V2 CreateTableAsSelect مؤهلا للموقع
• [SPARK-37707] [SQL] السماح بتعيين المتجر والتحويل الضمني بين أنواع التاريخ والوقت
• [SPARK-37644] [SQL] دعم دفعة مجمعة كاملة لمورد البيانات v2
• [SPARK-37695] [CORE][SHUFFLE] تخطي كتل التشخيص المدمجة من التبديل العشوائي المستند إلى الدفع
• [SPARK-35295] [ML] استبدال com.github.fommil.netlib بالكامل بواسطة dev.ludovic.netlib:2.0
• [SPARK-37694] [SQL] عدم السماح بحذف الموارد في spark sql cli
• [SPARK-37330] [SQL] ترحيل الأمر ReplaceTableStatement إلى الإصدار 2
• [SPARK-27974] [SQL] دعم الدالة التجميعية ANSI: array_agg
• [SPARK-36902] [SQL] ترحيل CreateTableAsSelectStatement إلى الأمر v2
• [SPARK-37678] [PYTHON] إصلاح توقيع _cleanup_and_return
• [SPARK-37613] [SQL] دعم الدالة التجميعية ANSI: regr_count
• [SPARK-37689] [SQL] يجب دعم التوسيع في نشرEmptyRelation
• [SPARK-37654] [SQL] إصلاح NPE في Row.getSeq عندما يكون الحقل Null
• [SPARK-37496] [SQL] ترحيل الأمر ReplaceTableAsSelectStatement إلى الإصدار 2
• [SPARK-37483] [SQL] دعم دفع أعلى N إلى مصدر بيانات JDBC V2
• [SPARK-37577] [SQL] إصلاح ClassCastException: لا يمكن تحويل ArrayType إلى StructType لإنشاء Pruning
• [SPARK-37310] [SQL] ترحيل ALTER NAMESPACE ... تعيين خصائص لاستخدام الأمر V2 بشكل افتراضي
• [SPARK-37501] [SQL] يجب أن يكون موقع CREATE/REPLACE TABLE مؤهلا لأمر v2
• [SPARK-37343] [SQL] تنفيذ createIndex وExists وdropIndex في JDBC (لهجة Postgres)
• [SPARK-37060] [CORE][3.2] معالجة استجابة حالة برنامج التشغيل من النسخ الاحتياطية الرئيسية
• [SPARK-37629] [SQL] تسريع Expression.canonicalized
• [SPARK-37633] [SQL] يجب أن يتخطى تحويل إلغاء التدبير إذا فشل البث باستمرار مع...
• [SPARK-37631] [SQL] تنظيف التعليمات البرمجية عند ترقية السلاسل للكتابة المزدوجة في الدالات الرياضية
• [SPARK-37569] [SQL] عدم وضع علامة على حقول طريقة العرض المتداخلة على أنها قابلة للقيمة الخالية
• [SPARK-37557] [SQL] استبدال تجزئة الكائن بتجميع الفرز إذا تم فرز التابع بالفعل
• [SPARK-36850] [SQL] ترحيل CreateTableStatement إلى إطار عمل أوامر v2
• [SPARK-37592] [SQL] تحسين أداء JoinSelection
• [SPARK-37217] [SQL] يجب التحقق من عدد الأقسام الديناميكية مبكرا عند الكتابة إلى جداول خارجية
• [SPARK-37584] [SQL] دالة SQL الجديدة: map_contains_key
• [SPARK-37455] [SQL] استبدال التجزئة بتجميع الفرز إذا تم فرز التابع بالفعل
• [SPARK-34735] [SQL][واجهة المستخدم] إضافة التكوينات المعدلة لتنفيذ SQL في واجهة المستخدم
• [SPARK-37540] [SQL] الكشف عن المزيد من السفر عبر الزمن غير المدعوم
• [SPARK-37376] [SQL] تقديم واجهة DataSource V2 جديدة HasPartitionKey
• [SPARK-37666] [SQL] تعيين GCM كوضع افتراضي في aes_encrypt()/aes_decrypt()
• [SPARK-37573] [SQL] يجب أن يتراجع IsolatedClientLoader إلى الإصدار ذي الصلة، وليس دائما hadoop-2.7.4
• [SPARK-37561] [SQL] تجنب تحميل جميع الدالات عند الحصول على رمز تفويض الخلية
• [SPARK-37370] [SQL] إضافة تكوينات SQL للتحكم في التعليمات البرمجية للانضمام المضاف حديثا في 3.3
• [SPARK-37311] [SQL] ترحيل ALTER NAMESPACE ... تعيين LOCATION لاستخدام الأمر V2 بشكل افتراضي
• [SPARK-37192] [SQL] ترحيل SHOW TBLPROPERTIES لاستخدام الأمر V2 بشكل افتراضي
• [SPARK-37219] [SQL] إضافة دعم بناء الجملة AS OF
• [SPARK-37316] [SQL] إضافة code-gen لربط دمج الفرز
• [SPARK-37591] [SQL] دعم وضع GCM بواسطة aes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] إضافة و mode padding args إلى aes_encrypt()/aes_decrypt()
• [SPARK-12567] [SQL] إضافة aes_encrypt ووظائف مضمنة aes_decrypt
• [SPARK-37392] [SQL] إصلاح خطأ الأداء عند الاستدلال على قيود الإنشاء
• [SPARK-37481] [الذاكرة الأساسية][واجهة مستخدم الويب] إصلاح اختفاء المراحل التي تم تخطيها بعد إعادة المحاولة
• [SPARK-37533] [SQL] دالة SQL الجديدة: try_element_at
• [SPARK-37451] [SQL] إصلاح نوع سلسلة التحويل إلى نوع عشري إذا تم تمكين spark.sql.legacy.allowNegativeScaleOfDecimal
• [SPARK-37062] [SS] تقديم مصدر بيانات جديد لتوفير مجموعة متسقة من الصفوف لكل قالب صغير
• [SPARK-37552] [SQL] إضافة الدالة convert_timezone()
• [SPARK-37555] [SQL] يجب أن يمرر spark-sql آخر تعليق غير مغلق إلى الخلفية
• [SPARK-37286] [SQL] نقل compileAggregates من JDBCRDD إلى JdbcDialect
• [SPARK-37485] [CORE][SQL] استبدال map مع التعبيرات التي لا تنتج أي نتيجة مع foreach
• [SPARK-37556] [SQL] فشل فئة Deser الفارغة مع تسلسل Java
• [SPARK-37520] [SQL] إضافة دالات startswith() السلسلة و endswith()
• [SPARK-37471] [SQL] دعم ; spark-sql في التعليق المتداخل بين قوسين
• [SPARK-37360] [SQL] دعم TimestampNTZ في مصدر بيانات JSON
• [SPARK-37508] [SQL] إضافة دالة سلسلة CONTAINS()
• [SPARK-37494] [SQL] إخراج خيارات Unify v1 وv2 للأمر SHOW CREATE TABLE
• [SPARK-37524] [SQL] يجب أن نسقط جميع الجداول بعد اختبار تقليم القسم الديناميكي.
• [SPARK-37389] [SQL] التحقق من التعليقات المقوسة غير المكتبسة
• [SPARK-37220] [SQL] عدم تقسيم ملف الإدخال لقارئ Parquet مع دفع مجمع لأسفل
• [SPARK-37326] [SQL] دعم TimestampNTZ في مصدر بيانات CSV
• [SPARK-35867] [SQL] تمكين القراءة المتجهة ل VectorizedPlainValuesReader.readBooleans
• [SPARK-37484] [CORE][SQL] استبدال get و getOrElse ب getOrElse
• [SPARK-37492] [SQL] تحسين رمز اختبار Orc باستخدامAllNativeOrcReaders
• [SPARK-37458] [SS] إزالة SerializeFromObject غير الضرورية من خطة foreachBatch

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 10.3.

بيئة النظام

• نظام التشغيل: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN في 2022-01-19.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)