Databricks Runtime 10.2 (EoS)

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 10.2 وDatabricks Runtime 10.2 Photon، المشغل بواسطة Apache Spark 3.2.0. أصدرت Databricks هذا الإصدار في ديسمبر 2021. الفوتون في المعاينة العامة.

ميزات وتحسينات جديدة

• استخدام الملفات في Repos مع Spark Streaming
• تضيف أدوات Databricks المساعدة أمر تحميل تحديث
• يدعم Delta Lake إعادة تسمية الأعمدة (معاينة عامة)
• تضيف محفوظات جدول Delta Lake معلومات إصدار وقت تشغيل Databricks
• تضيف أدوات Databricks المساعدة أحدث معلومات وقت التعديل عند إدراج الدلائل
• يضيف Spark SQL دالة approx_top_k لإرجاع أهم العناصر وعددها
• Trigger.AvailableNow متوفر الآن في Python بالإضافة إلى Scala
• يدعم برنامج التحميل التلقائي الآن تطور المخطط ل Avro (معاينة عامة)

استخدام الملفات في Repos مع Spark Streaming

يمكنك الآن الوصول إلى الملفات في Repos من Spark Streaming.

تضيف أدوات Databricks المساعدة أمر تحميل تحديث

الأمر الجديد dbutils.fs.updateMount مشابه ل dbutils.fs.mount، ولكن هذا الأمر الجديد يقوم بتحديث نقطة تحميل موجودة بدلا من إنشاء نقطة جديدة. راجع الأمر updateMount (dbutils.fs.updateMount).

يدعم Delta Lake إعادة تسمية الأعمدة (معاينة عامة)

يدعم Delta Lake الآن إعادة تسمية العمود. لإعادة تسمية عمود جدول Delta، يجب ترقية إصدار جدول Delta ثم تعيين وضع تعيين العمود إلى تعيين الاسم. راجع إعادة تسمية الأعمدة وإفلاتها باستخدام تعيين عمود Delta Lake.

تضيف محفوظات جدول Delta Lake معلومات إصدار وقت تشغيل Databricks

عند إجراء كتابة الآن إلى جدول Delta، يتم أيضا تسجيل معلومات حول إصدار Databricks Runtime الذي قام بالكتابة. للحصول على معلومات الإصدار، قم بتشغيل DESCRIBE HISTORY الأمر على الجدول ثم راجع engineInfo العمود في الإخراج. راجع وصف المحفوظات والعمل مع محفوظات جدول Delta Lake.

تضيف أدوات Databricks المساعدة أحدث معلومات وقت التعديل عند إدراج الدلائل

يقوم dbutils.fs.ls الأمر الخاص بإدراج محتويات دليل الآن لإخراج modificationTime حقل. يحتوي هذا الحقل على أحدث وقت تعديل لكل ملف أو دليل مدرج. راجع الأمر ls (dbutils.fs.ls).

يضيف Spark SQL دالة approx_top_k لإرجاع أهم العناصر وعددها

ترجع الدالة الجديدة approx_top_k قيم العنصر الأكثر تكرارا، جنبا إلى جنب مع أعدادها التقريبية، للتعبير المحدد. تشمل بعض الأمثلة ما يلي:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

نتيجة تشغيل أي من المثالين هي:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

راجع approx_top_k الدالة التجميعية.

Trigger.AvailableNow متوفر الآن في Python بالإضافة إلى Scala

يدعم هذا التغيير استعلامات Trigger.AvailableNow تدفق مصدر دلتا في Python بالإضافة إلى Scala. قدم Databricks Runtime 10.1 الدعم لهذا المشغل في Scala. يدعم Databricks Runtime 10.2 الآن هذا المشغل في Python أيضا. راجع تغطية Trigger.AvailableNow في ما هو المحمل التلقائي؟.

يدعم برنامج التحميل التلقائي الآن تطور المخطط ل Avro (معاينة عامة)

راجع تكوين استنتاج المخطط وتطوره في Auto Loader.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • filelock من 3.3.1 إلى 3.4.0
  • بشكل مخطط من 5.3.0 إلى 5.3.1
• مكتبات R التي تمت ترقيتها:
  • قاعدة من 4.1.1 إلى 4.1.2
  • المحول البرمجي من 4.1.1 إلى 4.1.2
  • مجموعات البيانات من 4.1.1 إلى 4.1.2
  • الرسومات من 4.1.1 إلى 4.1.2
  • grDevices من 4.1.1 إلى 4.1.2
  • شبكة من 4.1.1 إلى 4.1.2
  • أساليب من 4.1.1 إلى 4.1.2
  • متوازي من 4.1.1 إلى 4.1.2
  • Rserve من 1.8-8 إلى 1.8-10
  • خطوط من 4.1.1 إلى 4.1.2
  • إحصائيات من 4.1.1 إلى 4.1.2
  • الإحصائيات4 من 4.1.1 إلى 4.1.2
  • tcltk من 4.1.1 إلى 4.1.2
  • أدوات من 4.1.1 إلى 4.1.2
  • utils من 4.1.1 إلى 4.1.2
  • backports من 1.2.1 إلى 1.4.0
  • مكنسة من 0.7.9 إلى 0.7.10
  • cli من 3.0.1 إلى 3.1.0
  • cpp11 من 0.4.0 إلى 0.4.1
  • crayon من 1.4.1 إلى 1.4.2
  • بيانات الاعتماد من 1.3.1 إلى 1.3.2
  • في المستقبل من 1.22.1 إلى 1.23.0
  • غيرت من 1.4.1 إلى 1.4.3
  • glmnet من 4.1-2 إلى 4.1-3
  • الغراء من 1.4.2 إلى 1.5.0
  • مذكرة من 2.0.0 إلى 2.0.1
  • بالتوازي من 1.28.1 إلى 1.29.0
  • قراءة من 2.0.2 إلى 2.1.0
  • sessioninfo من 1.1.1 إلى 1.2.1
  • stringi من 1.7.5 إلى 1.7.6
  • من 3.1.5 إلى 3.1.6
  • نص صغير من 0.34 إلى 0.35
  • tzdb من 0.1.2 إلى 0.2.0
  • استخدام هذا من 2.1.2 إلى 2.1.3
  • uuid من 0.1-4 إلى 1.0-3
  • vroom من 1.5.5 إلى 1.5.6
  • xfun من 0.27 إلى 0.28
• مكتبات Java التي تمت ترقيتها:
  • com.fasterxml.jackson من 2.12.2 إلى 2.12.3
  • io.airlift.aircompressor من 0.19 إلى 0.21
  • io.netty.netty-all من 4.1.63.Final إلى 4.1.68.Final
  • joda-time.joda-time من 2.10.5 إلى 2.10.10
  • org.apache.commons.commons-compress من 1.20 إلى 1.21
  • org.apache.orc من 1.6.10 إلى 1.6.12
  • org.eclipse.jetty من 9.4.40.v20210413 إلى 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 من 1.0 إلى 1.2
  • org.scalanlp.breeze_2.12 من 1.0 إلى 1.2
  • org.org.typelevel.algebra_2.12 من 2.0.0 إلى 2.0.1
  • org.typelevel.cats-kernel_2.12 من 2.0.0 إلى 2.0.1

Apache Spark

يتضمن Databricks Runtime 10.2 Apache Spark 3.2.0. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 10.1 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

• [SPARK-37447] [SQL] ذاكرة التخزين المؤقت LogicalPlan.isStreaming() تؤدي إلى فال كسول
• [SPARK-37468] [SQL] دعم فواصل ANSI الزمنية و TimestampNTZ ل UnionEstimation
• [SPARK-37464] [SQL] يجب أن يكون المخطط وقاعدة البيانات ببساطة أسماء مستعارة لمساحة الاسم
• [SPARK-37452] [SQL] Char و Varchar يكسران التوافق مع الإصدارات السابقة بين v3.1 و v2
• [SPARK-36861] [SQL] استخدم yyyy-MM-dd كنمط التاريخ في اكتشاف القسم
• [SPARK-37456] [SQL] يجب أن يكون موقع CREATE NAMESPACE مؤهلا لأمر v2
• [SPARK-37357] [SQL] إضافة عامل قسم صغير لإعادة توازن الأقسام
• [SPARK-37446] [SQL] استخدام انعكاس getWithoutRegisterFns للسماح بإصدارات Hive المختلفة للبناء
• [SPARK-37444] [SQL] تغيير مساحة الاسم ... يجب أن يتعامل SET LOCATION مع الموقع الفارغ باستمرار عبر الأمر v1 وv2
• [SPARK-36357] [SQL] دعم الطابع الزمني للدفع لأسفل بدون منطقة زمنية ل orc
• [SPARK-36346] [SQL] دعم نوع TimestampNTZ في مصدر ملف Orc
• [SPARK-36646] [SQL] دفع المجموعة لأسفل حسب عمود القسم للتجاميع
• [SPARK-34960] [SQL] دفع مجمع لأسفل ل ORC
• [SPARK-37386] [SQL] تبسيط OptimizeSkewedJoin لعدم تشغيل مقيم التكلفة
• [SPARK-36073] [SQL] إصلاحات وتحسينات التعبيرات المكافئة
• [SPARK-35352] [SQL] إضافة code-gen للانضمام الكامل لدمج الفرز الخارجي
• [SPARK-37292] [SQL] إزالة الصلة الخارجية إذا كان لها DISTINCT فقط على الجانب المتدفق باستخدام الاسم المستعار
• [SPARK-37371] [SQL] يجب أن يدعم UnionExec العمودي إذا كان جميع الأطفال يدعمون العمود
• [SPARK-36645] [SQL] التجميع (الحد الأدنى/الحد الأقصى/العدد) اضغط لأسفل ل Parquet
• [SPARK-37379] [SQL] إضافة تشذيب نمط شجرة إلى قاعدة CTESubstitution
• [SPARK-37332] [SQL] السماح بفواصل ANSI الزمنية في ALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] تحسين مسار الكتابة على موفر مخزن حالة RocksDB
• [SPARK-37304] [SQL] السماح بفواصل ANSI الزمنية في الإصدار 2 ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL] CAST بين فواصل ANSI وType المتكاملة
• [SPARK-37289] [SQL] إزالة partitionSchemaOption الدالة
• [SPARK-37270] [SQL] إصلاح الدفع القابل للطي في فروع CaseWhen إذا كانت elseValue فارغة
• [SPARK-35345] [SQL] إضافة اختبارات Parquet إلى BloomFilterBenchmark
• [SPARK-37341] [SQL] تجنب المخزن المؤقت غير الضروري والنسخ في ربط دمج الفرز الخارجي الكامل
• [SPARK-37266] [SQL] يمكن أن يكون عرض النص استعلامات SELECT فقط
• [SPARK-37288] [PYTHON][3.2] Backport منذ تحديث التعليق التوضيحي
• [SPARK-37262] [SQL] لا تسجل التجميع والتجموع الفارغين حسب في JDBCScan
• [SPARK-37283] [SQL] لا تحاول تخزين جدول V1 الذي يحتوي على فواصل ANSI بتنسيق متوافق مع Hive
• [SPARK-37221] [SQL] يجب أن تدعم واجهة برمجة التطبيقات التي تشبه التجميع في SparkPlan الإخراج العمودي
• [SPARK-37202] [SQL] استخدام AnalysisContext لتعقب الدوال المؤقتة المشار إليها
• [SPARK-37023] [CORE] تجنب إحضار حالة الدمج عندما يكون shuffleMergeEnabled خطأ ل shuffleDependency أثناء إعادة المحاولة
• [SPARK-37307] [CORE] لا تحصل على اتصال JDBC للأقسام الفارغة
• [SPARK-37267] [SQL] يدعم OptimizeSkewInRebalancePartitions تحسين العقدة غير الجذر
• [SPARK-36799] [SQL] تمرير اسم queryExecution في CLI
• [SPARK-37261] [SQL] السماح بإضافة أقسام مع فواصل ANSI في DSv2
• [SPARK-37203] [SQL] إصلاح NotSerializableException عند الملاحظة باستخدام TypedImperativeAggregate
• [SPARK-37199] [SQL] إضافة حقل محدد إلى QueryPlan
• [SPARK-37253] [PYTHON] try_simplify_traceback يجب ألا يفشل عندما tb_frame.f_lineno يكون بلا
• [SPARK-37214] [SQL] فشل تحليل الاستعلام في وقت سابق مع معرفات غير صالحة
• [SPARK-37240] [SQL] معالجة فواصل ANSI الزمنية بواسطة ColumnVectorUtils.populate()
• [SPARK-35437] [SQL] استخدام التعبيرات لتصفية أقسام Hive من جانب العميل
• [SPARK-32940] [SQL] يجب أن يكون التجميع، الأول والأخير دالات تجميعية حتمية
• [SPARK-37231] [SQL] عمليات الكتابة/القراءة الديناميكية لأقسام الفاصل الزمني ANSI
• [SPARK-37038] [SQL] نموذج DSV2 للدفع لأسفل
• [SPARK-36665] [SQL] إضافة المزيد لا تبسيطات عامل التشغيل
• [SPARK-37150] [SQL] ترحيل وصف مساحة الاسم لاستخدام الأمر V2 بشكل افتراضي
• [SPARK-37196] [SQL] فشل إرجاع HiveDecimal enforcePrecisionScale null
• [SPARK-37212] [SQL] تحسين تنفيذ الدفعة المجمعة.
• [SPARK-37190] [SQL] تحسين رسائل الخطأ ل Cast ضمن وضع ANSI
• [SPARK-37161] [SQL] يدعم RowToColumnConverter AnsiIntervalType
• [SPARK-37160] [SQL] إضافة تكوين لتعطيل ترك مساحة لنوع الحرف اختياريا
• [SPARK-36554] [SQL][PYTHON] كشف تعبير make_date في functions.scala
• [SPARK-37200] [SQL] دعم مؤشر الإفلات ل Data Source V2
• [SPARK-37179] [SQL] وضع ANSI: إضافة تكوين للسماح بالصب بين Datetime وNumeric
• [SPARK-37168] [SQL] تحسين رسائل الخطأ لوظائف وعوامل تشغيل SQL ضمن وضع ANSI
• [SPARK-36935] [SQL] توسيع ParquetSchemaConverter لحساب تكرار Parquet ومستوى التعريف
• [SPARK-37066] [SQL] تحسين رسالة الخطأ لإظهار مسار الملف عند فشل قراءة الملف التالي
• [SPARK-32567] [SQL] إضافة code-gen للانضمام الكامل للتجزئة الخارجية العشوائية
• [SPARK-37176] [SQL] مزامنة منطق معالجة استثناء أسلوب JsonInferSchema#infer باستخدام أسلوب JacksonParser#parse
• [SPARK-37149] [SQL] تحسين رسائل الخطأ لاستثناءات تجاوز الحساب ضمن وضع ANSI
• [SPARK-37136] [SQL] إزالة التعليمات البرمجية حول دالة hive buildin ولكن لا يتم تنفيذها في spark
• [SPARK-16280] [SPARK-37082] [SQL] تنفذ وظيفة التجميع histogram_numeric التي تدعم التجميع الجزئي.
• [SPARK-36975] [SQL] تصحيح مقاييس استدعاءات عميل الخلية في HiveClientImpl

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 10.2.

بيئة النظام

• نظام التشغيل: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2021-11-30.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)