Databricks Runtime 7.0 (EoS)

أصدرت Databricks هذا الإصدار في يونيو 2020.

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 7.0، مدعومة من Apache Spark 3.0.

الميزات الجديدة

يتضمن Databricks Runtime 7.0 الميزات الجديدة التالية:

• Scala 2.12

  يعمل Databricks Runtime 7.0 على ترقية Scala من 2.11.12 إلى 2.12.10. توجد قائمة التغيير بين Scala 2.12 و2.11 في ملاحظات إصدار Scala 2.12.0.

• تم تحسين أداة التحميل التلقائي (المعاينة العامة)، التي تم إصدارها في Databricks Runtime 6.4، في Databricks Runtime 7.0

  يمنحك التحميل التلقائي طريقة أكثر كفاءة لمعالجة ملفات البيانات الجديدة بشكل متزايد عند وصولها إلى مخزن كائن ثنائي كبير الحجم على السحابة أثناء ETL. هذا تحسين على الدفق المنظم المستند إلى الملفات، والذي يحدد الملفات الجديدة من خلال سرد الدليل السحابي بشكل متكرر وتتبع الملفات التي تمت رؤيتها، ويمكن أن يكون غير فعال للغاية مع نمو الدليل. يعد التحميل التلقائي أيضا أكثر ملاءمة وفعالية من الدفق المنظم المستند إلى إعلامات الملفات، والذي يتطلب تكوين خدمات إعلام الملفات يدويا على السحابة ولا يتيح لك إعادة تعبئة الملفات الموجودة. للحصول على التفاصيل، راجع ما المقصود بالتحميل التلقائي؟.

  في Databricks Runtime 7.0، لم تعد بحاجة إلى طلب صورة Databricks Runtime مخصصة لاستخدام "التحميل التلقائي".

• COPY INTO (معاينة عامة)، والذي يتيح لك تحميل البيانات في Delta Lake مع عمليات إعادة المحاولة المتكررة، تم تحسينه في Databricks Runtime 7.0

  تم إصداره كمعاينة عامة في Databricks Runtime 6.4، COPY INTO يتيح لك أمر SQL تحميل البيانات في Delta Lake مع إعادة المحاولة المتكررة. لتحميل البيانات في Delta Lake اليوم، يجب عليك استخدام واجهات برمجة تطبيقات Apache Spark DataFrame. إذا كانت هناك حالات فشل أثناء الأحمال، يجب عليك التعامل معها بفعالية. يوفر الأمر الجديد COPY INTO واجهة تعريفية مألوفة لتحميل البيانات في SQL. يتعقب الأمر الملفات التي تم تحميلها مسبقا ويمكنك إعادة تشغيلها بأمان في حالة الفشل. للحصول على التفاصيل، راجع COPY INTO.

التحسينات

• يدعم موصل Azure Synapse (المعروف سابقا بمستودع بيانات SQL) العبارة COPY .

  الفائدة الرئيسية من COPY هو أن المستخدمين الأقل امتيازا يمكنهم كتابة البيانات إلى Azure Synapse دون الحاجة إلى أذونات صارمة CONTROL على Azure Synapse.

• %matplotlib inline لم يعد الأمر السحري مطلوبا لعرض كائنات Matplolib المضمنة في خلايا دفتر الملاحظات. يتم عرضها دائما مضمنة بشكل افتراضي.

• يتم الآن عرض أرقام Matplolib مع transparent=False، بحيث لا يتم فقدان الخلفيات المحددة من قبل المستخدم. يمكن تجاوز هذا السلوك عن طريق تعيين تكوين spark.databricks.workspace.matplotlib.transparent trueSpark .

• عند تشغيل مهام إنتاج Structured Streaming على أنظمة مجموعات وضع التزامن العالي، قد تفشل أحيانا عمليات إعادة تشغيل الوظيفة، لأنه لم يتم إنهاء المهمة قيد التشغيل مسبقا بشكل صحيح. قدم Databricks Runtime 6.3 القدرة على تعيين تكوين spark.sql.streaming.stopActiveRunOnRestart true SQL على نظام المجموعة الخاص بك للتأكد من توقف التشغيل السابق. يتم تعيين هذا التكوين بشكل افتراضي في Databricks Runtime 7.0.

تغييرات المكتبة الرئيسية

حزم Python

تمت ترقية حزم Python الرئيسية:

• boto3 1.9.162 -> 1.12.0
• matplotlib 3.0.3 -> 3.1.3
• numpy 1.16.2 -> 1.18.1
• بانداز 0.24.2 -> 1.0.1
• pip 19.0.3 -> 20.0.2
• pyarrow 0.13.0 -> 0.15.1
• psycopg2 2.7.6 -> 2.8.4
• scikit-learn 0.20.3 -> 0.22.1
• scipy 1.2.1 -> 1.4.1
• seaborn 0.9.0 -> 0.10.0

تمت إزالة حزم Python:

• boto (استخدام boto3)
• pycurl

حزم R

تمت إضافة حزم R:

• broom
• highr
• isoband
• knitr
• markdown
• modelr
• reprex
• rmarkdown
• rvest
• selectr
• tidyverse
• tinytex
• xfun

تمت إزالة حزم R:

• abind
• bitops
• car
• carData
• doMC
• غيغابايت
• h2o
• أكثر طفاية
• lme4
• مشروع الخريطة
• الخرائط
• أصنام الخرائط
• نماذج المصفوفة
• مينقا
• mvtnorm
• nloptr
• openxlsx
• pbkrtest
• pkgKitten
• quantreg
• R.methodsS3
• R.oo
• R.utils
• RcppEigen
• RCurl
• ريو
• sp
• SparseM
• statmod
• zip

مكتبات Java وSc scala

• تم ترقية إصدار Apache Hive المستخدم لمعالجة الوظائف المعرفة من قبل مستخدم Apache Hive وHive SerDes إلى 2.3.
• في السابق، تم حزم Azure Storage وKey Vault jars كجزء من Databricks Runtime، مما يمنعك من استخدام إصدارات مختلفة من تلك المكتبات المرفقة بالمجموعة. الفئات ضمن com.microsoft.azure.storage ولم com.microsoft.azure.keyvault تعد على مسار الفئة في Databricks Runtime. إذا كنت تعتمد على أي من مسارات الفئة هذه، يجب عليك الآن إرفاق Azure Storage SDK أو Azure Key Vault SDK إلى مجموعاتك.

تغييرات السلوك

يسرد هذا القسم تغييرات السلوك من Databricks Runtime 6.6 إلى Databricks Runtime 7.0. يجب أن تكون على علم بهذه أثناء ترحيل أحمال العمل من إصدارات وقت تشغيل Databricks الأقل إلى Databricks Runtime 7.0 وما فوق.

تغييرات سلوك Spark

نظرا لأن Databricks Runtime 7.0 هو أول وقت تشغيل Databricks مبني على Spark 3.0، فهناك العديد من التغييرات التي يجب أن تكون على علم بها عند ترحيل أحمال العمل من Databricks Runtime 5.5 LTS أو 6.x، والتي تم إنشاؤها على Spark 2.4. يتم سرد هذه التغييرات في قسم "تغييرات السلوك" في كل منطقة وظيفية في قسم Apache Spark من مقالة ملاحظات الإصدار هذه:

• تغييرات السلوك ل Spark core وSpark SQL وSpark Structured Streaming
• تغييرات السلوك ل MLlib
• تغييرات السلوك ل SparkR

تغييرات السلوك الأخرى

• تتضمن الترقية إلى Scala 2.12 التغييرات التالية:

  • تتم معالجة تسلسل خلية الحزمة بشكل مختلف. يوضح المثال التالي تغيير السلوك وكيفية التعامل معه.

    تشغيل foo.bar.MyObjectInPackageCell.run() كما هو محدد في خلية الحزمة التالية سيؤدي إلى ظهور الخطأ java.lang.NoClassDefFoundError: Could not initialize class foo.bar.MyObjectInPackageCell$

    package foo.bar
    
    case class MyIntStruct(int: Int)
    
    import org.apache.spark.sql.SparkSession
    import org.apache.spark.sql.functions._
    import org.apache.spark.sql.Column
    
    object MyObjectInPackageCell extends Serializable {
    
      // Because SparkSession cannot be created in Spark executors,
      // the following line triggers the error
      // Could not initialize class foo.bar.MyObjectInPackageCell$
      val spark = SparkSession.builder.getOrCreate()
    
      def foo: Int => Option[MyIntStruct] = (x: Int) => Some(MyIntStruct(100))
    
      val theUDF = udf(foo)
    
      val df = {
        val myUDFInstance = theUDF(col("id"))
        spark.range(0, 1, 1, 1).withColumn("u", myUDFInstance)
      }
    
      def run(): Unit = {
        df.collect().foreach(println)
      }
    }
    

    للتغلب على هذا الخطأ، يمكنك الالتفاف MyObjectInPackageCell داخل فئة قابلة للتسلسل.

  • تتطلب بعض الحالات التي تستخدم DataStreamWriter.foreachBatch تحديث التعليمات البرمجية المصدر. ويرجع هذا التغيير إلى حقيقة أن Scala 2.12 لديه تحويل تلقائي من تعبيرات lambda إلى أنواع SAM ويمكن أن يسبب الغموض.

    على سبيل المثال، لا يمكن تحويل التعليمات البرمجية Scala التالية برمجيا:

    streams
      .writeStream
      .foreachBatch { (df, id) => myFunc(df, id) }
    

    لإصلاح خطأ التحويل البرمجي، قم بالتغيير foreachBatch { (df, id) => myFunc(df, id) } إلى foreachBatch(myFunc _) واجهة برمجة تطبيقات Java أو استخدامها بشكل صريح: foreachBatch(new VoidFunction2 ...).

• نظرا لأن إصدار Apache Hive المستخدم لمعالجة الوظائف المعرفة من قبل مستخدم Apache Hive وHive SerDes تتم ترقيته إلى 2.3، يلزم إجراء تغييرين:

  • يتم استبدال واجهة Apache Hive SerDe بفئة AbstractSerDeمجردة . بالنسبة إلى أي تطبيق Apache Hive SerDe مخصص، يلزم الترحيل إلى AbstractSerDe .
  • الإعداد spark.sql.hive.metastore.jars إلى builtin يعني أنه سيتم استخدام عميل Hive 2.3 metastore للوصول إلى metastores لوقت تشغيل Databricks 7.0. إذا كنت بحاجة إلى الوصول إلى metastores الخارجية المستندة إلى Hive 1.2، فقم بتعيين spark.sql.hive.metastore.jars إلى المجلد الذي يحتوي على جرات Hive 1.2.

الإهمال والإزالة

• تم إهمال فهرس تخطي البيانات في Databricks Runtime 4.3 وإزالته في Databricks Runtime 7.0. نوصي باستخدام جداول Delta بدلا من ذلك، والتي توفر قدرات محسنة لتخطي البيانات.
• في Databricks Runtime 7.0، يستخدم الإصدار الأساسي من Apache Spark Scala 2.12. نظرا لأن المكتبات التي تم تجميعها مقابل Scala 2.11 يمكنها تعطيل مجموعات Databricks Runtime 7.0 بطرق غير متوقعة، فإن المجموعات التي تعمل على Databricks Runtime 7.0 وما فوق لا تثبت المكتبات التي تم تكوينها ليتم تثبيتها على جميع المجموعات. تعرض علامة التبويب مكتبات نظام المجموعة حالة Skipped ورسالة إهمال توضح التغييرات في معالجة المكتبة. ومع ذلك، إذا كان لديك نظام مجموعة تم إنشاؤه على إصدار سابق من Databricks Runtime قبل إصدار نظام Azure Databricks الأساسي 3.20 إلى مساحة العمل الخاصة بك، وقمت الآن بتحرير نظام المجموعة هذا لاستخدام Databricks Runtime 7.0، تثبيت أي مكتبات تم تكوينها ليتم تثبيتها على جميع المجموعات على تلك المجموعة. في هذه الحالة، يمكن أن تتسبب أي JARs غير متوافقة في المكتبات المثبتة في تعطيل نظام المجموعة. الحل البديل هو إما استنساخ نظام المجموعة أو لإنشاء نظام مجموعة جديد.

Apache Spark

يتضمن Databricks Runtime 7.0 Apache Spark 3.0.

في هذا القسم:

• Core، Spark SQL، Structured Streaming
• MLlib
• SparkR
• الإهمالات
• المشاكل المعروفة

Core، Spark SQL، Structured Streaming

النقاط الرئيسية

• (مشروع هيدروجين) المجدول المدرك للمسرعات (SPARK-24615)
• تنفيذ الاستعلام التكيفي (SPARK-31412)
• تشذيب التقسيم الديناميكي (SPARK-11150)
• واجهة برمجة تطبيقات Pandas UDF المعاد تصميمها مع تلميحات النوع (SPARK-28264)
• واجهة مستخدم دفق منظم (SPARK-29543)
• واجهة برمجة تطبيقات المكون الإضافي للكتالوج (SPARK-31121)
• توافق أفضل ل ANSI SQL

تحسينات في الأداء

• تنفيذ الاستعلام التكيفي (SPARK-31412)
  • إطار العمل الأساسي (SPARK-23128)
  • بعد تعديل رقم القسم العشوائي (SPARK-28177)
  • إعادة استخدام الاستعلام الفرعي الديناميكي (SPARK-28753)
  • قارئ التبديل العشوائي المحلي (SPARK-28560)
  • تحسين الانضمام إلى انحراف (SPARK-29544)
  • تحسين قراءة كتل التبديل المتجاورة (SPARK-9853)
• تشذيب التقسيم الديناميكي (SPARK-11150)
• قواعد المحسن الأخرى
  • Rule ReuseSubquery (SPARK-27279)
  • Rule PushDownLeftSemiAntiJoin (SPARK-19712)
  • القاعدة PushLeftSemiLeftAntiThroughJoin (SPARK-19712)
  • قاعدة ReplaceNullWithFalse (SPARK-25860)
  • قاعدة إزالة الفرز دون حد في الاستعلام الفرعي للانضمام/التجميع (SPARK-29343)
  • Rule PruneHiveTablePartitions (SPARK-15616)
  • اقتطاع الحقول المتداخلة غير الضرورية من Generate (SPARK-27707)
  • Rule RewriteNonCorrelatedExists (SPARK-29800)
• تقليل تكاليف مزامنة ذاكرة التخزين المؤقت للجدول (SPARK-26917)، (SPARK-26617)، (SPARK-26548)
• تقسيم التعليمات البرمجية للتجميع إلى وظائف صغيرة (SPARK-21870)
• إضافة دفعات في الأمر INSERT وALTER TABLE ADD PARTITION (SPARK-29938)

تحسينات القابلية للتوسعة

• واجهة برمجة تطبيقات المكون الإضافي للكتالوج (SPARK-31121)
• إعادة بناء التعليمات البرمجية لمصدر البيانات V2 API (SPARK-25390)
• دعم Hive 3.0 و3.1 metastore (SPARK-27970)،(SPARK-24360)
• توسيع واجهة المكون الإضافي Spark إلى برنامج التشغيل (SPARK-29396)
• توسيع نظام مقاييس Spark باستخدام مقاييس معرفة من قبل المستخدم باستخدام المكونات الإضافية للمنفذ (SPARK-28091)
• واجهات برمجة تطبيقات المطور لدعم معالجة الأعمدة الموسع (SPARK-27396)
• ترحيل المصدر المضمن باستخدام DSV2: parquet، ORC، CSV، JSON، Kafka، Text، Avro (SPARK-27589)
• السماح ب FunctionInjection في SparkExtensions (SPARK-25560)
• يسمح بتسجيل Aggregator ك UDAF (SPARK-27296)

تحسينات الموصل

• تقليم العمود من خلال تعبيرات غير محددة (SPARK-29768)
• الدعم spark.sql.statistics.fallBackToHdfs في جداول مصدر البيانات (SPARK-25474)
• السماح بتقليم القسم باستخدام عوامل تصفية الاستعلام الفرعي على مصدر الملف (SPARK-26893)
• تجنب دفع الاستعلامات الفرعية في عوامل تصفية مصدر البيانات (SPARK-25482)
• تحميل البيانات المتكررة من مصادر الملفات (SPARK-27990)
• Parquet/ORC
  • دفع دالات التقييم المفككة (SPARK-27699)
  • تعميم تشذيب الأعمدة المتداخلة (SPARK-25603) وتشغيله افتراضيا (SPARK-29805)
  • باركيه فقط
    • ضغط دالة التقييم Parquet للحول المتداخلة (SPARK-17636)
  • ORC فقط
    • دعم مخطط دمج ORC (SPARK-11412)
    • تشذيب المخطط المتداخل ل ORC (SPARK-27034)
    • تقليل تعقيد تحويل التقييم ل ORC (SPARK-27105، SPARK-28108)
    • ترقية Apache ORC إلى 1.5.9 (SPARK-30695)
• CSV
  • الضغط على عوامل تصفية الدعم في مصدر بيانات CSV (SPARK-30323)
• Hive SerDe
  • لا يوجد استنتاج مخطط عند قراءة جدول Hive serde مع مصدر بيانات أصلي (SPARK-27119)
  • يجب أن تستخدم أوامر Hive CTAS مصدر البيانات إذا كان قابلا للتحويل (SPARK-25271)
  • استخدام مصدر البيانات الأصلي لتحسين إدراج جدول Hive المقسم (SPARK-28573)
• Apache Kafka
  • إضافة دعم لرؤوس Kafka (SPARK-23539)
  • إضافة دعم الرمز المميز لتفويض Kafka (SPARK-25501)
  • تقديم خيار جديد لمصدر Kafka: إزاحة بواسطة الطابع الزمني (البدء/الانتهاء) (SPARK-26848)
  • minPartitions دعم الخيار في مصدر دفعة Kafka ومصدر الدفق v1 (SPARK-30656)
  • ترقية Kafka إلى 2.4.1 (SPARK-31126)
• مصادر بيانات مضمنة جديدة
  • مصادر بيانات ملفات ثنائية مضمنة جديدة (SPARK-25348)
  • مصادر بيانات دفعية جديدة بدون عمليات (SPARK-26550) ومتلقي تدفق بدون عمليات (SPARK-26649)

تحسينات الميزات

• [هيدروجين] المجدول المدرك للمسرعات (SPARK-24615)
• تقديم مجموعة كاملة من تلميحات الانضمام (SPARK-27225)
• إضافة PARTITION BY تلميح استعلامات SQL (SPARK-28746)
• معالجة بيانات التعريف في Thrift Server (SPARK-28426)
• إضافة وظائف ترتيب أعلى إلى scala API (SPARK-27297)
• دعم تجميع الكل البسيط في سياق مهمة الحاجز (SPARK-30667)
• تدعم Hive UDFs نوع UDT (SPARK-28158)
• دعم عوامل التشغيل DELETE/UPDATE/MERGE في Catalyst (SPARK-28351، SPARK-28892، SPARK-28893)
• تنفيذ DataFrame.tail (SPARK-30185)
• دالات مضمنة جديدة
  • sinh, cosh, tanh, asinh, acosh, atanh (SPARK-28133)
  • أي، كل، بعض (SPARK-19851)
  • bit_and، bit_or (SPARK-27879)
  • bit_count (SPARK-29491)
  • bit_xor (SPARK-29545)
  • bool_and، bool_or (SPARK-30184)
  • count_if (SPARK-27425)
  • date_part (SPARK-28690)
  • استخراج (SPARK-23903)
  • forall (SPARK-27905)
  • from_csv (SPARK-25393)
  • make_date (SPARK-28432)
  • make_interval (SPARK-29393)
  • make_timestamp (SPARK-28459)
  • map_entries (SPARK-23935)
  • map_filter (SPARK-23937)
  • map_zip_with (SPARK-23938)
  • max_by، min_by (SPARK-27653)
  • schema_of_csv (SPARK-25672)
  • to_csv (SPARK-25638)
  • transform_keys (SPARK-23939)
  • transform_values (SPARK-23940)
  • typeof (SPARK-29961)
  • الإصدار (SPARK-29554)
  • xxhash64 (SPARK-27099)
• تحسينات على الوظائف المضمنة الموجودة
  • وظائف التاريخ والوقت المضمنة/تحسين العمليات (SPARK-31415)
  • وضع الدعم FAILFAST ل from_json (SPARK-25243)
  • array_sort إضافة معلمة مقارنة جديدة (SPARK-29020)
  • يمكن أن يأخذ عامل التصفية الآن الفهرس كإدخل بالإضافة إلى العنصر (SPARK-28962)

تحسينات توافق SQL

• التبديل إلى التقويم الميلادي Proleptic (SPARK-26651)
• إنشاء تعريف نمط التاريخ والوقت الخاص ب Spark (SPARK-31408)
• تقديم نهج تعيين مخزن ANSI لإدراج الجدول (SPARK-28495)
• اتبع قاعدة تعيين مخزن ANSI في إدراج الجدول بشكل افتراضي (SPARK-28885)
• إضافة SQLConf spark.sql.ansi.enabled (SPARK-28989)
• دعم عبارة عامل تصفية ANSI SQL للتعبير التجميعي (SPARK-27986)
• دعم الدالة ANSI SQL OVERLAY (SPARK-28077)
• دعم التعليقات المتداخلة بين قوسين ANSI (SPARK-28880)
• طرح استثناء عند تجاوز السعة للأعداد الصحيحة (SPARK-26218)
• فحص تجاوز السعة للعمليات الحسابية للفاصل الزمني (SPARK-30341)
• طرح استثناء عند تحويل سلسلة غير صالحة إلى نوع رقمي (SPARK-30292)
• جعل سلوك تجاوز الفاصل الزمني متناسقا مع العمليات الأخرى (SPARK-30919)
• إضافة أسماء مستعارة لنوع ANSI لحرف وعشري (SPARK-29941)
• يحدد محلل SQL الكلمات الأساسية المحجوزة المتوافقة مع ANSI (SPARK-26215)
• منع الكلمات الأساسية المحجوزة كمعرفات عند تشغيل وضع ANSI (SPARK-26976)
• دعم بناء جملة ANSI SQL LIKE ... ESCAPE (SPARK-28083)
• دعم بناء جملة ANSI SQL Boolean-Predicate (SPARK-27924)
• دعم أفضل لمعالجة الاستعلام الفرعي المترابط (SPARK-18455)

تحسينات المراقبة وتتبع الأخطاء

• واجهة مستخدم دفق منظم جديدة (SPARK-29543)
• SHS: السماح بتجاوز سجلات الأحداث لتشغيل تطبيقات الدفق (SPARK-28594)
• إضافة واجهة برمجة تطبيقات تسمح للمستخدم بتحديد ومراقبة المقاييس العشوائية على الاستعلامات الدفعية والمتدفقة (SPARK-29345)
• تقرير عن حالة النظام لتعقب وقت التخطيط لكل استعلام (SPARK-26129)
• وضع مقاييس التبديل العشوائي الأساسية في عامل تشغيل تبادل SQL (SPARK-26139)
• يتم عرض عبارة SQL في علامة تبويب SQL بدلا من موقع الاستدعاء (SPARK-27045)
• إضافة تعريف الأدوات إلى SparkUI (SPARK-29449)
• تحسين الأداء المتزامن لخادم المحفوظات (SPARK-29043)
• EXPLAIN FORMATTED الأمر (SPARK-27395)
• دعم تفريغ الخطط المقتطعة والرمز الذي تم إنشاؤه إلى ملف (SPARK-26023)
• تحسين إطار عمل الوصف لوصف إخراج استعلام (SPARK-26982)
• إضافة SHOW VIEWS أمر (SPARK-31113)
• تحسين رسائل الخطأ من محلل SQL (SPARK-27901)
• دعم مراقبة Prometheus أصلا (SPARK-29429)

تحسينات PySpark

• Pandas UDFs المعاد تصميمها مع تلميحات النوع (SPARK-28264)
• خط أنابيب Pandas UDF (SPARK-26412)
• دعم StructType كوسيطات وأنواع إرجاع ل Scalar Pandas UDF (SPARK-27240 )
• دعم Dataframe Cogroup عبر Pandas UDFs (SPARK-27463)
• إضافة mapInPandas للسماح بمكرر DataFrames (SPARK-28198)
• يجب أن تأخذ بعض وظائف SQL أسماء الأعمدة أيضا (SPARK-26979)
• جعل استثناءات PySpark SQL أكثر Pythonic (SPARK-31849)

تحسينات تغطية الوثائق والاختبار

• إنشاء مرجع SQL (SPARK-28588)
• إنشاء دليل مستخدم ل WebUI (SPARK-28372)
• إنشاء صفحة لوثائق تكوين SQL (SPARK-30510)
• إضافة معلومات الإصدار لتكوين Spark (SPARK-30839)
• اختبارات تراجع المنفذ من PostgreSQL (SPARK-27763)
• تغطية اختبار Thrift-server (SPARK-28608)
• اختبار تغطية UDFs (python UDF، Pandas UDF، scala UDF) (SPARK-27921)

تغييرات ملحوظة أخرى

• ترقية تنفيذ Apache Hive المضمنة من 1.2.1 إلى 2.3.6 (SPARK-23710 وSPARK-28723 وSPARK-31381)
• استخدام تبعية Apache Hive 2.3 بشكل افتراضي (SPARK-30034)
• GA Scala 2.12 وإزالة 2.11 (SPARK-26132)
• تحسين المنطق لتوقيت المنفذين في التخصيص الديناميكي (SPARK-20286)
• كتل RDD المستمرة على القرص التي يتم تقديمها بواسطة خدمة التبديل العشوائي ويتم تجاهلها للتخصيص الديناميكي (SPARK-27677)
• الحصول على منفذين جدد لتجنب التوقف بسبب قائمة الحظر (SPARK-22148)
• السماح بمشاركة تخصيصات تجمع ذاكرة Netty (SPARK-24920)
• إصلاح حالة التوقف التام بين TaskMemoryManager و UnsafeExternalSorter$SpillableIterator (SPARK-27338)
• تقديم AdmissionControl واجهات برمجة التطبيقات ل StructuredStreaming (SPARK-30669)
• تحسين أداء الصفحة الرئيسية لمحفوظات Spark (SPARK-25973)
• تسريع التجميع المتري وخفضه في وحدة استماع SQL (SPARK-29562)
• تجنب الشبكة عند إحضار كتل التبديل العشوائي من نفس المضيف (SPARK-27651)
• تحسين قائمة الملفات ل DistributedFileSystem (SPARK-27801)

تغييرات السلوك ل Spark core وSpark SQL وSpark Structured Streaming

تسرد إرشادات الترحيل التالية تغييرات السلوك بين Apache Spark 2.4 و3.0. قد تتطلب هذه التغييرات تحديثات للوظائف التي كنت تقوم بتشغيلها على إصدارات وقت تشغيل Databricks الأقل:

• دليل الترحيل: Spark Core
• دليل الترحيل: SQL ومجموعات البيانات وDataFrame
• دليل الترحيل: الدفق المنظم
• دليل الترحيل: PySpark (Python on Spark)

لا تتم تغطية تغييرات السلوك التالية في أدلة الترحيل هذه:

• في Spark 3.0، تمت إزالة الفئة org.apache.spark.sql.streaming.ProcessingTime المهملة. استخدم org.apache.spark.sql.streaming.Trigger.ProcessingTime بدلاً من ذلك. وبالمثل ، org.apache.spark.sql.execution.streaming.continuous.ContinuousTrigger تمت إزالتها لصالح Trigger.Continuous، وتم org.apache.spark.sql.execution.streaming.OneTimeTrigger إخفاؤها لصالح Trigger.Once. (SPARK-28199)
• في Databricks Runtime 7.0، عند قراءة جدول Hive SerDe، بشكل افتراضي، لا تسمح Spark بقراءة الملفات ضمن دليل فرعي ليس قسم جدول. لتمكينه، قم بتعيين التكوين spark.databricks.io.hive.scanNonpartitionedDirectory.enabled ك true. لا يؤثر هذا على قراء الجدول الأصليين وقارئات الملفات في Spark.

MLlib

النقاط الرئيسية

• تمت إضافة دعم أعمدة متعددة إلى Binarizer (SPARK-23578)، StringIndexer (SPARK-11215)، StopWordsRemover (SPARK-29808) وPySpark QuantileDiscretizer (SPARK-22796)
• دعم تحويل الميزات المستندة إلى الشجرة (SPARK-13677)
• تمت إضافة اثنين من المقيمين الجدد MultilabelClassificationEvaluator (SPARK-16692) وSaleificationEvaluator (SPARK-28045)
• تمت إضافة دعم نماذج الأوزان في DecisionTreeClassifier/Regressor (SPARK-19591)، RandomForestClassifier/Regressor (SPARK-9478)، GBTClassifier/Regressor (SPARK-9612)، RegressionEvaluator (SPARK-9612)، RegressionEvaluator (SPARK-Regressor 24102)، BinaryClassificationEvaluator (SPARK-24103)، BisectingKMeans (SPARK-30351)، KMeans (SPARK-29967) و GaussianMixture (SPARK-30102)
• تمت إضافة واجهة برمجة تطبيقات R ل PowerIterationClustering (SPARK-19827)
• تمت إضافة مستمع Spark ML لتعقب حالة مسار التعلم الآلي (SPARK-23674)
• تمت إضافة الاحتواء مع مجموعة التحقق من الصحة إلى الأشجار المعززة المتدرجة في Python (SPARK-24333)
• تمت إضافة محول المقياس القوي (SPARK-28399)
• تمت إضافة مصنف أجهزة العوامل والمتراجع (SPARK-29224)
• تمت إضافة غاوسي نايف باييس (SPARK-16872) وإكمال Naive Bayes (SPARK-29942)
• تماثل دالة التعلم الآلي بين Scala وPython (SPARK-28958)
• يتم الإعلان عن predictRaw في جميع نماذج التصنيف. يتم جعل predictProbability عاما في جميع نماذج التصنيف باستثناء LinearSVCModel (SPARK-30358)

تغييرات السلوك ل MLlib

يسرد دليل الترحيل التالي تغييرات السلوك بين Apache Spark 2.4 و3.0. قد تتطلب هذه التغييرات تحديثات للوظائف التي كنت تقوم بتشغيلها على إصدارات وقت تشغيل Databricks الأقل:

• دليل الترحيل: MLlib (التعلم الآلي)

لا تتم تغطية تغييرات السلوك التالية في دليل الترحيل:

• في Spark 3.0، سيرجع LogisticRegressionSummaryالانحدار اللوجستي متعدد الفئات في Pyspark الآن (بشكل صحيح) ، وليس الفئة BinaryLogisticRegressionSummaryالفرعية . لن تعمل الأساليب الإضافية التي كشفها BinaryLogisticRegressionSummary في هذه الحالة على أي حال. (SPARK-31681)
•  في Spark 3.0، pyspark.ml.param.shared.Has* لا توفر mixins أي set*(self, value) أساليب setter بعد الآن، استخدم كل منها self.set(self.*, value) بدلا من ذلك. راجع SPARK-29093 للحصول على التفاصيل. (SPARK-29093)

سبارك

• تحسين السهم في إمكانية التشغيل التفاعلي ل SparkR (SPARK-26759)
• تحسين الأداء عبر R gapply()، dapply()، createDataFrame، collect()
• "تنفيذ حريص" ل R shell، IDE (SPARK-24572)
• R API ل Power Iteration Clustering (SPARK-19827)

تغييرات السلوك ل SparkR

يسرد دليل الترحيل التالي تغييرات السلوك بين Apache Spark 2.4 و3.0. قد تتطلب هذه التغييرات تحديثات للوظائف التي كنت تقوم بتشغيلها على إصدارات وقت تشغيل Databricks الأقل:

• دليل الترحيل: SparkR (R على Spark)

عمليات الإهمال

• إهمال دعم Python 2 (SPARK-27884)
• إيقاف دعم R < 3.4 (SPARK-26014)

المشكلات المعروفة

• يقوم تحليل يوم السنة باستخدام حرف النمط 'D' بإرجاع النتيجة الخاطئة إذا كان حقل السنة مفقودا. يمكن أن يحدث هذا في دالات SQL مثل to_timestamp التي تحلل سلسلة التاريخ والوقت إلى قيم التاريخ والوقت باستخدام سلسلة نمط. (SPARK-31939)
• قد يؤدي الانضمام/النافذة/التجميع داخل الاستعلامات الفرعية إلى نتائج خاطئة إذا كانت المفاتيح تحتوي على قيم -0.0 و0.0. (SPARK-31958)
• قد يفشل استعلام النافذة مع حدوث خطأ غامض في الانضمام الذاتي بشكل غير متوقع. (SPARK-31956)
• قد لا تتمكن الاستعلامات المتدفقة مع dropDuplicates عامل التشغيل من إعادة التشغيل مع نقطة التحقق المكتوبة بواسطة Spark 2.x. (SPARK-31990)

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 7.0.

بيئة النظام

• نظام التشغيل: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R الإصدار 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2020-04-22.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)