Databricks Runtime 13.0 (EoS)

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 13.0، مدعومة من Apache Spark 3.4.0.

أصدرت Databricks هذا الإصدار في أبريل 2023.

ميزات وتحسينات جديدة

• تدعم تعبيرات H3 الآن المناطق الجغرافية الخطية
• استبدلت Ganglia بمقاييس نظام المجموعة
• إصدار Spark 3.4.0
• تقوم Photon بإرجاع خطأ إذا تم تعديل ملف بين تخطيط الاستعلام وتنفيذه
• ميزات جديدة للإداء/إخراج التنبؤ
• الدعم الموسع لميزات الإدخال/إخراج التنبؤية
• استخدام موصل Databricks للاتصال بمساحة عمل Databricks أخرى
• خيارات Kafka إضافية ل Structured Streaming مع نظام مجموعة مشترك على كتالوج Unity
• تخطي تعديلات جدول Delta باستخدام Structured Streaming
• إنشاء ميزة TABLE LIKE لجداول Delta
• حقول عمود بيانات التعريف الجديدة التي تدل على بدء كتلة الملف وطولها
• وظائف جيوفضائية H3 جديدة
• وظائف SQL المضمنة الجديدة
• %sql في دفاتر ملاحظات Python
• %pip لا يعيد تشغيل Python تلقائيا
• يتم تثبيت مكتبات Python ذات نطاق نظام المجموعة باستخدام مستخدم غير جذر

تدعم تعبيرات H3 الآن المناطق الجغرافية الخطية

h3_coverash3 تدعم الدالات و h3_coverash3string الآن المناطق الجغرافية الخطية (linestringوmultilinestring). تنتج الدالات الحد الأدنى من مجموعة تغطية الخلايا H3 بدقة محددة. راجع h3_coverash3 h3_coverash3string.

استبدلت Ganglia بمقاييس نظام المجموعة

بالنسبة لإصدارات وقت تشغيل Databricks 13 والإصدارات الأحدث، يتم استبدال مقاييس Ganglia بمقاييس مجموعة Azure Databricks. بالنسبة لإصدارات وقت تشغيل Databricks 12 والإصدارات أدناه، يمكنك الاستمرار في استخدام مقاييس Ganglia. إذا كان لديك سير عمل يعتمد على مقاييس Ganglia التي لا يمكن أن تكون راضية عن مقاييس نظام المجموعة، فاتصل بفريق حساب Azure Databricks. راجع عرض مقاييس الحساب.

إصدار Spark 3.4.0

يتوفر Apache Spark 3.4.0 الآن بشكل عام. راجع إصدار Spark 3.4.0.

تقوم Photon بإرجاع خطأ إذا تم تعديل ملف بين تخطيط الاستعلام وتنفيذه

تقوم استعلامات الفوتون الآن بإرجاع خطأ إذا تم تحديث ملف بين تخطيط الاستعلام والتنفيذ. قبل هذا التغيير، كان Photon يقرأ ملفا حتى إذا تغير وقت التعديل بين تخطيط الاستعلام والتنفيذ، مما قد يؤدي إلى نتائج غير متوقعة.

ميزات جديدة للإداء/إخراج التنبؤ

يدعم Photon الآن الإطارات المنزلقة، لكل من وضعي ROWS وRANG، باستخدام {ROWS | RANGE} BETWEEN offset_start { PRECEDING | FOLLOWING } AND offset_stop { PRECEDING | FOLLOWING }.

الدعم الموسع لميزات الإدخال/إخراج التنبؤية

دعم موسع للفوتون لمصادر بيانات التخزين المؤقت CSV وAVRO وDataFrame عندما يحتوي المخطط الخاص بك حصريا على أعمدة عددية. يتم أيضا توسيع الدعم للأنوعات المتداخلة، مثل الخرائط والبنى والصفائف.

استخدام موصل Databricks للاتصال بمساحة عمل Databricks أخرى

يسمح لك موصل Azure Databricks بالاتصال بموارد الحوسبة المكونة في مساحة عمل أخرى وإرجاع النتائج إلى مساحة عمل Azure Databricks الحالية. يتم الآن تضمين برنامج تشغيل Azure Databricks JDBC في وقت تشغيل Databricks. راجع استخدام موصل Databricks للاتصال بمساحة عمل Databricks أخرى.

خيارات Kafka إضافية ل Structured Streaming مع نظام مجموعة مشترك على كتالوج Unity

يمكنك الآن استخدام الإعدادات kakfa.ssl.truststore.location وتخزين kafak.ssl.keystore.location شهادات Kafka على مواقع خارجية يديرها كتالوج Unity عند استخدام Structured Streaming على مجموعات الوصول المشتركة. لا يمكنك استخدام المواقع في جذر DBFS.

تخطي تعديلات جدول Delta باستخدام Structured Streaming

يمكنك الآن استخدام skipChangeCommits لتجاهل البيانات التي تغير التثبيتات إلى جدول Delta لعمليات UPDATEو MERGEو DELETE . هذا يحل محل ignoreChanges، الذي تم إهماله الآن. راجع تجاهل التحديثات والحذف.

إنشاء ميزة TABLE LIKE لجداول Delta

CREATE TABLE LIKE معتمد الآن عند استخدام جداول Delta.

حقول عمود بيانات التعريف الجديدة التي تدل على بدء كتلة الملف وطولها

يمكنك الآن الحصول على معلومات بيانات التعريف التالية لملفات الإدخال مع _metadata العمود: file_block_start و file_block_length. لمزيد من المعلومات، راجع عمود بيانات تعريف الملف.

وظائف جيوفضائية H3 جديدة

تتوفر تعبيرات h3_coverash3 h3_coverash3string الجديدة للمعالجة الجيوفضائية عند تمكين Photon. راجع الدالات الجغرافية المكانية H3.

وظائف SQL المضمنة الجديدة

تمت إضافة الدالات التالية:

• array_insert(array, index, elem) إرجاع موسع array حيث elem يتم إدراجه في index الموضع.
• luhn_check (numStr) إرجاع true إذا numStr مرر فحص خوارزمية Luhn.

%sql في دفاتر ملاحظات Python

يمكن الآن الوصول إلى جميع النتائج غير الفارغة %sql في دفاتر ملاحظات Python باستخدام _sqldf أو نظام التخزين المؤقت لإخراج IPython. وهذا يبسط استخدام نتيجة DataFrame في Python. هذا تغيير سلوك من إصدارات DBR السابقة، كما في السابق، _sqldf لم يتم إعادة تعيينه دائما.

_sqldf لا يتم إعادة تعيين على نتيجة %sql خلية إذا تم تنفيذ الخلية باستخدام تنفيذ خلية SQL المتوازية.

%pip لا يعيد تشغيل Python تلقائيا

بعد تشغيل %pip الأوامر داخل دفاتر ملاحظات Python التي تعدل virtualEnv، لم يعد Databricks يعيد تشغيل عملية Python تلقائيا. لإعادة تشغيل عملية Python، اتصل ب dbutils.library.restartPython(). مع هذا التغيير، %pip تتصرف الأوامر على Databricks بشكل مشابه لدفاتر ملاحظات Jupyter وهي متسقة مع !pip الأوامر و %sh pip . توصي %pip Databricks بدلا من !pip أو %sh pip.

يتم تثبيت مكتبات Python ذات نطاق نظام المجموعة باستخدام مستخدم غير جذر

يتم الآن تثبيت المكتبات باستخدام مستخدم غير جذري مسؤول عن عمليات تثبيت المكتبة. إذا كنت ترغب في تكوين سلوك تثبيت pip في البرامج النصية init، فاستخدم ملف https://pip.pypa.io/en/stable/topics/configuration/#configuration-files[المستوى العمومي ).

إصلاح الأخطاء

• في %sh الأوامر، تم إجراء الإصلاحات التالية:
  • يتم الآن دعم الإخراج الذي يحتوي على أحرف غير UTF-8.
  • تتم الآن مقاطعة العمليات الفرعية عند إلغاء الأمر.

ترقيات المكتبة

• مكتبات Python التي تمت ترقيتها:
  • الرموز المميزة من 2.0.5 إلى 2.2.1
  • أسود من 22.3.0 إلى 22.6.0
  • boto3 من 1.21.32 إلى 1.24.28
  • botocore من 1.24.32 إلى 1.27.28
  • اعتماد من 2021.10.8 إلى 2022.9.14
  • cffi من 1.15.0 إلى 1.15.1
  • التشفير من 3.4.8 إلى 37.0.1
  • Cython من 0.29.28 إلى 0.29.32
  • dbus-python من 1.2.16 إلى 1.2.18
  • docstring-to-markdown من 0.11 إلى 0.12
  • التنفيذ من 0.8.3 إلى 1.2.0
  • نظرة عامة على الواجهات من 1.0.0 إلى 1.0.2
  • fastjsonschema من 2.16.2 إلى 2.16.3
  • filelock من 3.9.0 إلى 3.10.7
  • ipykernel من 6.15.3 إلى 6.17.1
  • ipython من 8.5.0 إلى 8.10.0
  • joblib من 1.1.1 إلى 1.2.0
  • jsonschema من 4.4.0 إلى 4.16.0
  • jupyter-client من 6.1.12 إلى 7.3.4
  • kiwisolver من 1.3.2 إلى 1.4.2
  • matplotlib من 3.5.1 إلى 3.5.2
  • matplotlib-inline من 0.1.2 إلى 0.1.6
  • nbformat من 5.3.0 إلى 5.5.0
  • دفتر الملاحظات من 6.4.8 إلى 6.4.12
  • الباندا من 1.4.2 إلى 1.4.4
  • وسادة من 9.0.1 إلى 9.2.0
  • pip من 21.2.4 إلى 22.2.2
  • المنصات من 2.6.2 إلى 2.5.2
  • رسم من 5.6.0 إلى 5.9.0
  • prometheus-client من 0.13.1 إلى 0.14.1
  • مجموعة أدوات المطالبة من 3.0.20 إلى 3.0.36
  • psutil من 5.8.0 إلى 5.9.0
  • pyflakes من 2.5.0 إلى 3.0.1
  • PyGObject من 3.36.0 إلى 3.42.1
  • pyparsing من 3.0.4 إلى 3.0.9
  • من 1.1.283 إلى 1.1.294
  • python-lsp-server من 1.6.0 إلى 1.7.1
  • pytz من 2021.3 إلى 2022.1
  • pyzmq من 22.3.0 إلى 23.2.0
  • الطلبات من 2.27.1 إلى 2.28.1
  • حبل من 0.22.0 إلى 1.7.0
  • s3transfer من 0.5.0 إلى 0.6.0
  • scikit-learn من 1.0.2 إلى 1.1.1
  • scipy من 1.7.3 إلى 1.9.1
  • قوالب الإعداد من 61.2.0 إلى 63.4.1
  • ssh-import-id من 5.10 إلى 5.11
  • مكدس البيانات من 0.2.0 إلى 0.6.2
  • مسار الاختبار من 0.5.0 إلى 0.6.0
  • tomli من 1.2.2 إلى 2.0.1
  • ujson من 5.1.0 إلى 5.4.0
  • urllib3 من 1.26.9 إلى 1.26.11
  • virtualenv من 20.8.0 إلى 20.16.3
  • whatthepatch من 1.0.4 إلى 1.0.2
  • عجلة من 0.37.0 إلى 0.37.1
• مكتبات R التي تمت ترقيتها:
  • سهم من 10.0.0 إلى 10.0.1
  • بت من 4.0.4 إلى 4.0.5
  • مكنسة من 1.0.1 إلى 1.0.3
  • bslib من 0.4.1 إلى 0.4.2
  • chron من 2.3-58 إلى 2.3-59
  • cli من 3.4.1 إلى 3.6.0
  • مساحة الألوان من 2.0-3 إلى 2.1-0
  • curl من 4.3.3 إلى 5.0.0
  • data.table من 1.14.4 إلى 1.14.6
  • dbplyr من 2.2.1 إلى 2.3.0
  • ملخص من 0.6.30 إلى 0.6.31
  • dplyr من 1.0.10 إلى 1.1.0
  • e1071 من 1.7-12 إلى 1.7-13
  • تقييم من 0.18 إلى 0.20
  • fansi من 1.0.3 إلى 1.0.4
  • fontawesome من 0.4.0 إلى 0.5.0
  • forcats من 0.5.2 إلى 1.0.0
  • fs من 1.5.2 إلى 1.6.1
  • في المستقبل من 1.29.0 إلى 1.31.0
  • الغرغرة من 1.2.1 إلى 1.3.0
  • غيرت من 1.9.1 إلى 1.9.2
  • glmnet من 4.1-4 إلى 4.1-6
  • globals من 0.16.1 إلى 0.16.2
  • gower من 1.0.0 إلى 1.0.1
  • أعلى من 0.9 إلى 0.10
  • htmltools من 0.5.3 إلى 0.5.4
  • htmlwidgets من 1.5.4 إلى 1.6.1
  • httpuv من 1.6.6 إلى 1.6.8
  • isoband من 0.2.6 إلى 0.2.7
  • jsonlite من 1.8.3 إلى 1.8.4
  • من 1.40 إلى 1.42
  • الحمم من 1.7.0 إلى 1.7.1
  • listenv من 0.8.0 إلى 0.9.0
  • التشحيم من 1.9.0 إلى 1.9.1
  • markdown من 1.3 إلى 1.5
  • modelr من 0.1.9 إلى 0.1.10
  • openssl من 2.0.4 إلى 2.0.5
  • بالتوازي من 1.32.1 إلى 1.34.0
  • pkgbuild من 1.3.1 إلى 1.4.0
  • pkgdown من 2.0.6 إلى 2.0.7
  • pkgload من 1.3.1 إلى 1.3.2
  • plyr من 1.8.7 إلى 1.8.8
  • progressr من 0.11.0 إلى 0.13.0
  • purrr من 0.3.5 إلى 1.0.1
  • ragg من 1.2.4 إلى 1.2.5
  • Rcpp من 1.0.9 إلى 1.0.10
  • readxl من 1.4.1 إلى 1.4.2
  • وصفات من 1.0.3 إلى 1.0.4
  • rmarkdown من 2.18 إلى 2.20
  • RODBC من 1.3-19 إلى 1.3-20
  • roxygen2 من 7.2.1 إلى 7.2.3
  • RSQLite من 2.2.18 إلى 2.2.20
  • sass من 0.4.2 إلى 0.4.5
  • لامعة من 1.7.3 إلى 1.7.4
  • المصدر من 0.1.7 إلى 0.1.7-1
  • sparklyr من 1.7.8 إلى 1.7.9
  • SparkR من 3.3.2 إلى 3.4.0
  • المكانية من 7.3-11 إلى 7.3-15
  • stringi من 1.7.8 إلى 1.7.12
  • stringr من 1.4.1 إلى 1.5.0
  • البقاء على قيد الحياة من 3.4-0 إلى 3.5-3
  • اختبار من 3.1.5 إلى 3.1.6
  • مرتبة من 1.2.1 إلى 1.3.0
  • تغيير الوقت من 0.1.1 إلى 0.2.0
  • timeDate من 4021.106 إلى 4022.108
  • نص صغير من 0.42 إلى 0.44
  • utf8 من 1.2.2 إلى 1.2.3
  • vctrs من 0.5.0 إلى 0.5.2
  • vroom من 1.6.0 إلى 1.6.1
  • من 0.4 إلى 0.4.1
  • xfun من 0.34 إلى 0.37
  • yaml من 2.3.6 إلى 2.3.7
• مكتبات Java التي تمت ترقيتها:
  • com.amazonaws.aws-java-sdk-autoscaling من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-cloudformation من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-cloudfront من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-cloudhsm من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-cloudsearch من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-cloudtrail من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatch من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-cloudwatchmetrics من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-codedeploy من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-cognitoidentity من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-cognitosync من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-config من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-core من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-datapipeline من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-directconnect من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-directory من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-dynamodb من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-ec2 من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-ecs من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-efs من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-elasticache من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-elasticbeanstalk من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-elasticloadbalancing من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-elastictranscoder من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-emr من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-glacier من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-glue من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-iam من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-importexport من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-kinesis من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-kms من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-lambda من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-logs من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-machinelearning من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-opsworks من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-rds من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-redshift من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-route53 من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-s3 من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-ses من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-simpledb من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-simpleworkflow من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-sns من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-sqs من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-ssm من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-storagegateway من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-sts من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-support من 1.12.189 إلى 1.12.390
  • com.amazonaws.aws-java-sdk-workspaces من 1.12.189 إلى 1.12.390
  • com.amazonaws.jmespath-java من 1.12.189 إلى 1.12.390
  • com.fasterxml.jackson.core.jackson-annotations من 2.13.4 إلى 2.14.2
  • com.fasterxml.jackson.core.jackson-core من 2.13.4 إلى 2.14.2
  • com.fasterxml.jackson.core.jackson-databind من 2.13.4.2 إلى 2.14.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor من 2.13.4 إلى 2.14.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda من 2.13.4 إلى 2.14.2
  • com.fasterxml.jackson.module.jackson-module-paranamer من 2.13.4 إلى 2.14.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 من 2.13.4 إلى 2.14.2
  • com.github.luben.zstd-jni من 1.5.2-1 إلى 1.5.2-5
  • com.google.code.gson.gson من 2.8.6 إلى 2.8.9
  • com.google.crypto.tink.tink من 1.6.1 إلى 1.7.0
  • com.h2database.h2 من 2.0.204 إلى 2.1.214
  • com.jcraft.jsch من 0.1.50 إلى 0.1.55
  • com.ning.compress-lzf من 1.1 إلى 1.1.2
  • commons-fileupload.commons-fileupload من 1.3.3 إلى 1.5
  • dev.ludovic.netlib.arpack من 2.2.1 إلى 3.0.3
  • dev.ludovic.netlib.blas من 2.2.1 إلى 3.0.3
  • dev.ludovic.netlib.lapack من 2.2.1 إلى 3.0.3
  • io.delta.delta-sharing-spark_2.12 من 0.6.9 إلى 0.6.3
  • io.dropwizard.metrics.metrics-core من 4.1.1 إلى 4.2.10
  • io.dropwizard.metrics.metrics-graphite من 4.1.1 إلى 4.2.10
  • io.dropwizard.metrics.metrics-healthchecks من 4.1.1 إلى 4.2.10
  • io.dropwizard.metrics.metrics-jetty9 من 4.1.1 إلى 4.2.10
  • io.dropwizard.metrics.metrics-jmx من 4.1.1 إلى 4.2.10
  • io.dropwizard.metrics.metrics-json من 4.1.1 إلى 4.2.10
  • io.dropwizard.metrics.metrics-jvm من 4.1.1 إلى 4.2.10
  • io.dropwizard.metrics.metrics-servlets من 4.1.1 إلى 4.2.10
  • io.netty.netty-all من 4.1.74.Final إلى 4.1.87.Final
  • io.netty.netty-buffer من 4.1.74.Final إلى 4.1.87.Final
  • io.netty.netty-codec من 4.1.74.Final إلى 4.1.87.Final
  • io.netty.netty-common من 4.1.74.Final إلى 4.1.87.Final
  • io.netty.netty-handler من 4.1.74.Final إلى 4.1.87.Final
  • io.netty.netty-resolver من 4.1.74.Final إلى 4.1.87.Final
  • io.netty.netty-transport من 4.1.74.Final إلى 4.1.87.Final
  • io.netty.netty-transport-classes-epoll من 4.1.74.Final إلى 4.1.87.Final
  • io.netty.netty-transport-classes-kqueue من 4.1.74.Final إلى 4.1.87.Final
  • io.netty.netty-transport-native-unix-common من 4.1.74.Final إلى 4.1.87.Final
  • joda-time.joda-time من 2.10.13 إلى 2.12.1
  • net.razorvine.pickle من 1.2 إلى 1.3
  • net.snowflake.snowflake-jdbc من 3.13.29 إلى 3.13.22
  • org.antlr.antlr4-runtime من 4.8 إلى 4.9.3
  • org.apache.ant.ant من 1.9.2 إلى 1.9.16
  • org.apache.ant.ant-jsch من 1.9.2 إلى 1.9.16
  • org.apache.ant.ant-launcher من 1.9.2 إلى 1.9.16
  • org.apache.arrow.arrow-format من 7.0.0 إلى 11.0.0
  • org.apache.arrow.arrow-memory-core من 7.0.0 إلى 11.0.0
  • org.apache.arrow.arrow-memory-netty من 7.0.0 إلى 11.0.0
  • org.apache.arrow.arrow-vector من 7.0.0 إلى 11.0.0
  • org.apache.avro.avro من 1.11.0 إلى 1.11.1
  • org.apache.avro.avro-ipc من 1.11.0 إلى 1.11.1
  • org.apache.avro.avro-mapred من 1.11.0 إلى 1.11.1
  • org.apache.httpcomponents.httpclient من 4.5.13 إلى 4.5.14
  • org.apache.httpcomponents.httpcore من 4.4.14 إلى 4.4.16
  • org.apache.logging.log4j.log4j-1.2-api من 2.18.0 إلى 2.19.0
  • org.apache.logging.log4j.log4j-api من 2.18.0 إلى 2.19.0
  • org.apache.logging.log4j.log4j-core من 2.18.0 إلى 2.19.0
  • org.apache.orc.orc-core من 1.7.8 إلى 1.8.2-shaded-protobuf
  • org.apache.orc.orc-mapreduce من 1.7.8 إلى 1.8.2-shaded-protobuf
  • org.apache.orc.orc-shims من 1.7.8 إلى 1.8.2
  • org.apache.xbean.xbean-asm9-shaded من 4.20 إلى 4.22
  • org.apache.zookeeper.zookeeper من 3.6.2 إلى 3.6.3
  • org.apache.zookeeper.zookeeper-jute من 3.6.2 إلى 3.6.3
  • org.eclipse.jetty.jetty-client من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-continuation من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-http من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-io من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-jndi من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-plus من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-proxy من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-security من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-server من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlet من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-servlets من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-util-ajax من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-webapp من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.jetty-xml من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-api من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-client من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-common من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-server من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.eclipse.jetty.websocket.websocket-servlet من 9.4.46.v20220331 إلى 9.4.50.v20221201
  • org.hibernate.validator.hibernate-validator من 6.1.0.Final إلى 6.1.7.Final
  • org.mlflow.mlflow-spark من 2.1.1 إلى 2.2.0
  • org.postgresql.postgresql من 42.3.3 إلى 42.3.8
  • org.roaringbitmap.RoaringBitmap من 0.9.25 إلى 0.9.39
  • org.roaringbitmap.shims من 0.9.25 إلى 0.9.39
  • org.rocksdb.rocksdbjni من 6.28.2 إلى 7.8.3
  • org.scala-lang.scala-compiler_2.12 من 2.12.14 إلى 2.12.15
  • org.scala-lang.scala-library_2.12 من 2.12.14 إلى 2.12.15
  • org.scala-lang.scala-reflect_2.12 من 2.12.14 إلى 2.12.15
  • org.scalanlp.breeze-macros_2.12 من 1.2 إلى 2.1.0
  • org.scalanlp.breeze_2.12 من 1.2 إلى 2.1.0
  • org.slf4j.jcl-over-slf4j من 1.7.36 إلى 2.0.6
  • org.slf4j.jul-to-slf4j من 1.7.36 إلى 2.0.6
  • org.slf4j.slf4j-api من 1.7.36 إلى 2.0.6
  • org.threeten.threeten-extra من 1.5.0 إلى 1.7.1
  • org.wildfly.openssl.wildfly-openssl من 1.0.7.Final إلى 1.1.3.Final
  • org.yaml.snakeyaml من 1.24 إلى 1.33

Apache Spark

يتضمن Databricks Runtime 13.0 Apache Spark 3.4.0.

• Spark SQL
• Spark Core
• دفق منظم
• Spark Connect
• PySpark
• MLLIB
• SparkR
• واجهة المستخدم المباشرة وخدمة خادم المحفوظات
• إنشاء

Spark SQL

الميزات

• تنفيذ دعم القيم الافتراضية للأعمدة في الجداول (SPARK-38334)
• إضافة Dataset.as (StructType) (SPARK-39625)
• دعم SQL ذات المعلمات (SPARK-41271، SPARK-42702)
• إضافة إلغاء العرض المحوري / الذوبان (SPARK-38864، SPARK-39876)
• دعم "مراجع الاسم المستعار للعمود الجانبي" (SPARK-27561)
• عبارة إزاحة نتيجة الدعم (SPARK-28330، SPARK-39159)
• دعم الطابع الزمني بدون نوع بيانات المنطقة الزمنية (SPARK-35662)
• دعم الاستعلام الفرعي العددي في السفر عبر الزمن (SPARK-39306)
• جعل واجهة برمجة تطبيقات الكتالوج متوافقة مع مساحة اسم ثلاثية الطبقات (SPARK-39235)
• دعم الطابع الزمني بالثوان ل TimeTravel باستخدام خيارات Dataframe (SPARK-39633)
• إضافة SparkSession.config(Map) (SPARK-40163)
• دعم تغيير قاعدة البيانات الافتراضية في كتالوج الجلسة (SPARK-35242)
• دعم Protobuf ل Spark - from_protobuf AND to_protobuf (SPARK-40654)
• إضافة عبارة WHEN NOT MATCHED BY SOURCE إلى MERGE INTO (SPARK-40921)
• تقييد ترتيب الاسترخاء لخيارات عمود CREATE TABLE (SPARK-40944)
• أمر الكتابة فوق SQL Equivalent ل Dataframe (SPARK-40956)
• إنشاء الدعم بدون إخراج تابع مطلوب لاستضافة المراجع الخارجية (SPARK-41441)
• ترتيب حسب الكل (SPARK-41637)
• التجميع حسب الكل (SPARK-41635)
• إضافة flatMapSortedGroups و cogroupSorted (SPARK-38591)
• دعم الاستعلامات الفرعية ذات المسندات المرتبطة بعدم المساواة (SPARK-36114)
• دعم الاستعلامات الفرعية ذات الارتباط من خلال UNION/INTERSECT/EXCEPT (SPARK-36124)

توافق ANSI

• وضع ANSI SQL: إرجاع القيمة الفارغة دائما عند الوصول غير الصالح إلى عمود الخريطة (SPARK-40066)
• دعم المعرفات المقتبسة المزدوجة (SPARK-40585)
• وضع ANSI SQL: يجب أن ترجع Round/Bround خطأ في تجاوز العدد الصحيح (SPARK-42045)
• دعم تحويل التكاملات إلى فواصل ANSI (SPARK-40008)
• دعم تحويل المنازل العشرية إلى فواصل ANSI (SPARK-40014)
• إرجاع أنواع الفاصل الزمني ل ANSI الأوسع من الدالات المئوية (SPARK-40151)
• دعم فواصل ANSI الزمنية إلى أرقام عشرية (SPARK-39470)
• دعم فواصل التحويل إلى التكاملات في وضع ANSI (SPARK-39451)
• تقوية استخدام SQLSTATE لفئات الخطأ (SPARK-41994)

الوظائف

• دعم دالات المولد ذات القيمة الجدولية في عبارة FROM (SPARK-41594)
• دعم الدالة التجميعية ANSI: REGR_SXY (SPARK-37681)
• دعم الدالة التجميعية ANSI: REGR_R2 (SPARK-37641)
• دعم الدالة التجميعية ANSI: REGR_SXX (SPARK-37672)
• دعم الدالة التجميعية ANSI: REGR_SYY (SPARK-37702)
• دعم الدالة التجميعية ANSI: REGR_SLOPE (SPARK-39230)
• دعم الدالة التجميعية ANSI: REGR_INTERCEPT (SPARK-37623)
• دعم دالة تجميع ANSI PERCENTILE_CONT كدالة نافذة (SPARK-38219)
• دعم دالة تجميع ANSI: PERCENTILE_DISC (SPARK-37691)
• دالة SPLIT_PART الدعم (SPARK-38063)
• دالة TRY_AVG الدعم (SPARK-38589)
• دالة TRY_TO_BINARY الدعم (SPARK-38590)
• دعم TO_NUMBER ووظائف SQL TRY_TO_NUMBER وفقا لمواصفات جديدة (SPARK-38796)
• دعم مواصفات ودالة القيمة العامة ANSI - USER (SPARK-39138)
• دعم TO_CHAR والدالات TRY_TO_CHAR لتنسيق القيم العشرية كسلاسل (SPARK-28516)
• دعم ANY_VALUE الدالة التجميعية (SPARK-39213)
• دالة EQUAL_NUL الدعم (SPARK-39305)
• دعم الدالة التجميعية MEDIAN (SPARK-39320)
• دالة REGEXP_COUNT الدعم (SPARK-39618)
• دالة REGEXP_INSTR الدعم (SPARK-39744)
• دالة REGEXP_SUBSTR الدعم (SPARK-39695)
• دعم الدالة UNPIVOT (SPARK-39876)
• دالة TRY_TO_TIMESTAMP الدعم (SPARK-39795)
• دعم ترميز/فك ترميز url كدالة مضمنة ووظائف مرتبطة ب url مرتبة (SPARK-39741)
• دعم وضع الدالة التجميعية (SPARK-39808)
• دعم الدالة GET (SPARK-40109)
• إضافة أسماء مستعارة للدالة: LEN، DATEPART، DATEADD، DATE_DIFF، CURDATE (SPARK-40352)
• تحسين الدالة TO_BINARY (SPARK-40112)
• CURRENT_SCHEMA الدعم (SPARK-41323)
• دعم إخفاء البيانات المضمنة قناع الدالة (SPARK-40687)
• دعم الدالة عالية الترتيب: ARRAY_COMPACT (SPARK-41235)
• دالة ARRAY_APPEND الدعم (SPARK-41232)
• دالة ARRAY_INSERT الدعم (SPARK-41234)
• دالة LUHN_CHECK الدعم (SPARK-42191)
• دعم ARRAY_SORT (عمود، مقارن) (SPARK-39925)

مصادر البيانات

• إحصائيات عمود الدعم في DS v2 (SPARK-41378)
• الانضمام المقسم للتخزين (SPJ) في DS v2 (SPARK-37375)
• العمليات على مستوى الصف في DS v2 (SPARK-35801)
• إضافة مزيج SupportsReportOrdering في واجهة DS v2 Scan (SPARK-38647)
• نوع التاريخ الاستدلالي لاستدلال مخطط CSV (SPARK-39469)
• دعم مقاييس برنامج التشغيل في DS v2 custom metric API (SPARK-39635)
• يدعم التوزيع وترتيب دالة DS v2 كتابة (SPARK-39607)
• StringEndsWith/Contains دفع الدعم لأسفل إلى Parquet حتى نتمكن من الاستفادة من عامل تصفية القاموس (SPARK-39002)
• دعم UDT في قارئ Spark Parquet المتجه (SPARK-39086)
• توسيع عمود METADATA لدعم فهارس الصفوف لملفات Parquet (SPARK-37980)
• دعم نوع FIXED_LEN_BYTE_ARRAY parquet للقراءة (SPARK-41096)
• تحسين ترتيب دالات تقييم التصفية (SPARK-40045)
• دعم استعلامات CTE والجدول المؤقت مع MSSQL JDBC (SPARK-37259)
• تجاهل الدعمCorruptFiles وتجاهلMissingFiles في خيارات مصدر البيانات (SPARK-38767)
• سحب الكتابة v1 إلى WriteFiles (SPARK-41407)
• إضافة ترك مساحة للأحرف من جانب القراءة لتغطية ملفات البيانات الخارجية (SPARK-40697)

تحسين الاستعلام

• دمج الاستعلامات الفرعية العددية غير المرتبطة (SPARK-34079)
• تمكين انضمامات عامل تصفية Bloom بشكل افتراضي (SPARK-38841)
• إزالة مميزة غير ضرورية في التعبير التجميعي بواسطة distinctKeys (SPARK-38832)
• دعم دفع دالة التقييم وتنقيح الأعمدة ل CTEs المنسوخة (SPARK-37670)
• إزالة الصلة الخارجية إذا كانت الدالات التجميعية غير محددة التكرار على الجانب المتدفق (SPARK-38886)
• إزالة الصلة الخارجية اليسرى/اليمنى إذا تم تحديد أعمدة الجانب الأيسر/الأيمن فقط وكانت مفاتيح الربط على الجانب الآخر فريدة (SPARK-39172)
• تحسين الفرز العمومي إلى RepartitionByExpression (SPARK-39911)
• تحسين قاعدة TransposeWindow (SPARK-38034)
• تحسين إزالة الفرز لدعم إزالة الفرز عبر LocalLimit (SPARK-40050)
• دفع الحد المحلي لكلا الجانبين إذا كان شرط الانضمام فارغا (SPARK-40040)
• إضافة PushProjectionThroughLimit for Optimizer (SPARK-40501)
• دعم PIVOT/UNPIVOT مع الأطفال المرتبطين (SPARK-41195)
• دعم تقليم العمود باستخدام عوامل تصفية متعددة غير محددة (SPARK-41017)
• تحسين تقسيم الإخراج وترتيبه باستخدام ذاكرة التخزين المؤقت AQE (SPARK-41048)
• تحسين أداء متعدد مثل إنشاء دالة تقييم شجرة تعبير متوازنة (SPARK-41167)
• إزالة الفرز إذا كان تابع RepartitionByExpression (SPARK-36703)
• استخدام إحصائيات الأعمدة المتوفرة من مراحل الاستعلام المكتملة (SPARK-39991)
• إعادة استخدام التعبيرات في WindowSpecDefinition (SPARK-41805)
• تحسين AliasAwareOutputPartitioning و AliasAwareQueryOutputOrdering لأخذ جميع الأسماء المستعارة في الاعتبار (SPARK-40086، SPARK-42049)
• الحد الأدنى من خلال Python UDFs (SPARK-42115)

إنشاء التعليمات البرمجية وتنفيذ الاستعلام

• جعل defaultJoin في BroadcastNestedLoopJoinExec قيد التشغيل بالتوازي (SPARK-40487)
• دعم Codegen ل HiveGenericUDF (SPARK-42051)
• تقديم التبديل العشوائي على SinglePartition (SPARK-41986)
• يجعل دعم DPP جانب التقليم يحتوي على Union (SPARK-39217)

التغييرات البارزة الأخرى

• دعم مجموعة إحصائيات القسم التلقائي (SPARK-38573)
• تنسيق رسائل الخطأ في Thrift Server (SPARK-40098)
• إضافة واجهة برمجة تطبيقات ملحق للقيام بتسوية الخطة للتخزين المؤقت (SPARK-41183)
• إعادة بناء التعليمات البرمجية أنواع Spark من خلال إدخال أنواع فعلية (SPARK-41226)
• عمليات التحقق من الدعم الميداني والإعادة في OneOf (SPARK-41396)
• مركزية منطق دقة العمود (SPARK-41405)
• تحسين التحقق من صحة تغيير الخطة (SPARK-42081)
• تقديم SparkPath ل typesafety (SPARK-41970)
• طرح استثناء db_name.view_name عند إنشاء طريقة عرض مؤقتة بواسطة Dataset API (SPARK-41090)
• تغيير القيمة الافتراضية لدالة Mask من -1 إلى NULL (SPARK-42070)

Spark Core

وقف التشغيل

• تجنب إعادة تشغيل المهمة غير الضرورية على المنفذ الذي تم إيقاف تشغيله المفقود إذا تم ترحيل البيانات العشوائية (SPARK-41469)
• تجاهل فشل إحضار المرحلة الناتج عن المنفذ الذي تم إيقاف تشغيله (SPARK-40481)
• تمكين spark.storage.decommission. (rdd|shuffle)Blocks.enabled بشكل افتراضي (SPARK-40198)
• إضافة دعم لإلغاء تشغيل YARN عند تعطيل ESS (SPARK-30835)

Scheduler

• جعل جدولة المرحلة تدعم وضع المجموعة المحلية (SPARK-41949)
• دعم ملف تعريف مورد المهمة على مستوى المرحلة لنظام المجموعة المستقلة عند تعطيل التخصيص الديناميكي (SPARK-39853)
• التأخير onDisconnected لتمكين برنامج التشغيل يتلقى ExecutorExitCode (SPARK-39957)
• تحسين المضاربة من خلال مقاييس مهمة المرحلة (SPARK-32170)
• إضافة دعم جدولة الموارد على مستوى المرحلة للمجموعة المستقلة (SPARK-39062)
• تحسين عملية LaunchTask لتجنب فشل المرحلة الناجم عن فشل إرسال رسائل LaunchTask (SPARK-39955)

Shuffle

• إضافة مقاييس قراءة من جانب عميل Push Based Shuffle (SPARK-36620)
• مقاييس جانب الخادم العشوائية للتبديل العشوائي المستند إلى الدفع (SPARK-33573)
• تأكد من إيقاف تشغيل mergedShuffleCleaner قبل إغلاق قاعدة البيانات (SPARK-40186)
• إضافة دعم RocksDB لمخزن حالة خدمة التبديل العشوائي (SPARK-38888)
• تغليف LevelDB المستخدم لتخزين حالة التبديل عن بعد/الخارجي ك DB (SPARK-38909)
• تمكين spark.dynamicAllocation.shuffleTracking.enabled افتراضيا (SPARK-3984)
• تمكين خدمة التبديل العشوائي المستندة إلى الدفع لتخزين الحالة في قاعدة بيانات مستوى NM للعمل على الحفاظ على إعادة التشغيل (SPARK-33236)
• إزالة كتل التبديل العشوائي باستخدام خدمة التبديل العشوائي للمنفذين الذين تم إصدارهم (SPARK-37618)

التغييرات البارزة الأخرى

• دعم بيئة IPv6 فقط (SPARK-39457)
• تمكين spark.kryo.unsafe بشكل افتراضي (SPARK-42137)
• عدم السماح بمسار فئة مخصص عشوائي مع مستخدم وكيل في وضع نظام المجموعة (SPARK-41958)
• تجنب إعادة تسجيل BlockManager إذا تم فقدان المنفذ (SPARK-41360)
• إزالة القيد الذي يجب أن يتناسب مع نتيجة مهمة واحدة بسعة 2 غيغابايت (SPARK-40622)
• إزالة دعم تكوينات spark.akka.* المهملة (SPARK-40401)
• تغيير التسجيل الافتراضي إلى stderr إلى متناسق مع سلوك log4j (SPARK-40406)
• استبعاد بيانات تعريف DirectTaskResult عند حساب حجم النتائج (SPARK-40261)
• السماح بتخصيص رقم الأقسام الأولية في سلوك take() (SPARK-40211)
• استخدام التأمين القابل للمقاطعة بدلا من المزامنة في Executor.updateDependencies() (SPARK-40235)
• يجب أن يؤدي فشل المهمة دائما إلى تشغيل مستمعي فشل المهمة (SPARK-40106)
• إضافة القدرة على تعطيل المراقبة أو الاستقصاء بشكل انتقائي (SPARK-36462)
• لا تقم بتخزين علاقات البث غير المتسلسلة مؤقتا على برنامج التشغيل (SPARK-39983)
• إصلاح حالة التوقف التام بين TaskMemoryManager و UnsafeExternalSorter.SpillableIterator (SPARK-39283)
• عرض أقسام الأرقام في مرحلة إلى TaskContext (SPARK-38679)
• جعل عامل حمل الذاكرة قابلا للتكوين (SPARK-38194)
• تجنب استخدام bash -c في ShellBasedGroupsMappingProvider (SPARK-38992)

دفق منظم

الميزات الرئيسية

• تتبع التقدم غير المتزامن (SPARK-39591)
• Python Arbitrary Stateful Processing in Structured Streaming (SPARK-40434)
• دعم Protobuf في الدفق المنظم (SPARK-40653)
• إصلاح تصفية السجلات المتأخرة لدعم تسلسل عوامل التشغيل ذات الحالة (SPARK-40925)

التغييرات البارزة الأخرى

• تقديم مدير ملفات نقطة التحقق المتدفقة استنادا إلى واجهة Hadoop abortable (SPARK-40039)
• إهمال Trigger.once وتعزيز Trigger.AvailableNow (SPARK-39805)
• عرض معلومات جدول الكتالوج إلى الخطة المنطقية في استعلام الدفق (SPARK-39564)
• دعم جمع المقاييس من متلقي البث (SPARK-38564)
• إهمال DStream API (SPARK-42075)
• عكس القيمة الافتراضية لجلب تكوين إزاحة Kafka (SPARK-40844)
• توفير جلسة spark المستنسخة في DataFrame في وظيفة المستخدم لمتلقي foreachBatch في PySpark (SPARK-41379)

Spark Connect

عميل Python

• تنفيذ واجهة برمجة تطبيقات DataFrame (SPARK-41279)
• تنفيذ واجهة برمجة تطبيقات العمود (SPARK-41282)
• تنفيذ Functions API (SPARK-41283)
• تنفيذ SparkSession API (SPARK-41281)
• تنفيذ واجهة برمجة تطبيقات الإدخال/الإخراج (SPARK-41284)
• تنفيذ واجهة برمجة تطبيقات الكتالوج (SPARK-41289)
• دعم الوظائف المعرفة من قبل المستخدم في Python (SPARK-41661)
• دعم Pandas/سهم Function API (SPARK-42393)
• دعم تكوين SQL لوقت التشغيل (SPARK-42499)
• إنشاء وحزمة وبنية أساسية ل Spark Connect (SPARK-41286)
• اكتب التعليقات التوضيحية لعميل Spark Connect Python (SPARK-40451)

عميل Scala

• تنفيذ عميل Scala الأساسي (SPARK-41534، SPARK-42133، SPARK-42043، SPARK-41822)
• تنفيذ SparkSession API (SPARK-42639، SPARK-42581، SPARK-42564، SPARK-42544، SPARK-42631)
• تنفيذ Dataframe API (SPARK-42440، SPARK-42559، SPARK-42558، SPARK-42556، SPARK-42468، SPARK-42529، SPARK-42561، SPARK-42894، SPARK-41874، SPARK-42691، SPARK-42692، SPARK-42481، SPARK-42541، SPARK-42542، SPARK-42520، SPARK-41823)
• تنفيذ واجهة برمجة تطبيقات العمود (SPARK-42441، SPARK-42560)
• تنفيذ واجهة برمجة تطبيقات الوظائف (SPARK-42461، SPARK-42579، SPARK-42527، SPARK-42531، SPARK-42495، SPARK-42557)
• تنفيذ واجهة برمجة تطبيقات الإدخال/الإخراج (SPARK-42457، SPARK-42555، SPARK-42690، SPARK-42878، SPARK-42757، SPARK-42482، SPARK-42733، SPARK-42518)
• تنفيذ تكوين SQL وقت التشغيل (SPARK-42586)
• دعم الدالة الأساسية المعرفة من قبل المستخدم (SPARK-42283، SPARK-42653، SPARK-42543)
• دعم واجهة برمجة التطبيقات الأساسية (SPARK-42580، SPARK-42605)
• اختبار البنية الأساسية ل Spark Connect (SPARK-42172، SPARK-42377، SPARK-42599)
• تنفيذ دعم REPL (SPARK-42656، SPARK-42884)

PySpark

واجهة برمجة تطبيقات Pandas على Spark

• تحسين كبير
  • Python Arbitrary Stateful Processing in Structured Streaming (SPARK-40434)
  • تنفيذ معلمات Pandas API المفقودة (SPARK-42883)
  • دعم Pandas 1.5 (SPARK-40576)
• ميزة رئيسية
  • تنفيذ Series.searchsorted (SPARK-40330)
  • تنفيذ Series.autocorr (SPARK-38774)
  • تنفيذ DataFrame.mode (SPARK-40138)
  • تنفيذ DataFrame.boxplot وDataFrame.plot.box (SPARK-38993)
  • تنفيذ DataFrame.corrwith (SPARK-38907)
  • تنفيذ DataFrame.resample و Series.resample (SPARK-39081)
  • تنفيذ DataFrame.interpolate و Series.interpolate (SPARK-38844)
  • تنفيذ DataFrame.ewm و Series.ewm (SPARK-38785)
  • تنفيذ GroupBy.prod (SPARK-40334)
  • تنفيذ GroupBy.nth (SPARK-40333)
  • تنفيذ GroupBy.quantile (SPARK-40332)
  • تنفيذ GroupBy.sem (SPARK-40305)
  • تنفيذ GroupBy.mad (SPARK-39284)
  • تنفيذ GroupBy.skew (SPARK-39246)
  • تنفيذ GroupBy.ewm (SPARK-39129)
  • دعم الفهرسة الموضعية GroupBy (SPARK-38947)

التغييرات البارزة الأخرى

• تحسينات رئيسية
  • توفير محلل ملفات تعريف ذاكرة للوظائف المعرفة من قبل المستخدم PySpark (SPARK-40281)
  • جعل واجهة برمجة تطبيقات الكتالوج متوافقة مع مساحة اسم ثلاثية الطبقات (SPARK-39235)
  • دعم إدخال NumPy في PySpark (SPARK-39405)
  • تحسينات خطأ PySpark (SPARK-41597)
• الميزات الرئيسية
  • دعم SQL ذات المعلمات في PySpark (SPARK-41666)
  • تنفيذ الدالة 'median' (SPARK-40003)
  • تنفيذ وظيفة "الوضع" (SPARK-40007)
  • تنفيذ دالة 'unpivot/melt' (SPARK-39877)
  • دعم Varchar في PySpark (SPARK-39760)
  • دعم CharType في PySpark (SPARK-39809)

MLLIB

• تنفيذ موزع PyTorch (SPARK-41589)
• توحيد التحقق من صحة البيانات (SPARK-38584)
• تقليل حجم التبديل العشوائي ل ALS (SPARK-40476، SPARK-40745)
• ميزات التراجع isotonic Dedup المكررة (SPARK-41008)
• تحظر KMeans متجهات الإدخال (SPARK-30661)
• إضافة درجة الصلة لتقييم nDCG (SPARK-39446)

سبارك

• إضافة إلغاء العرض المحوري / الذوبان (SPARK-41267)
• إضافة array_sort(عمود، مقارن) (SPARK-40167)
• دعم إسقاط "عمود" متعدد في R (SPARK-40087)
• دعم السهم 9.0.0 مع SparkR (SPARK-40114)
• جعل واجهة برمجة تطبيقات الكتالوج متوافقة مع مساحة اسم ثلاثية الطبقات (SPARK-39579، SPARK-39646، SPARK-39645، SPARK-39236، SPARK-39716، SPARK-39719)
• دعم R 4.2.0 (SPARK-39372)

واجهة المستخدم المباشرة وخدمة خادم المحفوظات

• قابلية توسع واجهة مستخدم Spark بشكل أفضل واستقرار برنامج التشغيل للتطبيقات الكبيرة (SPARK-41053)
• استخدام RocksDB ل spark.history.store.hybridStore.diskBackend بشكل افتراضي (SPARK-42277)
• تجميع عمليات التنفيذ المتداخلة ضمن تنفيذ الجذر (SPARK-41752)
• إظهار خصائص المقاييس في علامة تبويب البيئة (SPARK-39110)
• إصلاح حجم/سجلات إدخال StagePage لا تظهر عندما تكون السجلات أكبر من الصفر (SPARK-34777)
• تحسين أداء تسجيل الأحداث JsonProtocol باستخدام جاكسون بدلا من Json4s (SPARK-39489)
• دعم spark.history.fs.update.batchSize (SPARK-39225)

إنشاء

• تحديث cloudpickle إلى الإصدار 2.2.0 (SPARK-40991)
• إيقاف دعم Python 3.7 (SPARK-39861)
• دعم Python 3.11 (SPARK-41454)
• تحديث dev.ludovic.netlib إلى 3.0.2 (SPARK-40251)
• تحديث إلى 2.0 (SPARK-39616)
• تحديث إصدار slf4j إلى 2.0.6 (SPARK-41561)
• تحديث إصدار العميل kubernetes إلى 6.4.1 (SPARK-42362)
• تحديث rocksdbjni إلى 7.9.2 ( SPARK-42129)
• تحديث سهم Apache إلى 11.0.0 (SPARK-42161)
• ترقية Apache Kafka إلى 3.3.2 (SPARK-42109)

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 13.0.

بيئة النظام

• نظام التشغيل: Ubuntu 22.04.2 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.10.6
• R: 4.2.2
• Delta Lake: 2.3.0

مكتبات Python المثبتة

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Microsoft CRAN على 2023-02-10.

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)