مشاركة عبر

Databricks Runtime 15.0 (EoS)

  • مقالة

إشعار

انتهى دعم إصدار وقت تشغيل Databricks هذا. للحصول على تاريخ انتهاء الدعم، راجع محفوظات انتهاء الدعم. لجميع إصدارات وقت تشغيل Databricks المدعومة، راجع إصدارات ملاحظات إصدار Databricks Runtime والتوافق.

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 15.0، المشغل بواسطة Apache Spark 3.5.0.

أصدرت Databricks هذا الإصدار في مارس 2024.

كسر التغييرات

فشلت الدالة PySpark spark.sql() الآن في أنواع الوسيطات غير الصالحة

في Databricks Runtime 15.0 والإصدارات الأحدث، args يجب أن تكون المعلمة للمعلمات المسماة أو الموضعية التي تم تمريرها إلى spark.sql() الدالة قاموسا أو قائمة. إذا تم تمرير أي نوع كائن آخر، يتم رفع الخطأ التالي: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

يتم إهمال تخزين المكتبات في جذر DBFS وتعطيلها بشكل افتراضي

لتحسين أمان المكتبات في مساحة عمل Azure Databricks، يتم إهمال تخزين ملفات المكتبات في جذر DBFS وتعطيلها افتراضيا بدءا من Databricks Runtime 15.0. توصي Databricks بتحميل جميع المكتبات، والتي تتضمن مكتبات Python وملفات JAR وموصلات Spark، إلى ملفات مساحة العمل أو وحدات تخزين كتالوج Unity أو استخدام مستودع حزمة. راجع توصيات لتحميل المكتبات.

لإعادة تمكين تخزين المكتبات في جذر DBFS، قم بتعيين معلمة تكوين Spark التالية: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

تتم ترقية إصدار Python الافتراضي من 3.10 إلى 3.11

باستخدام Databricks Runtime 15.0، يكون إصدار Python الافتراضي هو 3.11.0. للحصول على قائمة مكتبات Python التي تمت ترقيتها، راجع ترقيات المكتبة.

تمت إزالة JDK 11

كما تم الإعلان عنه سابقا، تتم إزالة JDK 11 من Databricks Runtime 15.0 والإحدث. توصي Databricks بالترقية إلى JDK 17 عند الترقية إلى Databricks Runtime 15.0 والإحدث. راجع Databricks SDK ل Java.

يتم الآن إنهاء Python REPL بأمان

مع Databricks Runtime 15.0، تنتهي الآن عملية Python REPL لدفتر الملاحظات بأمان عند الخروج. يؤدي هذا إلى احترام أي خطافات atexit . على سبيل المثال، في سير عمل مع مهام دفتر ملاحظات Python متعددة، يتم تنفيذ خطافات atexit المسجلة في المهمة الأولى قبل تشغيل مهمة دفتر ملاحظات Python الثانية.

ميزات وتحسينات جديدة

يتم الآن دعم عبارة * (نجمة) في عبارة WHERE

يمكنك الآن استخدام عبارة star (*) في WHERE عبارة للإشارة إلى كافة الأعمدة SELECT من القائمة. على سبيل المثال، SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*)

spark.sql.json.enablePartialResults يتم الآن تمكين التكوين بشكل افتراضي

يتم الآن تمكين تكوين spark.sql.json.enablePartialResults Spark بشكل افتراضي، مما يسمح لموزع JSON بمعالجة أخطاء التحليل بشكل صحيح للأنوعات المعقدة مثل البنية والخريطة والصفيف دون إسقاط الحقول المتبقية. يعمل هذا التغيير على إصلاح مشكلة التناسق لمصادر بيانات JSON مع تقليم العمود.

تدعم مكتبات نظام المجموعة الآن ملفات requirements.txt

يمكنك الآن تثبيت مكتبات نظام المجموعة باستخدام requirements.txt ملف مخزن في ملف مساحة عمل أو وحدة تخزين كتالوج Unity. في مجموعات وضع الوصول المشترك والمستخدم الفردي، يمكن أن requirements.txt يشير الملف إلى ملفات أخرى. في No isolation shared access mode clusters، يتم دعم حزم PyPI فقط. راجع مكتبات نظام المجموعة.

Databricks CLI متوفر الآن في محطة الويب

يمكنك الآن استخدام Databricks CLI من محطة الويب في دفتر الملاحظات. يجب إرفاق دفتر الملاحظات بمجموعة في مستخدم واحد أو عدم وجود وضع وصول مشترك للعزل. للحصول على التفاصيل، راجع استخدام محطة الويب الطرفية وDatabricks CLI.

إضافة مستودعات Python الافتراضية إلى تكوينات نظام المجموعة

في Databricks Runtime 15.0 والإصدارات الأحدث، يمكنك تكوين العمومية pip index-url والمعلمات extra-index-url لتثبيت مكتبة نطاق نظام المجموعة ودفتر الملاحظات عند تكوين نظام مجموعة أو تعريف نهج نظام المجموعة. للقيام بذلك، قم بتعيين متغيرات DATABRICKS_PIP_INDEX_URL البيئة و DATABRICKS_PIP_EXTRA_INDEX_URL.

ترقيات المكتبة

  • مكتبات Python التي تمت ترقيتها:
    • أسود من 22.6.0 إلى 23.3.0
    • boto3 من 1.24.28 إلى 1.34.39
    • botocore من 1.27.96 إلى 1.34.39
    • اعتماد من 2022.12.7 إلى 2023.7.22
    • التشفير من 39.0.1 إلى 41.0.3
    • databricks-sdk من 0.1.6 إلى 0.20.0
    • استياء من 0.3.7 إلى 0.3.8
    • googleapis-common-protos من 1.62.0 إلى 1.63.0
    • grpcio من 1.48.2 إلى 1.60.0
    • grpcio-status من 1.48.1 إلى 1.60.0
    • importlib-metadata من 4.6.4 إلى 6.0.0
    • ipykernel من 6.25.0 إلى 6.25.1
    • ipython من 8.14.0 إلى 8.15.0
    • ipywidgets من 7.7.2 إلى 8.0.4
    • jupyter_core من 5.2.0 إلى 5.3.0
    • jupyterlab-widgets من 1.0.0 إلى 3.0.5
    • matplotlib من 3.7.0 إلى 3.7.2
    • الباندا من 1.5.3 إلى 2.0.3
    • pip من 22.3.1 إلى 23.2.1
    • المنصات من 2.5.2 إلى 3.10.0
    • protobuf من 4.24.0 إلى 4.24.1
    • pyarrow من 8.0.0 إلى 14.0.1
    • Pygments من 2.11.2 إلى 2.15.1
    • pyodbc من 4.0.32 إلى 4.0.38
    • الطلبات من 2.28.1 إلى 2.31.0
    • s3transfer من 0.6.2 إلى 0.10.0
    • scikit-learn من 1.1.1 إلى 1.3.0
    • scipy من 1.10.0 إلى 1.11.1
    • الإعدادات من 65.6.3 إلى 68.0.0
    • statsmodels من 0.13.5 إلى 0.14.0
    • التقارب من 8.1.0 إلى 8.2.2
    • إعصار من 6.1 إلى 6.3.2
    • typing_extensions من 4.4.0 إلى 4.7.1
    • urllib3 من 1.26.14 إلى 1.26.16
    • virtualenv من 20.16.7 إلى 20.24.2
    • widgetsnbextension من 3.6.1 إلى 4.0.5
    • zipp من 1.0.0 إلى 3.11.0
  • مكتبات R التي تمت ترقيتها:
    • سهم من 12.0.1 إلى 14.0.0.2
    • askpass من 1.1 إلى 1.2.0
    • قاعدة من 4.3.1 إلى 4.3.2
    • المشروب من 1.0-8 إلى 1.0-10
    • brio من 1.1.3 إلى 1.1.4
    • bslib من 0.5.0 إلى 0.6.1
    • cli من 3.6.1 إلى 3.6.2
    • علامة مشتركة من 1.9.0 إلى 1.9.1
    • المحول البرمجي من 4.3.1 إلى 4.3.2
    • التكوين من 0.3.1 إلى 0.3.2
    • cpp11 من 0.4.4 إلى 0.4.7
    • بيانات الاعتماد من 1.3.2 إلى 2.0.1
    • curl من 5.0.1 إلى 5.2.0
    • data.table من 1.14.8 إلى 1.15.0
    • مجموعات البيانات من 4.3.1 إلى 4.3.2
    • DBI من 1.1.3 إلى 1.2.1
    • dbplyr من 2.3.3 إلى 2.4.0
    • desc من 1.4.2 إلى 1.4.3
    • ملخص من 0.6.33 إلى 0.6.34
    • dplyr من 1.1.2 إلى 1.1.4
    • e1071 من 1.7-13 إلى 1.7-14
    • تقييم من 0.21 إلى 0.23
    • fansi من 1.0.4 إلى 1.0.6
    • fontawesome من 0.5.1 إلى 0.5.2
    • fs من 1.6.2 إلى 1.6.3
    • في المستقبل من 1.33.0 إلى 1.33.1
    • future.apply من 1.11.0 إلى 1.11.1
    • الغرغرة من 1.5.1 إلى 1.5.2
    • غيرت من 1.9.2 إلى 2.0.1
    • ggplot2 من 3.4.2 إلى 3.4.4
    • glmnet من 4.1-7 إلى 4.1-8
    • لصق من 1.6.2 إلى 1.7.0
    • الرسومات من 4.3.1 إلى 4.3.2
    • grDevices من 4.3.1 إلى 4.3.2
    • شبكة من 4.3.1 إلى 4.3.2
    • gtable من 0.3.3 إلى 0.3.4
    • hardhat من 1.3.0 إلى 1.3.1
    • haven من 2.5.3 إلى 2.5.4
    • htmltools من 0.5.5 إلى 0.5.7
    • htmlwidgets من 1.6.2 إلى 1.6.4
    • httpuv من 1.6.11 إلى 1.6.14
    • httr من 1.4.6 إلى 1.4.7
    • httr2 من 0.2.3 إلى 1.0.0
    • jsonlite من 1.8.7 إلى 1.8.8
    • من 1.43 إلى 1.45
    • التسمية من 0.4.2 إلى 0.4.3
    • لاحقا من 1.3.1 إلى 1.3.2
    • الحمم من 1.7.2.1 إلى 1.7.3
    • دورة الحياة من 1.0.3 إلى 1.0.4
    • listenv من 0.9.0 إلى 0.9.1
    • التشحيم من 1.9.2 إلى 1.9.3
    • markdown من 1.7 إلى 1.12
    • أساليب من 4.3.1 إلى 4.3.2
    • openssl من 2.0.6 إلى 2.1.1
    • متوازي من 4.3.1 إلى 4.3.2
    • pkgbuild من 1.4.2 إلى 1.4.3
    • pkgload من 1.3.2.1 إلى 1.3.4
    • plyr من 1.8.8 إلى 1.8.9
    • وحدات جميلة من 1.1.1 إلى 1.2.0
    • PROC من 1.18.4 إلى 1.18.5
    • processx من 3.8.2 إلى 3.8.3
    • prodlim من 2023.03.31 إلى 2023.08.28
    • التقدم من 1.2.2 إلى 1.2.3
    • progressr من 0.13.0 إلى 0.14.0
    • وعود من 1.2.0.1 إلى 1.2.1
    • ps من 1.7.5 إلى 1.7.6
    • purrr من 1.0.1 إلى 1.0.2
    • ragg من 1.2.5 إلى 1.2.7
    • Rcpp من 1.0.11 إلى 1.0.12
    • RcppEigen من 0.3.3.9.3 إلى 0.3.3.9.4
    • قراءة من 2.1.4 إلى 2.1.5
    • وصفات من 1.0.6 إلى 1.0.9
    • إعادة المباراة من 1.0.1 إلى 2.0.0
    • أجهزة التحكم عن بعد من 2.4.2 إلى 2.4.2.1
    • reprex من 2.0.2 إلى 2.1.0
    • rlang من 1.1.1 إلى 1.1.3
    • rmarkdown من 2.23 إلى 2.25
    • RODBC من 1.3-20 إلى 1.3-23
    • roxygen2 من 7.2.3 إلى 7.3.1
    • rprojroot من 2.0.3 إلى 2.0.4
    • Rserve من 1.8-11 إلى 1.8-13
    • RSQLite من 2.3.1 إلى 2.3.5
    • sass من 0.4.6 إلى 0.4.8
    • مقاييس من 1.2.1 إلى 1.3.0
    • لامعة من 1.7.4.1 إلى 1.8.0
    • sparklyr من 1.8.1 إلى 1.8.4
    • خطوط من 4.3.1 إلى 4.3.2
    • إحصائيات من 4.3.1 إلى 4.3.2
    • الإحصائيات4 من 4.3.1 إلى 4.3.2
    • stringi من 1.7.12 إلى 1.8.3
    • stringr من 1.5.0 إلى 1.5.1
    • systemfonts من 1.0.4 إلى 1.0.5
    • tcltk من 4.3.1 إلى 4.3.2
    • اختبار من 3.1.10 إلى 3.2.1
    • تشكيل النص من 0.3.6 إلى 0.3.7
    • مرتبة من 1.3.0 إلى 1.3.1
    • تغيير الوقت من 0.2.0 إلى 0.3.0
    • timeDate من 4022.108 إلى 4032.109
    • نص صغير من 0.45 إلى 0.49
    • أدوات من 4.3.1 إلى 4.3.2
    • utf8 من 1.2.3 إلى 1.2.4
    • utils من 4.3.1 إلى 4.3.2
    • uuid من 1.1-0 إلى 1.2-0
    • vctrs من 0.6.3 إلى 0.6.5
    • vroom من 1.6.3 إلى 1.6.5
    • waldo من 0.5.1 إلى 0.5.2
    • withr من 2.5.0 إلى 3.0.0
    • xfun من 0.39 إلى 0.41
    • xml2 من 1.3.5 إلى 1.3.6
    • yaml من 2.3.7 إلى 2.3.8
    • zip من 2.3.0 إلى 2.3.1
  • مكتبات Java التي تمت ترقيتها:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 من 2.15.1 إلى 2.16.0
    • com.google.flatbuffers.flatbuffers-java من 1.12.0 إلى 23.5.26
    • com.typesafe.config من 1.2.1 إلى 1.4.3
    • org.apache.ant.ant من 1.9.16 إلى 1.10.11
    • org.apache.ant.ant-jsch من 1.9.16 إلى 1.10.11
    • org.apache.ant.ant-launcher من 1.9.16 إلى 1.10.11
    • org.apache.arrow.arrow-format من 12.0.1 إلى 15.0.0
    • org.apache.arrow.arrow-memory-core من 12.0.1 إلى 15.0.0
    • org.apache.arrow.arrow-memory-netty من 12.0.1 إلى 15.0.0
    • org.apache.arrow.arrow-vector من 12.0.1 إلى 15.0.0
    • org.apache.avro.avro من 1.11.2 إلى 1.11.3
    • org.apache.avro.avro-ipc من 1.11.2 إلى 1.11.3
    • org.apache.avro.avro-mapred من 1.11.2 إلى 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api من 2.20.0 إلى 2.22.1
    • org.apache.logging.log4j.log4j-api من 2.20.0 إلى 2.22.1
    • org.apache.logging.log4j.log4j-core من 2.20.0 إلى 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl من 2.20.0 إلى 2.22.1
    • org.postgresql.postgresql من 42.6.0 إلى 42.6.1

Apache Spark

يتضمن Databricks Runtime 15.0 Apache Spark 3.5.0. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 14.3 LTS، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

  • [SPARK-45527] [DBRRM-805][ES-1073714] إرجاع "[SC-151626][CORE] استخدام الكسر لإجراء حساب المورد"
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] COLLATION_ENABLED إضافة علامة التكوين
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] تخطي بحث الجدول V2 عندما يكون الجدول في ذاكرة التخزين المؤقت للجداول V1
  • [SPARK-46808] [SC-154113][PYTHON] تحسين فئات الخطأ في Python باستخدام دالة الفرز التلقائي
  • [SPARK-47251] [SC-158291][PYTHON] حظر الأنواع غير الصالحة من وسيطة args الأمر sql
  • [SPARK-47251] [SC-158121][PYTHON] حظر الأنواع غير الصالحة من وسيطة args الأمر sql
  • [SPARK-47108] [SC-157204][CORE] تعيين derby.connection.requireAuthentication إلى false بشكل صريح في CLIs
  • [SPARK-45599] [SC-157537][CORE] استخدام مساواة العنصر في OpenHashSet
  • [SPARK-47099] [SC-157352][SQL] استخدم ordinalNumber لتعيين قيمة paramIndex لفئة الخطأ بشكل موحد UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][CONNECT] استخراج دالة مساعد لإزالة التعليمات البرمجية المكررة التي تسترد MessageParameters من ErrorParams في GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][CONNECT] جعل ProtoUtils.abbreviate حقول الدعم متكررة
  • [SPARK-46342] [SC-150283][SQL] استبدال IllegalStateException ب SparkException.internalError في sql
  • [SPARK-47123] [SC-157412][CORE] لا يعالج JDBCRDD الأخطاء في getQueryOutputSchema بشكل صحيح
  • [SPARK-47189] [SC-157667][SQL] تعديل أسماء الأخطاء في العمود والنص
  • [SPARK-45789] [SC-157101][SQL] دعم وصف الجدول لأعمدة التجميع
  • [SPARK-43256] [SC-157699][SQL] إزالة _LEGACY_ERROR_TEMP_2021 فئة الخطأ
  • [SPARK-47201] [SC-157782][PYTHON][CONNECT] sameSemantics التحقق من أنواع الإدخال
  • [SPARK-47183] [SC-157660][PYTHON] إصلاح فئة الخطأ ل sameSemantics
  • [SPARK-47179] [SC-157663][SQL] تحسين رسالة الخطأ من SparkThrowableSuite لتصحيح الأخطاء بشكل أفضل
  • [SPARK-46965] [SC-155791][CORE] إيداع logTypeUtils.getLog
  • [SPARK-46832] [SC-156774][SQL] تقديم تعبيرات الترتيب والدمج
  • [SPARK-46946] [SC-155721][SQL] دعم بث مفاتيح تصفية متعددة في DynamicPruning
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT] إضافة معلومات نوع المتغير إلى PySpark
  • [SPARK-47101] [SC-157360][SQL] السماح باستخدام الفاصلة في أسماء أعمدة المستوى الأعلى وإزالة تحديد تعريف النوع المتداخل في HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][SS][واجهة المستخدم] إصلاح خطأ مطبعي في شرح واجهة المستخدم المتدفقة
  • [SPARK-47113] [SC-157348][CORE] إعادة منطق إصلاح نقطة نهاية S3A ل SPARK-35878
  • [SPARK-47130] [SC-157462][CORE] استخدام listStatus لتجاوز حظر معلومات الموقع عند تنظيف سجلات برامج التشغيل
  • [SPARK-43259] [SC-157368][SQL] تعيين اسم لفئة الخطأ _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec يجب تهيئة الإسقاط غير الآمن
  • [SPARK-47137] [SC-157463][PYTHON][CONNECT] إضافة getAll إلى spark.conf لتماثل الميزة مع Scala
  • [SPARK-46924] [SC-154905][CORE] الزر "إصلاح Load New " في Master/HistoryServer واجهة مستخدم السجل
  • [SPARK-47069] [SC-157370][PYTHON][CONNECT] تقديم spark.profile.show/dump التنميط المستند إلى SparkSession
  • [SPARK-46812] [SC-157075][SQL][PYTHON] إنشاء mapInPandas / mapInArrow دعم ResourceProfile
  • [SPARK-46833] [SC-155866][SQL] الترتيب - تقديم CollationFactory الذي يوفر قواعد المقارنة والتجزئة للتصنيفات المدعومة
  • [SPARK-47057] [SC-157036][PYTHON] إعادة تجميع اختبار بيانات MyPy
  • [SPARK-46934] [SC-157084][SQL] قراءة/كتابة roundtrip لنوع البنية مع أحرف خاصة مع HMS
  • [SPARK-46727] [SC-153472][SQL] المنفذ classifyException() بلهجات JDBC على فئات الخطأ
  • [SPARK-46964] [SC-155740][SQL] تغيير توقيع خطأ تنفيذ استعلام hllInvalidLgK لأخذ عدد صحيح كوسيطة 4
  • [SPARK-46949] [SC-155719][SQL] دعم CHAR/VARCHAR من خلال ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][SQL] إصلاح الاستبدال غير المتماثل ل char/varchar في V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][PYTHON][CONNECT] تنفيذ أساليب تفريغPerfProfiles و dumpMemoryProfiles من SparkSession
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT] دعم جمع معلومات v2 في group/cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][CONNECT] السماح لبرنامج Spark Connect Server النصي بالانتظار
  • [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][CONNECT] دعم جمع معلومات v2 في ملفات Pandas UDFs التجميعية
  • [SPARK-47004] [SC-156499][CONNECT] تمت إضافة المزيد من الاختبارات إلى ClientStreamingQuerySuite لزيادة تغطية اختبار عميل Scala
  • [SPARK-46994] [SC-156169][PYTHON] إعادة بناء التعليمات البرمجية PythonWrite للتحضير لدعم كتابة تدفق مصدر بيانات python
  • [SPARK-46979] [SC-156587][SS] إضافة دعم لتحديد أداة ترميز المفتاح والقيمة بشكل منفصل وأيضا لكل عائلة عمود في موفر مخزن حالة RocksDB
  • [SPARK-46960] [SC-155940][SS] اختبار تدفقات الإدخال المتعددة باستخدام عامل تشغيل TransformWithState
  • [SPARK-46966] [SC-156112][Python] إضافة واجهة برمجة تطبيقات UDTF لأسلوب "التحليل" للإشارة إلى مجموعة فرعية من أعمدة جدول الإدخال لتحديد
  • [SPARK-46895] [SC-155950][CORE] استبدال المؤقت بمنفذ جدولة مؤشر ترابط واحد
  • [SPARK-46967] [SC-155815][CORE][واجهة المستخدم] إخفاء Thread Dump المنفذين و Heap Histogram Dead في Executors واجهة المستخدم
  • [SPARK-46512] [SC-155826][CORE] تحسين القراءة العشوائية عند استخدام كل من الفرز والدمج.
  • [SPARK-46958] [SC-155942][SQL] إضافة منطقة زمنية مفقودة لإلظاء القيم الافتراضية
  • [SPARK-46754] [SC-153830][SQL][AVRO] إصلاح دقة رمز الضغط في تعريف جدول avro وخيارات الكتابة
  • [SPARK-46728] [SC-154207][PYTHON] التحقق من تثبيت Pandas بشكل صحيح
  • [SPARK-43403] [SC-154216][واجهة المستخدم] تأكد من فصل SparkUI القديمة في HistoryServer قبل تحميل واحدة جديدة
  • [SPARK-39910] [SC-156203][SQL] تفويض تأهيل المسار إلى نظام الملفات أثناء globbing مسار ملف DataSource
  • [SPARK-47000] [SC-156123] إرجاع "[SC-156123][CORE] استخدام getTotalMemorySize...
  • [SPARK-46819] [SC-154560][CORE] نقل فئات الخطأ وحالاته إلى JSON
  • [SPARK-46997] [SC-156175][CORE] تمكين spark.worker.cleanup.enabled بشكل افتراضي
  • [SPARK-46865] [SC-156168][SS] إضافة دعم دفعي لعامل تشغيل TransformWithState
  • [SPARK-46987] [SC-156040][CONNECT] ProtoUtils.abbreviate تجنب العملية غير الضرورية setField
  • [SPARK-46970] [SC-155816][CORE] إعادة الكتابة OpenHashSet#hasher باستخدام pattern matching
  • [SPARK-46984] [SC-156024][PYTHON] إزالة pyspark.copy_func
  • [SPARK-47000] [SC-156123][CORE] استخدام getTotalMemorySize في WorkerArguments
  • [SPARK-46980] [SC-155914][SQL][ثانوي] تجنب استخدام واجهات برمجة التطبيقات الداخلية في الاختبارات الشاملة لإطار البيانات
  • [SPARK-46931] Revert "[SC-155661][PS] Implement {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][SQL] تحسين رسائل الخطأ لخطأ DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][SQL] تشغيل المحسن على الإعدادات الافتراضية لعمود CREATE TABLE
  • [SPARK-46911] [SC-155724][SS] إضافة عامل تشغيل deleteIfExists إلى StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] دعم lz4raw برنامج ترميز الضغط ل Parquet
  • [SPARK-47002] [SC-156223][Python] إرجاع رسالة خطأ أفضل إذا كان الحقل "تحليل" أسلوب UDTF 'orderBy' يرجع عن طريق الخطأ قائمة بالسلاسل
  • [SPARK-46890] [SC-155802][SQL] إصلاح خطأ تحليل CSV مع القيم الافتراضية للوجود وتقليم العمود
  • [SPARK-46977] [SC-155892][CORE] يجب ألا يتخطى الطلب الفاشل للحصول على رمز مميز من NameNode واحد طلبات الرمز المميز اللاحقة
  • [SPARK-46608] [SC-151806][SQL] استعادة التوافق مع الإصدارات السابقة من JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][SQL] دعم عبارة نجمية في عبارة WHERE
  • [SPARK-46908] [SC-155702][SQL] دعم عبارة نجمية في عبارة WHERE
  • [SPARK-46852] [SC-155665][SS] إزالة استخدام أداة ترميز المفتاح الصريح وتمريرها ضمنيا إلى عامل التشغيل لعامل تشغيل transformWithState
  • [SPARK-46864] [SC-155669][SS] إلحاق حالة عشوائية V2 على إطار عمل فئة خطأ جديد
  • [SPARK-45807] [SC-155706][SQL] إرجاع طريقة العرض بعد استدعاء replaceView(..)
  • [SPARK-46899] [SC-154651][CORE] إزالة POST واجهات برمجة التطبيقات من MasterWebUI وقت spark.ui.killEnabledfalse
  • [SPARK-46868] [SC-154539][CORE] دعم واجهة مستخدم سجل عامل Spark
  • [SPARK-46931] [SC-155661][PS] أنجز {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] إزالة غير مستخدم updateSparkConfigFromProperties و في isAbsoluteURIo.a.s.u.Utils
  • [SPARK-46929] [SC-155659][CORE][CONNECT][SS] استخدام ThreadUtils.shutdown لإغلاق تجمعات مؤشرات الترابط
  • [SPARK-46400] [SC-155658][CORE][SQL] عند وجود ملفات تالفة في مستودع maven المحلي، قم بتخطي ذاكرة التخزين المؤقت هذه وحاول مرة أخرى
  • [SPARK-46932] [SC-155655] تنظيف عمليات الاستيراد في pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] كتابة منشئ استعلام فرعي ينشئ تباديل استعلامات فرعية لزيادة تغطية الاختبار
  • [SPARK-46914] [SC-154776][واجهة المستخدم] تقصير اسم التطبيق في جدول الملخص على صفحة المحفوظات
  • [SPARK-46831] [SC-154699][SQL] ترتيب - توسيع StringType و PhysicalStringType مع حقل collationId
  • [SPARK-46816] [SC-154415][SS] إضافة دعم أساسي لعامل تشغيل إدارة الحالة العشوائية الجديد ونوع valueState الفردي ومتغيرات الحالة المتعددة والدعم الأساسي لعائلات الأعمدة ل RocksDBStateStoreProvider مع/بدون نقاط تفتيش سجل التغيير
  • [SPARK-46925] [SC-154890][PYTHON][CONNECT] إضافة تحذير يرشد إلى تثبيت memory_profiler لجمع معلومات الذاكرة
  • [SPARK-46927] [SC-154904][PYTHON] جعل assertDataFrameEqual العمل بشكل صحيح دون PyArrow
  • [SPARK-46021] [SC-148987][CORE] دعم إلغاء المهام المستقبلية التي تنتمي إلى مجموعة مهام
  • [SPARK-46747] [SC-154789][SQL] تجنب الفحص في getTableExistsQuery للهجات JDBC
  • [SPARK-46904] [SC-154704][واجهة المستخدم] إصلاح مشكلة العرض لملخص واجهة مستخدم المحفوظات
  • [SPARK-46870] [SC-154541][CORE] دعم واجهة مستخدم سجل Spark الرئيسي
  • [SPARK-46893] [SC-154780][واجهة المستخدم] إزالة البرامج النصية المضمنة من أوصاف واجهة المستخدم
  • [SPARK-46910] [SC-154760][PYTHON] إزالة متطلبات JDK في تثبيت PySpark
  • [SPARK-46907] [SC-154736][CORE] إظهار موقع سجل برنامج التشغيل في Spark History Server
  • [SPARK-46902] [SC-154661][واجهة المستخدم] إصلاح واجهة مستخدم خادم محفوظات Spark لاستخدام setAppLimit غير المصدرة
  • [SPARK-46687] [SC-154725][PYTHON][CONNECT] الدعم الأساسي لملف تعريف الذاكرة المستند إلى SparkSession
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] استبدال SimpleDateFormat ب DateTimeFormatter
  • [SPARK-46875] [SC-154627][SQL] mode عندما يكون فارغا NullPointException ، يجب not طرح
  • [SPARK-46872] [SC-154543][CORE] استرداد log-view.js ليكون غير وحدة نمطية
  • [SPARK-46883] [SC-154629][CORE] واجهة برمجة تطبيقات الدعم /json/clusterutilization
  • [SPARK-46886] [SC-154630][CORE] تمكين spark.ui.prometheus.enabled بشكل افتراضي
  • [SPARK-46873] [SC-154638][SS] لا تقم بإعادة إنشاء StreamingQueryManager جديد لنفس جلسة Spark
  • [SPARK-46829] [SC-154419][CORE] إزالة createExecutorEnv من SparkEnv
  • [SPARK-46827] [SC-154280][CORE] إنشاء RocksDBPersistenceEngine لدعم ارتباط رمزي
  • [SPARK-46903] [SC-154662][CORE] دعم واجهة مستخدم سجل خادم محفوظات Spark
  • [SPARK-46874] [SC-154646][PYTHON] إزالة pyspark.pandas التبعية من assertDataFrameEqual
  • [SPARK-46889] [SC-154639][CORE] spark.master.ui.decommission.allow.mode التحقق من صحة الإعداد
  • [SPARK-46850] [SC-154443][SQL] تحويل _LEGACY_ERROR_TEMP_2102 إلى UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][CORE][واجهة المستخدم] إصلاح MasterPage لفرز Running Drivers الجدول حسب Duration العمود بشكل صحيح
  • [SPARK-46796] [SC-154279][SS] تأكد من استخدام الملفات البعيدة الصحيحة (المذكورة في metadata.zip) على تحميل إصدار RocksDB
  • [SPARK-46888] [SC-154636][CORE] إصلاح Master لرفض /workers/kill/ الطلبات إذا تم تعطيل إيقاف التشغيل
  • [SPARK-46818] [SC-154422][SQL] تحسين رسائل الخطأ للنطاق باستخدام مدخلات غير قابلة للطي
  • [SPARK-46898] [SC-154649][CONNECT] تبسيط تحويل الدالة protobuf في Planner
  • [SPARK-46828] [SC-154413][SQL] إزالة التأكيد غير الصالح من الوضع البعيد ل spark sql shell
  • [SPARK-46733] [SC-154274][CORE] تبسيط BlockManager بواسطة عملية الخروج تعتمد فقط على مؤشر ترابط المقاطعة.
  • [SPARK-46777] [SC-154016][SS] بنية محفز إعادة بناء التعليمات البرمجية StreamingDataSourceV2Relation لتكون أكثر تماثلا مع إصدار الدفعة
  • [SPARK-46515] [SC-151716] إضافة الدالة MONTHNAME
  • [SPARK-46823] [SC-154276][CONNECT][PYTHON] LocalDataToArrowConversion يجب التحقق من قابلية القيم الخالية
  • [SPARK-46787] [SC-154404][CONNECT] bloomFilter يجب أن تطرح AnalysisException الدالة لإدخال غير صالح
  • [SPARK-46779] [SC-154045][SQL] InMemoryRelation يجب أن تكون مثيلات نفس الخطة المخزنة مؤقتا مكافئة دلاليا
  • [SPARK-45827] [SC-153973] عدم السماح بالتقسيم على عمود Variant
  • [SPARK-46797] [SC-154085][CORE] إعادة التسمية spark.deploy.spreadOut إلى spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] دعم ملف تعريف JVM للمنفذ
  • [SPARK-46746] [SC-153557][SQL][AVRO] إرفاق ملحق برنامج الترميز بملفات مصدر بيانات avro
  • [SPARK-46698] [SC-153288][CORE] استبدل المؤقت بمنفذ جدولة مؤشر ترابط واحد ل ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] إصلاح نوع STRUCT DDL الذي لا يلتقط إمكانية القيم الخالية والتعليق
  • [SPARK-46750] [SC-153772][CONNECT][PYTHON] تنظيف التعليمات البرمجية لواجهات برمجة التطبيقات DataFrame
  • [SPARK-46769] [SC-153979][SQL] تحسين استنتاج المخطط ذي الصلة بالطوابع الزمنية
  • [SPARK-46765] [SC-153904][PYTHON][CONNECT] جعل shuffle تحديد نوع البيانات seed
  • [SPARK-46579] [SC-151481][SQL] Redact JDBC url في الأخطاء والسجلات
  • [SPARK-46686] [SC-153875][PYTHON][CONNECT] الدعم الأساسي لملف تعريف Python UDF المستند إلى SparkSession
  • [SPARK-46748] إرجاع "[SC-153800][CORE] إزالة *sla***.sh scri...
  • [SPARK-46707] [SC-153833][SQL] إضافة حقل قابل للرمي إلى التعبيرات لتحسين دفعة التقييم
  • [SPARK-46519] [SC-151278][SQL] مسح فئات الخطأ غير المستخدمة من error-classes.json الملف
  • [SPARK-46677] [SC-153426][SQL][CONNECT] إصلاح dataframe["*"] الدقة
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] مطابقة المطابقة البسيطة للسلوك في SparkSession مع تغطية الاختبار الكاملة
  • [SPARK-46748] [SC-153800][CORE] إزالة *sla***.sh البرامج النصية
  • [SPARK-46663] [SC-153490][PYTHON] تعطيل محلل ملفات تعريف الذاكرة ل Pandas UDFs مع المكررات
  • [SPARK-46410] [SC-150776][SQL] تعيين فئات الخطأ/الفئات الفرعية إلى JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][PYTHON] التحقق من صحة عناوين URL لبدء التشغيل مع تعيين التكوين
  • [SPARK-46612] [SC-153536][SQL] عدم تحويل سلسلة نوع الصفيف التي تم استردادها من برنامج تشغيل jdbc
  • [SPARK-46254] [SC-149788][PYTHON] إزالة التحقق من الإصدار القديم Python 3.8/3.7
  • [SPARK-46490] [SC-151335][SQL] طلب فئات الخطأ في SparkThrowable الفئات الفرعية
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX] تقليل استخدام كومة برامج التشغيل عن طريق تقليل عمر TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] إصلاح مرجع العمود الغامض في الصلة الذاتية
  • [SPARK-46381] [SC-150495][SQL] ترحيل الفئات الفرعية ل AnalysisException إلى فئات الخطأ
  • [SPARK-46351] [SC-150335][SQL] طلب فئة خطأ في AnalysisException
  • [SPARK-46220] [SC-149689][SQL] تقييد مجموعات الأحرف في decode()
  • [SPARK-46369] [SC-150340][CORE] إزالة kill ارتباط من RELAUNCHING برامج التشغيل في MasterPage
  • [SPARK-46052] [SC-153284][CORE] إزالة الدالة TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][SQL] calendar_interval_type مجموعة الدعم
  • [SPARK-46675] [SC-153209][SQL] إزالة inferTimestampNTZ غير المستخدمة في ParquetReadSupport
  • [SPARK-46717] [SC-153423][CORE] تعتمد عملية التبسيط ReloadingX509TrustManager بواسطة عملية الإنهاء فقط على مؤشر ترابط المقاطعة.
  • [SPARK-46722] [SC-153438][CONNECT] إضافة اختبار فيما يتعلق بالتحقق من التوافق مع الإصدارات السابقة ل StreamingQueryListener في Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] محاذاة التعليمات البرمجية وتنفيذ غير codegen StringDecode
  • [SPARK-46258] [SC-149799][CORE] جمع RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE] تحسين FileSystemPersistenceEngine لدعم الضغطات
  • [SPARK-46189] [SC-149567][PS][SQL] إجراء المقارنات والحساب بين نفس الأنواع في وظائف Pandas التجميعية المختلفة لتجنب أخطاء الوضع المفسر
  • [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB] تقليل عمق المكدس عن طريق استبدال Option.isDefined ب Option.isEmpty
  • [SPARK-46700] [SC-153329][CORE] حساب آخر تسرب لمقياس بايت تسرب القرص العشوائي
  • [SPARK-45642] [SC-150286][CORE][SQL] ضبط FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL] إصلاح RemoveRedundantAlias عن طريق استبعاد سمات الاستعلام الفرعي
  • [SPARK-46681] [SC-153287][CORE] إعادة بناء التعليمات البرمجية ExecutorFailureTracker#maxNumExecutorFailures defaultMaxNumExecutorFailures لتجنب حساب وقت MAX_EXECUTOR_FAILURES تكوين
  • [SPARK-46695] [SC-153289][SQL][HIVE] تعيين hive.execution.engine دائما إلى mr
  • [SPARK-46325] [SC-150228][CONNECT] إزالة دالات التجاوز غير الضرورية عند الإنشاء WrappedCloseableIterator في ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PYTHON] ترحيل كافة ValueError المتبقية إلى إطار عمل خطأ PySpark.
  • [SPARK-46547] [SC-153174][SS] ابتلاع استثناء غير فادح في مهمة الصيانة لتجنب التوقف التام بين مؤشر ترابط الصيانة وعامل تجميع الدفق
  • [SPARK-46169] [SC-149373][PS] تعيين أرقام JIRA المناسبة للمعلمات المفقودة من DataFrame واجهة برمجة التطبيقات.
  • [SPARK-45857] [SC-148096][SQL] فرض فئات الخطأ في الفئات الفرعية ل AnalysisException

دعم برنامج تشغيل Databricks ODBC/JDBC

يدعم Databricks برامج تشغيل ODBC/JDBC التي تم إصدارها في العامين الماضيين. يرجى تنزيل برامج التشغيل التي تم إصدارها مؤخرا والترقية (تنزيل ODBC، تنزيل JDBC).

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 15.0.

بيئة النظام

  • نظام التشغيل: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

مكتبات Python المثبتة

مكتبة إصدار مكتبة إصدار مكتبة إصدار
الرموز المميزة 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 تثبيت خلفي 0.2.0
black 23.3.0 وامض 1.4 boto3 1.34.39
روبوت الدردشة 1.34.39 قوالب ذاكرة التخزين المؤقت 5.3.3 شهادة 2023.7.22
cffi 1.15.1 تجزئة 4.0.0 charset-normalizer 2.0.4
نقر 8.0.4 cloudpickle 2.2.1 الاتصالات 0.1.2
مخطط إحاطة 1.0.5 التشفير 41.0.3 دورة 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
تصحيح الأخطاء 1.6.7 ديكور 5.1.1 استياء 0.3.8
نقاط الإدخال 0.4 تنفيذ 0.8.3 نظرة عامة على الواجهات 1.1.1
قفل الملف 3.13.1 أصوام الخطوط 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
حالة grpcio 1.60.0 httplib2 0.20.2 idna 3.4
بيانات تعريف importlib 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 عناوين ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 سيارة جيب 0.7.1 مسار jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 أداة إنشاء المفاتيح 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
المزيد من التكرارات 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 أواتهليب 3.2.0 التغليف 23.2
pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
بتسي 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
مخدة 9.4.0 pip 23.2.1 المنصات 3.10.0
بشكل مخطط 5.9.0 مجموعة أدوات المطالبة 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 عملية ptyprocess 0.7.0
تقييم خالص 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
وحدات pyasn1 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 الطلبات 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
شفرة 1.11.1 بحر محمول 0.12.2 مخزن البيانات السرية 3.3.1
أدوات الإعداد 68.0.0 ستة 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5.11 بيانات المكدس 0.2.0
نماذج الإحصائيات 0.14.0 مثابره 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 اعصار 6.3.2 سمات السمات 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
ترقيات غير مراقبة 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 دولاب 0.38.4
عنصر واجهة المستخدم 4.0.5 zipp 3.11.0

مكتبات R المثبتة

يتم تثبيت مكتبات R من لقطة Posit مدير الحِزَم CRAN على 2023-02-10.

مكتبة إصدار مكتبة إصدار مكتبة إصدار
سهم 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports 1.4.1 الأساس 4.3.2 base64enc 0.1-3
bigD 0.2.0 بت 4.0.5 bit64 4.0.5
bitops 1.0-7 كائن ثنائي كبير الحجم 1.2.4 boot 1.3-28
المشروب 1.0-10 بريو 1.1.4 broom 1.0.5
bslib 0.6.1 ذاكرة التخزين المؤقت 1.0.8 callr 3.7.3
علامة إقحام 6.0-94 cellranger 1.1.0 كرون 2.3-61
فئة 7.3-22 cli 3.6.2 clipr 0.8.0
ساعة 0.7.0 نظام مجموعة 2.1.4 codetools 0.2-19
colorspace 2.1-0 العلامة الشائعة 1.9.1 compiler 4.3.2
config 0.3.2 تتعارض 1.2.0 cpp11 0.4.7
crayon 1.5.2 بيانات الاعتماد 2.0.1 curl 5.2.0
data.table 1.15.0 مجموعات البيانات 4.3.2 DBI 1.2.1
dbplyr 2.4.0 تنازلي 1.4.3 devtools 2.4.5
الرسم التخطيطي 1.6.5 diffobj 0.3.5 digest 0.6.34
إضاءة هابطة 0.4.3 dplyr 1.1.4 dtplyr ⁦⁩⁦⁩1.3.1
e1071 1.7-14 علامة الحذف 0.3.2 التقييم 0.23
fansi 1.0.6 مسافة بعيدة 2.1.1 خريطة سريعة 1.1.1
fontawesome 0.5.2 forcats 1.0.0 Foreach 1.5.2
foreign 0.8-85 زور 0.2.0 fs 1.6.3
future 1.33.1 future.apply 1.11.1 تغرغر 1.5.2
generics 0.1.3 غيرت 2.0.1 ggplot2 3.4.4
غ 1.4.0 git2r 0.33.0 صور gitcred 0.1.2
glmnet 4.1-8 عموميات 0.16.2 glue 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 gower 1.0.1
graphics 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0.7 gt 0.10.1
gtable 0.3.4 هاردات ⁦⁩⁦⁩1.3.1 haven 2.5.4
highr 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 اجتهادي 0.1.0
KernSmooth 2.23-21 knitr 1.45 labeling 0.4.3
فيما بعد 1.3.2 lattice 0.21-8 lava 1.7.3
دورة الحياة 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 markdown 1.12 MASS 7.3-60
مصفوفة 1.5-4.1 المذكرة 2.0.1 الأساليب 4.3.2
mgcv 1.8-42 mime 0.12 واجهة مستخدم مصغرة 0.1.1.1
تدفق التعلم الآلي 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
بالتوازي 1.36.0 pillar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 مدح 1.0.0
prettyunits 1.2.0 بروك 1.18.5 processx 3.8.3
prodlim 2023.08.28 ملفات تعريفية 0.3.8 التقدم 1.2.3
متدرج التقدم 0.14.0 الوعود 1.2.1 proto 1.0.0
الوكيل 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 رعوج 1.2.7 randomForest 4.7-1.1
طيور الراب 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 قابلة للتفاعل 0.4.4
reactR 0.5.0 readr 2.1.5 readxl 1.4.3
recipes 1.0.9 rematch 2.0.0 إعادة المباراة2 2.1.2
أجهزة التحكم عن بعد 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2.25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
تحويلات 2.1.2 rvest 1.0.3 ساس 0.4.8
scales 1.3.0 selectr 0.4-2 معلومات الجلسة 1.2.2
شكل 1.4.6 بَرَّاق 1.8.0 قوالب المصدر 0.1.7-1
sparklyr 1.8.4 spatial 7.3-15 splines 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
survival 3.5-5 غرور 3.33.1 sys 3.4.2
الشبكات الأساسية للنظام 1.0.5 tcltk 4.3.2 اختبار الذي 3.2.1
تشكيل النص 0.3.7 tibble 3.2.1 tidyr ⁦⁩⁦⁩1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 تغيير الوقت 0.3.0
timeDate 4032.109 tinytex 0.49 الأدوات 4.3.2
tzdb 0.4.0 محدد موقع المعلومات (urlchecker) 1.0.1 استخدام هذا 2.2.2
utf8 1.2.4 utils 4.3.2 uuid 1.2-0
الإصدار 8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
غرفة vroom 1.6.5 والدو 0.5.2 whisker 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)

معرف مجموعة معرف البيانات الاصطناعية إصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws دعم aws-java-sdk 1.12.390
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics استدر 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo مظلل 4.0.2
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.3.4
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.15.2
com.fasterxml.jackson.core جاكسون النواة 2.15.2
com.fasterxml.jackson.core جاكسون-databind 2.15.2
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat جاكسون-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.كافيين كافايين 2.9.3
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1 من السكان الأصليين
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1 من السكان الأصليين
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1 من السكان الأصليين
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1 من السكان الأصليين
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink تينك 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox cp عظمي 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning ضغط lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter برد-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity محللات أحادية التكافؤ 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
المجموعات المشتركة المجموعات المشتركة 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
تجمع مشترك تجمع مشترك 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib بلاس 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift أداة ضغط الهواء 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics التعليقات التوضيحية للمقاييس 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics المقاييس-الفحوصات الصحية 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty معالج netty 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty محلل netty 4.1.96.Final
io.netty netty-tcnative-مملة-ثابت 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-مملة-ثابت 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-مملة-ثابت 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-مملة-ثابت 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-مملة-ثابت 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx جامع 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation التنشيط 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction واجهة برمجة تطبيقات المعاملات 1.1
javax.xml.bind jaxb-api 2.2.11
التفاف دائري التفاف دائري 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine مخلل 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.5.2
org.antlr وقت تشغيل antlr4 4.9.3
org.antlr سلسلة قوالب 3.2.1
org.apache.ant نمل 1.10.11
org.apache.ant نملة-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.سهم تنسيق السهم 15.0.0
org.apache.سهم ذاكرة أساسية للسهم 15.0.0
org.apache.سهم سهم-ذاكرة-netty 15.0.0
org.apache.سهم خط متجه للسهم 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons ضغط الشائعات 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator عميل أمين 2.13.0
org.apache.curator إطار عمل أمين 2.13.0
org.apache.curator وصفات أمين 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby الدربي 10.14.2.0
org.apache.hadoop وقت تشغيل عميل hadoop 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive عميل hive-llap 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy لبلاب 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus التعليقات التوضيحية للجمهور 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework مدقق كهومي 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.16
org.codehaus.janino جانينو 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections مجموعات الكسوف 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty عميل jetty 9.4.52.v20230823
org.eclipse.jetty متابعة jetty 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty وكيل jetty 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty خادم jetty 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket عميل websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket خادم websocket 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 محدد موقع hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external إعادة حزم الأوبالين 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.40
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.40
org.glassfish.jersey.core جيرسي-العميل 2.40
org.glassfish.jersey.core جيرسي المشتركة 2.40
org.glassfish.jersey.core خادم جيرسي 2.40
org.glassfish.jersey.inject جيرسي-hk2 2.40
org.hibernate.validator مدقق الإسبات 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging تسجيل jboss 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains التعليقات التوضيحية 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis داء objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap هديرBitmap 0.9.45
org.roaringbitmap الحشوات 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest المتوافق مع التحجيم 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten ثلاثتين إضافية 1.7.1
org.tukaani xz 1.9
مستوى org.typelevel algebra_2.12 2.0.1
مستوى org.typelevel cats-kernel_2.12 2.1.1
مستوى org.typelevel spire-macros_2.12 0.17.0
مستوى org.typelevel spire-platform_2.12 0.17.0
مستوى org.typelevel spire-util_2.12 0.17.0
مستوى org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml ثعبان الثعبان 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1