Databricks Runtime 12.2 LTS
توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 12.2 LTS، مدعوما ب Apache Spark 3.3.2.
أصدرت Databricks هذا الإصدار في مارس 2023.
إشعار
LTS يعني أن هذا الإصدار تحت الدعم طويل الأجل. راجع دورة حياة إصدار Databricks Runtime LTS.
تلميح
للاطلاع على ملاحظات الإصدار لإصدارات Databricks Runtime التي وصلت إلى نهاية الدعم (EoS)، راجع ملاحظات إصدار وقت تشغيل Databricks لنهاية الدعم. تم إيقاف إصدارات وقت تشغيل EoS Databricks وقد لا يتم تحديثها.
التغيرات السلوكية
[كسر التغيير] يتطلب إصدار Python الجديد تحديث عملاء Databricks Connect V1 Python
لتطبيق تصحيحات الأمان المطلوبة، تتم ترقية إصدار Python في Databricks Runtime 12.2 LTS من 3.9.5 إلى 3.9.19. نظرا لأن هذه التغييرات قد تتسبب في حدوث أخطاء في العملاء الذين يستخدمون وظائف PySpark معينة، يجب تحديث أي عملاء يستخدمون Databricks Connect V1 ل Python مع Databricks Runtime 12.2 LTS إلى Python 3.9.7 أو أحدث.
ميزات وتحسينات جديدة
- يدعم تطور مخطط Delta Lake تحديد أعمدة المصدر في عبارات الدمج
- يتم دعم أحمال عمل الدفق المنظم على أنظمة المجموعات ذات وضع الوصول المشترك
- ميزات جديدة للإداء/إخراج التنبؤ
- دعم الاسم المستعار للعمود الجانبي الضمني
- ميزة forEachBatch جديدة
- خيارات الاتصال الموحدة لاتحاد الاستعلامات
- مكتبة وظائف SQL الموسعة لإدارة الصفيف
- دالة قناع جديد لتسمية السلاسل مجهولة
- ترجع حالات الخطأ الشائعة الآن SQLSTATEs
- استدعاء دالات المولد في عبارة FROM
- يتوفر دعم المخازن المؤقتة للبروتوكول بشكل عام
- الانتقال إلى التعريف لمتغيرات دفتر الملاحظات ووظائفه
- الإصلاح السريع لدفتر الملاحظات لاستيراد المكتبات تلقائيا
- إصلاح الأخطاء
يدعم تطور مخطط Delta Lake تحديد أعمدة المصدر في عبارات الدمج
يمكنك الآن تحديد الأعمدة الموجودة فقط في الجدول المصدر في إجراءات الإدراج أو التحديث لعبارات الدمج عند تمكين تطور المخطط. في Databricks Runtime 12.1 والإصدارات أدناه، يمكن استخدام الإجراءات أو UPDATE SET *
فقط INSERT *
لتطور المخطط مع الدمج. راجع تطور المخطط التلقائي لدمج Delta Lake.
يتم دعم أحمال عمل الدفق المنظم على أنظمة المجموعات ذات وضع الوصول المشترك
يمكنك الآن استخدام Structured Streaming للتفاعل مع كتالوج Unity على المجموعات المشتركة. تنطبق بعض القيود. راجع ما هي وظيفة Structured Streaming التي يدعمها كتالوج Unity؟.
ميزات جديدة للإداء/إخراج التنبؤ
يتوفر الآن دعم الفوتون للمتلقي Foreachbatch
. يمكن الآن أن تستفيد أحمال العمل التي تتدفق من مصدر وتدمج في Delta Tables أو تكتب إلى متلقيات متعددة من متلقي Photonized Foreachbatch
.
دعم الاسم المستعار للعمود الجانبي الضمني
يدعم Azure Databricks الآن الاسم المستعار للعمود الجانبي الضمني بشكل افتراضي. يمكنك الآن إعادة استخدام تعبير محدد مسبقا في نفس SELECT
القائمة. على سبيل المثال، بالنظر SELECT 1 AS a
إلى ، a + 1 AS b
يمكن حل في a + 1
a
كما هو محدد 1 AS a
مسبقا . تحقق من تحليل الاسم للحصول على مزيد من التفاصيل بترتيب الدقة.
لإيقاف تشغيل هذه الميزة، يمكنك تعيين spark.sql.lateralColumnAlias.enableImplicitResolution
إلى false
.
ميزة forEachBatch جديدة
يتم الآن دعم الفوتون عند استخدام foreachBatch
للكتابة إلى متلقي بيانات.
خيارات الاتصال الموحدة لاتحاد الاستعلامات
يمكنك الآن استخدام مجموعة موحدة من الخيارات (المضيف والمنفذ وقاعدة البيانات والمستخدم وكلمة المرور) للاتصال بمصادر البيانات المدعومة في Query Federation. Port
اختياري ويستخدم رقم المنفذ الافتراضي لكل مصدر بيانات، ما لم يتم تحديده.
مكتبة وظائف SQL الموسعة لإدارة الصفيف
يمكنك الآن إزالة كافة العناصر NULL من صفيف باستخدام array_compact. لإلحاق العناصر بصفيف، استخدم array_append.
دالة قناع جديد لتسمية السلاسل مجهولة
استدعاء دالة القناع لإخفاء قيم السلسلة الحساسة.
ترجع حالات الخطأ الشائعة الآن SQLSTATEs
تتضمن معظم حالات الخطأ التي يتضمنها وقت تشغيل Databricks الآن قيم SQLSTATE الموثقة التي يمكن استخدامها لاختبار الأخطاء بطريقة متوافقة مع معيار SQL.
استدعاء دالات المولد في عبارة FROM
يمكنك الآن استدعاء دالات المولد ذات القيمة الجدولية مثل تنفجر في العبارة العادية FROM
للاستعلام. يعمل هذا على محاذاة استدعاء دالة المولد مع دالات الجدول المضمنة والمعرفة من قبل المستخدم.
يتوفر دعم المخازن المؤقتة للبروتوكول بشكل عام
يمكنك استخدام from_protobuf
الدالتين و to_protobuf
لتبادل البيانات بين أنواع ثنائية وبنية. راجع قراءة وكتابة المخازن المؤقتة للبروتوكول.
الانتقال إلى التعريف لمتغيرات دفتر الملاحظات ووظائفه
في دفاتر الملاحظات، يمكنك الانتقال بسرعة إلى تعريف متغير أو دالة أو التعليمات البرمجية خلف عبارة %run
بالنقر بزر الماوس الأيمن فوق اسم المتغير أو الدالة.
الإصلاح السريع لدفتر الملاحظات لاستيراد المكتبات تلقائيا
توفر دفاتر ملاحظات Databricks الآن ميزة الإصلاح السريع لمكتبات الاستيراد التلقائي. إذا نسيت استيراد مكتبة مثل pandas، فتمرر مؤشر الماوس فوق تحذير بناء الجملة المسطر، ثم انقر فوق Quick Fix، تتطلب هذه الميزات تمكين Databricks Assistant في مساحة العمل الخاصة بك.
إصلاح الأخطاء
- تناسق محسن لسلوك تثبيت Delta للمعاملات الفارغة المتعلقة
update
delete
بالأوامر و وmerge
. فيWriteSerializable
مستوى العزل، تنشئ الأوامر التي لا تؤدي إلى أي تغييرات الآن تثبيتا فارغا.Serializable
في مستوى العزل، لا تنشئ هذه المعاملات الفارغة الآن تثبيتا.
تغييرات السلوك
يتغير السلوك باستخدام ميزة الاسم المستعار للعمود الجانبي الجديد
تقدم ميزة الاسم المستعار للعمود الجانبي الجديد تغييرات سلوك للحالات التالية أثناء تحليل الاسم:
- الاسم المستعار للعمود الجانبي الآن له الأسبقية على المراجع المرتبطة بنفس الاسم. على سبيل المثال، بالنسبة لهذا الاستعلام
SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)
،c1
تم حل في الداخلc1 AS c2
إلى المرجعt.c1
المترابط ، ولكن الآن يتغير إلى الاسم المستعار1 AS c1
للعمود الجانبي . يقوم الاستعلام الآن بإرجاعNULL
. - الاسم المستعار للعمود الجانبي الآن له الأسبقية على معلمات الدالة بنفس الاسم. على سبيل المثال، بالنسبة للدالة ،
CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x
،x
تم حل في نص الدالة إلى معلمة الدالة x، ولكن يتغير إلى الاسم المستعارx + 1
للعمود الجانبي في نص الدالة. الاستعلام،SELECT * FROM func(1)
يقوم الآن بإرجاع2, 2
. - لإيقاف تشغيل ميزة الاسم المستعار للعمود الجانبي، قم بتعيين
spark.sql.lateralColumnAlias.enableImplicitResolution
إلىfalse
. لمزيد من المعلومات، راجع تحليل الاسم.
ترقيات المكتبة
- مكتبات Python التي تمت ترقيتها:
- filelock من 3.8.2 إلى 3.9.0
- joblib من 1.1.0 إلى 1.1.1
- المنصات من 2.6.0 إلى 2.6.2
- whatthepatch من 1.0.3 إلى 1.0.4
- مكتبات R التي تمت ترقيتها:
- فئة من 7.3-20 إلى 7.3-21
- قوالب التعليمات البرمجية من 0.2-18 إلى 0.2-19
- كتلة من 7.3-58 إلى 7.3-58.2
- nlme من 3.1-160 إلى 3.1-162
- Rserve من 1.8-11 إلى 1.8-12
- SparkR من 3.3.1 إلى 3.3.2
تغييرات السلوك
- يطلب من المستخدمين الآن الحصول
SELECT
على امتيازات وMODIFY
على أي ملف عند إنشاء مخطط مع موقع محدد.
Apache Spark
يتضمن Databricks Runtime 12.2 Apache Spark 3.3.2. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 12.1 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:
- [SPARK-42416] [SC-123205][SC-122851][SQL] يجب ألا تحل عمليات Dateset الخطة المنطقية التي تم تحليلها مرة أخرى
- [SPARK-41848] إرجاع "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] إصلاح المهمة المجدولة جدولا زائدا باستخدام TaskResourceProfile"
- [SPARK-42162] [SC-122711][ES-556261] تقديم تعبير MultiCommutativeOp كتكبير ذاكرة لتشفير الأشجار الكبيرة من التعبيرات المتنقلة
- [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] إصلاح إعداد العمق المتكرر لوظائف Protobuf
- [SPARK-42002] [SC-122476][CONNECT][PYTHON] تنفيذ DataFrameWriterV2
- [SPARK-41716] [SC-122545][CONNECT] إعادة تسمية _catalog_to_pandas إلى _execute_and_fetch في الكتالوج
- [SPARK-41490] [SC-121774][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2441
- [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] تنفيذ Catalog.cacheTable وisCached و uncache
- [SPARK-42191] [SC-121990][SQL] دعم udf 'luhn_check'
- [SPARK-42253] [SC-121976][PYTHON] إضافة اختبار للكشف عن فئة الخطأ المكررة
- [SPARK-42268] [SC-122251][CONNECT][PYTHON] إضافة UserDefinedType في protos
- [SPARK-42231] [SC-121841][SQL] تحويل
MISSING_STATIC_PARTITION_COLUMN
إلىinternalError
- [SPARK-42136] [SC-122554] إعادة بناء التعليمات البرمجية لحساب تقسيم إخراج BroadcastHashJoinExec
- [SPARK-42158] [SC-121610][SQL] التكامل
_LEGACY_ERROR_TEMP_1003
فيFIELD_NOT_FOUND
- [SPARK-42192] [12.x][SC-121820][PYTHON] ترحيل TypeError من pyspark/sql/dataframe.py إلى PySparkTypeError
- [SPARK-35240] إرجاع "[SC-118242][SS] استخدام CheckpointFileManager ...
- [SPARK-41488] [SC-121858][SQL] تعيين الاسم إلى _LEGACY_ERROR_TEMP_1176 (و1177)
- [SPARK-42232] [SC-122267][SQL] إعادة تسمية فئة الخطأ:
UNSUPPORTED_FEATURE.JDBC_TRANSACTION
- [SPARK-42346] [SC-122480][SQL] إعادة كتابة التجميعات المميزة بعد دمج الاستعلام الفرعي
- [SPARK-42306] [SC-122539][SQL] التكامل
_LEGACY_ERROR_TEMP_1317
فيUNRESOLVED_COLUMN.WITH_SUGGESTION
- [SPARK-42234] [SC-122354][SQL] إعادة تسمية فئة الخطأ:
UNSUPPORTED_FEATURE.REPEATED_PIVOT
- [SPARK-42343] [SC-122437][CORE] تجاهل
IOException
ماhandleBlockRemovalFailure
إذا تم إيقاف SparkContext - [SPARK-41295] [SC-122442][SPARK-41296][SQL] إعادة تسمية فئات الخطأ
- [SPARK-42320] [SC-122478][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2188
- [SPARK-42255] [SC-122483][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2430
- [SPARK-42156] [SC-121851][CONNECT] يدعم SparkConnectClient نهج إعادة المحاولة الآن
- [SPARK-38728] [SC-116723][SQL] اختبار فئة الخطأ: FAILED_RENAME_PATH
- [SPARK-40005] [12.X] أمثلة مضمنة ذاتيا في PySpark
- [SPARK-39347] [SC-122457][SS] إصلاح الأخطاء لحساب النافذة الزمنية عند وقت < الحدث 0
- [SPARK-42336] [SC-122458][CORE] استخدم
getOrElse()
بدلا منcontains()
في ResourceAllocator - [SPARK-42125] [SC-121827][CONNECT][PYTHON] Pandas UDF في Spark Connect
- [SPARK-42217] [SC-122263][SQL] دعم الاسم المستعار للعمود الجانبي الضمني في الاستعلامات باستخدام النافذة
- [SPARK-35240] [SC-118242][SS] استخدام CheckpointFileManager للمعالجة في ملف نقطة التحقق
- [SPARK-42294] [SC-122337][SQL] تضمين القيم الافتراضية للعمود في إخراج وصف لجداول V2
- [SPARK-41979] إرجاع "Revert "[12.x][SC-121190][SQL] إضافة نقاط مفقودة لرسائل الخطأ في فئات الخطأ."
- [SPARK-42286] [SC-122336][SQL] الرجوع إلى مسار التعليمات البرمجية للتعليمات البرمجية السابق ل expr المعقد مع CAST
- [SPARK-42275] [SC-122249][CONNECT][PYTHON] تجنب استخدام القائمة المضمنة، الإملاء في الكتابة الثابتة
- [SPARK-41985] [SC-122172][SQL] مركزية المزيد من قواعد تحليل الأعمدة
- [SPARK-42126] [SC-122330][PYTHON][CONNECT] قبول نوع المرجع في سلاسل DDL ل Python Scalar UDFs في Spark Connect
- [SPARK-42197] [SC-122328][SC-121514][CONNECT] إعادة استخدام تهيئة JVM، ومجموعات تكوين منفصلة لتعيينها في الوضع المحلي البعيد
- [SPARK-41575] [SC-120118][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2054
- [SPARK-41985] إرجاع "[SC-122172][SQL] مركزية المزيد من قواعد تحليل الأعمدة"
- [SPARK-42123] [SC-122234][SC-121453][SQL] تضمين القيم الافتراضية للعمود في وصف وإخراج SHOW CREATE TABLE
- [SPARK-41985] [SC-122172][SQL] مركزية المزيد من قواعد تحليل الأعمدة
- [SPARK-42284] [SC-122233][CONNECT] تأكد من إنشاء تجميع خادم الاتصال قبل تشغيل اختبارات العميل - SBT
- [SPARK-42239] [SC-121790][SQL] ادماج
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
- [SPARK-42278] [SC-122170][SQL] تدعم DS V2 pushdown لهجات JDBC التي يتم تجميعها
SortOrder
بنفسها - [SPARK-42259] [SC-122168][SQL] يجب أن تهتم ResolveGroupingAnalytics ب Python UDAF
- [SPARK-41979] إرجاع "[12.x][SC-121190][SQL] إضافة نقاط مفقودة لرسائل الخطأ في فئات الخطأ."
- [SPARK-42224] [12.x][SC-121708][CONNECT] ترحيل TypeError إلى إطار خطأ لوظائف Spark Connect
- [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] ترحيل أخطاء Spark Connect إلى إطار عمل خطأ PySpark.
- [SPARK-42119] [SC-121913][SC-121342][SQL] إضافة دالات مضمنة ذات قيمة جدولية مضمنة inline_outer
- [SPARK-41489] [SC-121713][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2415
- [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] تقديم PySparkValueError وPySparkTypeError
- [SPARK-42081] [SC-121723][SQL] تحسين التحقق من صحة تغيير الخطة
- [SPARK-42225] [12.x][SC-121714][CONNECT] أضف SparkConnectIllegalArgumentException لمعالجة خطأ Spark Connect بدقة.
- [SPARK-42044] [12.x][SC-121280][SQL] إصلاح رسالة خطأ غير صحيحة ل
MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
- [SPARK-42194] [12.x][SC-121712][PS] السماح بمعلمة الأعمدة عند إنشاء DataFrame باستخدام Series.
- [SPARK-42078] [12.x][SC-120761][PYTHON] ترحيل الأخطاء التي طرحها JVM إلى PySparkException.
- [SPARK-42133] [12.x][SC-121250] إضافة أساليب واجهة برمجة تطبيقات مجموعة البيانات الأساسية إلى عميل SparkConnect Scala
- [SPARK-41979] [12.x][SC-121190][SQL] إضافة نقاط مفقودة لرسائل الخطأ في فئات الخطأ.
- [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] عددي Python UDF مضمن في Spark Connect
- [SPARK-42051] [SC-121994][SQL] دعم Codegen ل HiveGenericUDF
- [SPARK-42257] [SC-121948][CORE] إزالة فارز خارجي متغير غير مستخدم
- [SPARK-41735] [SC-121771][SQL] استخدام الحد الأدنى بدلا من STANDARD ل SparkListenerSQLExecutionEnd
- [SPARK-42236] [SC-121882][SQL] صقل
NULLABLE_ARRAY_OR_MAP_ELEMENT
- [SPARK-42233] [SC-121775][SQL] تحسين رسالة الخطأ ل
PIVOT_AFTER_GROUP_BY
- [SPARK-42229] [SC-121856][CORE]
SparkCoreErrors
الترحيل إلى فئات الخطأ - [SPARK-42163] [SC-121839][SQL] إصلاح تشذيب المخطط لمفتاح المخطط أو فهرس الصفيف غير القابل للطي
- [SPARK-40711] [SC-119990][SQL] إضافة مقاييس حجم الانسكاب للنافذة
- [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON] جعل
createDataFrame
الدعمAtomicType -> StringType
الإكراه - [SPARK-42202] [SC-121837][الاتصال][اختبار] تحسين منطق إيقاف خادم اختبار E2E
- [SPARK-41167] [SC-117425][SQL] تحسين أداء متعدد مثل إنشاء دالة تقييم شجرة تعبير متوازنة
- [SPARK-41931] [SC-121618][SQL] رسالة خطأ أفضل لتعريف النوع المعقد غير المكتمل
- [SPARK-36124] [SC-121339][SC-110446][SQL] دعم الاستعلامات الفرعية ذات الارتباط من خلال UNION
- [SPARK-42090] [SC-121290][3.3] تقديم عدد إعادة محاولة sasl في RetryingBlockTransferor
- [SPARK-42157] [SC-121264][CORE]
spark.scheduler.mode=FAIR
يجب توفير جدولة FAIR - [SPARK-41572] [SC-120772][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2149
- [SPARK-41983] [SC-121224][SQL] إعادة تسمية رسالة الخطأ وتحسينها
NULL_COMPARISON_RESULT
- [SPARK-41976] [SC-121024][SQL] تحسين رسالة الخطأ ل
INDEX_NOT_FOUND
- [SPARK-41994] [SC-121210][SC-120573] تعيين SQLSTATE (1/2)
- [SPARK-41415] [SC-121117][3.3] إعادة محاولة طلب SASL
- [SPARK-38591] [SC-121018][SQL] إضافة flatMapSortedGroups و cogroupSorted
- [SPARK-41975] [SC-120767][SQL] تحسين رسالة الخطأ ل
INDEX_ALREADY_EXISTS
- [SPARK-42056] [SC-121158][SQL][PROTOBUF] إضافة خيارات مفقودة لوظائف Protobuf
- [SPARK-41984] [SC-120769][SQL] إعادة تسمية رسالة الخطأ وتحسينها
RESET_PERMISSION_TO_ORIGINAL
- [SPARK-41948] [SC-121196][SQL] إصلاح NPE لفئات الخطأ: CANNOT_PARSE_JSON_FIELD
- [SPARK-41772] [SC-121176][CONNECT][PYTHON] إصلاح اسم العمود غير الصحيح في
withField
's doctest' - [SPARK-41283] [SC-121175][CONNECT][PYTHON] إضافة
array_append
إلى الاتصال - [SPARK-41960] [SC-120773][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1056
- [SPARK-42134] [SC-121116][SQL] إصلاح getPartitionFiltersAndDataFilters() لمعالجة عوامل التصفية دون سمات مرجعية
- [SPARK-42096] [SC-121012][CONNECT] بعض تنظيف التعليمات البرمجية للوحدة النمطية
connect
- [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] إصلاح و
count(*)
count(col(*))
- [SPARK-42045] [SC-120958][SC-120450][SQL] وضع ANSI SQL: يجب أن ترجع Round/Bround خطأ في تجاوز العدد الصحيح
- [SPARK-42043] [SC-120968][CONNECT] نتيجة عميل Scala مع اختبارات E2E
- [SPARK-41884] [SC-121022][CONNECT] دعم مجموعة ساذجة كصف متداخل
- [SPARK-42112] [SC-121011][SQL][SS] إضافة فحص فارغ قبل
ContinuousWriteRDD#compute
إغلاق الدالةdataWriter
- [SPARK-42077] [SC-120553][CONNECT][PYTHON] يجب أن تطرح القيمة الحرفية TypeError ل DataType غير المدعوم
- [SPARK-42108] [SC-120898][SQL] تحويل محلل
Count(*)
إلىCount(1)
- [SPARK-41666] [SC-120928][SC-119009][PYTHON] دعم SQL ذات المعلمات بواسطة
sql()
- [SPARK-40599] [SC-120930][SQL] استرخاء نوع قاعدة MultiTransform للسماح للبدائل بأن تكون أي أنواع من Seq
- [SPARK-41574] [SC-120771][SQL] تحديث
_LEGACY_ERROR_TEMP_2009
كINTERNAL_ERROR
. - [SPARK-41579] [SC-120770][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1249
- [SPARK-41974] [SC-120766][SQL] تحويل
INCORRECT_END_OFFSET
إلىINTERNAL_ERROR
- [SPARK-41530] [SC-120916][SC-118513][CORE] إعادة تسمية MedianHeap إلى PercentileMap ودعم القيمة المئوية
- [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] إصلاح تمثيل السلسلة لفئة العمود
- [SPARK-42084] [SC-120775][SQL] تجنب تسريب تقييد الوصول المؤهل فقط
- [SPARK-41973] [SC-120765][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_1311
- [SPARK-42039] [SC-120655][SQL] SPJ: إزالة الخيار في KeyGroupedPartitioning#partitionValuesOpt
- [SPARK-42079] [SC-120712][CONNECT][PYTHON] إعادة تسمية رسائل proto ل
toDF
وwithColumnsRenamed
- [SPARK-42089] [SC-120605][CONNECT][PYTHON] إصلاح مشكلات اسم المتغير في وظائف lambda المتداخلة
- [SPARK-41982] [SC-120604][SQL] يجب عدم التعامل مع أقسام سلسلة النوع على أنها أنواع رقمية
- [SPARK-40599] [SC-120620][SQL] إضافة أساليب MultiTransform إلى TreeNode لإنشاء بدائل
- [SPARK-42085] [SC-120556][CONNECT][PYTHON] جعل
from_arrow_schema
أنواع الدعم متداخلة - [SPARK-42057] [SC-120507][SQL][PROTOBUF] إصلاح كيفية معالجة الاستثناء في الإبلاغ عن الأخطاء.
- [SPARK-41586] [12.x][جميع الاختبارات][SC-120544][PYTHON] تقديم
pyspark.errors
فئات الخطأ و ل PySpark. - [SPARK-41903] [SC-120543][CONNECT][PYTHON]
Literal
يجب أن يدعم ndarray 1-dim - [SPARK-42021] [SC-120584][CONNECT][PYTHON] تقديم
createDataFrame
الدعمarray.array
- [SPARK-41896] [SC-120506][SQL] ترجع التصفية حسب فهرس الصف نتائج فارغة
- [SPARK-41162] [SC-119742][SQL] إصلاح الصلة المضادة وشبه المنضمة ذاتيا باستخدام التجميعات
- [SPARK-41961] [SC-120501][SQL] دعم الدالات ذات القيمة الجدولية باستخدام الدالة LATERAL
- [SPARK-41752] [SC-120550][SQL][واجهة المستخدم] تجميع عمليات التنفيذ المتداخلة ضمن التنفيذ الجذر
- [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] يجب أن تدعم القيمة الحرفية أنواع بيانات Numpy
- [SPARK-42028] [SC-120344][CONNECT][PYTHON] اقتطاع الطوابع الزمنية للنانو ثانية
- [SPARK-42011] [SC-120534][CONNECT][PYTHON] تنفيذ DataFrameReader.csv
- [SPARK-41990] [SC-120532][SQL] استخدام
FieldReference.column
بدلا منapply
تحويل عامل تصفية V1 إلى V2 - [SPARK-39217] [SC-120446][SQL] يجعل دعم DPP جانب التقليم يحتوي على Union
- [SPARK-42076] [SC-120551][CONNECT][PYTHON] تحويل
arrow -> rows
بيانات العامل إلىconversion.py
- [SPARK-42074] [SC-120540][SQL] تمكين
KryoSerializer
فيTPCDSQueryBenchmark
لفرض تسجيل فئة SQL - [SPARK-42012] [SC-120517][CONNECT][PYTHON] تنفيذ DataFrameReader.orc
- [SPARK-41832] [SC-120513][CONNECT][PYTHON] إصلاح
DataFrame.unionByName
، وإضافة allow_missing_columns - [SPARK-38651] [SC-120514] [SQL] جمع
spark.sql.legacy.allowEmptySchemaWrite
- [SPARK-41991] [SC-120406][SQL]
CheckOverflowInTableInsert
يجب أن يقبل ExpressionProxy ك تابع - [SPARK-41232] [SC-120073][SQL][PYTHON] إضافة دالة array_append
- [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] يجب أن يدعم DataFrameReader قائمة المسارات
- [SPARK-42071] [SC-120533][CORE] التسجيل
scala.math.Ordering$Reverse
في KyroSerializer - [SPARK-41986] [SC-120429][SQL] تقديم التبديل العشوائي على SinglePartition
- [SPARK-42016] [SC-120428][CONNECT][PYTHON] تمكين الاختبارات المتعلقة بالعمود المتداخل
- [SPARK-42042] [SC-120427][CONNECT][PYTHON]
DataFrameReader
يجب أن يدعم مخطط StructType - [SPARK-42031] [SC-120389][CORE][SQL] تنظيف
remove
الأساليب التي لا تحتاج إلى تجاوز - [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] جعل
createDataFrame(rows/lists/tuples/dicts)
أنواع الدعم متداخلة - [SPARK-41437] [SC-117601][SQL][جميع الاختبارات] عدم تحسين استعلام الإدخال مرتين للكتابة الاحتياطية v1
- [SPARK-41840] [SC-119719][CONNECT][PYTHON] إضافة الاسم المستعار المفقود
groupby
- [SPARK-41846] [SC-119717][CONNECT][PYTHON] تمكين doctests لوظائف النافذة
- [SPARK-41914] [SC-120094][SQL] يجسد FileFormatWriter خطة AQE قبل الوصول إلى outputOrdering
- [SPARK-41805] [SC-119992][SQL] إعادة استخدام التعبيرات في WindowSpecDefinition
- [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] SparkSession.range لاتخاذ عائم كوسيطات
- [SPARK-42029] [SC-120336][CONNECT] إضافة قواعد تظليل Guava لتجنب
connect-common
فشل بدء التشغيل - [SPARK-41989] [SC-120334][PYTHON] تجنب قطع تكوين التسجيل من pyspark.pandas
- [SPARK-42003] [SC-120331][SQL] تقليل التعليمات البرمجية المكررة في ResolveGroupByAll
- [SPARK-41635] [SC-120313][SQL] إصلاح المجموعة حسب كافة تقارير الأخطاء
- [SPARK-41047] [SC-120291][SQL] تحسين المستندات للجولة
- [SPARK-41822] [SC-120122][CONNECT] إعداد اتصال gRPC لعميل Scala/JVM
- [SPARK-41879] [SC-120264][CONNECT][PYTHON] جعل
DataFrame.collect
أنواع الدعم متداخلة - [SPARK-41887] [SC-120268][CONNECT][PYTHON] جعل
DataFrame.hint
معلمة قبول القائمة مكتوبة - [SPARK-41964] [SC-120210][CONNECT][PYTHON] إضافة قائمة دالات الإدخال/الإخراج غير المدعومة
- [SPARK-41595] [SC-120097][SQL] دعم تشغيل/explode_outer دالة المولد في عبارة FROM
- [SPARK-41957] [SC-120121][CONNECT][PYTHON] تمكين doctest ل
DataFrame.hint
- [SPARK-41886] [SC-120141][CONNECT][PYTHON]
DataFrame.intersect
إخراج doctest له ترتيب مختلف - [SPARK-41442] [SC-117795][SQL][جميع الاختبارات] تحديث قيمة SQLMetric فقط إذا تم الدمج مع مقياس صالح
- [SPARK-41944] [SC-120046][CONNECT] تمرير التكوينات عند تشغيل الوضع البعيد المحلي
- [SPARK-41708] [SC-119838][SQL] سحب معلومات v1write إلى
WriteFiles
- [SPARK-41780] [SC-120000][SQL] يجب أن رمي INVALID_PARAMETER_VALUE. PATTERN عندما تكون المعلمات
regexp
غير صالحة - [SPARK-41889] [SC-119975][SQL] إرفاق السبب الجذري بفئات الخطأ invalidPatternError وإعادة بناء التعليمات البرمجية INVALID_PARAMETER_VALUE
- [SPARK-41860] [SC-120028][SQL] إنشاء فئات حالة AvroScanBuilder وJsonScanBuilder
- [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python: توصيل بيانات العمود المفقودة للعميل باستخدام pyarrow. Table.to_pylist
- [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] مرمزات غير محددة
- [SPARK-41354] [SC-119995][CONNECT][PYTHON] تنفيذ RepartitionByExpression
- [SPARK-41581] [SC-119997][SQL] تحديث
_LEGACY_ERROR_TEMP_1230
كINTERNAL_ERROR
- [SPARK-41928] [SC-119972][CONNECT][PYTHON] إضافة القائمة غير المدعومة ل
functions
- [SPARK-41933] [SC-119980][CONNECT] توفير الوضع المحلي الذي يبدأ تشغيل الخادم تلقائيا
- [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame' يجب أن يحترم مخطط DDL المقدم من المستخدم
- [SPARK-41936] [SC-119978][CONNECT][PYTHON] جعل
withMetadata
إعادة استخدام protowithColumns
- [SPARK-41898] [SC-119931][CONNECT][PYTHON] Window.rowsBetween, Window.rangeBetween parameters typecheck parity with pyspark
- [SPARK-41939] [SC-119977][CONNECT][PYTHON] إضافة القائمة غير المدعومة للدالات
catalog
- [SPARK-41924] [SC-119946][CONNECT][PYTHON] جعل بيانات تعريف دعم StructType وتنفيذها
DataFrame.withMetadata
- [SPARK-41934] [SC-119967][CONNECT][PYTHON] إضافة قائمة الدالات غير المدعومة ل
session
- [SPARK-41875] [SC-119969][CONNECT][PYTHON] إضافة حالات اختبار ل
Dataset.to()
- [SPARK-41824] [SC-119970][CONNECT][PYTHON] Ingore doctest لشرح الاتصال
- [SPARK-41880] [SC-119959][CONNECT][PYTHON] جعل الدالة
from_json
تقبل مخططا غير حرفي - [SPARK-41927] [SC-119952][CONNECT][PYTHON] إضافة القائمة غير المدعومة ل
GroupedData
- [SPARK-41929] [SC-119949][CONNECT][PYTHON] إضافة دالة
array_compact
- [SPARK-41827] [SC-119841][CONNECT][PYTHON] جعل
GroupBy
قائمة أعمدة القبول - [SPARK-41925] [SC-119905][SQL] تمكين
spark.sql.orc.enableNestedColumnVectorizedReader
بشكل افتراضي - [SPARK-41831] [SC-119853][CONNECT][PYTHON] جعل
DataFrame.select
قائمة أعمدة القبول - [SPARK-41455] [SC-119858][CONNECT][PYTHON] تجاهل
DataFrame.collect
معلومات المنطقة الزمنية - [SPARK-41923] [SC-119861][CONNECT][PYTHON] إضافة
DataFrame.writeTo
إلى القائمة غير المدعومة - [SPARK-41912] [SC-119837][SQL] يجب ألا يتحقق الاستعلام الفرعي من صحة CTE
- [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] جعل
createDataFrame
إطار بيانات الدعم فارغا - [SPARK-41905] [SC-119848][CONNECT] دعم الاسم كسلاسل في الشريحة
- [SPARK-41869] [SC-119845][CONNECT] رفض سلسلة مفردة في dropDuplicates
- [SPARK-41830] [SC-119840][CONNECT][PYTHON] جعل
DataFrame.sample
قبول نفس المعلمات مثل PySpark - [SPARK-41849] [SC-119835][CONNECT] تنفيذ DataFrameReader.text
- [SPARK-41861] [SC-119834][SQL] إجراء v2 ScanBuilders' build() return typed scan
- [SPARK-41825] [SC-119710][CONNECT][PYTHON] تمكين doctests المتعلقة ب
DataFrame.show
- [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] جعل
createDataFrame
المقبض بلا/NaN بشكل صحيح - [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] جعل
DataFrame.collect
المقبض بلا/NaN/صفيف/مسام ثنائي - [SPARK-39318] [SC-119713][SQL] إزالة الملفات الذهبية ل tpch-plan-stability WithStats
- [SPARK-41791] [SC-119745] إضافة أنواع أعمدة بيانات تعريف مصدر ملف جديدة
- [SPARK-41790] [SC-119729][SQL] تعيين تنسيق قارئ TRANSFORM والكاتب بشكل صحيح
- [SPARK-41829] [SC-119725][CONNECT][PYTHON] إضافة معلمة الطلب المفقودة في
Sort
وsortWithinPartitions
- [SPARK-41576] [SC-119718][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2051
- [SPARK-41821] [SC-119716][CONNECT][PYTHON] إصلاح اختبار المستند ل DataFrame.describe
- [SPARK-41871] [SC-119714][CONNECT] يمكن أن تكون معلمة تلميح DataFrame str أو float أو int
- [SPARK-41720] [SC-119076][SQL] إعادة تسمية "لم يتم حله" إلى "اسم الوظيفة غير المحلولة"
- [SPARK-41573] [SC-119567][SQL] تعيين اسم إلى _LEGACY_ERROR_TEMP_2136
- [SPARK-41862] [SC-119492][SQL] إصلاح خطأ التصحيح المتعلق بالقيم الافتراضية في قارئ Orc
- [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] إعادة الاستخدام
INVALID_TYPED_LITERAL
بدلا من_LEGACY_ERROR_TEMP_0022
تحديثات الصيانة
راجع تحديثات صيانة Databricks Runtime 12.2.
بيئة النظام
- نظام التشغيل: Ubuntu 20.04.5 LTS
- Java: Zulu 8.68.0.21-CA-linux64
- Scala: 2.12.15
- Python: 3.9.19
- R: 4.2.2
- Delta Lake: 2.2.0
مكتبات Python المثبتة
مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
---|---|---|---|---|---|
argon2-cffi | 21.3.0 | روابط argon2-cffi | 21.2.0 | الرموز المميزة | 2.0.5 |
سلاسل السلاسل | 21.4.0 | تثبيت خلفي | 0.2.0 | backports.entry-points-selectable | 1.2.0 |
beautifulsoup4 | 4.11.1 | black | 22.3.0 | بيض | 4.1.0 |
boto3 | 1.21.32 | روبوت الدردشة | 1.24.32 | شهادة | 2021.10.8 |
cffi | 1.15.0 | تجزئة | 4.0.0 | charset-normalizer | 2.0.4 |
نقر | 8.0.4 | التشفير | 3.4.8 | دورة | 0.11.0 |
Cython | 0.29.28 | dbus-python | 1.2.16 | تصحيح الأخطاء | 1.5.1 |
ديكور | 5.1.1 | defusedxml | 0.7.1 | استياء | 0.3.6 |
docstring-to-markdown | 0.11 | نقاط الإدخال | 0.4 | تنفيذ | 0.8.3 |
نظرة عامة على الواجهات | 1.0.0 | fastjsonschema | 2.16.2 | قفل الملف | 3.9.0 |
أصوام الخطوط | 4.25.0 | idna | 3.3 | ipykernel | 6.15.3 |
ipython | 8.5.0 | ipython-genutils | 0.2.0 | عناوين ipywidgets | 7.7.2 |
jedi | 0.18.1 | جينجا 2 | 2.11.3 | مسار jmespath | 0.10.0 |
joblib | 1.1.1 | jsonschema | 4.4.0 | jupyter-client | 6.1.12 |
jupyter_core | 4.11.2 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 1.0.0 |
kiwisolver | 1.3.2 | MarkupSafe | 2.0.1 | matplotlib | 3.5.1 |
matplotlib-inline | 0.1.2 | مكابي | 0.7.0 | سوء الحظ | 0.8.4 |
mypy-extensions | 0.4.3 | nbclient | 0.5.13 | nbconvert | 6.4.4 |
تنسيق nbformat | 5.3.0 | nest-asyncio | 1.5.5 | nodeenv | 1.7.0 |
notebook | 6.4.8 | numpy | 1.21.5 | التغليف | 21.3 |
pandas | 1.4.2 | عوامل تصفية pandocfilter | 1.5.0 | parso | 0.8.3 |
pathspec | 0.9.0 | بتسي | 0.5.2 | pexpect | 4.8.0 |
pickleshare | 0.7.5 | مخدة | 9.0.1 | pip | 21.2.4 |
المنصات | 2.6.2 | بشكل مخطط | 5.6.0 | توصيل | 1.0.0 |
prometheus-client | 0.13.1 | مجموعة أدوات المطالبة | 3.0.20 | protobuf | 3.19.4 |
psutil | 5.8.0 | psycopg2 | 2.9.3 | عملية ptyprocess | 0.7.0 |
تقييم خالص | 0.2.2 | pyarrow | 7.0.0 | pycparser | 2.21 |
pyflakes | 2.5.0 | Pygments | 2.11.2 | PyGObject | 3.36.0 |
pyodbc | 4.0.32 | pyparsing | 3.0.4 | تمام | 1.1.283 |
pyrsistent | 0.18.0 | python-dateutil | 2.8.2 | python-lsp-jsonrpc | 1.0.0 |
خادم python-lsp | 1.6.0 | pytz | 2021.3 | pyzmq | 22.3.0 |
الطلبات | 2.27.1 | requests-unixsocket | 0.2.0 | حبل | 0.22.0 |
s3transfer | 0.5.0 | scikit-learn | 1.0.2 | شفرة | 1.7.3 |
بحر محمول | 0.11.2 | Send2Trash | 1.8.0 | أدوات الإعداد | 61.2.0 |
ستة | 1.16.0 | شوربة الحساء | 2.3.1 | ssh-import-id | 5.10 |
بيانات المكدس | 0.2.0 | نماذج الإحصائيات | 0.13.2 | مثابره | 8.0.1 |
terminado | 0.13.1 | مسار الاختبار | 0.5.0 | threadpoolctl | 2.2.0 |
tokenize-rt | 4.2.1 | tomli | 1.2.2 | اعصار | 6.1 |
سمات السمات | 5.1.1 | typing_extensions | 4.1.1 | ujson | 5.1.0 |
ترقيات غير مراقبة | 0.1 | urllib3 | 1.26.9 | virtualenv | 20.8.0 |
wcwidth | 0.2.5 | ترميزات الويب | 0.5.1 | whatthepatch | 1.0.4 |
دولاب | 0.37.0 | عنصر واجهة المستخدم | 3.6.1 | yapf | 0.31.0 |
مكتبات R المثبتة
يتم تثبيت مكتبات R من لقطة Microsoft CRAN في 2022-11-11.
مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
---|---|---|---|---|---|
سهم | 10.0.0 | askpass | 1.1 | assertthat | 0.2.1 |
backports | 1.4.1 | الأساس | 4.2.2 | base64enc | 0.1-3 |
بت | 4.0.4 | bit64 | 4.0.5 | كائن ثنائي كبير الحجم | 1.2.3 |
boot | 1.3-28 | المشروب | 1.0-8 | بريو | 1.1.3 |
broom | 1.0.1 | bslib | 0.4.1 | ذاكرة التخزين المؤقت | 1.0.6 |
callr | 3.7.3 | علامة إقحام | 6.0-93 | cellranger | 1.1.0 |
كرون | 2.3-58 | فئة | 7.3-21 | cli | 3.4.1 |
clipr | 0.8.0 | ساعة | 0.6.1 | نظام مجموعة | 2.1.4 |
codetools | 0.2-19 | colorspace | 2.0-3 | العلامة الشائعة | 1.8.1 |
compiler | 4.2.2 | config | 0.3.1 | cpp11 | 0.4.3 |
crayon | 1.5.2 | بيانات الاعتماد | 1.3.2 | curl | 4.3.3 |
data.table | 1.14.4 | مجموعات البيانات | 4.2.2 | DBI | 1.1.3 |
dbplyr | 2.2.1 | تنازلي | 1.4.2 | devtools | 2.4.5 |
diffobj | 0.3.5 | digest | 0.6.30 | إضاءة هابطة | 0.4.2 |
dplyr | 1.0.10 | dtplyr | 1.2.2 | e1071 | 1.7-12 |
علامة الحذف | 0.3.2 | التقييم | 0.18 | fansi | 1.0.3 |
مسافة بعيدة | 2.1.1 | خريطة سريعة | 1.1.0 | fontawesome | 0.4.0 |
forcats | 0.5.2 | Foreach | 1.5.2 | foreign | 0.8-82 |
زور | 0.2.0 | fs | 1.5.2 | future | 1.29.0 |
future.apply | 1.10.0 | تغرغر | 1.2.1 | generics | 0.1.3 |
غيرت | 1.9.1 | ggplot2 | 3.4.0 | غ | 1.3.1 |
صور gitcred | 0.1.2 | glmnet | 4.1-4 | عموميات | 0.16.1 |
glue | 1.6.2 | googledrive | 2.0.0 | googlesheets4 | 1.0.1 |
gower | 1.0.0 | graphics | 4.2.2 | grDevices | 4.2.2 |
grid | 4.2.2 | gridExtra | 2.3 | gsubfn | 0.7 |
gtable | 0.3.1 | هاردات | 1.2.0 | haven | 2.5.1 |
highr | 0.9 | hms | 1.1.2 | htmltools | 0.5.3 |
htmlwidgets | 1.5.4 | httpuv | 1.6.6 | httr | 1.4.4 |
ids | 1.0.1 | ini | 0.3.1 | ipred | 0.9-13 |
isoband | 0.2.6 | iterators | 1.0.14 | jquerylib | 0.1.4 |
jsonlite | 1.8.3 | KernSmooth | 2.23-20 | knitr | 1.40 |
labeling | 0.4.2 | فيما بعد | 1.3.0 | lattice | 0.20-45 |
lava | 1.7.0 | دورة الحياة | 1.0.3 | listenv | 0.8.0 |
lubridate | 1.9.0 | magrittr | 2.0.3 | markdown | 1.3 |
MASS | 7.3-58.2 | مصفوفة | 1.5-1 | المذكرة | 2.0.1 |
الأساليب | 4.2.2 | mgcv | 1.8-41 | mime | 0.12 |
واجهة مستخدم مصغرة | 0.1.1.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.9 |
munsell | 0.5.0 | nlme | 3.1-162 | nnet | 7.3-18 |
numDeriv | 2016.8-1.1 | openssl | 2.0.4 | parallel | 4.2.2 |
بالتوازي | 1.32.1 | pillar | 1.8.1 | pkgbuild | 1.3.1 |
pkgconfig | 2.0.3 | pkgdown | 2.0.6 | pkgload | 1.3.1 |
plogr | 0.2.0 | plyr | 1.8.7 | مدح | 1.0.0 |
prettyunits | 1.1.1 | بروك | 1.18.0 | processx | 3.8.0 |
prodlim | 2019.11.13 | ملفات تعريفية | 0.3.7 | التقدم | 1.2.2 |
متدرج التقدم | 0.11.0 | الوعود | 1.2.0.1 | proto | 1.0.0 |
الوكيل | 0.4-27 | ps | 1.7.2 | purrr | 0.3.5 |
r2d3 | 0.2.6 | R6 | 2.5.1 | رعوج | 1.2.4 |
randomForest | 4.7-1.1 | طيور الراب | 0.3.3 | rcmdcheck | 1.4.0 |
RColorBrewer | 1.1-3 | Rcpp | 1.0.9 | RcppEigen | 0.3.3.9.3 |
readr | 2.1.3 | readxl | 1.4.1 | recipes | 1.0.3 |
rematch | 1.0.1 | إعادة المباراة2 | 2.1.2 | أجهزة التحكم عن بعد | 2.4.2 |
reprex | 2.0.2 | reshape2 | 1.4.4 | rlang | 1.0.6 |
rmarkdown | 2.18 | RODBC | 1.3-19 | roxygen2 | 7.2.1 |
rpart | 4.1.19 | rprojroot | 2.0.3 | Rserve | 1.8-12 |
RSQLite | 2.2.18 | rstudioapi | 0.14 | تحويلات | 2.1.2 |
rvest | 1.0.3 | ساس | 0.4.2 | scales | 1.2.1 |
selectr | 0.4-2 | معلومات الجلسة | 1.2.2 | شكل | 1.4.6 |
بَرَّاق | 1.7.3 | قوالب المصدر | 0.1.7 | sparklyr | 1.7.8 |
سبارك | 3.3.2 | spatial | 7.3-11 | splines | 4.2.2 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | stats | 4.2.2 |
stats4 | 4.2.2 | stringi | 1.7.8 | stringr | 1.4.1 |
survival | 3.4-0 | sys | 3.4.1 | الشبكات الأساسية للنظام | 1.0.4 |
tcltk | 4.2.2 | اختبار الذي | 3.1.5 | تشكيل النص | 0.3.6 |
tibble | 3.1.8 | tidyr | 1.2.1 | tidyselect | 1.2.0 |
tidyverse | 1.3.2 | تغيير الوقت | 0.1.1 | timeDate | 4021.106 |
tinytex | 0.42 | الأدوات | 4.2.2 | tzdb | 0.3.0 |
محدد موقع المعلومات (urlchecker) | 1.0.1 | استخدام هذا | 2.1.6 | utf8 | 1.2.2 |
utils | 4.2.2 | uuid | 1.1-0 | vctrs | 0.5.0 |
viridisLite | 0.4.1 | غرفة vroom | 1.6.0 | والدو | 0.4.0 |
whisker | 0.4 | withr | 2.5.0 | xfun | 0.34 |
xml2 | 1.3.3 | xopen | 1.0.0 | xtable | 1.8-4 |
yaml | 2.3.6 | zip | 2.2.2 |
مكتبات Java و Scala المثبتة (إصدار مجموعة Scala 2.12)
معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.189 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.189 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.189 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.189 |
com.amazonaws | aws-java-sdk-config | 1.12.189 |
com.amazonaws | aws-java-sdk-core | 1.12.189 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.189 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.189 |
com.amazonaws | aws-java-sdk-directory | 1.12.189 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.189 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.189 |
com.amazonaws | aws-java-sdk-ecs | 1.12.189 |
com.amazonaws | aws-java-sdk-efs | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.189 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.189 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.189 |
com.amazonaws | aws-java-sdk-emr | 1.12.189 |
com.amazonaws | aws-java-sdk-glacier | 1.12.189 |
com.amazonaws | aws-java-sdk-glue | 1.12.189 |
com.amazonaws | aws-java-sdk-iam | 1.12.189 |
com.amazonaws | aws-java-sdk-importexport | 1.12.189 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.189 |
com.amazonaws | aws-java-sdk-kms | 1.12.189 |
com.amazonaws | aws-java-sdk-lambda | 1.12.189 |
com.amazonaws | aws-java-sdk-logs | 1.12.189 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.189 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.189 |
com.amazonaws | aws-java-sdk-rds | 1.12.189 |
com.amazonaws | aws-java-sdk-redshift | 1.12.189 |
com.amazonaws | aws-java-sdk-route53 | 1.12.189 |
com.amazonaws | aws-java-sdk-s3 | 1.12.189 |
com.amazonaws | aws-java-sdk-ses | 1.12.189 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.189 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.189 |
com.amazonaws | aws-java-sdk-sns | 1.12.189 |
com.amazonaws | aws-java-sdk-sqs | 1.12.189 |
com.amazonaws | aws-java-sdk-ssm | 1.12.189 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.189 |
com.amazonaws | aws-java-sdk-sts | 1.12.189 |
com.amazonaws | دعم aws-java-sdk | 1.12.189 |
com.amazonaws | مكتبات aws-java-sdk-swf | 1.11.22 |
com.amazonaws | مساحات عمل aws-java-sdk | 1.12.189 |
com.amazonaws | jmespath-java | 1.12.189 |
com.chuusai | shapeless_2.12 | 2.3.3 |
com.clearspring.analytics | استدر | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.12 | 0.4.15-10 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryo مظلل | 4.0.2 |
com.esotericsoftware | سجل الحد الأدنى | 1.3.0 |
com.fasterxml | زميل | 1.3.4 |
com.fasterxml.jackson.core | التعليقات التوضيحية ل جاكسون | 2.13.4 |
com.fasterxml.jackson.core | جاكسون النواة | 2.13.4 |
com.fasterxml.jackson.core | جاكسون-databind | 2.13.4.2 |
com.fasterxml.jackson.dataformat | جاكسون-dataformat-cbor | 2.13.4 |
com.fasterxml.jackson.datatype | جاكسون-datatype-joda | 2.13.4 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.13.4 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.13.4 |
com.github.ben-manes.كافيين | كافايين | 2.3.4 |
com.github.fommil | أداة تحميل jniloader | 1.1 |
com.github.fommil.netlib | الذاكرة الأساسية | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1.5.2-1 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.8.6 |
com.google.crypto.tink | تينك | 1.6.1 |
com.google.flatbuffers | flatbuffers-java | 1.12.0 |
com.google.guava | الجوافه | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.h2database | h2 | 2.0.204 |
com.helger | profiler | 1.1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | cp عظمي | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.ning | ضغط lzf | 1.1 |
com.sun.mail | javax.mail | 1.5.2 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | برد-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.0 |
com.univocity | محللات أحادية التكافؤ | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.15 |
المجموعات المشتركة | المجموعات المشتركة | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
commons-fileupload | commons-fileupload | 1.3.3 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.11.0 |
commons-lang | commons-lang | 2.6 |
تسجيل المشتركات | تسجيل المشتركات | 1.1.3 |
تجمع مشترك | تجمع مشترك | 1.5.4 |
dev.ludovic.netlib | arpack | 2.2.1 |
dev.ludovic.netlib | بلاس | 2.2.1 |
dev.ludovic.netlib | lapack | 2.2.1 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | أداة ضغط الهواء | 0.21 |
io.delta | delta-sharing-spark_2.12 | 0.6.3 |
io.dropwizard.metrics | metrics-core | 4.1.1 |
io.dropwizard.metrics | metrics-graphite | 4.1.1 |
io.dropwizard.metrics | المقاييس-الفحوصات الصحية | 4.1.1 |
io.dropwizard.metrics | metrics-jetty9 | 4.1.1 |
io.dropwizard.metrics | metrics-jmx | 4.1.1 |
io.dropwizard.metrics | metrics-json | 4.1.1 |
io.dropwizard.metrics | metrics-jvm | 4.1.1 |
io.dropwizard.metrics | metrics-servlets | 4.1.1 |
io.netty | netty-all | 4.1.74.Final |
io.netty | netty-buffer | 4.1.74.Final |
io.netty | netty-codec | 4.1.74.Final |
io.netty | netty-common | 4.1.74.Final |
io.netty | معالج netty | 4.1.74.Final |
io.netty | محلل netty | 4.1.74.Final |
io.netty | netty-tcnative-classes | 2.0.48.Final |
io.netty | netty-transport | 4.1.74.Final |
io.netty | netty-transport-classes-epoll | 4.1.74.Final |
io.netty | netty-transport-classes-kqueue | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-epoll-linux-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-aarch_64 | 4.1.74.Final |
io.netty | netty-transport-native-kqueue-osx-x86_64 | 4.1.74.Final |
io.netty | netty-transport-native-unix-common | 4.1.74.Final |
io.prometheus | واجهة سطر الأوامر البسيطة | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | جامع | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | التنشيط | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | واجهة برمجة تطبيقات المعاملات | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
التفاف دائري | التفاف دائري | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.10.13 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | مخلل | 1.2 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.snowflake | snowflake-jdbc | 3.13.22 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | وقت تشغيل antlr | 3.5.2 |
org.antlr | وقت تشغيل antlr4 | 4.8 |
org.antlr | سلسلة قوالب | 3.2.1 |
org.apache.ant | نمل | 1.9.2 |
org.apache.ant | نملة-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.سهم | تنسيق السهم | 7.0.0 |
org.apache.سهم | ذاكرة أساسية للسهم | 7.0.0 |
org.apache.سهم | سهم-ذاكرة-netty | 7.0.0 |
org.apache.سهم | خط متجه للسهم | 7.0.0 |
org.apache.avro | avro | 1.11.0 |
org.apache.avro | avro-ipc | 1.11.0 |
org.apache.avro | avro-mapred | 1.11.0 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | ضغط الشائعات | 1.21 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | عميل أمين | 2.13.0 |
org.apache.curator | إطار عمل أمين | 2.13.0 |
org.apache.curator | وصفات أمين | 2.13.0 |
org.apache.derby | الدربي | 10.14.2.0 |
org.apache.hadoop | hadoop-client-api | 3.3.4-databricks |
org.apache.hadoop | وقت تشغيل عميل hadoop | 3.3.4 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | عميل hive-llap | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-common | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.13 |
org.apache.httpcomponents | httpcore | 4.4.14 |
org.apache.ivy | لبلاب | 2.5.0 |
org.apache.logging.log4j | log4j-1.2-api | 2.18.0 |
org.apache.logging.log4j | log4j-api | 2.18.0 |
org.apache.logging.log4j | log4j-core | 2.18.0 |
org.apache.logging.log4j | log4j-slf4j-impl | 2.18.0 |
org.apache.mesos | mesos-shaded-protobuf | 1.4.0 |
org.apache.orc | orc-core | 1.7.6 |
org.apache.orc | orc-mapreduce | 1.7.6 |
org.apache.orc | orc-shims | 1.7.6 |
org.apache.parquet | عمود باركيه | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-common | 1.12.3-databricks-0002 |
org.apache.parquet | ترميز باركيه | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-format-structures | 1.12.3-databricks-0002 |
org.apache.parquet | parquet-hadoop | 1.12.3-databricks-0002 |
org.apache.parquet | باركيه جاكسون | 1.12.3-databricks-0002 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.xbean | xbean-asm9-shaded | 4.20 |
org.apache.yetus | التعليقات التوضيحية للجمهور | 0.13.0 |
org.apache.zookeeper | zookeeper | 3.6.2 |
org.apache.zookeeper | zookeeper-jute | 3.6.2 |
org.checkerframework | مدقق كهومي | 3.5.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | جاكسون-mapper-asl | 1.9.13 |
org.codehaus.janino | محول برمجي مشترك | 3.0.16 |
org.codehaus.janino | جانينو | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.jetty | عميل jetty | 9.4.46.v20220331 |
org.eclipse.jetty | متابعة jetty | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-http | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-io | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-jndi | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-plus | 9.4.46.v20220331 |
org.eclipse.jetty | وكيل jetty | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-security | 9.4.46.v20220331 |
org.eclipse.jetty | خادم jetty | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlet | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-servlets | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-util-ajax | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-webapp | 9.4.46.v20220331 |
org.eclipse.jetty | jetty-xml | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-api | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | عميل websocket | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-common | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | خادم websocket | 9.4.46.v20220331 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.46.v20220331 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | محدد موقع hk2 | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.3 |
org.glassfish.hk2.external | إعادة حزم الأوبالين | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | جيرسي حاوية-servlet | 2.36 |
org.glassfish.jersey.containers | جيرسي-حاوية-servlet-core | 2.36 |
org.glassfish.jersey.core | جيرسي-العميل | 2.36 |
org.glassfish.jersey.core | جيرسي المشتركة | 2.36 |
org.glassfish.jersey.core | خادم جيرسي | 2.36 |
org.glassfish.jersey.inject | جيرسي-hk2 | 2.36 |
org.hibernate.validator | مدقق الإسبات | 6.1.0.Final |
org.javassist | javassist | 3.25.0-GA |
org.jboss.logging | تسجيل jboss | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | التعليقات التوضيحية | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0 |
org.mariadb.jdbc | mariadb-java-client | 2.7.4 |
org.mlflow | mlflow-spark | 2.1.1 |
org.objenesis | داء objenesis | 2.5.1 |
org.postgresql | postgresql | 42.3.3 |
org.roaringbitmap | هديرBitmap | 0.9.25 |
org.roaringbitmap | الحشوات | 0.9.25 |
org.rocksdb | rocksdbjni | 6.28.2 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.14 |
org.scala-lang | scala-library_2.12 | 2.12.14 |
org.scala-lang | scala-reflect_2.12 | 2.12.14 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.4.3 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | واجهة الاختبار | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.0.8 |
org.scalanlp | macros_2.12 | 1.2 |
org.scalanlp | breeze_2.12 | 1.2 |
org.scalatest | scalatest_2.12 | 3.0.8 |
org.slf4j | jcl-over-slf4j | 1.7.36 |
org.slf4j | jul-to-slf4j | 1.7.36 |
org.slf4j | slf4j-api | 1.7.36 |
org.spark-project.spark | غير مستخدم | 1.0.0 |
org.threeten | ثلاثتين إضافية | 1.5.0 |
org.tukaani | xz | 1.9 |
مستوى org.typelevel | algebra_2.12 | 2.0.1 |
مستوى org.typelevel | cats-kernel_2.12 | 2.1.1 |
مستوى org.typelevel | ماكرو-compat_2.12 | 1.1.1 |
مستوى org.typelevel | spire-macros_2.12 | 0.17.0 |
مستوى org.typelevel | spire-platform_2.12 | 0.17.0 |
مستوى org.typelevel | spire-util_2.12 | 0.17.0 |
مستوى org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.0.7.Final |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.8.4 |
org.yaml | ثعبان الثعبان | 1.24 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 1.6.1-linux-x86_64 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |