Databricks Runtime 6.0 (EoS)
إشعار
انتهى دعم إصدار وقت تشغيل Databricks هذا. للحصول على تاريخ انتهاء الدعم، راجع محفوظات انتهاء الدعم. لجميع إصدارات وقت تشغيل Databricks المدعومة، راجع إصدارات ملاحظات إصدار Databricks Runtime والتوافق.
أصدرت Databricks هذا الإصدار في أكتوبر 2019.
توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 6.0، مدعومة من Apache Spark.
ميزات جديدة
بيئة Python
يتضمن Databricks Runtime 6.0 تغييرات رئيسية على Python وطريقة تكوين بيئات Python، بما في ذلك ترقية Python إلى 3.7.3، وتحسين قائمة حزم Python المثبتة، وترقية تلك الحزم المثبتة إلى إصدارات أحدث. للحصول على التفاصيل، راجع مكتبات Python المثبتة.
بالإضافة إلى ذلك، كما تم الإعلان عنه سابقا، لا يدعم Databricks Runtime 6.0 Python 2.
تتضمن التغييرات الرئيسية ما يلي:
- تمت ترقية Python من 3.5.2 إلى 3.7.3. قد لا تكون بعض الإصدارات القديمة من حزم Python متوافقة مع Python 3.7 لأنها تعتمد على الإصدارات القديمة من Cython غير المتوافقة مع Python 3.7. يمكن أن يؤدي تثبيت مثل هذه الحزمة إلى حدوث أخطاء مشابهة ل
‘PyThreadState’ {‘struct _ts’} has no member named ‘exc_type’(راجع إصدار GitHub 1978 للحصول على التفاصيل). تثبيت إصدارات متوافقة مع Python 3.7 من حزم Python بدلا من ذلك. - ترقيات الحزمة الرئيسية:
- boto3 إلى 1.9.162
- ipython إلى 7.4.0
- matplotlib إلى 3.0.3
- numpy إلى 1.16.2
- الباندا إلى 0.24.2
- pyarrow إلى 0.13.0
- بالمقارنة مع Databricks Runtime 5.5 LTS (EoS)، يتم تضمين حزم Python التالية حديثا: asn1crypto و backcall و jedi و kiwisolver و parso و PySocks.
- بالمقارنة مع Databricks Runtime 5.5 LTS (EoS)، لم يتم تثبيت حزم Python التالية: ansi2html، brewer2mpl، colorama، configobj، enum34، et-xmlfile، freetype-py، funcsigs، fusepy، ggplot، html5lib, ipaddress, jdcal, Jinja2, llvmlite, lxml, MarkupSafe, mpld3, msgpack-python, ndg-httpsclient, numba, openpyxl, pathlib2, Pillow, ply, pyasn1, pypng, python-geohash, scour, simplejson, and singledispatch.
displayلم تعد الدالة على كائنات Python ggplot مدعومة لأن حزمة ggplot غير متوافقة مع الإصدار الأحدث من pandas.- الإعداد
PYSPARK_PYTHONإلى/databricks/python2/bin/pythonغير معتمد لأن Databricks Runtime 6.0 لا يدعم Python 2. لا يزال من الممكن بدء تشغيل نظام مجموعة مع مثل هذا الإعداد. ومع ذلك، لن تعمل دفاتر ملاحظات Python والأوامر Python، أي أن خلايا أوامر Python ستفشل مع ظهور خطأPython shell failed to start"تم الإلغاء" وسيظهر خطأ في سجلات برنامج التشغيل. - إذا كان
PYSPARK_PYTHONيشير إلى Python قابل للتنفيذ في بيئة تديرها Virtualenv ، تنشيط هذه البيئة للنصوص ودفاتر الملاحظات init. يمكنك استخدامpythonالأوامر وpipالتي تم تعريفها في البيئة التي تم تنشيطها مباشرة دون الحاجة إلى تحديد المواقع المطلقة لهذه الأوامر. بشكل افتراضي،PYSPARK_PYTHONيتم تعيين إلى/databricks/python3/bin/python. وبالتالي، بشكل افتراضي،pythonيشير إلى/databricks/python3/bin/pythonويشيرpipإلى/databricks/python3/bin/pipلنصوص init ودفاتر الملاحظات.PYSPARK_PYTHONإذا كان يشير إلى Python قابل للتنفيذ غير موجود في بيئة تديرها Virtualenv أو إذا كنت تكتب نص init لإنشاء Python المحدد بواسطةPYSPARK_PYTHON، فستحتاج إلى استخدام مسارات مطلقة للوصول إلى الصحيحpythonوpip. عند تمكين عزل مكتبة Python (يتم تمكينه افتراضيا)، تظل البيئة التي تم تنشيطها هي البيئةPYSPARK_PYTHONالمقترنة بها. نوصي باستخدام الأداة المساعدة للمكتبة (dbutils.library) (القديمة) لتعديل البيئة المعزولة المقترنة بدفتر ملاحظات Python.
Scala وJava APIs لأوامر Delta Lake DML
يمكنك الآن تعديل البيانات في جداول Delta باستخدام واجهات برمجة التطبيقات البرمجية للحذف والتحديث والدمج. تعكس واجهات برمجة التطبيقات هذه بناء الجملة والدلالات لأوامر SQL المقابلة لها وهي رائعة للعديد من أحمال العمل، على سبيل المثال، عمليات البعد المتغير ببطء (SCD)، ودمج بيانات التغيير للنسخ المتماثل، وعمليات المتابعة من استعلامات الدفق.
للحصول على التفاصيل، راجع ما هو Delta Lake؟.
Scala وJava APIs لأوامر الأداة المساعدة Delta Lake
يحتوي وقت تشغيل Databricks الآن على واجهات برمجة تطبيقات برمجية vacuum لأوامر الأداة المساعدة و history . تعكس واجهات برمجة التطبيقات هذه بناء الجملة ودلالات أوامر SQL المقابلة المتوفرة في الإصدارات السابقة من Databricks Runtime.
يمكنك تنظيف الملفات التي لم تعد مشار إليها بواسطة جدول Delta وهي أقدم من حد الاستبقاء عن طريق التشغيل vacuum على الجدول. vacuum يؤدي تشغيل الأمر على الجدول إلى تفريغ الدلائل المقترنة بجدول Delta بشكل متكرر. حد الاستبقاء الافتراضي للملفات هو 7 أيام. يتم فقدان القدرة على الانتقال مرة أخرى إلى إصدار أقدم من فترة الاستبقاء بعد تشغيل vacuum. vacuum لا يتم تشغيله تلقائيا.
يمكنك استرداد معلومات حول العمليات والمستخدم والطابع الزمني وما إلى ذلك لكل كتابة إلى جدول Delta عن طريق تشغيل history الأمر . يتم إرجاع العمليات بترتيب زمني عكسي. بشكل افتراضي، يتم الاحتفاظ بمحفوظات الجدول لمدة 30 يوما.
للحصول على التفاصيل، راجع ما هو Delta Lake؟.
التخزين المؤقت للقرص متوفر لمثيلات Azure Lsv2
[التخزين المؤقت للقرص]](.. /.. يتم الآن تمكين /optimizations/disk-cache.md) بشكل افتراضي لجميع مثيلات Lsv2.
التخزين المحسن باستخدام واجهات برمجة تطبيقات الملفات المحلية
تعد واجهات برمجة تطبيقات الملفات المحلية مفيدة لأنها تسمح لك بالوصول إلى الملفات من تخزين العناصر الموزعة الأساسي كملفات محلية. في Databricks Runtime 6.0، قمنا بتحسين تحميل FUSE الذي يمكن واجهات برمجة تطبيقات الملفات المحلية من معالجة قيود المفتاح. يعمل Databricks Runtime 6.0 بشكل كبير على تحسين سرعة القراءة والكتابة ويدعم الملفات التي يزيد حجمها عن 2 غيغابايت. إذا كنت بحاجة إلى قراءات وكتابات أسرع وأكثر موثوقية مثل تدريب النموذج الموزع، فستجد هذا التحسين مفيدا بشكل خاص. بالإضافة إلى ذلك، لن تحتاج إلى تحميل البيانات إلى تخزين محلي لأحمال العمل الخاصة بك، سواء توفير التكلفة وتحسين الإنتاجية.
للحصول على التفاصيل، راجع ما هو DBFS؟.
مخططات matplotlib متعددة لكل خلية دفتر ملاحظات
يمكنك الآن عرض مخططات matplotlib متعددة لكل خلية دفتر ملاحظات:
بيانات اعتماد الخدمة لحسابات Azure Data Lake Storage Gen1 المتعددة
يمكنك الآن إعداد بيانات اعتماد الخدمة للوصول إلى عدة Azure Data Lake Storage Gen1 من حسابات Azure Databricks لاستخدامها في جلسة Apache Spark واحدة. للقيام بذلك، أضف account.<account-name> إلى مفاتيح التكوين. على سبيل المثال، إذا كنت ترغب في إعداد بيانات الاعتماد للحسابات للوصول إلى كل من adl://example1.azuredatalakestore.net و adl://example2.azuredatalakestore.net، يمكنك القيام بذلك على النحو التالي:
spark.conf.set("fs.adl.oauth2.access.token.provider.type", "ClientCredential")
spark.conf.set("fs.adl.account.example1.oauth2.client.id", "<application-id-example1>")
spark.conf.set("fs.adl.account.example1.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example1>"))
spark.conf.set("fs.adl.account.example1.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example1>/oauth2/token")
spark.conf.set("fs.adl.account.example2.oauth2.client.id", "<application-id-example2>")
spark.conf.set("fs.adl.account.example2.oauth2.credential", dbutils.secrets.get(scope = "<scope-name>", key = "<key-name-for-service-credential-example2>"))
spark.conf.set("fs.adl.account.example2.oauth2.refresh.url", "https://login.microsoftonline.com/<directory-id-example2>/oauth2/token")
التحسينات
- ترقية AWS SDK إلى 1.11.596.
- تمت ترقية Azure Storage SDK في برنامج تشغيل WASB إلى 7.0.
OPTIMIZEيوفر الآن ملخصا لمقاييس مثل عدد الملفات المضافة وعدد الملفات التي تمت إزالتها والحد الأقصى وحجم الملف. راجع تحسين تخطيط ملف البيانات.
الإزالة
تتم إزالة تصدير نموذج Databricks ML. استخدم MLeap لاستيراد النماذج وتصديرها بدلا من ذلك.
Apache Spark
إشعار
تحتوي هذه المقالة على مراجع لمصطلح الرقيق، وهو مصطلح لا يستخدمه Azure Databricks. عند إزالة المصطلح من البرنامج، سنزيله من هذه المقالة.
يتضمن Databricks Runtime 6.0 Apache Spark 2.4.3. يتضمن هذا الإصدار جميع إصلاحات Spark وتحسيناته المضمنة في Databricks Runtime 5.5 LTS (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:
- [SPARK-27992][SPARK-28881][PYTHON] السماح ل Python بالانضمام إلى مؤشر ترابط الاتصال لنشر الأخطاء
- [SPARK-27330][SS]تم إجهاض مهمة الدعم في كاتب foreach (6.0، 5.x)
- [SPARK-28642][SQL] إخفاء بيانات الاعتماد في SHOW CREATE TABLE
- [SPARK-28699][CORE] إصلاح حالة زاوية لإجهاض مرحلة غير محددة
- [SPARK-28647][WEBUI] استرداد ميزة قياس إضافية
- [SPARK-28766][R][DOC] إصلاح تحذير جدوى CRAN الوارد على عنوان URL غير صالح
- [SPARK-28486][CORE][PYTHON] تعيين ملف بيانات PythonBroadcast إلى BroadcastBlock لتجنب الحذف بواسطة GC
- [SPARK-25035][CORE] تجنب تعيين الذاكرة في النسخ المتماثل للكتل المخزنة على القرص
- [SPARK-27234][SS][PYTHON] استخدام InheritableThreadLocal للعصر الحالي في EpochTracker (لدعم Python UDFs)
- [SPARK-28638][WEBUI] يجب أن يحتوي ملخص المهمة على مقاييس المهام الناجحة فقط
- [SPARK-28153][PYTHON] استخدام AtomicReference في InputFileBlockHolder (لدعم input_file_name مع Python UDF)
- [SPARK-28564][CORE] يتم تعيين تطبيق محفوظات الوصول افتراضيا إلى معرف المحاولة الأخير
- [SPARK-28260] يمكن للمجموعة الإنهاء التلقائي بينما لا يزال استعلام thriftserver يجلب النتائج
- [SPARK-26152][CORE] مزامنة تنظيف العامل مع إيقاف تشغيل العامل
- [SPARK-28545][SQL] إضافة حجم خريطة التجزئة إلى السجل الاتجاهي ل ObjectAggregationIterator
- [SPARK-28489][SS] إصلاح خطأ قد يؤدي KafkaOffsetRangeCalculator.getRanges إلى إسقاط الإزاحات
- [SPARK-28421][ML] SparseVector.apply performance optimization
- [SPARK-28156][SQL] يجب ألا تفوت الصلة الذاتية طريقة العرض المخزنة مؤقتا
- [SPARK-28152][SQL] تعيين ShortType إلى SMALLINT و FloatType إلى REAL ل MsSqlServerDialect
- [SPARK-28054][SQL] إصلاح الخطأ عند إدراج جدول Apache Hive مقسم ديناميكيا حيث يكون اسم القسم أحرفا كبيرة
- [SPARK-27159][SQL] تحديث لهجة خادم mssql لدعم النوع الثنائي
- [SPARK-28355][CORE][PYTHON] استخدم Spark conf للعتبة التي يتم فيها com...
- [SPARK-27989][CORE] تمت إضافة عمليات إعادة المحاولة على الاتصال إلى برنامج التشغيل ل k8s
- [SPARK-27416][SQL] تسلسل UnsafeMapData و UnsafeArrayData Kryo ...
- [SPARK-28430][واجهة المستخدم] إصلاح عرض جدول المرحلة عندما تكون بعض مقاييس المهام مفقودة
- [SPARK-27485] تأكد من أنRequirements.reorder يجب أن تتعامل مع التعبيرات المكررة بأمان
- [SPARK-28404][SS] إصلاح قيمة المهلة السالبة في RateStreamContinuousPartitionReader
- [SPARK-28378][PYTHON] إزالة استخدام cgi.escape
- [SPARK-28371][SQL] جعل عامل تصفية Parquet "StartsWith" خاليا آمنا
- [SPARK-28015][SQL] يستهلك Check stringToDate() إدخالا كاملا لتنسيقات yyyy وyyyy-[m]m
- [SPARK-28302][CORE] تأكد من إنشاء ملف إخراج فريد ل SparkLauncher على Windows
- [SPARK-28308][CORE] يجب إضافة الجزء الفرعي ل CalendarInterval قبل التحليل
- [SPARK-28170][التعلم الآلي][PYTHON] وثائق الخطوط المتجهة والمصفوفة الموحدة
- [SPARK-28160][CORE] إصلاح خطأ قد تعلقه دالة رد الاتصال عند فقدان استثناء غير محدد
- [SPARK-27839][SQL] تغيير UTF8String.replace() للعمل على بايت UTF8
- [SPARK-28157][CORE] جعل SHS واضحا KVStore LogInfo للإدخالات المدرجة في القائمة السوداء
- [SPARK-28128][PYTHON][SQL] تتخطى pandas Grouped UDFs الأقسام الفارغة
- [SPARK-28012][SQL] يدعم Hive UDF تعبير نوع البنية القابل للطي
- [SPARK-28164] إصلاح وصف استخدام start-slave.sh
- [SPARK-27100][SQL] استخدام Array بدلا من Seq في FilePartition لمنع StackOverflowError
- [SPARK-28154][ML] إصلاح التخزين المؤقت المزدوج ل GMM
تحديثات الصيانة
راجع تحديثات صيانة Databricks Runtime 6.0.
بيئة النظام
- نظام التشغيل: Ubuntu 16.04.6 LTS
- Java: 1.8.0_232
- Scala: 2.11.12
- Python: 3.7.3
- R: R الإصدار 3.6.1 (2019-07-05)
- Delta Lake: 0.3.0
إشعار
على الرغم من أن Scala 2.12 متوفر كميزة تجريبية في Apache Spark 2.4، فإنه غير مدعوم في Databricks Runtime 6.0.
مكتبات Python المثبتة
| مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
|---|---|---|---|---|---|
| asn1crypto | 0.24.0 | تثبيت خلفي | 0.1.0 | boto | 2.49.0 |
| boto3 | 1.9.162 | روبوت الدردشة | 1.12.163 | شهادة | 2019.3.9 |
| cffi | 1.12.2 | تجزئة | 3.0.4 | التشفير | 2.6.1 |
| دورة | 0.10.0 | Cython | 0.29.6 | ديكور | 4.4.0 |
| docutils | 0.14 | idna | 2.8 | ipython | 7.4.0 |
| ipython-genutils | 0.2.0 | jedi | 0.13.3 | مسار jmespath | 0.9.4 |
| kiwisolver | 1.1.0 | matplotlib | 3.0.3 | numpy | 1.16.2 |
| pandas | 0.24.2 | parso | 0.3.4 | بتسي | 0.5.1 |
| pexpect | 4.6.0 | pickleshare | 0.7.5 | pip | 19.0.3 |
| مجموعة أدوات المطالبة | 2.0.9 | psycopg2 | 2.7.6.1 | عملية ptyprocess | 0.6.0 |
| pyarrow | 0.13.0 | pycparser | 2.19 | pycurl | 7.43.0 |
| Pygments | 2.3.1 | PyGObject | 3.20.0 | pyOpenSSL | 19.0.0 |
| pyparsing | 2.4.2 | PySocks | 1.6.8 | python-apt | 1.1.0.b1+ubuntu0.16.04.5 |
| python-dateutil | 2.8.0 | pytz | 2018.9 | الطلبات | 2.21.0 |
| s3transfer | 0.2.1 | scikit-learn | 0.20.3 | شفرة | 1.2.1 |
| بحر محمول | 0.9.0 | أدوات الإعداد | 40.8.0 | ستة | 1.12.0 |
| ssh-import-id | 5.5 | نماذج الإحصائيات | 0.9.0 | سمات السمات | 4.3.2 |
| ترقيات غير مراقبة | 0.1 | urllib3 | 1.24.1 | virtualenv | 16.4.1 |
| wcwidth | 0.1.7 | دولاب | 0.33.1 |
مكتبات R المثبتة
| مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.1.3 | الأساس | 3.6.1 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | بت | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | كائن ثنائي كبير الحجم | 1.1.1 | boot | 1.3-23 |
| المشروب | 1.0-6 | callr | 3.2.0 | car | 3.0-2 |
| carData | 3.0-2 | علامة إقحام | 6.0-82 | cellranger | 1.1.0 |
| كرون | 2.3-53 | فئة | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | نظام مجموعة | 2.1.0 |
| codetools | 0.2-16 | colorspace | 1.4-1 | العلامة الشائعة | 1.7 |
| compiler | 3.6.1 | config | 0.3 | crayon | 1.3.4 |
| curl | 3.3 | data.table | 1.12.0 | مجموعات البيانات | 3.6.1 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | تنازلي | 1.2.0 |
| devtools | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | علامة الحذف | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | Foreach | 1.4.4 | foreign | 0.8-72 |
| زور | 0.2.0 | fs | 1.2.7 | غيغابايت | 2.1.5 |
| generics | 0.0.2 | ggplot2 | 3.1.0 | غ | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | glue | 1.3.1 |
| gower | 0.2.0 | graphics | 3.6.1 | grDevices | 3.6.1 |
| grid | 3.6.1 | gridExtra | 2.3 | gsubfn | 0.7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | labeling | 0.3 |
| lattice | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.2 |
| أكثر طفاية | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | مشروع الخريطة | 1.2.6 | الخرائط | 3.3.0 |
| أصنام الخرائط | 0.9-5 | MASS | 7.3-51.4 | مصفوفة | 1.2-17 |
| نماذج المصفوفة | 0.4-1 | المذكرة | 1.1.0 | الأساليب | 3.6.1 |
| mgcv | 1.8-28 | mime | 0.6 | مينقا | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-141 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.1 | pbkrtest | 0.4-7 | pillar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| مدح | 1.0.0 | prettyunits | 1.0.2 | بروك | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | التقدم | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | طيور الراب | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | recipes | 0.1.5 | rematch | 1.0.1 |
| أجهزة التحكم عن بعد | 2.0.2 | reshape2 | 1.4.3 | ريو | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | scales | 1.0.0 |
| معلومات الجلسة | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| سبارك | 2.4.4 | SparseM | 1.77 | spatial | 7.3-11 |
| splines | 3.6.1 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | stats | 3.6.1 | stats4 | 3.6.1 |
| stringi | 1.4.3 | stringr | 1.4.0 | survival | 2.44-1.1 |
| sys | 3.1 | tcltk | 3.6.1 | TeachingDemos | 2.10 |
| اختبار الذي | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | الأدوات | 3.6.1 |
| استخدام هذا | 1.4.0 | utf8 | 1.1.4 | utils | 3.6.1 |
| viridisLite | 0.3.0 | whisker | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.1 |
مكتبات Java و Scala المثبتة (إصدار نظام مجموعة Scala 2.11)
| معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.595 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.595 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.595 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.595 |
| com.amazonaws | aws-java-sdk-config | 1.11.595 |
| com.amazonaws | aws-java-sdk-core | 1.11.595 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.595 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.595 |
| com.amazonaws | aws-java-sdk-directory | 1.11.595 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.595 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.595 |
| com.amazonaws | aws-java-sdk-efs | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.595 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.595 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.595 |
| com.amazonaws | aws-java-sdk-emr | 1.11.595 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.595 |
| com.amazonaws | aws-java-sdk-glue | 1.11.595 |
| com.amazonaws | aws-java-sdk-iam | 1.11.595 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.595 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.595 |
| com.amazonaws | aws-java-sdk-kms | 1.11.595 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.595 |
| com.amazonaws | aws-java-sdk-logs | 1.11.595 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.595 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.595 |
| com.amazonaws | aws-java-sdk-rds | 1.11.595 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.595 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.595 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.595 |
| com.amazonaws | aws-java-sdk-ses | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.595 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.595 |
| com.amazonaws | aws-java-sdk-sns | 1.11.595 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.595 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.595 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.595 |
| com.amazonaws | aws-java-sdk-sts | 1.11.595 |
| com.amazonaws | دعم aws-java-sdk | 1.11.595 |
| com.amazonaws | مكتبات aws-java-sdk-swf | 1.11.22 |
| com.amazonaws | مساحات عمل aws-java-sdk | 1.11.595 |
| com.amazonaws | jmespath-java | 1.11.595 |
| البحث في com.جزر | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | استدر | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | اختبارات dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo مظلل | 4.0.2 |
| com.esotericsoftware | سجل الحد الأدنى | 1.3.0 |
| com.fasterxml | زميل | 1.0.0 |
| com.fasterxml.jackson.core | التعليقات التوضيحية ل جاكسون | 2.6.7 |
| com.fasterxml.jackson.core | جاكسون النواة | 2.6.7 |
| com.fasterxml.jackson.core | جاكسون-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | جاكسون-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | جاكسون-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | أداة تحميل jniloader | 1.1 |
| com.github.fommil.netlib | الذاكرة الأساسية | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | الجوافه | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | cp عظمي | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 7.0.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | ضغط lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | برد-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | مجموعة parquet-hadoop | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | محللات أحادية التكافؤ | 2.7.3 |
| com.vlkan | خزائن مسطحة | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| شائعات-beanutils | شائعات-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| المجموعات المشتركة | المجموعات المشتركة | 3.2.2 |
| تكوين المشتركات | تكوين المشتركات | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| أداة تجزئة الشائعات | أداة تجزئة الشائعات | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| تسجيل المشتركات | تسجيل المشتركات | 1.1.3 |
| commons-net | commons-net | 3.1 |
| تجمع مشترك | تجمع مشترك | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | أداة ضغط الهواء | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | المقاييس-الفحوصات الصحية | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | التنشيط | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | واجهة برمجة تطبيقات التحقق من الصحة | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| التفاف دائري | التفاف دائري | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| العرعر | العرعر | 4.12 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| net.hydromatic | خصائص eigenbase | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | وقت تشغيل antlr | 3.4 |
| org.antlr | وقت تشغيل antlr4 | 4.7 |
| org.antlr | سلسلة قوالب | 3.2.1 |
| org.apache.ant | نمل | 1.9.2 |
| org.apache.ant | نملة-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.سهم | تنسيق السهم | 0.10.0 |
| org.apache.سهم | ذاكرة الأسهم | 0.10.0 |
| org.apache.سهم | خط متجه للسهم | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | الكالسيت-أفاتيكا | 1.2.0 حاضنة |
| org.apache.calcite | نواة الكالسيت | 1.2.0 حاضنة |
| org.apache.calcite | الكالسيت-linq4j | 1.2.0 حاضنة |
| org.apache.commons | ضغط الشائعات | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | عميل أمين | 2.7.1 |
| org.apache.curator | إطار عمل أمين | 2.7.1 |
| org.apache.curator | وصفات أمين | 2.7.1 |
| org.apache.derby | الدربي | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | تعليقات توضيحية ل hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | عميل hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 حاضنة |
| org.apache.httpcomponents | httpclient | 4.5.6 |
| org.apache.httpcomponents | httpcore | 4.4.10 |
| org.apache.ivy | لبلاب | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.5 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.5 |
| org.apache.orc | orc-shims | 1.5.5 |
| org.apache.parquet | عمود باركيه | 1.10.1.2-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.2-databricks3 |
| org.apache.parquet | ترميز باركيه | 1.10.1.2-databricks3 |
| org.apache.parquet | تنسيق باركيه | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.2-databricks3 |
| org.apache.parquet | باركيه جاكسون | 1.10.1.2-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | جاكسون جاكرس | 1.9.13 |
| org.codehaus.jackson | جاكسون-mapper-asl | 1.9.13 |
| org.codehaus.jackson | جاكسون-xc | 1.9.13 |
| org.codehaus.janino | محول برمجي مشترك | 3.0.10 |
| org.codehaus.janino | جانينو | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | عميل jetty | 9.3.27.v20190418 |
| org.eclipse.jetty | متابعة jetty | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-http | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-io | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-jndi | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-plus | 9.3.27.v20190418 |
| org.eclipse.jetty | وكيل jetty | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-security | 9.3.27.v20190418 |
| org.eclipse.jetty | خادم jetty | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlet | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-servlets | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-util | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-webapp | 9.3.27.v20190418 |
| org.eclipse.jetty | jetty-xml | 9.3.27.v20190418 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | محدد موقع hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | إعادة حزم الأوبالين | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | جيرسي جوافا | 2.22.2 |
| org.glassfish.jersey.containers | جيرسي حاوية-servlet | 2.22.2 |
| org.glassfish.jersey.containers | جيرسي-حاوية-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | جيرسي-العميل | 2.22.2 |
| org.glassfish.jersey.core | جيرسي المشتركة | 2.22.2 |
| org.glassfish.jersey.core | خادم جيرسي | 2.22.2 |
| org.glassfish.jersey.media | جيرسي-وسائل الإعلام-جاكسب | 2.22.2 |
| org.hamcrest | hamcrest-core | 1.3 |
| org.hamcrest | مكتبة hamcrest | 1.3 |
| org.hibernate | مدقق الإسبات | 5.1.1.Final |
| org.iq80.snappy | لاذع | 0.2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | تسجيل jboss | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1.7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-core | 1.10.19 |
| org.objenesis | داء objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | هديرBitmap | 0.7.45 |
| org.roaringbitmap | الحشوات | 0.7.45 |
| org.rocksdb | rocksdbjni | 6.2.2 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | واجهة الاختبار | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | نسيم macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | غير مستخدم | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| مستوى org.typelevel | machinist_2.11 | 0.6.1 |
| مستوى org.typelevel | ماكرو-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | ثعبان الثعبان | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |