Databricks Runtime 4.3 (EoS)
إشعار
انتهى دعم إصدار وقت تشغيل Databricks هذا. للحصول على تاريخ انتهاء الدعم، راجع محفوظات انتهاء الدعم. لجميع إصدارات وقت تشغيل Databricks المدعومة، راجع إصدارات ملاحظات إصدار Databricks Runtime والتوافق.
أصدرت Databricks هذا الإصدار في أغسطس 2018.
هام
تم إهمال هذا الإصدار في 9 أبريل 2019. لمزيد من المعلومات حول نهج وجدولة إهمال Databricks Runtime، راجع دورة حياة دعم Databricks.
توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 4.3، مدعومة من Apache Spark.
الميزات الجديدة
- Delta Lake
TRUNCATE TABLE
الأمر: حذف كافة الصفوف من جدول. على عكس نظيرها لجداول Spark، لا تدعم جداول Delta حذف أقسام معينة.ALTER TABLE REPLACE COLUMNS
الأمر: استبدال الأعمدة في جدول Delta. وهو يدعم تغيير تعليق عمود وإعادة ترتيب أعمدة متعددة.FSCK REPAIR TABLE
الأمر: قم بإزالة إدخالات الملف من سجل المعاملات لجدول Delta الذي لم يعد من الممكن العثور عليه في نظام الملفات الأساسي. يمكن أن يحدث هذا عندما يتم حذف هذه الملفات يدويا.- دعم الاستعلامات على جداول Delta القديمة لتحسين تجربة الاستعلام التفاعلي: يمكن الآن تشغيل الاستعلامات على جداول Delta على إصدار قديم من الجدول عندما لا تكون النتائج المحدثة ضرورية. تقلل هذه الميزة من زمن انتقال الاستعلامات خاصة عند تحديث جداول دلتا الأساسية باستمرار من خلال التدفقات.
- دفق منظم
- دعم كتابة الدفق القابل للتطوير لموصل Azure Synapse Analytics.
foreachBatch()
دعم في Python (متوفر بالفعل في Scala). راجع وثائق foreach و foreachBatch لمزيد من التفاصيل.- دعم اختيار الحد الأدنى أو الحد الأقصى للعلامة المائية عند وجود تدفقات إدخال متعددة في استعلام. في السابق كان الحد الأدنى للطوابع الزمنية يستخدم دائما. راجع نهج العلامة المائية المتعددة لمزيد من التفاصيل.
LIMIT
دعم عامل التشغيل للتدفقات فيAppend
أوضاع الإخراج وComplete
. لتقليل أخطاء OOM على برنامج التشغيل،LIMIT
يتم تطبيقها تلقائيا عند استخدامكdisplay()
على تدفقات غير مقيدة.
التحسينات
Delta Lake
- معاينة خاصة لتنفيذ جديد قابل للتطوير للأمر
MERGE INTO
الذي لا يحتوي على حد إدراج الصف 10000. اتصل بالدعم إذا كنت ترغب في تجربة ذلك. - أداء أفضل وقابلية التوسع للأمر
OPTIMIZE
، خاصة على مجموعات أكبر. - يلتزم الأمر OPTIMIZE الآن بالجدول بشكل متزايد، ما يعني أنه إذا فشل الأمر، فلن تحتاج إعادة المحاولة إلى معالجة مجموعة البيانات بأكملها.
- تقليل عدد RPCs لنظام الملفات المطلوبة لاكتشاف بيانات جديدة عند استخدام Delta Lake كمصدر دفق.
- تمت إضافة دعم في
df.writeStream.table(table-name)
Python لإنشاء جدول Delta من دفق.
- معاينة خاصة لتنفيذ جديد قابل للتطوير للأمر
أداء محسن للاستعلامات ذات الصلات المتعددة أو التجميعات أو النوافذ.
تحسين الكفاءة للتشذيب على مستوى القسم في الاستعلامات مع عمليات ربط تجزئة البث.
تحسينات على إنشاء التعليمات البرمجية للمرحلة الكاملة للكشف عن التعبيرات المكررة، وتقليل كمية التعليمات البرمجية التي تم إنشاؤها، وتحسين الأداء لبعض أنواع التعبيرات.
تدعم أنظمة مجموعات التزامن العالية الآن التشغيل
%fs
في دفاتر الملاحظات.تمت ترقية Py4J المستخدمة من قبل PySpark إلى 0.10.7.
تحسين أداء التخزين المؤقت للقرص على مثيلات سلسلة Azure Ls. يتم الآن تمكين ذاكرة التخزين المؤقت بشكل افتراضي على هذه المثيلات، ما يسرع أحمال العمل التي تقرأ ملفات Parquet بشكل متكرر.
الميزات المهملة
- يتم إهمال تخطي البيانات خارج Databricks Delta. سيستمر توفر إصدار محسن من تخطي البيانات كجزء من Delta Lake. نوصي بالتبديل إلى استخدام Delta Lake للاستمرار في الاستفادة من هذه الميزة. راجع Databricks Delta Data Skipping للحصول على التفاصيل.
إصلاح الأخطاء
تم إصلاح عبارة دفع
MERGE INTO
دالة التقييم غير الصحيحة ل Delta عندما يحتوي شرط ON على دالات تقييم تشير إلى الجدول الهدف فقط.تم إصلاح الخطأ في
mapGroupsWithState
وflatMapGroupsWithState
الذي منع تعيين المهلات عند إزالة الحالة (SPARK-22187).إصلاح الخلل الذي منعت العلامة المائية من العمل معه
Trigger.Once
بشكل صحيح (SPARK-24699).يتحقق أمر التحديث الآن من صحة الأعمدة في عبارة SET للتأكد من وجود جميع الأعمدة فعليا وعدم تعيين أي عمود أكثر من مرة.
تم إصلاح حالة تعارض محتملة قد تتسبب في حالات توقف تام لتثبيت الدليل.
تم إصلاح خطأ يتسبب في استخدام إصدار مهمل من عميل DBFS عند تحديث عمليات التحميل.
المشكلات المعروفة
- لا تسري خيارات تكوين Delta Lake لجدول إلا في دفتر الملاحظات الأول الذي يقوم بتحميل الجدول.
Apache Spark
يتضمن Databricks Runtime 4.3 Apache Spark 2.3.1. يتضمن هذا الإصدار جميع الإصلاحات والتحسينات المضمنة في Databricks Runtime 4.2 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:
- [SPARK-24934][SQL] السماح صراحة بالأنواع المدعومة في الحدود العليا/السفلية لتقليم القسم في الذاكرة
- عند استخدام أنواع البيانات المعقدة في عوامل تصفية الاستعلام مقابل البيانات المخزنة مؤقتا، يقوم Spark دائما بإرجاع مجموعة نتائج فارغة. ينشئ التقليم المستند إلى الإحصائيات في الذاكرة نتائج غير صحيحة، لأنه يتم تعيين قيمة خالية للنص العلوي/السفلي للأنواع المعقدة. الإصلاح هو عدم استخدام التقليم المستند إلى الإحصائيات في الذاكرة للأنووع المعقدة.
- [SPARK-24957][SQL] المتوسط ذو الرقم العشري متبوعا بالتجميع يرجع نتيجة خاطئة
- قد يتم إرجاع النتائج غير الصحيحة ل AVERAGE. سيتم تجاوز الدالة CAST المضافة في عامل التشغيل Average إذا كانت نتيجة القسمة هي نفس النوع الذي يتم تحويلها إليه.
- [SPARK-24867][SQL] إضافة AnalysisBarrier إلى DataFrameWriter
- لا يتم استخدام ذاكرة التخزين المؤقت SQL عند استخدام DataFrameWriter لكتابة DataFrame باستخدام UDF. هذا تراجع بسبب التغييرات التي قمنا بها في AnalysisBarrier، حيث لا تكون جميع قواعد Analyzer متكررة.
- [SPARK-24790][SQL] السماح بالتعبيرات التجميعية المعقدة في Pivot
- قم باسترخاء الفحص للسماح بتعبيرات تجميعية معقدة، مثل ceil(sum(col1)) أو sum(col1) + 1، مما يعني تقريبا أي تعبير تجميعي قد يظهر في خطة تجميعية باستثناء Pandas UDF.
- [SPARK-24870][SQL] لا يمكن أن تعمل ذاكرة التخزين المؤقت بشكل طبيعي إذا كانت هناك أحرف حالة في SQL
- إصلاح مشكلة ترجمة برمجية للخطة.
- [SPARK-24852]هل spark.ml التدريب على استخدام واجهات برمجة تطبيقات الأجهزة المحدثة.
- [SPARK-24891][SQL] إصلاح قاعدة HandleNullInputsForUDF
- اجعل HandleNullInputsForUDF rule غير متكررة، لتجنب عدم تطابق الخطة في إدارة ذاكرة التخزين المؤقت عند تحليل خطة أكثر من مرة.
- [SPARK-24878][SQL] إصلاح الدالة العكسية لنوع الصفيف من النوع البدائي الذي يحتوي على قيمة خالية.
- [SPARK-24871][SQL] إعادة بناء التعليمات البرمجية Concat وMapConcat لتجنب إنشاء كائن متسلسل لكل صف.
- [SPARK-24802][SQL] إضافة تكوين جديد لاستبعاد قاعدة التحسين
- يوفر تكوينا للمستخدمين لاستبعاد بعض قواعد المحسن.
- [SPARK-24879][SQL] إصلاح NPE في دفع عامل تصفية تقليم قسم Hive لأسفل
- عندما تكون دالة تقييم القسم شيئا مثل العمود IN (1، فارغ)، سيتم طرح NPE. يعمل هذا التصحيح على إصلاحه.
- [SPARK-23731][SQL] جعل FileSourceScanExec غير قابلة للتقصي بعد تسلسلها (de)
- [SPARK-24755][CORE] يمكن أن يؤدي فقدان المنفذ إلى عدم إعادة إرسال المهمة
- إصلاح خطأ قد لا يقوم Spark بإعادة إرسال المهام التي فشلت بسبب فقدان المنفذ. تم تقديم هذا الخطأ في Spark 2.3.
- [SPARK-24677][CORE] تجنب NoSuchElementException من MedianHeap
- إصلاح خطأ متعلق بالمهام التي يمكن تخمينها عند جمع مقاييس مدة المهمة.
- [SPARK-24868][PYTHON] إضافة دالة تسلسل في Python
- [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] إصلاح عمليات الإكراه والقدرات الخالية للنوع.
- [SPARK-24699][SS] اجعل العلامات المائية تعمل مع Trigger.Once عن طريق حفظ العلامة المائية المحدثة لتثبيت السجل
- [SPARK-24537][R] إضافة array_remove / array_zip / map_from_arrays / array_distinct
- [SPARK-22187][SS] تحديث تنسيق غير آمن للحالة المحفوظة في flatMapGroupsWithState للسماح بالمهلات بالحالة المحذوفة (4.x)
- [SPARK-24681][SQL] التحقق من أسماء الأعمدة المتداخلة في Hive metastore
- تأكد من أن أسماء الأعمدة المتداخلة لا تتضمن 'و':' و';' في Hive metastore
- [SPARK-23486]تخزين اسم الدالة مؤقتا من الكتالوج الخارجي ل lookupFunctions
- لتسريع عمليات البحث عن الوظائف.
- [SPARK-24781][SQL] قد لا يعمل استخدام مرجع من مجموعة البيانات في عامل التصفية/الفرز
- [SPARK-24208][SQL] إصلاح إلغاء تكرار السمة ل FlatMapGroupsInPandas
- إصلاح فشل الانضمام الذاتي على مجموعة بيانات تحتوي على FlatMapGroupsInPandas بسبب السمات المكررة
- [SPARK-24530][PYTHON] إضافة عنصر تحكم لفرض إصدار Python في Sphinx عبر متغير البيئة، SPHINXPYTHON
- [SPARK-24250]دعم الوصول إلى SQLConf داخل المهام
- احفظ جميع تكوينات SQL إلى خصائص المهمة عند تشغيل تنفيذ SQL. في جانب المنفذ، نقوم بإعادة إنشاء SQLConf من خصائص المهمة.
- [SPARK-23936][SQL] تنفيذ map_concat
- [SPARK-23914][SQL] إضافة دالة array_union
- [SPARK-24732][SQL] اكتب الإكراه بين MapTypes.
- يضيف دعما لإكراه النوع بين MapTypes حيث يكون كل من أنواع المفاتيح وأنواع القيم متوافقة. على سبيل المثال، يمكن إكراه الأنواع MapType(IntegerType, FloatType) وMapType(LongType, DoubleType) على كتابة MapType(LongType, DoubleType)
- [SPARK-24662][SQL][SS] حد الدعم في الدفق المنظم
- [SPARK-24730][SS] إضافة نهج لاختيار الحد الأقصى كعلامة مائية عمومية عندما يحتوي استعلام الدفق على علامات مائية متعددة (branch-4.x)
- [SPARK-24596][SQL] إبطال ذاكرة التخزين المؤقت غير المتتالية
- عند وضع طريقة عرض مؤقتة غير متعاقبة أو إسقاطها، لا يلزم إجراء تحليل متعاقب لجميع الخطط التي تعتمد على طريقة العرض، حيث لا يتم تغيير البيانات الأساسية.
- [SPARK-23927][SQL] إضافة تعبير "تسلسل"
- [SPARK-24636][SQL] نوع الإكراه من الصفائف للدالة array_join
- [SPARK-22384][SQL] تحسين تشذيب القسم عند التفاف السمة في Cast
- تحسين تشذيب القسم، قادر على دفع دالات تقييم القسم لأسفل باستخدام نوع آمن (int إلى طويل، وليس طويلا إلى int).
- [SPARK-24385][SQL] حل غموض حالة الانضمام الذاتي ل EqualNullSafe
- تنفيذ EqualNullSafe لحل غموض حالة الانضمام الذاتي.
- [SPARK-24696][SQL] فشل قاعدة ColumnPruning في إزالة مشروع إضافي
- إصلاح خطأ في قاعدة ColumnPruning تسبب في حدوث خطأ حلقي لا نهائي في المحسن.
- [SPARK-24603][SQL] إصلاح مرجع findTightestCommonType في التعليقات
- [SPARK-24613][SQL] تعذرت مطابقة ذاكرة التخزين المؤقت مع UDF مع ذاكرات التخزين المؤقت التابعة اللاحقة
- يلتف الخطة المنطقية مع AnalysisBarrier لتجميع خطة التنفيذ في CacheManager، لتجنب تحليل الخطة مرة أخرى. هذا هو أيضا تراجع Spark 2.3.
- [SPARK-24017][SQL] إعادة بناء التعليمات البرمجية ExternalCatalog لتكون واجهة
- [SPARK-24324][PYTHON] يجب أن يقوم Pandas Grouped Map UDF بتعيين أعمدة النتائج حسب الاسم
- تعيين أعمدة النتائج حسب اسم المخطط إذا كان المستخدم المسمى بسلاسل، وإلا باستخدام الموضع.
- [SPARK-23778][CORE] تجنب التبديل العشوائي غير الضروري عندما يحصل الاتحاد على مجموعة بيانات موزعة مرنة فارغة
- يتجاهل مجموعات البيانات الموزعة المرنة الفارغة الواردة في أسلوب الاتحاد لتجنب التبديل الإضافي غير الضروري عندما يكون لجميع مجموعات البيانات الموزعة المرنة الأخرى نفس التقسيم.
- [SPARK-24552][CORE][SQL] استخدم المعرف الفريد بدلا من رقم المحاولة للكتابات.
- تمرير معرف محاولة المهمة الفريد بدلا من رقم المحاولة إلى مصادر بيانات v2 لأنه تتم إعادة استخدام رقم المحاولة عند إعادة محاولة المراحل. يؤثر هذا على واجهات برمجة التطبيقات V1 وV2 لمصدر البيانات، ولكن لن تتأثر واجهات برمجة التطبيقات بتنسيق الملف لأن DBR يستخدم بروتوكول تثبيت مختلف.
- [SPARK-24588][SS] يجب أن تتطلب الصلة المتدفقة HashClusteredPartitioning من الأطفال.
- [SPARK-24589][CORE] تحديد المهام بشكل صحيح في منسق تثبيت الإخراج.
- يضيف المزيد من المعلومات إلى حالة المرحلة التي تعقبها المنسق، بحيث يسمح لمهمة واحدة فقط بتثبيت الإخراج. يزيل هذا الإصلاح أيضا تغييرات التعليمات البرمجية عديمة الفائدة التي تم تقديمها بواسطة SPARK-18113.
- [SPARK-23933][SQL] إضافة دالة map_from_arrays
- [SPARK-24583][SQL] نوع مخطط خاطئ في InsertIntoDataSourceCommand
- عند إنشاء جدول Delta مع قيود NOT NULL، يمكننا إسقاط القيمة الخالية وإدراج قيم NULL دون التحقق من الانتهاك.
- [SPARK-24542][SQL] تسمح سلسلة UDF UDFXPathXXXX للمستخدمين بتمرير XML المصمم بعناية للوصول إلى الملفات العشوائية
- هذا تصحيح أمني تم الإبلاغ عنه من المجتمع. تسمح سلسلة UDF UDFXPathXXXX للمستخدمين بتمرير XML المصمم بعناية للوصول إلى الملفات العشوائية. عندما يستخدم المستخدمون مكتبة التحكم بالوصول الخارجية، قد يتجاوزها المستخدمون ويوصولون إلى محتويات الملف.
- [SPARK-23934][SQL] إضافة دالة map_from_entries
- [SPARK-23912][SQL] إضافة array_distinct
- [SPARK-24574][SQL] تتعامل وظائف array_contains array_position array_remove element_at مع نوع العمود
تحديثات الصيانة
راجع تحديثات صيانة Databricks Runtime 4.3.
بيئة النظام
- نظام التشغيل: Ubuntu 16.04.4 LTS
- Java: 1.8.0_162
- Scala: 2.11.8
- Python: 2.7.12 لمجموعات Python 2 و3.5.2 لمجموعات Python 3.
- R: R الإصدار 3.4.4 (2018-03-15)
- مجموعات GPU: يتم تثبيت مكتبات NVIDIA GPU التالية:
- Tesla driver 375.66
- CUDA 9.0
- cuDNN 7.0
مكتبات Python المثبتة
مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
---|---|---|---|---|---|
ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
boto | 2.42.0 | boto3 | 1.4.1 | روبوت الدردشة | 1.4.70 |
brewer2mpl | 1.4.1 | شهادة | 2016.2.28 | cffi | 1.7.0 |
تجزئة | 2.3.0 | سمة ملونة | 0.3.7 | configobj | 5.0.6 |
التشفير | 1.5 | دورة | 0.10.0 | Cython | 0.24.1 |
ديكور | 4.0.10 | docutils | 0.14 | قائمة تعداد 34 | 1.1.6 |
et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
صمام مدمج | 2.0.4 | العقود الاجله | 3.2.0 | ggplot | 0.6.8 |
html5lib | 0.999 | idna | 2.1 | عنوان ipaddress | 1.0.16 |
ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
جينجا 2 | 2.8 | مسار jmespath | 0.9.0 | llvmlite | 0.13.0 |
lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
mpld3 | 0.2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
pandas | 0.19.2 | pathlib2 | 2.1.0 | بتسي | 0.4.1 |
pexpect | 4.0.1 | pickleshare | 0.7.4 | مخدة | 3.3.1 |
pip | 10.0.1 | رقائق | 3.9 | مجموعة أدوات المطالبة | 1.0.7 |
psycopg2 | 2.6.2 | عملية ptyprocess | 0.5.1 | py4j | 0.10.3 |
pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
الطلبات | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
شفرة | 0.18.1 | نظف | 0.32 | بحر محمول | 0.7.1 |
أدوات الإعداد | 39.2.0 | simplejson | 3.8.2 | بسيط3 | 1.0 |
أحادي الموضع | 3.4.0.3 | ستة | 1.10.0 | نماذج الإحصائيات | 0.6.1 |
اعصار | 5.0.2 | سمات السمات | 4.3.0 | urllib3 | 1.19.1 |
virtualenv | 15.0.1 | wcwidth | 0.1.7 | دولاب | 0.31.1 |
wsgiref | 0.1.2 |
مكتبات R المثبتة
مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
---|---|---|---|---|---|
abind | 1.4-5 | assertthat | 0.2.0 | backports | 1.1.2 |
الأساس | 3.4.4 | BH | 1.66.0-1 | bindr | 0.1.1 |
bindrcpp | 0.2.2 | بت | 1.1-12 | bit64 | 0.9-7 |
bitops | 1.0-6 | كائن ثنائي كبير الحجم | 1.1.1 | boot | 1.3-20 |
المشروب | 1.0-6 | broom | 0.4.4 | car | 3.0-0 |
carData | 3.0-1 | علامة إقحام | 6.0-79 | cellranger | 1.1.0 |
كرون | 2.3-52 | فئة | 7.3-14 | cli | 1.0.0 |
نظام مجموعة | 2.0.7-1 | codetools | 0.2-15 | colorspace | 1.3-2 |
العلامة الشائعة | 1.4 | compiler | 3.4.4 | crayon | 1.3.4 |
curl | 3.2 | CVST | 0.2-1 | data.table | 1.10.4-3 |
مجموعات البيانات | 3.4.4 | DBI | 0.8 | ddalpha | 1.3.1.1 |
DEoptimR | 1.0-8 | تنازلي | 1.1.1 | devtools | 1.13.5 |
دي كرومات | 2.0-0 | digest | 0.6.15 | أحمر خافت | 0.1.0 |
doMC | 1.3.5 | dplyr | 0.7.4 | معدل الارتداد الدفاعي | 0.0.3 |
forcats | 0.3.0 | Foreach | 1.4.4 | foreign | 0.8-70 |
غيغابايت | 2.1.3 | ggplot2 | 2.2.1 | git2r | 0.21.0 |
glmnet | 2.0-16 | glue | 1.2.0 | gower | 0.1.2 |
graphics | 3.4.4 | grDevices | 3.4.4 | grid | 3.4.4 |
gsubfn | 0.7 | gtable | 0.2.0 | h2o | 3.16.0.2 |
haven | 1.1.1 | hms | 0.4.2 | httr | 1.3.1 |
hwriter | 1.3.2 | hwriterPlus | 1.0-3 | ipred | 0.9-6 |
iterators | 1.0.9 | jsonlite | 1.5 | kernlab | 0.9-25 |
KernSmooth | 2.23-15 | labeling | 0.3 | lattice | 0.20-35 |
lava | 1.6.1 | lazyeval | 0.2.1 | أكثر طفاية | 0.3.3 |
lme4 | 1.1-17 | lubridate | 1.7.3 | magrittr | 1.5 |
مشروع الخريطة | 1.2.6 | الخرائط | 3.3.0 | أصنام الخرائط | 0.9-2 |
MASS | 7.3-50 | مصفوفة | 1.2-14 | نماذج المصفوفة | 0.4-1 |
المذكرة | 1.1.0 | الأساليب | 3.4.4 | mgcv | 1.8-24 |
mime | 0.5 | مينقا | 1.2.4 | نور | 1.5-5 |
ModelMetrics | 1.1.0 | munsell | 0.4.3 | mvtnorm | 1.0-7 |
nlme | 3.1-137 | nloptr | 1.0.4 | nnet | 7.3-12 |
numDeriv | 2016.8-1 | openssl | 1.0.1 | openxlsx | 4.0.17 |
parallel | 3.4.4 | pbkrtest | 0.4-7 | pillar | 1.2.1 |
pkgconfig | 2.0.1 | pkgKitten | 0.1.4 | plogr | 0.2.0 |
plyr | 1.8.4 | مدح | 1.0.0 | prettyunits | 1.0.2 |
بروك | 1.11.0 | prodlim | 1.6.1 | proto | 1.0.0 |
النفسي | 1.8.3.3 | purrr | 0.2.4 | quantreg | 5.35 |
R.methodsS3 | 1.7.1 | R.oo | 1.21.0 | R.utils | 2.6.0 |
R6 | 2.2.2 | randomForest | 4.6-14 | RColorBrewer | 1.1-2 |
Rcpp | 0.12.16 | RcppEigen | 0.3.3.4.0 | RcppRoll | 0.2.2 |
RCurl | 1.95-4.10 | readr | 1.1.1 | readxl | 1.0.0 |
recipes | 0.1.2 | rematch | 1.0.1 | reshape2 | 1.4.3 |
ريو | 0.5.10 | rlang | 0.2.0 | قاعدة قوية | 0.92-8 |
RODBC | 1.3-15 | roxygen2 | 6.0.1 | rpart | 4.1-13 |
rprojroot | 1.3-2 | Rserve | 1.7-3 | RSQLite | 2.1.0 |
rstudioapi | 0.7 | scales | 0.5.0 | sfsmisc | 1.1-2 |
sp | 1.2-7 | سبارك | 2.3.1 | SparseM | 1.77 |
spatial | 7.3-11 | splines | 3.4.4 | sqldf | 0.4-11 |
SQUAREM | 2017.10-1 | statmod | 1.4.30 | stats | 3.4.4 |
stats4 | 3.4.4 | stringi | 1.1.7 | stringr | 1.3.0 |
survival | 2.42-3 | tcltk | 3.4.4 | TeachingDemos | 2.10 |
اختبار الذي | 2.0.0 | tibble | 1.4.2 | tidyr | 0.8.0 |
tidyselect | 0.2.4 | timeDate | 3043.102 | الأدوات | 3.4.4 |
utf8 | 1.1.3 | utils | 3.4.4 | viridisLite | 0.3.0 |
whisker | 0.3-2 | withr | 2.1.2 | xml2 | 1.2.0 |
مكتبات Java و Scala المثبتة (إصدار نظام مجموعة Scala 2.11)
معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.7.3 |
com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
com.amazonaws | aws-java-sdk-config | 1.11.313 |
com.amazonaws | aws-java-sdk-core | 1.11.313 |
com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
com.amazonaws | aws-java-sdk-directory | 1.11.313 |
com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
com.amazonaws | aws-java-sdk-efs | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
com.amazonaws | aws-java-sdk-emr | 1.11.313 |
com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
com.amazonaws | aws-java-sdk-iam | 1.11.313 |
com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
com.amazonaws | aws-java-sdk-kms | 1.11.313 |
com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
com.amazonaws | aws-java-sdk-logs | 1.11.313 |
com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
com.amazonaws | aws-java-sdk-rds | 1.11.313 |
com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
com.amazonaws | aws-java-sdk-ses | 1.11.313 |
com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
com.amazonaws | aws-java-sdk-sns | 1.11.313 |
com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
com.amazonaws | aws-java-sdk-sts | 1.11.313 |
com.amazonaws | دعم aws-java-sdk | 1.11.313 |
com.amazonaws | مكتبات aws-java-sdk-swf | 1.11.22 |
com.amazonaws | مساحات عمل aws-java-sdk | 1.11.313 |
com.amazonaws | jmespath-java | 1.11.313 |
البحث في com.جزر | hppc | 0.7.2 |
com.chuusai | shapeless_2.11 | 2.3.2 |
com.clearspring.analytics | استدر | 2.7.0 |
com.databricks | Rserve | 1.8-3 |
com.databricks | dbml-local_2.11 | 0.4.1-db1-spark2.3 |
com.databricks | اختبارات dbml-local_2.11 | 0.4.1-db1-spark2.3 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
com.esotericsoftware | kryo مظلل | 3.0.3 |
com.esotericsoftware | سجل الحد الأدنى | 1.3.0 |
com.fasterxml | زميل | 1.0.0 |
com.fasterxml.jackson.core | التعليقات التوضيحية ل جاكسون | 2.6.7 |
com.fasterxml.jackson.core | جاكسون النواة | 2.6.7 |
com.fasterxml.jackson.core | جاكسون-databind | 2.6.7.1 |
com.fasterxml.jackson.dataformat | جاكسون-dataformat-cbor | 2.6.7 |
com.fasterxml.jackson.datatype | جاكسون-datatype-joda | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
com.github.fommil | أداة تحميل jniloader | 1.1 |
com.github.fommil.netlib | الذاكرة الأساسية | 1.1.2 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java-natives | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java-natives | 1.1 |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
com.github.luben | zstd-jni | 1.3.2-2 |
com.github.rwl | jtransforms | 2.4.0 |
com.google.code.findbugs | jsr305 | 2.0.1 |
com.google.code.gson | gson | 2.2.4 |
com.google.guava | الجوافه | 15.0 |
com.google.protobuf | protobuf-java | 2.6.1 |
com.googlecode.javaewah | JavaEWAH | 0.3.2 |
com.h2database | h2 | 1.3.174 |
com.jamesmurty.utils | java-xmlbuilder | 1.1 |
com.jcraft | jsch | 0.1.50 |
com.jolbox | cp عظمي | 0.8.0.RELEASE |
com.mchange | c3p0 | 0.9.5.1 |
com.mchange | mchange-commons-java | 0.2.10 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
com.ning | ضغط lzf | 1.0.3 |
com.sun.mail | javax.mail | 1.5.2 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.11 | 0.3 |
com.twitter | برد-java | 0.8.4 |
com.twitter | chill_2.11 | 0.8.4 |
com.twitter | مجموعة parquet-hadoop | 1.6.0 |
com.twitter | util-app_2.11 | 6.23.0 |
com.twitter | util-core_2.11 | 6.23.0 |
com.twitter | util-jvm_2.11 | 6.23.0 |
com.typesafe | config | 1.2.1 |
com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
com.univocity | محللات أحادية التكافؤ | 2.5.9 |
com.vlkan | خزائن مسطحة | 1.2.0-3f79e055 |
com.zaxxer | HikariCP | 3.1.0 |
شائعات-beanutils | شائعات-beanutils | 1.7.0 |
شائعات-beanutils | commons-beanutils-core | 1.8.0 |
commons-cli | commons-cli | 1.2 |
commons-codec | commons-codec | 1.10 |
المجموعات المشتركة | المجموعات المشتركة | 3.2.2 |
تكوين المشتركات | تكوين المشتركات | 1.6 |
commons-dbcp | commons-dbcp | 1.4 |
أداة تجزئة الشائعات | أداة تجزئة الشائعات | 1.8 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.4 |
commons-lang | commons-lang | 2.6 |
تسجيل المشتركات | تسجيل المشتركات | 1.1.3 |
commons-net | commons-net | 2.2 |
تجمع مشترك | تجمع مشترك | 1.5.4 |
info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
io.airlift | أداة ضغط الهواء | 0.8 |
io.dropwizard.metrics | metrics-core | 3.1.5 |
io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
io.dropwizard.metrics | metrics-graphite | 3.1.5 |
io.dropwizard.metrics | المقاييس-الفحوصات الصحية | 3.1.5 |
io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
io.dropwizard.metrics | metrics-json | 3.1.5 |
io.dropwizard.metrics | metrics-jvm | 3.1.5 |
io.dropwizard.metrics | metrics-log4j | 3.1.5 |
io.dropwizard.metrics | metrics-servlets | 3.1.5 |
io.netty | netty | 3.9.9.Final |
io.netty | netty-all | 4.1.17.Final |
io.prometheus | واجهة سطر الأوامر البسيطة | 0.0.16 |
io.prometheus | simpleclient_common | 0.0.16 |
io.prometheus | simpleclient_dropwizard | 0.0.16 |
io.prometheus | simpleclient_servlet | 0.0.16 |
io.prometheus.jmx | جامع | 0.7 |
javax.activation | التنشيط | 1.1.1 |
javax.annotation | javax.annotation-api | 1.2 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.servlet | javax.servlet-api | 3.1.0 |
javax.servlet.jsp | jsp-api | 2.1 |
javax.transaction | jta | 1.1 |
javax.validation | واجهة برمجة تطبيقات التحقق من الصحة | 1.1.0.Final |
javax.ws.rs | javax.ws.rs-api | 2.0.1 |
javax.xml.bind | jaxb-api | 2.2.2 |
javax.xml.stream | stax-api | 1.0-2 |
التفاف دائري | التفاف دائري | 5.5.1 |
jline | jline | 2.11 |
joda-time | joda-time | 2.9.3 |
log4j | apache-log4j-extras | 1.2.17 |
log4j | log4j | 1.2.17 |
net.hydromatic | خصائص eigenbase | 1.1.5 |
net.iharder | قاعدة 64 | 2.3.8 |
net.java.dev.jets3t | jets3t | 0.9.4 |
net.razorvine | pyrolite | 4.13 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-jdbc | 3.6.3 |
net.snowflake | spark-snowflake_2.11 | 2.4.1 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt | oncrpc | 1.0.7 |
org.antlr | ST4 | 4.0.4 |
org.antlr | وقت تشغيل antlr | 3.4 |
org.antlr | وقت تشغيل antlr4 | 4.7 |
org.antlr | سلسلة قوالب | 3.2.1 |
org.apache.ant | نمل | 1.9.2 |
org.apache.ant | نملة-jsch | 1.9.2 |
org.apache.ant | ant-launcher | 1.9.2 |
org.apache.سهم | تنسيق السهم | 0.8.0 |
org.apache.سهم | ذاكرة الأسهم | 0.8.0 |
org.apache.سهم | خط متجه للسهم | 0.8.0 |
org.apache.avro | avro | 1.7.7 |
org.apache.avro | avro-ipc | 1.7.7 |
org.apache.avro | اختبارات avro-ipc | 1.7.7 |
org.apache.avro | avro-mapred-hadoop2 | 1.7.7 |
org.apache.calcite | الكالسيت-أفاتيكا | 1.2.0 حاضنة |
org.apache.calcite | نواة الكالسيت | 1.2.0 حاضنة |
org.apache.calcite | الكالسيت-linq4j | 1.2.0 حاضنة |
org.apache.commons | ضغط الشائعات | 1.4.1 |
org.apache.commons | commons-crypto | 1.0.0 |
org.apache.commons | commons-lang3 | 3.5 |
org.apache.commons | commons-math3 | 3.4.1 |
org.apache.curator | عميل أمين | 2.7.1 |
org.apache.curator | إطار عمل أمين | 2.7.1 |
org.apache.curator | وصفات أمين | 2.7.1 |
org.apache.derby | الدربي | 10.12.1.1 |
org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
org.apache.directory.api | api-util | 1.0.0-M20 |
org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
org.apache.hadoop | تعليقات توضيحية ل hadoop | 2.7.3 |
org.apache.hadoop | hadoop-auth | 2.7.3 |
org.apache.hadoop | عميل hadoop | 2.7.3 |
org.apache.hadoop | hadoop-common | 2.7.3 |
org.apache.hadoop | hadoop-hdfs | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
org.apache.htrace | htrace-core | 3.1.0 حاضنة |
org.apache.httpcomponents | httpclient | 4.5.4 |
org.apache.httpcomponents | httpcore | 4.4.8 |
org.apache.ivy | لبلاب | 2.4.0 |
org.apache.orc | orc-core-nohive | 1.4.3 |
org.apache.orc | orc-mapreduce-nohive | 1.4.3 |
org.apache.parquet | عمود باركيه | 1.8.3-databricks2 |
org.apache.parquet | parquet-common | 1.8.3-databricks2 |
org.apache.parquet | ترميز باركيه | 1.8.3-databricks2 |
org.apache.parquet | تنسيق باركيه | 2.3.1 |
org.apache.parquet | parquet-hadoop | 1.8.3-databricks2 |
org.apache.parquet | باركيه جاكسون | 1.8.3-databricks2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.9.3 |
org.apache.xbean | xbean-asm5 مظلل | 4.4 |
org.apache.zookeeper | zookeeper | 3.4.6 |
org.bouncycastle | bcprov-jdk15on | 1.58 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | جاكسون جاكرس | 1.9.13 |
org.codehaus.jackson | جاكسون-mapper-asl | 1.9.13 |
org.codehaus.jackson | جاكسون-xc | 1.9.13 |
org.codehaus.janino | محول برمجي مشترك | 3.0.8 |
org.codehaus.janino | جانينو | 3.0.8 |
org.datanucleus | datanucleus-api-jdo | 3.2.6 |
org.datanucleus | datanucleus-core | 3.2.10 |
org.datanucleus | datanucleus-rdbms | 3.2.9 |
org.eclipse.jetty | عميل jetty | 9.3.20.v20170531 |
org.eclipse.jetty | متابعة jetty | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
org.eclipse.jetty | وكيل jetty | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
org.eclipse.jetty | خادم jetty | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
org.glassfish.hk2 | محدد موقع hk2 | 2.4.0-b34 |
org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
org.glassfish.hk2.external | إعادة حزم الأوبالين | 2.4.0-b34 |
org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
org.glassfish.jersey.bundles.repackaged | جيرسي جوافا | 2.22.2 |
org.glassfish.jersey.containers | جيرسي حاوية-servlet | 2.22.2 |
org.glassfish.jersey.containers | جيرسي-حاوية-servlet-core | 2.22.2 |
org.glassfish.jersey.core | جيرسي-العميل | 2.22.2 |
org.glassfish.jersey.core | جيرسي المشتركة | 2.22.2 |
org.glassfish.jersey.core | خادم جيرسي | 2.22.2 |
org.glassfish.jersey.media | جيرسي-وسائل الإعلام-جاكسب | 2.22.2 |
org.hibernate | مدقق الإسبات | 5.1.1.Final |
org.iq80.snappy | لاذع | 0.2 |
org.javassist | javassist | 3.18.1-GA |
org.jboss.logging | تسجيل jboss | 3.1.3.GA |
org.jdbi | jdbi | 2.63.1 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.11 | 3.2.11 |
org.json4s | json4s-core_2.11 | 3.2.11 |
org.json4s | json4s-jackson_2.11 | 3.2.11 |
org.lz4 | lz4-java | 1.4.0 |
org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
org.mockito | mockito-all | 1.9.5 |
org.objenesis | داء objenesis | 2.1 |
org.postgresql | postgresql | 42.1.4 |
org.roaringbitmap | هديرBitmap | 0.5.11 |
org.rocksdb | rocksdbjni | 5.2.1 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.11 | 2.11.8 |
org.scala-lang | scala-library_2.11 | 2.11.8 |
org.scala-lang | scala-reflect_2.11 | 2.11.8 |
org.scala-lang | scalap_2.11 | 2.11.8 |
org.scala-lang.modules | scala-parser-combinators_2.11 | 1.0.2 |
org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
org.scala-sbt | واجهة الاختبار | 1.0 |
org.scalacheck | scalacheck_2.11 | 1.12.5 |
org.scalanlp | نسيم macros_2.11 | 0.13.2 |
org.scalanlp | breeze_2.11 | 0.13.2 |
org.scalatest | scalatest_2.11 | 2.2.6 |
org.slf4j | jcl-over-slf4j | 1.7.16 |
org.slf4j | jul-to-slf4j | 1.7.16 |
org.slf4j | slf4j-api | 1.7.16 |
org.slf4j | slf4j-log4j12 | 1.7.16 |
org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
org.spark-project.hive | hive-cli | 1.2.1.spark2 |
org.spark-project.hive | hive-exec | 1.2.1.spark2 |
org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
org.spark-project.spark | غير مستخدم | 1.0.0 |
org.spire-math | spire-macros_2.11 | 0.13.0 |
org.spire-math | spire_2.11 | 0.13.0 |
org.springframework | spring-core | 4.1.4.RELEASE |
org.springframework | spring-test | 4.1.4.RELEASE |
org.tukaani | xz | 1.0 |
مستوى org.typelevel | machinist_2.11 | 0.6.1 |
مستوى org.typelevel | ماكرو-compat_2.11 | 1.1.1 |
org.xerial | sqlite-jdbc | 3.8.11.2 |
org.xerial.snappy | snappy-java | 1.1.2.6 |
org.yaml | ثعبان الثعبان | 1.16 |
oro | oro | 2.0.8 |
software.amazon.ion | ion-java | 1.0.2 |
stax | stax-api | 1.0.1 |
xmlenc | xmlenc | 0.52 |