مشاركة عبر

Databricks Runtime 4.2 (EoS)

  • مقالة

إشعار

انتهى دعم إصدار وقت تشغيل Databricks هذا. للحصول على تاريخ انتهاء الدعم، راجع محفوظات انتهاء الدعم. لجميع إصدارات وقت تشغيل Databricks المدعومة، راجع إصدارات ملاحظات إصدار Databricks Runtime والتوافق.

أصدرت Databricks هذا الإصدار في يوليو 2018.

هام

تم إهمال هذا الإصدار في 5 مارس 2019. لمزيد من المعلومات حول نهج وجدولة إهمال Databricks Runtime، راجع دورة حياة دعم Databricks.

توفر ملاحظات الإصدار التالية معلومات حول Databricks Runtime 4.2، مدعومة من Apache Spark.

Delta Lake

يضيف Databricks Runtime 4.2 تحسينات ووظائف جودة رئيسية إلى Delta Lake. توصي Databricks بشدة بأن يقوم جميع عملاء Delta Lake بالترقية إلى وقت التشغيل الجديد. يظل هذا الإصدار في المعاينة الخاصة، ولكنه يمثل إصدار مرشح تحسبا لإصدار التوفر العام القادم (GA).

الميزات الجديدة

  • يمكن الآن كتابة التدفقات مباشرة إلى جدول Delta مسجل في Hive metastore باستخدام df.writeStream.table(...).

التحسينات

  • تدعم جميع أوامر واستعلامات Delta Lake الآن الإشارة إلى جدول باستخدام مساره كمعرف:

    delta.`<path-to-table>`

    OPTIMIZE الاستخدام غير القياسي للأحرف الحرفية للسلسلة مسبقا والمطلوب VACUUM (أي ). '<path-to-table>'

  • DESCRIBE HISTORY يتضمن الآن معرف التثبيت ويتم ترتيبه من الأحدث إلى الأقدم افتراضيا.

إصلاح الأخطاء

  • تعمل التصفية استنادا إلى دالات تقييم القسم الآن بشكل صحيح حتى عندما تختلف حالة دالات التقييم عن حالة الجدول.
  • تم إصلاح العمود AnalysisException المفقود عند إجراء عمليات التحقق من المساواة على الأعمدة المنطقية في جداول Delta (أي ، booleanValue = true).
  • CREATE TABLE لم يعد يعدل سجل المعاملات عند إنشاء مؤشر إلى جدول موجود. وهذا يمنع التعارضات غير الضرورية مع التدفقات المتزامنة ويسمح بإنشاء مؤشر metastore إلى جداول حيث يكون للمستخدم حق الوصول للقراءة فقط إلى البيانات.
  • لم يعد الاتصال display() على دفق مع كميات كبيرة من البيانات يسبب OOM في برنامج التشغيل.
  • AnalysisException يتم طرح الآن عند حذف مسار Delta Lake أساسي، بدلا من إرجاع نتائج فارغة.
  • يمكن تطبيق تكوينات Delta Lake التي تتطلب إصدار بروتوكول معين (على سبيل المثال، appendOnly) فقط على الجداول في إصدار مناسب.
  • عند تحديث حالة جدول Delta، يتم الآن اقتطاع النسب الطويلة تلقائيا لتجنب StackOverFlowError.

دفق منظم

الميزات الجديدة

  • يدعم كل من Delta Lake وKafka الآن Trigger.once بشكل كامل. قد تؤدي حدود المعدلات السابقة (على سبيل المثال maxOffsetsPerTrigger أو maxFilesPerTrigger) المحددة كخيارات المصدر أو الإعدادات الافتراضية إلى تنفيذ جزئي للبيانات المتوفرة فقط. يتم الآن تجاهل هذه الخيارات عند Trigger.Once استخدامها، مما يسمح بمعالجة جميع البيانات المتوفرة حاليا.

  • تمت إضافة دفق foreachBatch() جديد في Scala، حيث يمكنك تحديد دالة لمعالجة إخراج كل ميكروباتش باستخدام عمليات DataFrame. وهذا يمكن ما يلي:

    • استخدام مصادر بيانات الدفعات الحالية لكتابة مخرجات الميكروباتش إلى الأنظمة التي لا تحتوي على مصدر بيانات دفق حتى الآن (على سبيل المثال، استخدم كاتب دفعة Cassandra على كل إخراج دفعة صغيرة).
    • كتابة إخراج الميكروباتش إلى مواقع متعددة.
    • تطبيق عمليات DataFrame والجدول على مخرجات الميكروبات غير المدعومة في دفق DataFrames حتى الآن (على سبيل المثال، رفع إخراج الميكروبات في جدول Delta).

  • تمت إضافة from_avro/to_avro وظائف لقراءة وكتابة بيانات Avro داخل DataFrame بدلا من الملفات فقط، على from_json/to_jsonغرار . راجع قراءة وكتابة بيانات Avro في أي مكان لمزيد من التفاصيل.

  • دعم إضافي للتدفق foreach() في Python (متوفر بالفعل في Scala). راجع وثائق foreach و foreachBatch لمزيد من التفاصيل.

التحسينات

  • إنشاء أسرع لنتائج الإخراج و/أو تنظيف الحالة مع العمليات ذات الحالة (mapGroupsWithState، ربط دفق الدفق، تجميع الدفق، dropDuplicates) عند عدم وجود بيانات في دفق الإدخال.

إصلاح الأخطاء

  • خطأ تصحيح ثابت SPARK-24588 في ربط دفق البث حيث أبلغ الانضمام عن نتائج أقل عند وجود إعادة تقسيم صريحة قبله (على سبيل المثال، df1.repartition("a", "b").join(df, "a")).

التغييرات والتحسينات الأخرى

  • تمت إضافة دعم لأمر SQL Deny للمجموعات الممكنة للتحكم في الوصول إلى الجدول. يمكن للمستخدمين الآن رفض أذونات معينة بنفس الطريقة التي يمكن منحها من قبل. سوف يحل الإذن الذي تم رفضه محل الإذن الممنوح. لا يزال يسمح دائما لمسؤولي ومالكي عنصر معين بتنفيذ الإجراءات.
  • مصدر بيانات Azure Data Lake Storage Gen2 الجديد الذي يستخدم برنامج تشغيل ABFS. راجع الاتصال ب Azure Data Lake Storage Gen2 وBlob Storage
  • ترقية بعض مكتبات Python المثبتة:
    • pip: من 10.0.0b2 إلى 10.0.1
    • setuptools: من 39.0.1 إلى 39.2.0
    • إعصار: 5.0.1 إلى 5.0.2
    • العجلة: 0.31.0 إلى 0.31.1
  • ترقية العديد من مكتبات R المثبتة. راجع مكتبات R المثبتة.
  • دعم Parquet المحسن
  • ترقية Apache ORC من 1.4.1 إلى 1.4.3

Apache Spark

يتضمن Databricks Runtime 4.2 Apache Spark 2.3.1. يتضمن هذا الإصدار جميع الإصلاحات والتحسينات المضمنة في Databricks Runtime 4.1 (EoS)، بالإضافة إلى إصلاحات الأخطاء الإضافية والتحسينات التالية التي تم إجراؤها على Spark:

  • [SPARK-24588][SS] يجب أن تتطلب الصلة المتدفقة HashClusteredPartitioning من الأطفال
  • [SPARK-23931][SQL] قم بإجراء arrays_zip في function.scala @scala.annotation.varargs.
  • [SPARK-24633][SQL] إصلاح codegen عند الحاجة إلى التقسيم arrays_zip
  • [SPARK-24578][CORE] حجم منطقة Cap الفرعية للمخزن المؤقت nio الذي تم إرجاعه
  • [SPARK-24613][SQL] تعذرت مطابقة ذاكرة التخزين المؤقت مع UDF مع ذاكرات التخزين المؤقت التابعة اللاحقة
  • [SPARK-24583][SQL] نوع مخطط خاطئ في InsertIntoDataSourceCommand
  • [SPARK-24565][SS] إضافة واجهة برمجة تطبيقات ل في Structured Streaming لعرض صفوف الإخراج لكل قالب صغير ك DataFrame
  • [SPARK-24396][SS][PYSPARK] إضافة Structured Streaming ForeachWriter ل Python
  • [SPARK-24216][SQL] يستخدم Spark TypedAggregateExpression getSimpleName غير الآمن في Scala
  • [SPARK-24452][SQL][CORE] تجنب التجاوز المحتمل في إضافة int أو عدة
  • [SPARK-24187][R][SQL] إضافة دالة array_join إلى SparkR
  • [SPARK-24525][SS] توفير خيار للحد من عدد الصفوف في MemorySink
  • [SPARK-24331][SPARKR][SQL] إضافة map_entries arrays_overlap array_repeat إلى SparkR
  • [SPARK-23931][SQL] إضافة وظيفة arrays_zip إلى Spark SQL
  • [SPARK-24186][R][SQL] تغيير العكس و concat إلى دالات المجموعة في R
  • [SPARK-24198][SPARKR][SQL] إضافة دالة الشريحة إلى SparkR
  • [SPARK-23920][SQL] إضافة array_remove لإزالة كافة العناصر التي تساوي العنصر من الصفيف
  • [SPARK-24197][SPARKR][SQL] إضافة وظيفة array_sort إلى SparkR
  • [SPARK-24340][CORE] تنظيف ملفات إدارة كتلة القرص غير العشوائية بعد خروج المنفذ على نظام مجموعة مستقل
  • [SPARK-23935][SQL] إضافة دالة map_entries
  • [SPARK-24500][SQL] تأكد من تحقيق التدفقات أثناء تحويلات الشجرة.
  • [SPARK-24495][SQL] تأكد من إرجاع طلب خطة خاطئة عند إعادة ترتيب مفاتيح متساوية
  • [SPARK-24506][واجهة المستخدم] إضافة عوامل تصفية واجهة المستخدم إلى علامات التبويب المضافة بعد الربط
  • [SPARK-24468][SQL] معالجة المقياس السالب عند ضبط الدقة للعمليات العشرية
  • [SPARK-24313][SQL] إصلاح التقييم المفسر لعمليات المجموعة للأنوع المعقدة
  • [SPARK-23922][SQL] إضافة دالة arrays_overlap
  • [SPARK-24369][SQL] معالجة صحيحة لتجميعات مميزة متعددة لها نفس مجموعة الوسيطات
  • [SPARK-24455][CORE] إصلاح الأخطاء المطبعية في تعليق TaskSchedulerImpl
  • [SPARK-24397][PYSPARK] تمت إضافة TaskContext.getLocalProperty(key) في Python
  • [SPARK-24117][SQL] توحيد getSizePerRow
  • [SPARK-24156][SS] إصلاح الخطأ في الاسترداد من الفشل في دفعة بدون بيانات
  • [SPARK-24414][واجهة المستخدم] حساب العدد الصحيح للمهام لمرحلة.
  • [SPARK-23754][PYTHON] إعادة رفع StopIteration في التعليمات البرمجية للعميل
  • [SPARK-23991][DSTREAMS] إصلاح فقدان البيانات عند فشل كتابة WAL في تخصيصBlocksToBatch
  • [SPARK-24373][SQL] إضافة AnalysisBarrier إلى RelationalGroupedDataset وKeyValueGroupedDataset التابع
  • [SPARK-24392][PYTHON] تسمية pandas_udf على أنها تجريبية
  • [SPARK-24334] إصلاح حالة السباق في سهمPythonRunner يسبب إيقاف تشغيل غير نظيف لمخصص ذاكرة السهم
  • [SPARK-19112][CORE] إضافة shortCompressionCodecNames مفقودة إلى التكوين.
  • [SPARK-24244][SPARK-24368][SQL] تمرير الأعمدة المطلوبة فقط إلى محلل CSV
  • [SPARK-24366][SQL] تحسين رسائل الخطأ لتحويل النوع
  • [SPARK-24371][SQL] تمت إضافة isInCollection في واجهة برمجة تطبيقات DataFrame ل Scala...
  • [SPARK-23925][SQL] إضافة دالة مجموعة array_repeat
  • [ثانوي] إضافة تكوين SSL للمنفذ في toString و scaladoc
  • [SPARK-24378][SQL] إصلاح أمثلة غير صحيحة لدالة date_trunc
  • [SPARK-24364][SS] منع InMemoryFileIndex من الفشل إذا لم يكن مسار الملف موجودا
  • [SPARK-24257][SQL] قد يكون حساب LongToUnsafeRowMap للحجم الجديد خاطئا
  • [SPARK-24348]إصلاح الخطأ [SQL] element_at"
  • [SPARK-23930][SQL] إضافة دالة شريحة
  • [SPARK-23416][SS] إضافة أسلوب توقف محدد ل ContinuousExecution.
  • [SPARK-23852][SQL] الترقية إلى Parquet 1.8.3
  • [SPARK-24350][SQL] إصلاح ClassCastException في الدالة "array_position"
  • [SPARK-24321][SQL] استخراج التعليمات البرمجية الشائعة من القسمة/الباقي إلى سمة أساسية
  • [SPARK-24309][CORE] يجب أن يتوقف AsyncEventQueue عند المقاطعة.
  • [SPARK-23850][SQL] إضافة تكوين منفصل لخيارات SQL redaction.
  • [SPARK-22371][CORE] إرجاع بلا بدلا من طرح استثناء عندما يكون المجمع عبارة عن القمامة التي تم جمعها.
  • [SPARK-24002][SQL] المهمة غير قابلة للتسلسل بسبب org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
  • [SPARK-23921][SQL] إضافة دالة array_sort
  • [SPARK-23923][SQL] إضافة دالة العلاقة الأساسية
  • [SPARK-24159][SS] تمكين دفعات صغيرة بدون بيانات لبث mapGroupswithState
  • [SPARK-24158][SS] تمكين دفعات بدون بيانات لوصلات الدفق
  • [SPARK-24157][SS] تمكين دفعات بدون بيانات في MicroBatchExecution لتجميع الدفق وإلغاء التكرار
  • [SPARK-23799][SQL] ينتج FilterEstimation.evaluateInSet إحصائيات خاطئة ل STRING
  • [SPARK-17916][SQL] إصلاح السلسلة الفارغة التي يتم تحليلها على أنها خالية عند تعيين nullValue.
  • [SPARK-23916][SQL] إضافة دالة array_join
  • [SPARK-23408][SS] مزامنة إجراءات AddData المتتالية في Streaming*JoinSuite
  • [SPARK-23780][R] فشل استخدام مكتبة googleVis مع SparkR جديد
  • [SPARK-23821][SQL] دالة المجموعة: التسطيح
  • [SPARK-23627][SQL] توفير isEmpty في مجموعة البيانات
  • [SPARK-24027][SQL] دعم MapType مع StringType للمفاتيح كنوع الجذر حسب from_json
  • [SPARK-24035][SQL] بناء جملة SQL ل Pivot - إصلاح تحذير antlr
  • [SPARK-23736][SQL] توسيع دالة concat لدعم أعمدة الصفيف
  • [SPARK-24246][SQL] تحسين AnalysisException عن طريق تعيين السبب عند توفره
  • [SPARK-24263][R] فواصل فحص SparkR java مع openjdk
  • [SPARK-24262][PYTHON] إصلاح الخطأ المطبعي في رسالة خطأ مطابقة نوع UDF
  • [SPARK-24067][البث][KAFKA] السماح بالإزاحات غير المتتالية
  • [SPARK-10878][CORE] إصلاح حالة السباق عندما يحل العديد من العملاء البيانات الاصطناعية في نفس الوقت
  • [SPARK-19181][CORE] إصلاح المقاييس الرائعة "SparkListenerSuite.local"
  • [SPARK-24068]نشر خيارات DataFrameReader إلى مصدر بيانات النص على استنتاج المخطط
  • [SPARK-24214][SS] إصلاح toJSON ل StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
  • [SPARK-23919][SPARK-23924][SPARK-24054][SQL] إضافة دالة array_position/element_at
  • [SPARK-23926][SQL] توسيع الدالة العكسية لدعم وسيطات ArrayType
  • [SPARK-23809][SQL] يجب تعيين SparkSession النشط بواسطة getOrCreate
  • [SPARK-23094][SPARK-23723][SPARK-23724][SQL] دعم الترميز المخصص لملفات json
  • [SPARK-24035][SQL] بناء جملة SQL ل Pivot
  • [SPARK-24069][R] إضافة وظائف array_min / array_max
  • [SPARK-23976][CORE] الكشف عن تجاوز الطول في UTF8String.concat()/ByteArray.concat()
  • [SPARK-24188][CORE] استعادة نقطة نهاية واجهة برمجة التطبيقات "/version".
  • [SPARK-24128][SQL] خيار تكوين الإشارة في خطأ CROSS JOIN الضمني
  • [SPARK-23291][SQL][R] يجب ألا تقلل السلسلة الفرعية R من موضع البدء بمقدار 1 عند استدعاء Scala API
  • [SPARK-23697][CORE] يجب أن يعرف LegacyAccumulatorWrapper isZero بشكل صحيح
  • [SPARK-24168][SQL] يجب ألا يصل WindowExec إلى SQLConf من جانب المنفذ
  • [SPARK-24143]تصفية الكتل الفارغة عند تحويل mapstatus إلى زوج (blockId, size)
  • [SPARK-23917][SPARK-23918][SQL] إضافة دالة array_max/array_min
  • [SPARK-23905][SQL] إضافة يوم أسبوع UDF
  • [SPARK-16406][SQL] تحسين أداء LogicalPlan.resolve
  • [SPARK-24013][SQL] إزالة الضغط غير الضروري في ApproximatePercentile
  • [SPARK-23433][CORE] تحديث إكمال مهام الزومبي المتأخرة لجميع مجموعات المهام
  • [SPARK-24169][SQL] يجب ألا تصل JsonToStructs إلى SQLConf من جانب المنفذ
  • [SPARK-24133][SQL] Backport [SPARK-24133]التحقق من وجود تجاوز عدد صحيح عند تغيير حجم WritableColumnVectors
  • [SPARK-24166][SQL] يجب ألا يصل InMemoryTableScanExec إلى SQLConf من جانب المنفذ
  • [SPARK-24133][SQL] التحقق من وجود تجاوز عدد صحيح عند تغيير حجم WritableColumnVectors
  • [SPARK-24085][SQL] يقوم الاستعلام بإرجاع UnsupportedOperationException عندما يكون الاستعلام الفرعي العددي موجودا في تعبير التقسيم
  • [SPARK-24062][خادم THRIFT] إصلاح مشكلة عدم تمكين تشفير SASL في خادم التوفير
  • [SPARK-23004][SS] تأكد من استدعاء StateStore.commit مرة واحدة فقط في مهمة تجميع البث
  • [SPARK-23188][SQL] جعل حجم دفعة قارئ الكولمار المتجه قابلا للتكوين
  • [SPARK-23375][SPARK-23973][SQL] إزالة الفرز غير الضروري في المحسن
  • [SPARK-23877][SQL] استخدام دالات تقييم التصفية لتقليم الأقسام في استعلامات بيانات التعريف فقط
  • [SPARK-24033][SQL] إصلاح غير متطابق لإطار النافذة المحددwindowframe(RowFrame, -1, -1)
  • [SPARK-23340][SQL] ترقية Apache ORC إلى 1.4.3
  • إصلاح مشكلة فحص القيم الخالية المفقودة التي من المرجح أن يتم تشغيلها بواسطة إنشاء التعليمات البرمجية experssion المبسطة، وعرضها بواسطة SPARK-23986 لأنها جعلت التعليمات البرمجية المصدر التي تم إنشاؤها أطول قليلا، وشغلت مسار التعليمات البرمجية الإشكالية (تقسيم التعليمات البرمجية حسب Expression.reduceCodeSize()).
  • [SPARK-23989][SQL] يجب أن ينسخ التبادل البيانات قبل التبديل العشوائي غير المتسلسلة
  • [SPARK-24021][CORE] إصلاح الخطأ في تحديث BlacklistTrackerBlacklistForFetchFailure
  • [SPARK-24014][PYSPARK] إضافة أسلوب onStreamingStarted إلى StreamingListener
  • [SPARK-23963][SQL] معالجة عدد كبير من الأعمدة في الاستعلام بشكل صحيح على جدول Hive المستند إلى النص
  • [SPARK-23948] تشغيل وحدة إصغاء مهمة mapstage في submitMissingTasks
  • [SPARK-23986][SQL] يمكن ل freshName إنشاء أسماء غير فريدة
  • [SPARK-23835][SQL] إضافة فحص غير فارغ إلى إلغاء تسلسل وسيطات Tuples

تحديثات الصيانة

راجع تحديثات صيانة Databricks Runtime 4.2.

بيئة النظام

  • نظام التشغيل: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_162
  • Scala: 2.11.8
  • Python: 2.7.12 لمجموعات Python 2 و3.5.2 لمجموعات Python 3.
  • R: R الإصدار 3.4.4 (2018-03-15)
  • مجموعات GPU: يتم تثبيت مكتبات NVIDIA GPU التالية:
    • Tesla driver 375.66
    • CUDA 9.0
    • cuDNN 7.0

مكتبات Python المثبتة

مكتبة إصدار مكتبة إصدار مكتبة إصدار
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 روبوت الدردشة 1.4.70
brewer2mpl 1.4.1 شهادة 2016.2.28 cffi 1.7.0
تجزئة 2.3.0 سمة ملونة 0.3.7 configobj 5.0.6
التشفير 1.5 دورة 0.10.0 Cython 0.24.1
ديكور 4.0.10 docutils 0.14 قائمة تعداد 34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
صمام مدمج 2.0.4 العقود الاجله 3.2.0 ggplot 0.6.8
html5lib 0.999 idna 2.1 عنوان ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
جينجا 2 2.8 مسار jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0.2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
pandas 0.19.2 pathlib2 2.1.0 بتسي 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 مخدة 3.3.1
pip 10.0.1 رقائق 3.9 مجموعة أدوات المطالبة 1.0.7
psycopg2 2.6.2 عملية ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
الطلبات 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
شفرة 0.18.1 نظف 0.32 بحر محمول 0.7.1
أدوات الإعداد 39.2.0 simplejson 3.8.2 بسيط3 1.0
أحادي الموضع 3.4.0.3 ستة 1.10.0 نماذج الإحصائيات 0.6.1
اعصار 5.0.2 سمات السمات 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 دولاب 0.31.1
wsgiref 0.1.2

مكتبات R المثبتة

مكتبة إصدار مكتبة إصدار مكتبة إصدار
abind 1.4-5 assertthat 0.2.0 backports 1.1.2
الأساس 3.4.4 BH 1.66.0-1 bindr 0.1.1
bindrcpp 0.2.2 بت 1.1-12 bit64 0.9-7
bitops 1.0-6 كائن ثنائي كبير الحجم 1.1.1 boot 1.3-20
المشروب 1.0-6 broom 0.4.4 car 3.0-0
carData 3.0-1 علامة إقحام 6.0-79 cellranger 1.1.0
كرون 2.3-52 فئة 7.3-14 cli 1.0.0
نظام مجموعة 2.0.7-1 codetools 0.2-15 colorspace 1.3-2
العلامة الشائعة 1.4 compiler 3.4.4 crayon 1.3.4
curl 3.2 CVST 0.2-1 data.table 1.10.4-3
مجموعات البيانات 3.4.4 DBI 0.8 ddalpha 1.3.1.1
DEoptimR 1.0-8 تنازلي 1.1.1 devtools 1.13.5
دي كرومات 2.0-0 digest 0.6.15 أحمر خافت 0.1.0
doMC 1.3.5 dplyr 0.7.4 معدل الارتداد الدفاعي 0.0.3
forcats 0.3.0 Foreach 1.4.4 foreign 0.8-70
غيغابايت 2.1.3 ggplot2 2.2.1 git2r 0.21.0
glmnet 2.0-16 glue 1.2.0 gower 0.1.2
graphics 3.4.4 grDevices 3.4.4 grid 3.4.4
gsubfn 0.7 gtable 0.2.0 h2o 3.16.0.2
haven 1.1.1 hms 0.4.2 httr ⁦⁩⁦⁩1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
iterators 1.0.9 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 labeling 0.3 lattice 0.20-35
lava 1.6.1 lazyeval 0.2.1 أكثر طفاية 0.3.3
lme4 1.1-17 lubridate 1.7.3 magrittr 1.5
مشروع الخريطة 1.2.6 الخرائط 3.3.0 أصنام الخرائط 0.9-2
MASS 7.3-50 مصفوفة 1.2-14 نماذج المصفوفة 0.4-1
المذكرة 1.1.0 الأساليب 3.4.4 mgcv 1.8-24
mime 0.5 مينقا 1.2.4 نور 1.5-5
ModelMetrics 1.1.0 munsell 0.4.3 mvtnorm 1.0-7
nlme 3.1-137 nloptr 1.0.4 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.0.1 openxlsx 4.0.17
parallel 3.4.4 pbkrtest 0.4-7 pillar 1.2.1
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.2.0
plyr 1.8.4 مدح 1.0.0 prettyunits 1.0.2
بروك 1.11.0 prodlim 1.6.1 proto 1.0.0
النفسي 1.8.3.3 purrr 0.2.4 quantreg 5.35
R.methodsS3 1.7.1 R.oo 1.21.0 R.utils 2.6.0
R6 2.2.2 randomForest 4.6-14 RColorBrewer 1.1-2
Rcpp 0.12.16 RcppEigen 0.3.3.4.0 RcppRoll 0.2.2
RCurl 1.95-4.10 readr 1.1.1 readxl 1.0.0
recipes 0.1.2 rematch 1.0.1 reshape2 1.4.3
ريو 0.5.10 rlang 0.2.0 قاعدة قوية 0.92-8
RODBC 1.3-15 roxygen2 6.0.1 rpart 4.1-13
rprojroot 1.3-2 Rserve 1.7-3 RSQLite 2.1.0
rstudioapi 0.7 scales 0.5.0 sfsmisc 1.1-2
sp 1.2-7 سبارك 2.3.1 SparseM 1.77
spatial 7.3-11 splines 3.4.4 sqldf 0.4-11
SQUAREM 2017.10-1 statmod 1.4.30 stats 3.4.4
stats4 3.4.4 stringi 1.1.7 stringr 1.3.0
survival 2.42-3 tcltk 3.4.4 TeachingDemos 2.10
اختبار الذي 2.0.0 tibble 1.4.2 tidyr 0.8.0
tidyselect 0.2.4 timeDate 3043.102 الأدوات 3.4.4
utf8 1.1.3 utils 3.4.4 viridisLite 0.3.0
whisker 0.3-2 withr 2.1.2 xml2 1.2.0

مكتبات Java و Scala المثبتة (إصدار نظام مجموعة Scala 2.11)

معرف مجموعة معرف البيانات الاصطناعية إصدار
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws دعم aws-java-sdk 1.11.313
com.amazonaws مكتبات aws-java-sdk-swf 1.11.22
com.amazonaws مساحات عمل aws-java-sdk 1.11.313
com.amazonaws jmespath-java 1.11.313
البحث في com.جزر hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics استدر 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks اختبارات dbml-local_2.11 0.4.1-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo مظلل 3.0.3
com.esotericsoftware سجل الحد الأدنى 1.3.0
com.fasterxml زميل 1.0.0
com.fasterxml.jackson.core التعليقات التوضيحية ل جاكسون 2.6.7
com.fasterxml.jackson.core جاكسون النواة 2.6.7
com.fasterxml.jackson.core جاكسون-databind 2.6.7.1
com.fasterxml.jackson.dataformat جاكسون-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype جاكسون-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil أداة تحميل jniloader 1.1
com.github.fommil.netlib الذاكرة الأساسية 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava الجوافه 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox cp عظمي 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning ضغط lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter برد-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter مجموعة parquet-hadoop 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity محللات أحادية التكافؤ 2.5.9
com.vlkan خزائن مسطحة 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
شائعات-beanutils شائعات-beanutils 1.7.0
شائعات-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
المجموعات المشتركة المجموعات المشتركة 3.2.2
تكوين المشتركات تكوين المشتركات 1.6
commons-dbcp commons-dbcp 1.4
أداة تجزئة الشائعات أداة تجزئة الشائعات 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
تسجيل المشتركات تسجيل المشتركات 1.1.3
commons-net commons-net 2.2
تجمع مشترك تجمع مشترك 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift أداة ضغط الهواء 0.8
io.dropwizard.metrics metrics-core 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics المقاييس-الفحوصات الصحية 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus واجهة سطر الأوامر البسيطة 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx جامع 0.7
javax.activation التنشيط 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation واجهة برمجة تطبيقات التحقق من الصحة 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
التفاف دائري التفاف دائري 5.5.1
jline jline 2.11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic خصائص eigenbase 1.1.5
net.iharder قاعدة 64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-jdbc 3.6.3
net.snowflake spark-snowflake_2.11 2.3.2
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr وقت تشغيل antlr 3.4
org.antlr وقت تشغيل antlr4 4.7
org.antlr سلسلة قوالب 3.2.1
org.apache.ant نمل 1.9.2
org.apache.ant نملة-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.سهم تنسيق السهم 0.8.0
org.apache.سهم ذاكرة الأسهم 0.8.0
org.apache.سهم خط متجه للسهم 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro اختبارات avro-ipc 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite الكالسيت-أفاتيكا 1.2.0 حاضنة
org.apache.calcite نواة الكالسيت 1.2.0 حاضنة
org.apache.calcite الكالسيت-linq4j 1.2.0 حاضنة
org.apache.commons ضغط الشائعات 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator عميل أمين 2.7.1
org.apache.curator إطار عمل أمين 2.7.1
org.apache.curator وصفات أمين 2.7.1
org.apache.derby الدربي 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop تعليقات توضيحية ل hadoop 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop عميل hadoop 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0 حاضنة
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy لبلاب 2.4.0
org.apache.orc orc-core-nohive 1.4.3
org.apache.orc orc-mapreduce-nohive 1.4.3
org.apache.parquet عمود باركيه 1.8.3-databricks2
org.apache.parquet parquet-common 1.8.3-databricks2
org.apache.parquet ترميز باركيه 1.8.3-databricks2
org.apache.parquet تنسيق باركيه 2.3.1
org.apache.parquet parquet-hadoop 1.8.3-databricks2
org.apache.parquet باركيه جاكسون 1.8.3-databricks2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5 مظلل 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson جاكسون جاكرس 1.9.13
org.codehaus.jackson جاكسون-mapper-asl 1.9.13
org.codehaus.jackson جاكسون-xc 1.9.13
org.codehaus.janino محول برمجي مشترك 3.0.8
org.codehaus.janino جانينو 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty عميل jetty 9.3.20.v20170531
org.eclipse.jetty متابعة jetty 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty وكيل jetty 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty خادم jetty 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 محدد موقع hk2 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external إعادة حزم الأوبالين 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged جيرسي جوافا 2.22.2
org.glassfish.jersey.containers جيرسي حاوية-servlet 2.22.2
org.glassfish.jersey.containers جيرسي-حاوية-servlet-core 2.22.2
org.glassfish.jersey.core جيرسي-العميل 2.22.2
org.glassfish.jersey.core جيرسي المشتركة 2.22.2
org.glassfish.jersey.core خادم جيرسي 2.22.2
org.glassfish.jersey.media جيرسي-وسائل الإعلام-جاكسب 2.22.2
org.hibernate مدقق الإسبات 5.1.1.Final
org.iq80.snappy لاذع 0.2
org.javassist javassist 3.18.1-GA
org.jboss.logging تسجيل jboss 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis داء objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap هديرBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt واجهة الاختبار 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp نسيم macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark غير مستخدم 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
مستوى org.typelevel machinist_2.11 0.6.1
مستوى org.typelevel ماكرو-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml ثعبان الثعبان 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52