Databricks Runtime 5.0 ML (EoS)
إشعار
انتهى دعم إصدار وقت تشغيل Databricks هذا. للحصول على تاريخ انتهاء الدعم، راجع محفوظات انتهاء الدعم. لجميع إصدارات وقت تشغيل Databricks المدعومة، راجع إصدارات ملاحظات إصدار Databricks Runtime والتوافق.
أصدرت Databricks هذا الإصدار في نوفمبر 2018.
يوفر Databricks Runtime 5.0 ML بيئة جاهزة للاستخدام للتعلم الآلي وعلوم البيانات. يحتوي على العديد من المكتبات الشائعة، بما في ذلك TensorFlow وKeras وXGBoost. كما أنه يدعم التدريب الموزع على TensorFlow باستخدام Horovod.
لمزيد من المعلومات، بما في ذلك إرشادات إنشاء مجموعة التعلم الآلي من Databricks Runtime، راجع الذكاء الاصطناعي والتعلم الآلي على Databricks.
الميزات الجديدة
تم إنشاء Databricks Runtime 5.0 ML أعلى Databricks Runtime 5.0. للحصول على معلومات حول أحدث الميزات في Databricks Runtime 5.0، راجع ملاحظات إصدار Databricks Runtime 5.0 (EoS ). بالإضافة إلى الميزات الجديدة في Databricks Runtime 5.0، يتضمن Databricks Runtime 5.0 ML الميزات الجديدة التالية:
- HorovodRunner لتشغيل وظائف التدريب على التعلم العميق الموزعة باستخدام Horovod.
- دعم Conda لإدارة الحزم.
- تكامل MLeap .
- تكامل GraphFrames .
إشعار
تلتقط إصدارات Databricks Runtime ML جميع تحديثات الصيانة إلى إصدار وقت تشغيل Databricks الأساسي. للحصول على قائمة بجميع تحديثات الصيانة، راجع تحديثات الصيانة لوقت تشغيل Databricks (مؤرشف) .
بيئة النظام
الفرق في بيئة النظام في Databricks Runtime 5.0 وأنه في Databricks Runtime 5.0 ML هو:
- Python: 2.7.15 لمجموعات Python 2 و3.6.5 لمجموعات Python 3.
- بالنسبة لمجموعات GPU، مكتبات NVIDIA GPU التالية:
- Tesla driver 396.44
- CUDA 9.2
- CUDNN 7.2.1
المكتبات
يتم سرد الاختلافات في المكتبات المضمنة في Databricks Runtime 5.0 وتلك المضمنة في Databricks Runtime 5.0 ML في هذا القسم.
مكتبات Python
يستخدم Databricks Runtime 5.0 ML Conda لإدارة حزمة Python. فيما يلي القائمة الكاملة لحزم Python المتوفرة والإصدارات المثبتة باستخدام إدارة حزم Conda.
| مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| استور | 0.7.1 | backports-abc | 0.5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | بيض | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | روبوت الدردشة | 1.10.62 |
| شهادة | 2018.04.16 | cffi | 1.11.5 | تجزئة | 3.0.4 |
| cloudpickle | 0.5.3 | سمة ملونة | 0.3.9 | configparser | 3.5.0 |
| التشفير | 2.2.2 | دورة | 0.10.0 | Cython | 0.28.2 |
| ديكور | 4.3.0 | docutils | 0.14 | نقاط الإدخال | 0.2.3 |
| قائمة تعداد 34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | صمام مدمج | 2.0.4 | العقود الاجله | 3.2.0 |
| غاست | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.0 | html5lib | 1.0.1 | idna | 2.6 |
| عنوان ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | جينجا 2 | 2.10 | مسار jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | سوء الحظ | 0.8.3 | mleap | 0.8.1 |
| استهزأ | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| تنسيق nbformat | 4.4.0 | nose | 1.3.7 | استبعاد الأنف | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | عوامل تصفية pandocfilter | 1.4.2 |
| باراميكو | 2.4.1 | pathlib2 | 2.3.2 | بتسي | 0.5.0 |
| pbr | 5.1.0 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| مخدة | 5.1.0 | pip | 10.0.1 | رقائق | 3.11 |
| مجموعة أدوات المطالبة | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| عملية ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | الطلبات | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
| شفرة | 1.1.0 | بحر محمول | 0.8.1 | أدوات الإعداد | 39.1.0 |
| إنشاء بسيط | 0.8.1 | أحادي الموضع | 3.4.0.3 | ستة | 1.11.0 |
| نماذج الإحصائيات | 0.9.0 | العملية الفرعية32 | 3.5.3 | لوحة العشرات | 1.10.0 |
| تدفق العشرات | 1.10.0 | لون المصطلحات | 1.1.0 | مسار الاختبار | 0.3.1 |
| اعصار | 5.0.2 | traceback2 | 1.4.0 | سمات السمات | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | ترميزات الويب | 0.5.1 | ويركزيوغ | 0.14.1 |
| دولاب | 0.31.1 | ملف التفافي | 1.10.11 | wsgiref | 0.1.2 |
بالإضافة إلى ذلك، تتضمن حزم Spark التالية وحدات Python النمطية:
| حزمة Spark | وحدة Python النمطية | إصدار |
|---|---|---|
| إطارات العشرات | إطارات العشرات | 0.5.0-s_2.11 |
| إطارات الرسم البياني | إطارات الرسم البياني | 0.6.0-db3-spark2.4 |
| spark-deep-learning | sparkdl | 1.3.0-db2-spark2.4 |
مكتبات R
مكتبات R مطابقة لمكتبات R على Databricks Runtime 5.0.
مكتبات Java وScala (مجموعة Scala 2.11)
بالإضافة إلى مكتبات Java و Scala في Databricks Runtime 5.0، يحتوي Databricks Runtime 5.0 ML على JARs التالية:
| معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
|---|---|---|
| com.databricks | spark-deep-learning | 1.3.0-db2-spark2.4 |
| org.tensorframes | إطارات العشرات | 0.5.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | تدفق libtensor | 1.10.0 |
| org.tensorflow | libtensorflow_jni | 1.10.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.10.0-spark2.4-001 |
| org.tensorflow | تدفق العشرات | 1.10.0 |
| ml.dmlc | xgboost4j | 0.80 |
| ml.dmlc | xgboost4j-spark | 0.80 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0-SNAPSHOT |