Databricks Runtime 5.2 ML
أصدرت Databricks هذا الإصدار في يناير 2019.
يوفر Databricks Runtime 5.2 ML بيئة جاهزة للتعلم الآلي وعلوم البيانات استنادا إلى Databricks Runtime 5.2 (EoS). يحتوي Databricks Runtime for ML على العديد من مكتبات التعلم الآلي الشائعة، بما في ذلك TensorFlow وPyTorch وKeras وXGBoost. كما أنه يدعم التدريب الموزع على TensorFlow باستخدام Horovod.
لمزيد من المعلومات، بما في ذلك إرشادات إنشاء مجموعة التعلم الآلي من Databricks Runtime، راجع الذكاء الاصطناعي والتعلم الآلي على Databricks.
الميزات الجديدة
تم إنشاء Databricks Runtime 5.2 ML أعلى Databricks Runtime 5.2. للحصول على معلومات حول الجديد في Databricks Runtime 5.2، راجع ملاحظات إصدار Databricks Runtime 5.2 (EoS ). بالإضافة إلى تحديثات المكتبة، يقدم Databricks Runtime 5.2 ML الميزات الجديدة التالية:
- يدعم GraphFrames الآن واجهة برمجة تطبيقات Pregel (Python) مع تحسينات أداء Databricks.
- يضيف HorovodRunner :
- في مجموعة GPU، يتم تعيين عمليات التدريب إلى وحدات معالجة الرسومات بدلا من العقد العاملة لتبسيط دعم أنواع مثيلات GPU متعددة. يسمح لك هذا الدعم المضمن بالتوزيع على جميع وحدات معالجة الرسومات على جهاز متعدد وحدات معالجة الرسومات بدون تعليمات برمجية مخصصة.
HorovodRunner.run()تقوم الآن بإرجاع القيمة المرجعة من عملية التدريب الأولى.
إشعار
تلتقط إصدارات Databricks Runtime ML جميع تحديثات الصيانة إلى إصدار وقت تشغيل Databricks الأساسي. للحصول على قائمة بجميع تحديثات الصيانة، راجع تحديثات الصيانة لوقت تشغيل Databricks (مؤرشف) .
بيئة النظام
تختلف بيئة النظام في Databricks Runtime 5.2 ML عن Databricks Runtime 5.2 كما يلي:
- Python: 2.7.15 لمجموعات Python 2 و3.6.5 لمجموعات Python 3.
- DBUtils: لا يحتوي Databricks Runtime 5.2 ML على الأداة المساعدة للمكتبة (dbutils.library) (قديم).
- بالنسبة لمجموعات GPU، مكتبات NVIDIA GPU التالية:
- Tesla driver 396.44
- CUDA 9.2
- CUDNN 7.2.1
مكتبات
تسرد الأقسام التالية المكتبات المضمنة في Databricks Runtime 5.2 ML التي تختلف عن تلك المضمنة في Databricks Runtime 5.2.
مكتبات Python
يستخدم Databricks Runtime 5.2 ML Conda لإدارة حزمة Python. ونتيجة لذلك، هناك اختلافات كبيرة في مكتبات Python المثبتة مسبقا مقارنة بوقت تشغيل Databricks. فيما يلي قائمة كاملة بحزم Python المتوفرة والإصدارات المثبتة باستخدام إدارة حزم Conda.
| مكتبة | إصدار | مكتبة | إصدار | مكتبة | إصدار |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| استور | 0.7.1 | backports-abc | 0.5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.5 | بيض | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | روبوت الدردشة | 1.10.62 |
| شهادة | 2018.04.16 | cffi | 1.11.5 | تجزئة | 3.0.4 |
| cloudpickle | 0.5.3 | سمة ملونة | 0.3.9 | configparser | 3.5.0 |
| التشفير | 2.2.2 | دورة | 0.10.0 | Cython | 0.28.2 |
| ديكور | 4.3.0 | docutils | 0.14 | نقاط الإدخال | 0.2.3 |
| قائمة تعداد 34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | صمام مدمج | 2.0.4 | العقود الاجله | 3.2.0 |
| غاست | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.2 | html5lib | 1.0.1 | idna | 2.6 |
| عنوان ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | جينجا 2 | 2.10 | مسار jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-Preprocessing | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | سوء الحظ | 0.8.3 | mleap | 0.8.1 |
| استهزأ | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| تنسيق nbformat | 4.4.0 | nose | 1.3.7 | استبعاد الأنف | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | pandas | 0.23.0 | عوامل تصفية pandocfilter | 1.4.2 |
| باراميكو | 2.4.1 | pathlib2 | 2.3.2 | بتسي | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| مخدة | 5.1.0 | pip | 10.0.1 | رقائق | 3.11 |
| مجموعة أدوات المطالبة | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| عملية ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | الطلبات | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1.7 | scikit-learn | 0.19.1 |
| شفرة | 1.1.0 | بحر محمول | 0.8.1 | أدوات الإعداد | 39.1.0 |
| إنشاء بسيط | 0.8.1 | أحادي الموضع | 3.4.0.3 | ستة | 1.11.0 |
| نماذج الإحصائيات | 0.9.0 | العملية الفرعية32 | 3.5.3 | لوحة العشرات | 1.12.2 |
| tensorboardX | 1.4 | تدفق العشرات | 1.12.0 | لون المصطلحات | 1.1.0 |
| مسار الاختبار | 0.3.1 | مشعل | 0.4.1 | شعلة الشعلة | 0.2.1 |
| اعصار | 5.0.2 | traceback2 | 1.4.0 | سمات السمات | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | ترميزات الويب | 0.5.1 | ويركزيوغ | 0.14.1 |
| دولاب | 0.31.1 | ملف التفافي | 1.10.11 | wsgiref | 0.1.2 |
بالإضافة إلى ذلك، تتضمن حزم Spark التالية وحدات Python النمطية:
| حزمة Spark | وحدة Python النمطية | إصدار |
|---|---|---|
| إطارات الرسم البياني | إطارات الرسم البياني | 0.7.0-db1-spark2.4 |
| spark-deep-learning | sparkdl | 1.5.0-db1-spark2.4 |
| إطارات العشرات | إطارات العشرات | 0.6.0-s_2.11 |
مكتبات R
مكتبات R مطابقة لمكتبات R في Databricks Runtime 5.2.
مكتبات Java وScala (مجموعة Scala 2.11)
بالإضافة إلى مكتبات Java و Scala في Databricks Runtime 5.2، يحتوي Databricks Runtime 5.2 ML على JARs التالية:
| معرف مجموعة | معرف البيانات الاصطناعية | إصدار |
|---|---|---|
| com.databricks | spark-deep-learning | 1.5.0-db1-spark2.4 |
| com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
| ml.dmlc | xgboost4j | 0.81 |
| ml.dmlc | xgboost4j-spark | 0.81 |
| org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
| org.tensorflow | تدفق libtensor | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | تدفق العشرات | 1.12.0 |
| org.tensorframes | إطارات العشرات | 0.6.0-s_2.11 |