مشاركة عبر


Databricks Runtime 11.3 LTS for التعلم الآلي

يوفر Databricks Runtime 11.3 LTS for التعلم الآلي بيئة جاهزة للاستخدام للتعلم الآلي وعلوم البيانات استنادا إلى Databricks Runtime 11.3 LTS. يحتوي التعلم الآلي من Databricks Runtime على العديد من مكتبات التعلم الآلي الشائعة، بما في ذلك TensorFlow وPyTorch وXGBoost. يتضمن التعلم الآلي من Databricks Runtime AutoML، وهي أداة لتدريب مسارات التعلم الآلي تلقائيا. يدعم التعلم الآلي من Databricks Runtime أيضا التدريب على التعلم العميق الموزع باستخدام Horovod.

إشعار

LTS يعني أن هذا الإصدار تحت الدعم طويل الأجل. راجع دورة حياة إصدار Databricks Runtime LTS.

لمزيد من المعلومات، بما في ذلك إرشادات إنشاء مجموعة التعلم الآلي من Databricks Runtime، راجع الذكاء الاصطناعي والتعلم الآلي على Databricks.

تلميح

للاطلاع على ملاحظات الإصدار لإصدارات Databricks Runtime التي وصلت إلى نهاية الدعم (EoS)، راجع ملاحظات إصدار وقت تشغيل Databricks لنهاية الدعم. تم إيقاف إصدارات وقت تشغيل EoS Databricks وقد لا يتم تحديثها.

ميزات وتحسينات جديدة

تم إنشاء Databricks Runtime 11.3 LTS ML أعلى Databricks Runtime 11.3 LTS. للحصول على معلومات حول الجديد في Databricks Runtime 11.3 LTS، بما في ذلك Apache Spark MLlib وSparkR، راجع ملاحظات إصدار Databricks Runtime 11.3 LTS .

تحسينات على AutoML

يدعم AutoML الآن استخدام جداول ميزات 'متجر الميزات' الموجودة في تجارب AutoML. للحصول على التفاصيل، راجع تكامل AutoML Feature Store.

تحتوي دفاتر الملاحظات التجريبية التي تم إنشاؤها بواسطة AutoML الآن على قصاصات برمجية تمكن المستخدمين من إعادة تشغيل ضبط المعلمات الفائقة.

يدعم DecimalType AutoML الآن الميزات.

إصلاح الأخطاء

يتضمن Databricks Runtime 11.3 LTS ML إصدارا تمت ترقيته من sparkdl.xgboost. تحتوي الإصدارات السابقة من sparkdl.xgboost على أخطاء تم إصلاحها في هذا الإصدار، لذلك توصي Databricks بأن يقوم مستخدمو المكتبة بترقية Databricks Runtime 11.3 LTS ML.

الاستعداد للإصدارات المستقبلية

سيتضمن sklearn الإصدار القادم من Databricks Runtime ML الإصدار 1.0. sklearn تفضل بزيارة الوثائق للحصول على معلومات حول كيفية التحضير لهذا التغيير.

يحتوي Databricks Runtime ML على حزمتين openblas . /opt/OpenBLAS يتم إهمال الحزمة في Databricks Runtime 11.3 LTS ML وستتم إزالتها في إصدار قادم.

بيئة النظام

تختلف بيئة النظام في Databricks Runtime 11.3 LTS ML عن Databricks Runtime 11.3 LTS كما يلي:

يتضمن Databricks Runtime 11.3 LTS ML XGBoost 1.6.1، والذي لا يدعم مجموعات وحدة معالجة الرسومات مع إمكانية الحوسبة 5.2 والإصدارات أدناه.

المكتبات

تسرد الأقسام التالية المكتبات المضمنة في Databricks Runtime 11.3 LTS ML التي تختلف عن تلك المضمنة في Databricks Runtime 11.3 LTS.

في هذا القسم:

مكتبات من المستوى الأعلى

يتضمن Databricks Runtime 11.3 LTS ML مكتبات المستوى الأعلى التالية:

مكتبات Python

يستخدم Databricks Runtime 11.3 LTS ML Virtualenv لإدارة حزمة Python ويتضمن العديد من حزم التعلم الآلي الشائعة.

بالإضافة إلى الحزم المحددة في الأقسام التالية، يتضمن Databricks Runtime 11.3 LTS ML أيضا الحزم التالية:

  • hyperopt 0.2.7.db1
  • sparkdl 2.3.0-db3
  • feature_store 0.7.0
  • automl 1.13.2

لإعادة إنتاج بيئة Databricks Runtime ML Python في بيئة Python الظاهرية المحلية، قم بتنزيل ملف requirements-11.3.txt وقم بتشغيل pip install -r requirements-11.3.txt. يقوم هذا الأمر بتثبيت جميع مكتبات مصدر مفتوح التي يستخدمها Databricks Runtime ML، ولكنه لا يقوم بتثبيت المكتبات التي تم تطويرها بواسطة Databricks، مثل databricks-automlأو databricks-feature-storeأو نسخة Databricks الخاصة ب hyperopt.

مكتبات Python على مجموعات وحدة المعالجة المركزية

مكتبة إصدار مكتبة إصدار مكتبة إصدار
absl-py 1.0.0 argon2-cffi 20.1.0 استور 0.8.1
astunparse 1.6.3 مولد غير متزامن 1.10 سلاسل السلاسل 21.2.0
azure-core 1.22.1 azure-cosmos 4.2.0 تثبيت خلفي 0.2.0
backports.entry-points-selectable 1.1.1 bcrypt 4.0.0 black 22.3.0
بيض 4.0.0 نعيم 0.7.8 boto3 1.21.18
روبوت الدردشة 1.24.18 قوالب ذاكرة التخزين المؤقت 5.2.0 فهرس 2.0.8
شهادة 2021.10.8 cffi 1.14.6 تجزئة 4.0.0
charset-normalizer 2.0.4 نقر 8.0.3 cloudpickle 2.0.0
cmdstanpy 0.9.68 الحلوي 0.0.1 configparser 5.2.0
تاريخ التحويل 2.4.0 التشفير 3.4.8 دورة 0.10.0
cymem 2.0.6 Cython 0.29.24 وقت تشغيل databricks-automl 0.2.11
databricks-cli 0.17.3 dbl-tempo 0.1.12 dbus-python 1.2.16
تصحيح الأخطاء 1.4.1 ديكور 5.1.0 defusedxml 0.7.1
شبت 0.3.4 diskcache 5.4.0 استياء 0.3.6
نقاط الإدخال 0.3 الزوال 4.1.3 نظرة عامة على الواجهات 1.0.0
نص سريع 0.9.2 قفل الملف 3.3.1 Flask 1.1.2
خزائن مسطحة 1.12 fsspec 2021.8.1 future 0.18.2
غاست 0.4.0 gitdb 4.0.9 GitPython 3.1.27
google-auth 2.6.0 google-auth-oauthlib 0.4.6 google-pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 محول هجري 2.2.4 العطلات 0.15
horovod 0.25.0 htmlmin 0.1.12 huggingface-hub 0.9.1
idna 3.2 ImageHash 4.3.0 التعلم غير المتوازن 0.8.1
بيانات تعريف importlib 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 عناوين ipywidgets 7.7.0 isodate 0.6.1
غير متزامن 2.0.1 jedi 0.18.0 جينجا 2 2.11.3
مسار jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.9.0
Keras-Preprocessing 1.1.2 kiwisolver ⁦⁩⁦⁩1.3.1 تقويم قمري كوري 0.3.1
رموز langcode 3.3.0 libclang 14.0.6 غيغابايت فاتح 3.3.2
llvmlite 0.37.0 LunarCalendar 0.0.9 ماكو 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 مفقود 0.5.1 سوء الحظ 0.8.4
mleap 0.20.0 mlflow-skinny 1.29.0 متعدد التتبع 1.9
مورمورهاش 1.0.8 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 تنسيق nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk 3.6.5 notebook 6.4.5
numba 0.54.1 numpy 1.20.3 أواتهليب 3.2.0
opt-einsum 3.3.0 التغليف 21.0 pandas 1.3.4
جمع معلومات بانداز 3.1.0 عوامل تصفية pandocfilter 1.4.3 باراميكو 2.9.2
parso 0.8.2 pathspec 0.9.0 مسار 0.6.2
بتسي 0.5.2 عاصفة صغيرة 0.11.4 pexpect 4.8.0
فيك 0.12.2 pickleshare 0.7.5 مخدة 8.4.0
pip 21.2.4 المنصات 2.5.2 بشكل مخطط 5.9.0
pmdarima 1.8.5 مسبق الوشاية 3.0.7 prometheus-client 0.11.0
مجموعة أدوات المطالبة 3.0.20 نبي 1.0.1 protobuf 3.19.4
psutil 5.8.0 psycopg2 2.9.3 عملية ptyprocess 0.7.0
pyarrow 7.0.0 pyasn1 0.4.8 وحدات pyasn1 0.2.8
pybind11 2.10.0 pycparser 2.20 pydantic 1.9.2
Pygments 2.10.0 PyGObject 3.36.0 PyJWT 2.5.0
PyMeeus 0.5.11 PyNaCl 1.5.0 pyodbc 4.0.31
pyparsing 3.0.4 pyrsistent 0.18.0 بستان 2.19.1.1
python-dateutil 2.8.2 محرر python 1.0.4 pytz 2021.3
PyWavelets 1.1.1 PyYAML 6.0 pyzmq 22.2.1
regex 2021.8.3 الطلبات 2.26.0 requests-oauthlib ⁦⁩⁦⁩1.3.1
requests-unixsocket 0.2.0 rsa 4.9 s3transfer 0.5.2
scikit-learn 0.24.2 شفرة 1.7.1 بحر محمول 0.11.3
Send2Trash 1.8.0 أدوات الإعداد 58.0.4 setuptools-git 1.2
shap 0.41.0 simplejson 3.17.6 ستة 1.16.0
القطاعه 0.0.7 smart-open 5.2.1 smmap ⁧5.0.0⁧
التباعد 3.4.1 تباعد قديم 3.0.10 مسجلات التباعد 1.0.3
موزع spark-tensorflow 1.0.0 sqlparse 0.4.2 مrsly 2.4.4
ssh-import-id 5.10 نماذج الإحصائيات 0.12.2 جدولة 0.8.9
تشابك لأعلى في unicode 0.1.0 مثابره 8.0.1 لوحة العشرات 2.9.1
خادم بيانات tensorboard 0.6.1 ملف تعريف مكون إضافي من tensorboard 2.8.0 tensorboard-plugin-wit 1.8.1
tensorflow-cpu 2.9.1 tensorflow-estimator 2.9.0 tensorflow-io-gcs-filesystem 0.27.0
لون المصطلحات 2.0.1 terminado 0.9.4 مسار الاختبار 0.5.0
رقيق 8.1.2 threadpoolctl 2.2.0 tokenize-rt 4.2.1
الرموز المميزة 0.12.1 tomli 2.0.1 مشعل 1.12.1+وحدة المعالجة المركزية
شعلة الشعلة 0.13.1+وحدة المعالجة المركزية اعصار 6.1 tqdm 4.62.3
سمات السمات 5.1.0 المحولات 4.21.2 typer 0.4.2
ملحقات الكتابة 3.10.0.2 ujson 4.0.2 ترقيات غير مراقبة 0.1
urllib3 1.26.7 virtualenv 20.8.0 الرؤي 0.7.4
الوسابي 0.10.1 wcwidth 0.2.5 ترميزات الويب 0.5.1
عميل websocket ⁦⁩⁦⁩1.3.1 ويركزيوغ 2.0.2 دولاب 0.37.0
عنصر واجهة المستخدم 3.6.0 ملف التفافي 1.12.1 xgboost 1.6.2
zipp 3.6.0

مكتبات Python على مجموعات GPU

مكتبة إصدار مكتبة إصدار مكتبة إصدار
absl-py 1.0.0 argon2-cffi 20.1.0 استور 0.8.1
astunparse 1.6.3 مولد غير متزامن 1.10 سلاسل السلاسل 21.2.0
azure-core 1.22.1 azure-cosmos 4.2.0 تثبيت خلفي 0.2.0
backports.entry-points-selectable 1.1.1 bcrypt 4.0.0 black 22.3.0
بيض 4.0.0 نعيم 0.7.8 boto3 1.21.18
روبوت الدردشة 1.24.18 قوالب ذاكرة التخزين المؤقت 5.2.0 فهرس 2.0.8
شهادة 2021.10.8 cffi 1.14.6 تجزئة 4.0.0
charset-normalizer 2.0.4 نقر 8.0.3 cloudpickle 2.0.0
cmdstanpy 0.9.68 الحلوي 0.0.1 configparser 5.2.0
تاريخ التحويل 2.4.0 التشفير 3.4.8 دورة 0.10.0
cymem 2.0.6 Cython 0.29.24 وقت تشغيل databricks-automl 0.2.11
databricks-cli 0.17.3 dbl-tempo 0.1.12 dbus-python 1.2.16
تصحيح الأخطاء 1.4.1 ديكور 5.1.0 defusedxml 0.7.1
شبت 0.3.4 diskcache 5.4.0 استياء 0.3.6
نقاط الإدخال 0.3 الزوال 4.1.3 نظرة عامة على الواجهات 1.0.0
نص سريع 0.9.2 قفل الملف 3.3.1 Flask 1.1.2
خزائن مسطحة 1.12 fsspec 2021.8.1 future 0.18.2
غاست 0.4.0 gitdb 4.0.9 GitPython 3.1.27
google-auth 2.6.0 google-auth-oauthlib 0.4.6 google-pasta 0.2.0
grpcio 1.44.0 gunicorn 20.1.0 gviz-api 1.10.0
h5py 3.3.0 محول هجري 2.2.4 العطلات 0.15
horovod 0.25.0 htmlmin 0.1.12 huggingface-hub 0.9.1
idna 3.2 ImageHash 4.3.0 التعلم غير المتوازن 0.8.1
بيانات تعريف importlib 4.8.1 ipykernel 6.12.1 ipython 7.32.0
ipython-genutils 0.2.0 عناوين ipywidgets 7.7.0 isodate 0.6.1
غير متزامن 2.0.1 jedi 0.18.0 جينجا 2 2.11.3
مسار jmespath 0.10.0 joblib 1.0.1 joblibspark 0.5.0
jsonschema 3.2.0 jupyter-client 6.1.12 jupyter-core 4.8.1
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 keras 2.9.0
Keras-Preprocessing 1.1.2 kiwisolver ⁦⁩⁦⁩1.3.1 تقويم قمري كوري 0.3.1
رموز langcode 3.3.0 libclang 14.0.6 غيغابايت فاتح 3.3.2
llvmlite 0.37.0 LunarCalendar 0.0.9 ماكو 1.2.0
Markdown 3.3.6 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 مفقود 0.5.1 سوء الحظ 0.8.4
mleap 0.20.0 mlflow-skinny 1.29.0 متعدد التتبع 1.9
مورمورهاش 1.0.8 mypy-extensions 0.4.3 nbclient 0.5.3
nbconvert 6.1.0 تنسيق nbformat 5.1.3 nest-asyncio 1.5.1
networkx 2.6.3 nltk 3.6.5 notebook 6.4.5
numba 0.54.1 numpy 1.20.3 أواتهليب 3.2.0
opt-einsum 3.3.0 التغليف 21.0 pandas 1.3.4
جمع معلومات بانداز 3.1.0 عوامل تصفية pandocfilter 1.4.3 باراميكو 2.9.2
parso 0.8.2 pathspec 0.9.0 مسار 0.6.2
بتسي 0.5.2 عاصفة صغيرة 0.11.4 pexpect 4.8.0
فيك 0.12.2 pickleshare 0.7.5 مخدة 8.4.0
pip 21.2.4 المنصات 2.5.2 بشكل مخطط 5.9.0
pmdarima 1.8.5 مسبق الوشاية 3.0.7 مجموعة أدوات المطالبة 3.0.20
نبي 1.0.1 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 عملية ptyprocess 0.7.0 pyarrow 7.0.0
pyasn1 0.4.8 وحدات pyasn1 0.2.8 pybind11 2.10.0
pycparser 2.20 pydantic 1.9.2 Pygments 2.10.0
PyGObject 3.36.0 PyJWT 2.5.0 PyMeeus 0.5.11
PyNaCl 1.5.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 بستان 2.19.1.1 python-dateutil 2.8.2
محرر python 1.0.4 pytz 2021.3 PyWavelets 1.1.1
PyYAML 6.0 pyzmq 22.2.1 regex 2021.8.3
الطلبات 2.26.0 requests-oauthlib ⁦⁩⁦⁩1.3.1 requests-unixsocket 0.2.0
rsa 4.9 s3transfer 0.5.2 scikit-learn 0.24.2
شفرة 1.7.1 بحر محمول 0.11.3 Send2Trash 1.8.0
أدوات الإعداد 58.0.4 setuptools-git 1.2 shap 0.41.0
simplejson 3.17.6 ستة 1.16.0 القطاعه 0.0.7
smart-open 5.2.1 smmap ⁧5.0.0⁧ التباعد 3.4.1
تباعد قديم 3.0.10 مسجلات التباعد 1.0.3 موزع spark-tensorflow 1.0.0
sqlparse 0.4.2 مrsly 2.4.4 ssh-import-id 5.10
نماذج الإحصائيات 0.12.2 جدولة 0.8.9 تشابك لأعلى في unicode 0.1.0
مثابره 8.0.1 لوحة العشرات 2.9.1 خادم بيانات tensorboard 0.6.1
ملف تعريف مكون إضافي من tensorboard 2.8.0 tensorboard-plugin-wit 1.8.1 تدفق العشرات 2.9.1
tensorflow-estimator 2.9.0 tensorflow-io-gcs-filesystem 0.27.0 لون المصطلحات 2.0.1
terminado 0.9.4 مسار الاختبار 0.5.0 رقيق 8.1.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 الرموز المميزة 0.12.1
tomli 2.0.1 مشعل 1.12.1+cu113 شعلة الشعلة 0.13.1+cu113
اعصار 6.1 tqdm 4.62.3 سمات السمات 5.1.0
المحولات 4.21.2 typer 0.4.2 ملحقات الكتابة 3.10.0.2
ujson 4.0.2 ترقيات غير مراقبة 0.1 urllib3 1.26.7
virtualenv 20.8.0 الرؤي 0.7.4 الوسابي 0.10.1
wcwidth 0.2.5 ترميزات الويب 0.5.1 عميل websocket ⁦⁩⁦⁩1.3.1
ويركزيوغ 2.0.2 دولاب 0.37.0 عنصر واجهة المستخدم 3.6.0
ملف التفافي 1.12.1 xgboost 1.6.2 zipp 3.6.0

مكتبات R

مكتبات R مطابقة لمكتبات R في Databricks Runtime 11.3 LTS.

مكتبات Java وScala (مجموعة Scala 2.12)

بالإضافة إلى مكتبات Java و Scala في Databricks Runtime 11.3 LTS، يحتوي Databricks Runtime 11.3 LTS ML على JARs التالية:

مجموعات وحدة المعالجة المركزية

معرف مجموعة معرف البيانات الاصطناعية إصدار
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-spark_2.12 1.6.2
ml.dmlc xgboost4j_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow عميل mlflow 1.29.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

مجموعات GPU

معرف مجموعة معرف البيانات الاصطناعية إصدار
com.typesafe.akka akka-actor_2.12 2.5.23
ml.combust.mleap mleap-databricks-runtime_2.12 v0.20.0-db1
ml.dmlc xgboost4j-gpu_2.12 1.6.2
ml.dmlc xgboost4j-spark-gpu_2.12 1.6.2
org.graphframes graphframes_2.12 0.8.2-db1-spark3.2
org.mlflow عميل mlflow 1.29.0
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0