Databricks Runtime 5.1 ML (EoS)
Kommentar
Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.
Databricks släppte den här versionen i december 2018.
Databricks Runtime 5.1 ML tillhandahåller en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 5.1 (EoS). Databricks Runtimes för ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch, Keras och XGBoost. Den stöder även distribuerad TensorFlow-träning med Horovod.
Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och maskininlärning på Databricks.
Nya funktioner
Databricks Runtime 5.1 ML bygger på Databricks Runtime 5.1. Information om nyheter i Databricks Runtime 5.1 finns i viktig information om Databricks Runtime 5.1 (EoS). Förutom uppdateringarna av befintliga bibliotek i bibliotek innehåller Databricks Runtime 5.1 ML följande nya funktioner:
- PyTorch för att skapa djupinlärningsnätverk.
Kommentar
Databricks Runtime ML-versioner hämtar alla underhållsuppdateringar till basversionen av Databricks Runtime. En lista över alla underhållsuppdateringar finns i Underhållsuppdateringar för Databricks Runtime (arkiverad).
Systemmiljö
Skillnaden i systemmiljö i Databricks Runtime 5.1 och i Databricks Runtime 5.1 ML är:
- Python: 2.7.15 för Python 2-kluster och 3.6.5 för Python 3-kluster.
- DBUtils: Databricks Runtime 5.1 ML innehåller inte biblioteksverktyget (dbutils.library) (äldre).
- Följande NVIDIA GPU-bibliotek för GPU-kluster:
- Tesla-förare 396,44
- CUDA 9.2
- CUDNN 7.2.1
Bibliotek
Skillnaderna i biblioteken som ingår i Databricks Runtime 5.1 och de som ingår i Databricks Runtime 5.1 ML visas i det här avsnittet.
Python-bibliotek
Databricks Runtime 5.1 ML använder Conda för Python-pakethantering. Det innebär att det finns stora ändringar i förinstallerade Python-bibliotek jämfört med Databricks Runtime. Följande är den fullständiga listan över tillhandahållna Python-paket och versioner som installerats med Conda-pakethanteraren.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 0.6.1 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.4 | blekmedel | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| kryptografi | 2.2.2 | cyklist | 0.10.0 | Cython | 0.28.2 |
| dekoratör | 4.3.0 | docutils | 0,14 | entrypoints | 0.2.3 |
| uppräkning 34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | Terminer | 3.2.0 |
| Gast | 0.2.0 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.15.0 | html5lib | 1.0.1 | idna | 2,6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-förbearbetning | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| håna | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | näsa | 1.3.7 | näsa-exkludera | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | Pandas | 0.23.0 | pandocfilter | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Kudde | 5.1.0 | pip | 10.0.1 | Ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psycopg2 | 2.7.5 |
| ptyprocess | 0.5.2 | pyarrow | 0.8.0 | pyasn1 | 0.4.4 |
| pycparser | 2.18 | Pygments | 2.2.0 | PyNaCl | 1.3.0 |
| pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 | PySocks | 1.6.8 |
| Python | 2.7.15 | python-dateutil | 2.7.3 | pytz | 2018.4 |
| PyYAML | 3.12 | pyzmq | 17.0.0 | begäranden | 2.18.4 |
| s3transfer | 0.1.13 | scandir | 1,7 | scikit-learn | 0.19.1 |
| scipy | 1.1.0 | seaborn | 0.8.1 | setuptools | 39.1.0 |
| simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 | sex | 1.11.0 |
| statsmodels | 0.9.0 | subprocess32 | 3.5.3 | tensorboard | 1.12.0 |
| tensorboardX | 1.4 | tensorflow | 1.12.0 | termcolor | 1.1.0 |
| testpath | 0.3.1 | fackla | 0.4.1 | torchvision | 0.2.1 |
| tromb | 5.0.2 | traceback2 | 1.4.0 | traitlets | 4.3.2 |
| unittest2 | 1.1.0 | urllib3 | 1.22 | virtualenv | 16.0.0 |
| wcwidth | 0.1.7 | webencodings | 0.5.1 | Werkzeug | 0.14.1 |
| hjul | 0.31.1 | wrapt | 1.10.11 | wsgiref | 0.1.2 |
Dessutom innehåller följande Spark-paket Python-moduler:
| Spark-paket | Python-modul | Version |
|---|---|---|
| tensorframes | tensorframes | 0.6.0-s_2.11 |
| graphframes | graphframes | 0.6.0-db3-spark2.4 |
| spark-deep-learning | sparkdl | 1.4.0-db2-spark2.4 |
R-bibliotek
R-biblioteken är identiska med R-bibliotek på Databricks Runtime 5.1.
Java- och Scala-bibliotek (Scala 2.11-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 5.1 innehåller Databricks Runtime 5.1 ML följande JAR:er:
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.databricks | spark-deep-learning | 1.4.0-db2-spark2.4 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |
| org.graphframes | graphframes_2.11 | 0.6.0-db3-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| ml.dmlc | xgboost4j | 0,81 |
| ml.dmlc | xgboost4j-spark | 0,81 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |