Databricks Runtime 5.3 ML (EoS)
Kommentar
Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.
Databricks släppte den här versionen i april 2019.
Databricks Runtime 5.3 ML tillhandahåller en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 5.3 (EoS). Databricks Runtime för ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch, Keras och XGBoost. Den stöder även distribuerad djupinlärningsträning med Horovod.
Mer information, inklusive instruktioner för att skapa ett Databricks Runtime ML-kluster, finns i AI och maskininlärning på Databricks.
Nya funktioner
Databricks Runtime 5.3 ML bygger på Databricks Runtime 5.3. Information om nyheter i Databricks Runtime 5.3 finns i viktig information om Databricks Runtime 5.3 (EoS). Förutom biblioteksuppdateringar introducerar Databricks Runtime 5.3 ML följande nya funktioner:
MLflow + Apache Spark MLlib-integrering: Databricks Runtime 5.3 ML stöder automatisk loggning av MLflow-körningar för modeller som passar med PySpark-justeringsalgoritmer
CrossValidatorochTrainValidationSplit.Viktigt!
Den här funktionen är en privat förhandsversion. Kontakta din Azure Databricks-säljare om du vill veta mer om hur du aktiverar det.
Uppgraderar följande bibliotek till den senaste versionen:
- PyArrow från 0.8.0 till 0.12.1:
BinaryTypestöds av Pilbaserad konvertering och kan användas i PandasUDF. - Horovod från 0.15.2 till 0.16.0.
- TensorboardX från 1,4 till 1,6.
- PyArrow från 0.8.0 till 0.12.1:
Databricks ML-modellexport-API:et har blivit inaktuellt. Azure Databricks rekommenderar att du använder MLeap i stället, vilket ger bredare täckning av MLlib-modelltyper. Läs mer på MLeap ML-modellexport.
Kommentar
Dessutom innehåller Databricks Runtime 5.3 en ny FUSE-montering som är optimerad för datainläsning, modellkontrollpunkter och loggning från varje arbetare till en delad lagringsplats file:/dbfs/ml, vilket ger högpresterande I/O för djupinlärningsarbetsbelastningar. Se Läsa in data för maskininlärning och djupinlärning.
Underhållsuppdateringar
Se Underhållsuppdateringar för Databricks Runtime 5.4 ML.
Systemmiljö
Systemmiljön i Databricks Runtime 5.3 ML skiljer sig från Databricks Runtime 5.3 på följande sätt:
- Python: 2.7.15 för Python 2-kluster och 3.6.5 för Python 3-kluster.
- DBUtils: Databricks Runtime 5.3 ML innehåller inte biblioteksverktyget (dbutils.library) (äldre).
- Följande NVIDIA GPU-bibliotek för GPU-kluster:
- Tesla-förare 396,44
- CUDA 9.2
- CUDNN 7.2.1
Bibliotek
I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 5.3 ML som skiljer sig från de som ingår i Databricks Runtime 5.3.
Bibliotek på den översta nivån
Databricks Runtime 5.3 ML innehåller följande bibliotek på den översta nivån:
Python-bibliotek
Databricks Runtime 5.3 ML använder Conda för Python-pakethantering. Därför finns det stora skillnader i förinstallerade Python-bibliotek jämfört med Databricks Runtime. Följande är en fullständig lista över tillhandahållna Python-paket och versioner som installerats med Conda-pakethanteraren.
| Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
|---|---|---|---|---|---|
| absl-py | 0.7.0 | argparse | 1.4.0 | asn1crypto | 0.24.0 |
| Astor | 0.7.1 | backports-abc | 0,5 | backports.functools-lru-cache | 1.5 |
| backports.weakref | 1.0.post1 | bcrypt | 3.1.6 | blekmedel | 2.1.3 |
| boto | 2.48.0 | boto3 | 1.7.62 | botocore | 1.10.62 |
| certifi | 2018.04.16 | cffi | 1.11.5 | chardet | 3.0.4 |
| cloudpickle | 0.5.3 | colorama | 0.3.9 | configparser | 3.5.0 |
| kryptografi | 2.2.2 | cyklist | 0.10.0 | Cython | 0.28.2 |
| dekoratör | 4.3.0 | docutils | 0,14 | entrypoints | 0.2.3 |
| uppräkning 34 | 1.1.6 | et-xmlfile | 1.0.1 | funcsigs | 1.0.2 |
| functools32 | 3.2.3-2 | fusepy | 2.0.4 | Terminer | 3.2.0 |
| Gast | 0.2.2 | grpcio | 1.12.1 | h5py | 2.8.0 |
| horovod | 0.16.0 | html5lib | 1.0.1 | idna | 2,6 |
| ipaddress | 1.0.22 | ipython | 5.7.0 | ipython_genutils | 0.2.0 |
| jdcal | 1.4 | Jinja2 | 2.10 | jmespath | 0.9.3 |
| jsonschema | 2.6.0 | jupyter-client | 5.2.3 | jupyter-core | 4.4.0 |
| Keras | 2.2.4 | Keras-Applications | 1.0.6 | Keras-förbearbetning | 1.0.5 |
| kiwisolver | 1.0.1 | linecache2 | 1.0.0 | llvmlite | 0.23.1 |
| lxml | 4.2.1 | Markdown | 3.0.1 | MarkupSafe | 1.0 |
| matplotlib | 2.2.2 | mistune | 0.8.3 | mleap | 0.8.1 |
| håna | 2.0.0 | msgpack | 0.5.6 | nbconvert | 5.3.1 |
| nbformat | 4.4.0 | näsa | 1.3.7 | näsa-exkludera | 0.5.0 |
| numba | 0.38.0+0.g2a2b772fc.dirty | numpy | 1.14.3 | olefile | 0.45.1 |
| openpyxl | 2.5.3 | Pandas | 0.23.0 | pandocfilter | 1.4.2 |
| paramiko | 2.4.1 | pathlib2 | 2.3.2 | Patsy | 0.5.0 |
| pbr | 5.1.1 | pexpect | 4.5.0 | pickleshare | 0.7.4 |
| Kudde | 5.1.0 | pip | 10.0.1 | Ply | 3.11 |
| prompt-toolkit | 1.0.15 | protobuf | 3.6.1 | psutil | 5.6.0 |
| psycopg2 | 2.7.5 | ptyprocess | 0.5.2 | pyarrow | 0.12.1 |
| pyasn1 | 0.4.5 | pycparser | 2.18 | Pygments | 2.2.0 |
| PyNaCl | 1.3.0 | pyOpenSSL | 18.0.0 | pyparsing | 2.2.0 |
| PySocks | 1.6.8 | Python | 2.7.15 | python-dateutil | 2.7.3 |
| pytz | 2018.4 | PyYAML | 3.12 | pyzmq | 17.0.0 |
| begäranden | 2.18.4 | s3transfer | 0.1.13 | scandir | 1,7 |
| scikit-learn | 0.19.1 | scipy | 1.1.0 | seaborn | 0.8.1 |
| setuptools | 39.1.0 | simplegeneric | 0.8.1 | singledispatch | 3.4.0.3 |
| sex | 1.11.0 | statsmodels | 0.9.0 | subprocess32 | 3.5.3 |
| tensorboard | 1.12.2 | tensorboardX | 1.6 | tensorflow | 1.12.0 |
| termcolor | 1.1.0 | testpath | 0.3.1 | fackla | 0.4.1 |
| torchvision | 0.2.1 | tromb | 5.0.2 | traceback2 | 1.4.0 |
| traitlets | 4.3.2 | unittest2 | 1.1.0 | urllib3 | 1.22 |
| virtualenv | 16.0.0 | wcwidth | 0.1.7 | webencodings | 0.5.1 |
| Werkzeug | 0.14.1 | hjul | 0.31.1 | wrapt | 1.10.11 |
| wsgiref | 0.1.2 |
Dessutom innehåller följande Spark-paket Python-moduler:
| Spark-paket | Python-modul | Version |
|---|---|---|
| graphframes | graphframes | 0.7.0-db1-spark2.4 |
| spark-deep-learning | sparkdl | 1.5.0-db1-spark2.4 |
| tensorframes | tensorframes | 0.6.0-s_2.11 |
R-bibliotek
R-biblioteken är identiska med R-biblioteken i Databricks Runtime 5.3.
Java- och Scala-bibliotek (Scala 2.11-kluster)
Förutom Java- och Scala-bibliotek i Databricks Runtime 5.3 innehåller Databricks Runtime 5.3 ML följande JAR:er:
| Grupp-ID | Artefakt-ID | Version |
|---|---|---|
| com.databricks | spark-deep-learning | 1.5.0-db1-spark2.4 |
| com.typesafe.akka | akka-actor_2.11 | 2.3.11 |
| ml.combust.mleap | mleap-databricks-runtime_2.11 | 0.13.0 |
| ml.dmlc | xgboost4j | 0,81 |
| ml.dmlc | xgboost4j-spark | 0,81 |
| org.graphframes | graphframes_2.11 | 0.7.0-db1-spark2.4 |
| org.tensorflow | libtensorflow | 1.12.0 |
| org.tensorflow | libtensorflow_jni | 1.12.0 |
| org.tensorflow | spark-tensorflow-connector_2.11 | 1.12.0 |
| org.tensorflow | tensorflow | 1.12.0 |
| org.tensorframes | tensorframes | 0.6.0-s_2.11 |