Machine Learning용 Databricks Runtime 15.1(EoS)
참고
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Machine Learning용 Databricks Runtime 15.1은 EoS(Databricks Runtime 15.1)를 기반으로 기계 학습 및 데이터 과학을 위한 즉시 사용할 수 있는 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 포함하여 널리 사용되는 많은 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.
팁
지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.
새로운 기능 및 향상 기능
Databricks Runtime 15.1 ML은 Databricks Runtime 15.1을 기반으로 빌드됩니다. Apache Spark MLlib 및 SparkR을 포함하여 Databricks Runtime 15.1의 새로운 기능과 관련된 자세한 내용은 Databricks Runtime 15.1(EoS) 릴리스 정보를 참조하세요.
중요한 변경 사항
레거시 Databricks CLI는 기본적으로 더 이상 설치되지 않습니다.
미리 설치된 MLflow 버전에 레거시 Databricks CLI가 필요했기 때문에 Databricks Runtime 14.3 LTS ML 이하에서는 자동으로 $PATH에 설치되었습니다. Databricks Runtime 15.1 ML에는 레거시 CLI가 필요하지 않은 MLflow 버전 2.10.2가 포함되어 있습니다.
Databricks Runtime 15.1 ML부터 레거시 Databricks CLI는 더 이상 자동으로 $PATH에 설치되지 않습니다. 이는 런타임에 설치되는 레거시 CLI에 의존하는 사용자에게 중대한 변경입니다.
%sh databricks ...와 같은 명령은 Databricks Runtime 15.1 ML 이상에서 더 이상 작동하지 않습니다.
Notebook에서 레거시 Databricks CLI를 계속 사용하려면 클러스터 또는 Notebook 라이브러리로 설치합니다. 새 Databricks CLI는 웹 터미널에서 사용할 수 있습니다. 자세한 내용은 웹 터미널 및 Databricks CLI 사용을 참조하세요.
Databricks Runtime 15.1 ML부터 MLeap을 더 이상 사용할 수 없습니다.
Databricks Runtime 15.1 ML 이상에서 MLeap을 더 이상 사용할 수 없습니다. JVM 기반 프레임워크에 배포할 모델을 패키지할 때 Databricks에서는 ONNX 형식을 사용하는 것이 좋습니다.
Horovod 및 HorovodRunner 사용 중단
Horovod 및 HorovodRunner는 이제 더 이상 사용되지 않습니다. 분산 딥 러닝의 경우 Databricks는 PyTorch와 함께 분산 학습에 TorchDistributor를 사용하거나 TensorFlow를 사용한 분산 학습을 위해 tf.distribute.Strategy API를 사용하는 것이 좋습니다. Horovod 및 HorovodRunner는 Databricks Runtime 15.1 ML에 미리 설치되어 있지만, 다음 주요 Databricks Runtime ML 버전에서 제거될 예정입니다.
참고
horovod.spark는 pyarrow 버전 11.0 이상을 지원하지 않습니다(관련 GitHub 문제 참조). Databricks Runtime 15.1 ML에는 pyarrow 버전 14.0.1이 포함되어 있습니다. Databricks Runtime 15.1 ML 이상과 함께 horovod.spark을 사용하려면 11.0 미만의 버전을 지정하여 pyarrow를 수동으로 설치해야 합니다.
시스템 환경
Databricks Runtime 15.1 ML의 시스템 환경은 다음과 같은 면에서 Databricks Runtime 15.1과 다릅니다.
- GPU 클러스터의 경우 Databricks Runtime ML에는 다음과 같은 NVIDIA GPU 라이브러리가 포함됩니다.
- CUDA 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
라이브러리
다음 섹션에서는 Databricks Runtime 15.1에 포함된 라이브러리와 다른 Databricks Runtime 15.1 ML에 포함된 라이브러리를 나열합니다.
이 구역의 내용:
최상위 계층 라이브러리
Databricks Runtime 15.1 ML에는 다음과 같은 최상위 계층 라이브러리가 포함되어 있습니다.
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Tensorflow
- TensorBoard
- Scikit-learn
- (사용되지 않음) Horovod 및 HorovodRunner
Python 라이브러리
Databricks Runtime 15.1 ML은 Python 패키지 관리에 virtualenv를 사용하며 많은 자주 사용되는 ML 패키지를 포함합니다.
다음 섹션에 지정된 패키지 외에도 Databricks Runtime 15.1 ML에는 다음 패키지도 포함됩니다.
- hyperopt 0.2.7+db4
- sparkdl 3.0.0_db1
- automl 1.25.0
로컬 Python 가상 환경에서 Databricks Runtime ML Python 환경을 재현하려면 requirements-15.1.txt 파일을 다운로드하고 pip install -r requirements-15.1.txt를 실행합니다. 이 명령은 Databricks Runtime ML이 사용하는 모든 오픈 소스 라이브러리를 설치하지만 databricks-automl, databricks-feature-store 또는 hyperopt의 Databricks 포크와 같은 Databricks에서 개발한 라이브러리는 설치하지 않습니다.
CPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 가속하다 | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | 아스토르 | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | 비동기-타임아웃 | 4.0.2 |
| 속성 | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | azure-storage-file-datalake (아주르 스토리지 파일 데이터레이크) | 12.14.0 |
| 백콜 | 0.2.0 | bcrypt (비밀번호 해시 함수) | 3.2.0 | beautifulsoup4 | 4.12.2 |
| 검정색 | 23.3.0 | 표백제 | 4.1.0 | 축복받은 | 1.20.0 |
| 방향 지시등 | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | 카탈로그 | 2.0.10 |
| 범주-인코더 | 2.6.3 | certifi | 2023.7.22 | cffi | 1.15.1 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | 클릭 | 8.0.4 |
| cloudpathlib | 0.16.0 | cloudpickle | 2.2.1 | cmdstanpy | 1.2.1 |
| 형형색색의 | 0.5.6 | 통신 | 0.1.2 | 과자 | 0.1.4 |
| configparser | 5.2.0 | contourpy | 1.0.5 | 암호화 | 41.0.3 |
| cycler | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
| 다사이트 | 1.8.1 | databricks-automl-runtime | 0.2.21 | Databricks 기능 엔지니어링 | 0.3.0 |
| databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | 데이터셋 | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| 장식가 | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
| dill | 0.3.6 | 디스크 캐시 | 5.6.3 | distlib | 0.3.8 |
| dm-tree | 0.1.8 | 진입점 | 0.4 | 평가하다 | 0.4.1 |
| 실행 중 | 0.8.3 | 단면 개요 | 1.1.1 | Farama-알림 | 0.0.4 |
| fastjsonschema | 2.19.1 | fasttext | 0.9.2 | 파일 잠금 | 3.9.0 |
| Flask | 2.2.5 | flatbuffers | 23.5.26 | fonttools | 4.25.0 |
| frozenlist | 1.3.3 | fsspec | 2023.5.0 | 미래 | 0.18.3 |
| 게스트 | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.27 |
| google-api-core | 2.17.1 | 구글 인증 | 2.21.0 | google-auth-oauthlib | 1.0.0 |
| google-cloud-core | 2.4.1 | 구글 클라우드 스토리지 | 2.11.0 | google-crc32c | 1.5.0 |
| 구글 파스타 | 0.2.0 | google-resumable-media | 2.7.0 | googleapis-common-protos | 1.62.0 |
| gpustat | 1.1.1 | greenlet | 2.0.1 | grpcio | 1.60.0 |
| grpcio-status | 1.60.0 | gunicorn | 20.1.0 | gviz-api | 1.10.0 |
| 체육관 | 0.28.1 | h11 | 0.14.0 | h5py | 3.9.0 |
| hjson | 3.1.0 | 휴일 | 0.38 | 호로보드 (Horovod) | 0.28.1+db1 |
| htmlmin | 0.1.12 | httpcore | 1.0.4 | httplib2 | 0.20.2 |
| httpx | 0.27.0 | huggingface-hub | 0.20.2 | idna | 3.4 |
| 이미지해시 | 4.3.1 | imageio | 2.31.1 | imbalanced-learn | 0.11.0 |
| importlib-metadata | 6.0.0 | importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 |
| ipykernel | 6.25.1 | ipython | 8.15.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 8.0.4 | isodate | 0.6.1 | itsdangerous | 2.0.1 |
| 잭스 점피 | 1.0.0 | jedi | 0.18.1 | 지프니 (필리핀의 대중교통 수단) | 0.7.1 |
| Jinja2 | 3.1.2 | jmespath | 0.10.0 | joblib | 1.2.0 |
| joblibspark | 0.5.1 | jsonpatch | 1.33 | jsonpointer | 2.4 |
| JSON 스키마 (jsonschema) | 4.17.3 | jupyter-서버 | 1.23.4 | jupyter_client | 7.4.9 |
| jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 |
| Keras | 2.15.0 | 열쇠고리 | 23.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.1.3 | langchain 커뮤니티 | 0.0.20 | langchain-core | 0.1.23 |
| 언어 코드 | 3.3.0 | langsmith | 0.0.87 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | 게으른 로더 | 0.2 |
| libclang | 16.0.6 | librosa | 0.10.1 | lightgbm | 4.2.0 |
| llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
| Mako | 1.2.0 | Markdown | 3.4.1 | markdown-it-py | 2.2.0 |
| MarkupSafe | 2.1.1 | 마시멜로 | 3.21.1 | matplotlib | 3.7.2 |
| matplotlib-inline | 0.1.6 | mdurl | 0.1.0 | 미조율 (assuming "mistune" refers to incorrect tuning) | 0.8.4 |
| ml-dtypes | 0.2.0 | mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 |
| mpmath | 1.3.0 | msgpack | 1.0.8 | 멀티딕트 | 6.0.2 |
| 다중 방법 | 1.11.2 | 다중 처리 | 0.70.14 | Murmurhash 해시 함수 | 1.0.10 |
| mypy-extensions | 0.4.3 | nbclassic | 0.5.5 | nbclient | 0.5.13 |
| nbconvert | 6.5.4 | nbformat | 5.7.0 | nest-asyncio | 1.5.6 |
| networkx | 3.1 | 닌자 | 1.11.1.1 | nltk | 3.8.1 |
| 노트 | 6.5.4 | notebook_shim | 0.2.2 | numba | 0.57.1 |
| numpy | 1.23.5 | nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 |
| openai | 1.9.0 | opencensus | 0.11.4 | opencensus-context | 0.1.3 |
| opt-einsum | 3.3.0 | 패키징 | 23.2 | pandas | 1.5.3 |
| pandocfilters | 1.5.0 | paramiko | 2.9.2 | 파르소 | 0.8.3 |
| pathspec | 0.10.3 | 희생양 | 0.5.3 | petastorm | 0.12.1 |
| pexpect (Python 자동화 라이브러리) | 4.8.0 | phik | 0.12.4 | pickleshare | 0.7.5 |
| 베개 | 9.4.0 | pip | 23.2.1 | platformdirs | 3.10.0 |
| plotly | 5.9.0 | pmdarima | 2.0.4 | 강아지 | 1.8.1 |
| preshed | 3.0.9 | prometheus-client | 0.14.1 | 프롬프트-툴킷 | 3.0.36 |
| 예언자 | 1.1.5 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow | 14.0.1 |
| pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.11.1 | 피콜로 | 0.0.52 | pycparser | 2.21 |
| pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pynvml | 11.5.0 |
| pyodbc | 4.0.38 | pyparsing | 3.0.9 | pyrsistent | 0.18.0 |
| pytesseract | 0.3.10 | python-dateutil | 2.8.2 | 파이썬 에디터 | 1.0.4 |
| python-lsp-jsonrpc | 1.1.1 | pytz | 2022.7 | PyWavelets | 1.4.1 |
| PyYAML | 6.0 | pyzmq | 23.2.0 | 광선 | 2.9.3 |
| 정규식 | 2022.7.9 | 요청 | 2.31.0 | requests-oauthlib | 1.3.1 |
| 응답 | 0.13.3 | 부유한 | 13.7.1 | RSA 암호화 알고리즘 | 4.9 |
| s3transfer | 0.10.0 | safetensors (세이프텐서) | 0.3.2 | scikit-image | 0.20.0 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | sentence-transformers | 2.2.2 |
| sentencepiece | 0.1.99 | setuptools | 68.0.0 | 샤프 | 0.44.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | 슬라이서 | 0.0.7 |
| smart-open | 5.2.1 | smmap | 5.0.0 | sniffio | 1.2.0 |
| 사운드파일 | 0.12.1 | 수프 체 | 2.4 | soxr | 0.3.7 |
| 넓은 | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| 진짜로 | 2.4.8 | ssh-import-id | 5.11 | 스택 데이터 | 0.2.0 |
| stanio | 0.3.0 | statsmodels | 0.14.0 | sympy | 1.11.1 |
| 유니코드에 얽힌 문제 | 0.2.0 | 끈기 | 8.2.2 | tensorboard | 2.15.1 |
| tensorboard-data-server | 0.7.2 | tensorboard-plugin-profile | 2.15.0 | tensorboardX | 2.6.2.2 |
| tensorflow-cpu | 2.15.0 | tensorflow-estimator | 2.15.0 | tensorflow-io-gcs-filesystem | 0.36.0 |
| termcolor | 2.4.0 | 완료됨 | 0.17.1 | thinc | 8.2.3 |
| threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | 토크나이저들 | 0.15.0 |
| 손전등 / 횃불 (depending on the context) | 2.1.2+cpu | torcheval | 0.0.7 | torchvision | 0.16.2+cpu |
| tornado | 6.3.2 | tqdm | 4.65.0 | traitlets (트레잇레츠) | 5.7.1 |
| 변환기 | 4.36.2 | typeguard | 2.13.3 | 타이피스트 | 0.9.0 |
| 타이핑-인스펙트 | 0.9.0 | typing_extensions | 4.7.1 | tzdata | 2022.1 |
| ujson | 5.4.0 | 자동 업데이트 | 0.1 | urllib3 | 1.26.16 |
| virtualenv | 20.21.0 | 비전 | 0.7.5 | wadllib | 1.3.6 |
| 와사비 | 1.1.2 | wcwidth | 0.2.5 | 족제비 | 0.3.4 |
| webencodings | 0.5.1 | websocket-client | 0.58.0 | 도구 | 2.2.3 |
| 바퀴 | 0.38.4 | widgetsnbextension | 4.0.5 | wordcloud | 1.9.3 |
| 감싸인 | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| yarl | 1.8.1 | ydata-profiling | 4.5.1 | zipp | 3.11.0 |
GPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 가속하다 | 0.25.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| 속성 | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.1 |
| azure-cosmos | 4.3.1 | azure-storage-blob | 12.19.0 | 스토리지-파일-데이터 레이크 | 12.14.0 |
| 백콜 | 0.2.0 | bcrypt | 3.2.0 | beautifulsoup4 | 4.12.2 |
| 검정색 | 23.3.0 | 표백제 | 4.1.0 | 축복받은 | 1.20.0 |
| 깜빡이 | 1.4 | 블리스 | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | cachetools | 5.3.3 | catalogue | 2.0.10 |
| 카테고리-인코더 (category-encoders) | 2.6.3 | certifi | 2023.7.22 | cffi | 1.15.1 |
| chardet | 4.0.0 | charset-normalizer | 2.0.4 | 클릭 | 8.0.4 |
| cloudpathlib | 0.16.0 | 클라우드피클 (Python 라이브러리) | 2.2.1 | cmdstanpy | 1.2.1 |
| 형형색색의 | 0.5.6 | comm | 0.1.2 | 과자 | 0.1.4 |
| configparser | 5.2.0 | 컨투어파이 | 1.0.5 | 암호화 | 41.0.3 |
| cycler | 0.11.0 | cymem | 2.0.8 | Cython | 0.29.32 |
| 다사이트 | 1.8.1 | databricks-automl-runtime | 0.2.21 | databricks-특징 공학 | 0.3.0 |
| databricks-sdk | 0.20.0 | dataclasses-json | 0.6.4 | 데이터 세트 | 2.16.1 |
| dbl-tempo | 0.1.26 | dbus-python | 1.2.18 | debugpy | 1.6.7 |
| 장식가 | 5.1.1 | deepspeed | 0.13.1 | defusedxml | 0.7.1 |
| 미나리 | 0.3.6 | 디스크 캐시 | 5.6.3 | distlib | 0.3.8 |
| dm-tree | 0.1.8 | einops | 0.7.0 | 진입점 | 0.4 |
| 평가하다 | 0.4.1 | 실행 중 | 0.8.3 | 특징 개요 | 1.1.1 |
| Farama-알림 | 0.0.4 | fastjsonschema | 2.19.1 | fasttext | 0.9.2 |
| 파일 잠금 | 3.9.0 | 플래시-어텐션 | 2.5.0 | Flask | 2.2.5 |
| flatbuffers (플랫버퍼스) | 23.5.26 | fonttools | 4.25.0 | frozenlist | 1.3.3 |
| fsspec | 2023.5.0 | 미래 | 0.18.3 | gast | 0.4.0 |
| gitdb | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.17.1 |
| 구글 인증 | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
| 구글 클라우드 스토리지 (Google Cloud Storage) | 2.11.0 | google-crc32c | 1.5.0 | 구글-파스타 | 0.2.0 |
| google-resumable-media (구글 재개 가능 미디어) | 2.7.0 | googleapis-common-protos | 1.62.0 | gpustat | 1.1.1 |
| 그린렛 (greenlet) | 2.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| gunicorn | 20.1.0 | gviz-api | 1.10.0 | 체육관 | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.9.0 | hjson | 3.1.0 |
| 휴일 | 0.38 | horovod | 0.28.1+db1 | htmlmin | 0.1.12 |
| httpcore | 1.0.4 | httplib2 | 0.20.2 | httpx | 0.27.0 |
| huggingface-hub | 0.20.2 | 아이디나 | 3.4 | ImageHash | 4.3.1 |
| imageio | 2.31.1 | imbalanced-learn | 0.11.0 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.1.2 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 8.0.4 |
| 이소데이트 (isodate) | 0.6.1 | 그것은 위험합니다 | 2.0.1 | 잭스-점피 | 1.0.0 |
| jedi | 0.18.1 | 지프니 (필리핀의 대중 교통수단) | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | joblibspark | 0.5.1 |
| jsonpatch | 1.33 | jsonpointer | 2.4 | jsonschema | 4.17.3 |
| jupyter-서버 | 1.23.4 | jupyter_client | 7.4.9 | jupyter_core | 5.3.0 |
| jupyterlab-pygments | 0.1.2 | jupyterlab-widgets | 3.0.5 | Keras | 2.15.0 |
| 열쇠고리 | 23.5.0 | kiwisolver | 1.4.4 | langchain | 0.1.3 |
| 랭체인 커뮤니티 | 0.0.20 | langchain-core | 0.1.23 | 언어 코드 | 3.3.0 |
| langsmith | 0.0.87 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | 레이지_로더 | 0.2 | libclang | 16.0.6 |
| librosa | 0.10.1 | lightgbm | 4.2.0 | llvmlite | 0.40.0 |
| lxml | 4.9.2 | lz4 | 4.3.2 | Mako | 1.2.0 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
| 마시멜로 | 3.21.1 | matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 |
| mdurl | 0.1.0 | mistune | 0.8.4 | ml-dtypes | 0.2.0 |
| mlflow-skinny | 2.10.2 | more-itertools | 8.10.0 | mpmath | 1.3.0 |
| msgpack | 1.0.8 | multidict | 6.0.2 | 다중 방법 | 1.11.2 |
| 다중 처리 | 0.70.14 | murmurhash | 1.0.10 | mypy-extensions | 0.4.3 |
| nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
| 닌자 | 1.11.1.1 | nltk | 3.8.1 | 공책 | 6.5.4 |
| 노트북_심 | 0.2.2 | numba | 0.57.1 | numpy | 1.23.5 |
| nvidia-ml-py | 12.535.133 | oauthlib | 3.2.0 | openai | 1.9.0 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opt-einsum | 3.3.0 |
| 패키징 | 23.2 | pandas | 1.5.3 | pandocfilters (팬독필터스) | 1.5.0 |
| paramiko | 2.9.2 | parso | 0.8.3 | pathspec | 0.10.3 |
| 희생양 | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| 피크 | 0.12.4 | pickleshare | 0.7.5 | 베개 | 9.4.0 |
| pip | 23.2.1 | 플랫폼 디렉터리 | 3.10.0 | plotly | 5.9.0 |
| pmdarima | 2.0.4 | 댕댕이 | 1.8.1 | 프레쉬드 | 3.0.9 |
| prompt-toolkit | 3.0.36 | 예언자 | 1.1.5 | protobuf | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| 피어-이밸 | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
| pyarrow | 14.0.1 | pyarrow-hotfix (파이애로우 핫픽스) | 0.6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.11.1 | 피콜로 | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pynvml | 11.5.0 | pyodbc | 4.0.38 | pyparsing | 3.0.9 |
| pyrsistent | 0.18.0 | pytesseract | 0.3.10 | python-dateutil | 2.8.2 |
| Python 편집기 | 1.0.4 | python-lsp-jsonrpc | 1.1.1 | pytz | 2022년 7월 |
| PyWavelets | 1.4.1 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| 광선 | 2.9.3 | regex | 2022.7.9 | 요청사항 | 2.31.0 |
| requests-oauthlib | 1.3.1 | 응답 | 0.13.3 | 부유한 | 13.7.1 |
| rsa | 4.9 | s3transfer | 0.10.0 | safetensors | 0.3.2 |
| scikit-image | 0.20.0 | scikit-learn | 1.3.0 | scipy | 1.11.1 |
| seaborn | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| 문장 변환기 | 2.2.2 | sentencepiece (센텐스피스) | 0.1.99 | setuptools | 68.0.0 |
| 모양 | 0.44.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| 슬라이서 | 0.0.7 | 스마트 오픈 | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.2.0 | 사운드파일 | 0.12.1 | soupsieve | 2.4 |
| soxr | 0.3.7 | 넓은 | 3.7.2 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | 진짜로 | 2.4.8 | ssh-import-id | 5.11 |
| 스택 데이터 | 0.2.0 | stanio | 0.3.0 | statsmodels | 0.14.0 |
| sympy | 1.11.1 | 유니코드 얽힘 | 0.2.0 | 끈기 | 8.2.2 |
| tensorboard | 2.15.1 | tensorboard-data-server | 0.7.2 | 텐서보드 플러그인 프로파일 (tensorboard-plugin-profile) | 2.15.0 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.15.0 | tensorflow-estimator | 2.15.0 |
| tensorflow-io-gcs-filesystem | 0.36.0 | termcolor | 2.4.0 | 완료됨 | 0.17.1 |
| thinc | 8.2.3 | threadpoolctl | 2.2.0 | tifffile | 2021년 7월 2일 |
| tiktoken | 0.5.2 | tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 |
| 토크나이저 | 0.15.0 | torch | 2.1.2+cu121 | torcheval | 0.0.7 |
| torchvision | 0.16.2+cu121 | tornado | 6.3.2 | tqdm | 4.65.0 |
| traitlets | 5.7.1 | 변환기 | 4.36.2 | 트라이톤 | 2.1.0 |
| 타입가드 | 2.13.3 | 타이퍼 | 0.9.0 | typing-inspect | 0.9.0 |
| typing_extensions | 4.7.1 | tzdata | 2022.1 | ujson | 5.4.0 |
| 자동 업그레이드 | 0.1 | urllib3 | 1.26.16 | virtualenv | 20.21.0 |
| 비전 | 0.7.5 | wadllib | 1.3.6 | wasabi | 1.1.2 |
| wcwidth (문자 폭을 계산하는 함수) | 0.2.5 | 족제비 | 0.3.4 | 웹 인코딩 | 0.5.1 |
| websocket-client | 0.58.0 | 도구 | 2.2.3 | 바퀴 | 0.38.4 |
| widgetsnbextension | 4.0.5 | 워드 클라우드 | 1.9.3 | 포장된 | 1.14.1 |
| xgboost | 2.0.3 | xxhash | 3.4.1 | yarl | 1.8.1 |
| ydata-profiling | 4.5.1 | 지프 | 3.11.0 |
R 라이브러리
R 라이브러리는 Databricks Runtime 15.1의 R 라이브러리와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.12 클러스터)
Databricks Runtime 15.1의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 15.1 ML에는 다음 JAR이 포함되어 있습니다.
CPU 클러스터
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 클러스터
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.2-db2-spark3.4 |
| org.mlflow | mlflow-client | 2.10.2 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |