Machine Learning용 Databricks Runtime 15.4 LTS
Machine Learning용 Databricks Runtime 15.4 LTS는 Databricks Runtime 15.4 LTS를 기반으로 하는 Machine Learning 및 데이터 과학을 위한 즉시 사용 가능한 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 포함하여 널리 사용되는 많은 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 TorchDistributor를 사용한 분산 딥 러닝 학습도 지원합니다.
참고
LTS는 이 버전이 장기 지원 중이라는 의미입니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.
팁
지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.
새로운 기능 및 향상 기능
Databricks Runtime 15.4 LTS ML은 Databricks Runtime 15.4 LTS를 기반으로 빌드되었습니다. Apache Spark MLlib 및 SparkR을 포함한 Databricks Runtime 15.4 LTS의 새로운 기능에 대한 자세한 내용은 Databricks Runtime 15.4 LTS 릴리스 정보를 참조하세요.
분류에 대한 AutoML 샘플 가중치
이제 AutoML은 분류를 위한 샘플 가중치를 지원하므로 분류 모델 학습 중에 각 클래스의 중요도를 조정할 수 있습니다. 자세한 내용은 AutoML Python API대한
Databricks 기능 엔지니어링 클라이언트 변경 사항
Databricks Feature Engineering Python API의 새로운 기능에 대한 정보는 기능 엔지니어링 클라이언트 릴리스 정보를 참조하십시오.
기타 변경 사항
Petastorm은 이제 더 이상 사용되지 않습니다.
Petastorm 패키지는 더 이상 사용되지 않습니다. 15.4 LTS ML 이후 릴리스에는 이 패키지가 사전 설치되어 있지 않습니다. Mosaic Streaming 은 클라우드 스토리지에서 대용량 데이터 세트를 로드할 때 권장되는 대체 기능입니다.
Spark Tensorflow 배포자는 더 이상 사용되지 않습니다.
이제 spark-tensorflow-distributor 패키지는 더 이상 사용되지 않습니다. 15.4 LTS ML 이후 릴리스에는 이 패키지가 사전 설치되어 있지 않습니다.
Tensorflow 또는 Keras 모델의 분산 학습을 위해 Ray on Databricks를 권장합니다.
시스템 환경
Databricks Runtime 15.4 LTS ML의 시스템 환경은 다음과 같이 Databricks Runtime 15.4 LTS와 다릅니다.
- GPU 클러스터의 경우 Databricks Runtime ML에는 다음과 같은 NVIDIA GPU 라이브러리가 포함됩니다.
- CUDA 12.1
- cusolver 11.4.5.107-1
- cupti 12.1
- cuDNN 8.9.0.131-1
- NCCL 2.17.1
- TensorRT 8.6.1.6-1
라이브러리
다음 섹션에서는 Databricks Runtime 15.4 LTS에 포함된 라이브러리와 다른 Databricks Runtime 15.4 LTS ML에 포함된 라이브러리를 나열합니다.
이 구역의 내용:
최상위 계층 라이브러리
Databricks Runtime 15.4 LTS ML에는 다음과 같은 최상위 라이브러리가 포함되어 있습니다.
- datasets
- GraphFrames
- MLflow
- PyTorch
- spark-tensorflow-connector
- Scikit-learn
- Tensorflow
- TensorBoard
- 변환기
Python 라이브러리
Databricks Runtime 15.4 LTS ML은 Python 패키지 관리에 virtualenv을(를) 사용하며 많은 자주 사용되는 ML 패키지를 포함합니다.
다음 섹션에 지정된 패키지 외에도 Databricks Runtime 15.4 LTS ML에는 다음 패키지도 포함됩니다.
- hyperopt 0.2.7+db3
- sparkdl 3.0.0_db1
- automl 1.28.0
로컬 Python 가상 환경에서 Databricks Runtime ML Python 환경을 재현하려면:
- requirements-15.4.txt 파일을 다운로드합니다.
- Ubuntu 시스템에서
sudo apt-get install libpq-dev libcairo2-dev libdbus-1-dev libgirepository1.0-dev libsnappy-dev을(를) 실행하여 시스템 라이브러리를 설치합니다. -
pip install -r requirements-15.4.txt --extra-index-url https://download.pytorch.org/whl/cpu를 실행합니다. 이 명령은 Databricks Runtime ML이 사용하는 모든 오픈 소스 라이브러리를 설치하지만databricks-automl,hyperopt또는horovod의 Databricks 포크와 같이 Databricks에서 개발한 라이브러리는 설치하지 않습니다.
CPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 가속하다 | 0.31.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings (아르곤2-CFFI 바인딩) | 21.2.0 | 아스토르 | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| 속성 | 22.1.0 | 오디오리드 | 3.0.1 | azure-core | 1.30.2 |
| azure-cosmos | 4.3.1 | azure-identity | 1.17.1 | azure-storage-blob | 12.19.1 |
| azure-storage-파일-데이터레이크 | 12.14.0 | 콜백 함수 | 0.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.2 | 검정색 | 23.3.0 | 표백제 | 4.1.0 |
| 깜빡이 | 1.4 | blis | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | Brotli | 1.0.9 | cachetools | 5.4.0 |
| 카탈로그 | 2.0.10 | 카테고리 인코더 | 2.6.3 | 인증서 | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| 차단기 | 1.4.0 | 클릭 | 8.0.4 | cloudpathlib | 0.16.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.2 | 다채로운 | 0.5.6 |
| 커뮤니케이션 | 0.1.2 | 과자 | 0.1.4 | configparser | 5.2.0 |
| contourpy | 1.0.5 | 암호화 | 41.0.3 | 사이클러 | 0.11.0 |
| cymem | 2.0.8 | Cython | 0.29.32 | 다사이트 | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-특징 공학 | 0.6.0 | databricks-sdk | 0.20.0 |
| dataclasses-json | 0.6.7 | 데이터 세트 | 2.19.1 | dbl-tempo | 0.1.26 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | 장식자 | 5.1.1 |
| deepspeed | 0.14.4 | defusedxml (디퓨즈드 XML) | 0.7.1 | 더 이상 사용되지 않음 | 1.2.14 |
| 딜 | 0.3.6 | 디스크 캐시 | 5.6.3 | distlib | 0.3.8 |
| dm-tree | 0.1.8 | 진입점 | 0.4 | 평가하다 | 0.4.2 |
| 실행 중 | 0.8.3 | 특성 개요 | 1.1.1 | Farama-알림 | 0.0.4 |
| fastjsonschema | 2.20.0 | fasttext | 0.9.2 | 파일 잠금 | 3.13.4 |
| Flask | 2.2.5 | flatbuffers | 24.3.25 | 폰트툴즈 | 4.25.0 |
| frozenlist | 1.3.3 | fsspec | 2023.5.0 | 미래 | 0.18.3 |
| gast | 0.4.0 | gitdb | 4.0.11 | GitPython | 3.1.27 |
| google-api-core | 2.18.0 | 구글 인증 | 2.21.0 | google-auth-oauthlib | 1.0.0 |
| google-cloud-core | 2.4.1 | Google 클라우드 스토리지 | 2.10.0 | google-crc32c | 1.5.0 |
| 구글 파스타 | 0.2.0 | google-resumable-media | 2.7.1 | googleapis-common-protos | 1.63.0 |
| greenlet (그린렛) | 2.0.1 | grpcio | 1.60.0 | grpcio-status | 1.60.0 |
| gunicorn | 20.1.0 | gviz-api | 1.10.0 | 체육관 | 0.28.1 |
| h11 | 0.14.0 | h5py | 3.10.0 | hjson | 3.1.0 |
| 휴일 | 0.45 | horovod | 0.28.1+db1 | htmlmin | 0.1.12 |
| httpcore | 1.0.5 | httplib2 | 0.20.2 | httpx | 0.27.0 |
| huggingface-hub | 0.23.4 | idna | 3.4 | 이미지해시 | 4.3.1 |
| imageio | 2.31.1 | imbalanced-learn | 0.11.0 | importlib-metadata | 6.0.0 |
| importlib_resources | 6.4.0 | ipyflow-core | 0.0.198 | ipykernel | 6.25.1 |
| ipython | 8.15.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
| isodate | 0.6.1 | 위험하다 | 2.0.1 | jax-jumpy | 1.0.0 |
| jedi | 0.18.1 | 필리핀의 대중교통 수단인 지프니 | 0.7.1 | Jinja2 | 3.1.2 |
| jmespath | 0.10.0 | joblib | 1.2.0 | joblibspark | 0.5.1 |
| jsonpatch | 1.33 | jsonpointer | 3.0.0 | jsonschema | 4.17.3 |
| jupyter-서버 | 1.23.4 | jupyter_client | 7.4.9 | 주피터_코어 | 5.3.0 |
| jupyterlab-pygments | 0.1.2 | Keras | 3.2.1 | 열쇠고리 | 23.5.0 |
| kiwisolver | 1.4.4 | langchain | 0.1.20 | langchain-community | 0.0.38 |
| langchain-core | 0.1.52 | langchain-text-splitters (텍스트 분할도구) | 0.0.2 | 언어 코드 | 3.4.0 |
| langsmith | 0.1.63 | 언어_데이터 | 1.2.0 | launchpadlib | 1.10.16 |
| lazr.restfulclient | 0.14.4 | lazr.uri | 1.0.6 | lazy_loader | 0.2 |
| libclang | 15.0.6.1 | librosa | 0.10.1 | lightgbm | 4.3.0 |
| linkify-it-py | 2.0.0 | llvmlite | 0.40.0 | lxml | 4.9.2 |
| lz4 | 4.3.2 | Mako | 1.2.0 | marisa-trie | 1.1.1 |
| Markdown | 3.4.1 | markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 |
| 마시멜로 | 3.21.2 | matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 |
| mdit-py-plugins | 0.3.0 | mdurl | 0.1.0 | 메므레이 | 1.13.3 |
| mistune | 0.8.4 | ml-dtypes | 0.3.2 | mlflow-skinny | 2.13.1 |
| more-itertools | 8.10.0 | mosaicml-streaming | 0.7.4 | mpmath | 1.3.0 |
| msal | 1.29.0 | msal-extensions | 1.2.0 | msgpack | 1.0.8 |
| 다국어 사전 | 6.0.2 | 다중 방법 | 1.12 | 다중 처리 | 0.70.14 |
| murmurhash | 1.0.10 | mypy-extensions | 0.4.3 | namex | 0.0.8 |
| nbclassic | 0.5.5 | nbclient | 0.5.13 | nbconvert | 6.5.4 |
| nbformat | 5.7.0 | nest-asyncio | 1.5.6 | networkx | 3.1 |
| 닌자 | 1.11.1.1 | nltk | 3.8.1 | 노트북 | 6.5.4 |
| notebook_shim | 0.2.2 | 넘바 | 0.57.1 | numpy | 1.23.5 |
| nvidia-ml-py | 12.555.43 | oauthlib | 3.2.0 | 오라클 클라우드 인프라스트럭처 (if "oci" refers to Oracle Cloud Infrastructure) | 2.126.4 |
| openai | 1.35.3 | opencensus | 0.11.4 | 오픈센서스-컨텍스트 | 0.1.3 |
| opentelemetry-api | 1.25.0 | opentelemetry-sdk | 1.25.0 | 오픈텔레메트리-시맨틱-컨벤션 | 0.46b0 |
| opt-einsum | 3.3.0 | optree | 0.12.1 | orjson | 3.10.6 |
| 패키징 | 23.2 | pandas | 1.5.3 | pandocfilters | 1.5.0 |
| paramiko | 3.4.0 | 파르소 | 0.8.3 | pathspec | 0.10.3 |
| 희생양 | 0.5.3 | petastorm | 0.12.1 | pexpect | 4.8.0 |
| phik | 0.12.4 | pickleshare | 0.7.5 | 베개 | 9.4.0 |
| pip | 23.2.1 | platformdirs | 3.10.0 | plotly | 5.9.0 |
| pmdarima | 2.0.4 | 강아지 | 1.8.1 | portalocker | 2.10.1 |
| preshed | 3.0.9 | prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 |
| 예언자 | 1.1.5 | proto-plus | 1.24.0 | protobuf | 4.24.1 |
| psutil | 5.9.0 | psycopg2 | 2.9.3 | ptyprocess | 0.7.0 |
| pure-eval | 0.2.2 | py-cpuinfo | 8.0.0 | py-spy | 0.3.14 |
| pyarrow | 14.0.1 | pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.13.1 | 피콜로 | 0.0.52 |
| pycparser | 2.21 | pydantic | 1.10.6 | Pygments | 2.15.1 |
| PyGObject | 3.42.1 | PyJWT | 2.3.0 | PyNaCl | 1.5.0 |
| pyodbc | 4.0.38 | pyOpenSSL | 23.2.0 | pyparsing | 3.0.9 |
| pyrsistent | 0.18.0 | pytesseract (파이테서랙트) | 0.3.10 | python-dateutil | 2.8.2 |
| 파이썬 편집기 | 1.0.4 | 파이썬-LSP-JSON-RPC | 1.1.1 | python-snappy | 0.6.1 |
| pytz | 2022.7 | PyWavelets | 1.4.1 | PyYAML | 6.0 |
| pyzmq | 23.2.0 | 광선 | 2.20.0 | 정규식 | 2022.7.9 |
| 요청 | 2.31.0 | requests-oauthlib | 1.3.1 | 부유한 | 13.7.1 |
| rsa | 4.9 | s3transfer | 0.10.2 | safetensors | 0.4.2 |
| scikit-image | 0.20.0 | scikit-learn | 1.3.0 | scipy | 1.11.1 |
| seaborn | 0.12.2 | SecretStorage | 3.3.1 | Send2Trash | 1.8.0 |
| sentence-transformers | 2.7.0 | sentencepiece | 0.1.99 | setuptools | 68.0.0 |
| 샤프 | 0.44.0 | simplejson | 3.17.6 | 6 | 1.16.0 |
| 슬라이서 | 0.0.7 | smart-open | 5.2.1 | smmap | 5.0.0 |
| sniffio | 1.2.0 | 사운드파일 | 0.12.1 | 수프 체 | 2.4 |
| soxr | 0.3.7 | 공간이 넓은 | 3.7.2 | spacy-legacy | 3.0.12 |
| spacy-loggers | 1.0.5 | spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 |
| sqlparse | 0.4.2 | 진짜 | 2.4.8 | ssh-import-id 명령어 | 5.11 |
| 스택 데이터 | 0.2.0 | stanio | 0.5.1 | statsmodels | 0.14.0 |
| sympy | 1.11.1 | 유니코드에 얽히다 | 0.2.0 | 끈기 | 8.2.2 |
| tensorboard | 2.16.2 | tensorboard-data-server (텐서보드-데이터-서버) | 0.7.2 | tensorboard_plugin_profile | 2.15.1 |
| tensorboardX | 2.6.2.2 | tensorflow | 2.16.1 | tensorflow-estimator | 2.15.0 |
| tensorflow-io-gcs-filesystem | 0.37.1 | termcolor | 2.4.0 | 완료됨 | 0.17.1 |
| 문자적인 | 0.63.3 | tf_keras | 2.16.0 | thinc | 8.2.3 |
| threadpoolctl | 2.2.0 | tifffile | 2021.7.2 | tiktoken | 0.5.2 |
| tinycss2 | 1.2.1 | tokenize-rt | 4.2.1 | 토크나이저 | 0.19.0 |
| 손전등 (or 횃불, depending on context) | 2.3.1+cpu | torcheval | 0.0.7 | torchvision | 0.18.1+cpu |
| tornado | 6.3.2 | tqdm | 4.65.0 | traitlets | 5.7.1 |
| 변환기 | 4.41.2 | 타입가드 | 2.13.3 | 타이핑하는 사람 | 0.9.4 |
| 입력-검사 | 0.9.0 | typing_extensions | 4.10.0 | tzdata | 2022년 1월 |
| uc-micro-py | 1.0.1 | ujson | 5.4.0 | 자동 업데이트 | 0.1 |
| urllib3 | 1.26.16 | virtualenv | 20.24.2 | 비전 | 0.7.5 |
| wadllib | 1.3.6 | 와사비 | 1.1.2 | wcwidth | 0.2.5 |
| 족제비 | 0.3.4 | 웹 인코딩 | 0.5.1 | websocket-client | 0.58.0 |
| 도구 | 2.2.3 | 바퀴 | 0.38.4 | 워드클라우드 | 1.9.3 |
| 싸인 | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| yarl | 1.8.1 | ydata-profiling | 4.5.1 | zipp | 3.11.0 |
| zstd | 1.5.5.1 |
GPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 1.0.0 | 가속하다 | 0.31.0 | aiohttp | 3.8.5 |
| aiohttp-cors | 0.7.0 | aiosignal | 1.2.0 | anyio | 3.5.0 |
| argon2-cffi | 21.3.0 | argon2-cffi-bindings | 21.2.0 | astor | 0.8.1 |
| asttokens | 2.0.5 | astunparse | 1.6.3 | async-timeout | 4.0.2 |
| 속성 | 22.1.0 | audioread | 3.0.1 | azure-core | 1.30.2 |
| azure-cosmos | 4.3.1 | azure-identity | 1.17.1 | azure-storage-blob | 12.19.1 |
| azure-storage-file-datalake | 12.14.0 | 백콜 | 0.2.0 | bcrypt | 3.2.0 |
| beautifulsoup4 | 4.12.2 | 검정색 | 23.3.0 | 표백제 | 4.1.0 |
| 깜빡이 | 1.4 | 행복 | 0.7.11 | boto3 | 1.34.39 |
| botocore | 1.34.39 | Brotli | 1.0.9 | 캐시 도구 | 5.4.0 |
| 카탈로그 | 2.0.10 | 카테고리 인코더 | 2.6.3 | certifi | 2023.7.22 |
| cffi | 1.15.1 | chardet | 4.0.0 | charset-normalizer | 2.0.4 |
| 회로 차단기 | 1.4.0 | 클릭 | 8.0.4 | cloudpathlib | 0.16.0 |
| cloudpickle | 2.2.1 | cmdstanpy | 1.2.2 | 형형색색의 | 0.5.6 |
| 통신 | 0.1.2 | 과자 | 0.1.4 | configparser | 5.2.0 |
| contourpy | 1.0.5 | 암호화 | 41.0.3 | 사이클러 | 0.11.0 |
| cymem | 2.0.8 | Cython | 0.29.32 | 데사이트 | 1.8.1 |
| databricks-automl-runtime | 0.2.21 | databricks-특징 엔지니어링 | 0.6.0 | databricks-sdk | 0.20.0 |
| dataclasses-json | 0.6.7 | 데이터 세트 | 2.19.1 | dbl-tempo | 0.1.26 |
| dbus-python | 1.2.18 | debugpy | 1.6.7 | 장식가 | 5.1.1 |
| deepspeed | 0.14.4 | defusedxml | 0.7.1 | 더 이상 사용되지 않음 | 1.2.14 |
| 회향초 | 0.3.6 | 디스크 캐시 | 5.6.3 | distlib | 0.3.8 |
| dm-tree | 0.1.8 | einops | 0.8.0 | 진입점 | 0.4 |
| 평가하다 | 0.4.2 | 실행 중 | 0.8.3 | 측면 개요 | 1.1.1 |
| Farama-알림 | 0.0.4 | fastjsonschema | 2.20.0 | fasttext | 0.9.2 |
| 파일 잠금 | 3.13.4 | flash-attn | 2.5.9.post1 | Flask | 2.2.5 |
| flatbuffers | 24.3.25 | fonttools | 4.25.0 | frozenlist | 1.3.3 |
| fsspec | 2023.5.0 | 미래 | 0.18.3 | gast | 0.4.0 |
| git 데이터베이스 (gitdb) | 4.0.11 | GitPython | 3.1.27 | google-api-core | 2.18.0 |
| google-auth | 2.21.0 | google-auth-oauthlib | 1.0.0 | google-cloud-core | 2.4.1 |
| google-cloud-storage | 2.10.0 | google-crc32c | 1.5.0 | 구글-파스타 | 0.2.0 |
| google-resumable-media | 2.7.1 | googleapis-common-protos | 1.63.0 | greenlet | 2.0.1 |
| grpcio | 1.60.0 | grpcio-status | 1.60.0 | gunicorn | 20.1.0 |
| gviz-api | 1.10.0 | 체육관 | 0.28.1 | h11 | 0.14.0 |
| h5py | 3.10.0 | hjson | 3.1.0 | 휴일 | 0.45 |
| horovod | 0.28.1+db1 | htmlmin | 0.1.12 | httpcore | 1.0.5 |
| httplib2 | 0.20.2 | httpx | 0.27.0 | huggingface-hub | 0.23.4 |
| idna | 3.4 | 이미지해시 | 4.3.1 | imageio | 2.31.1 |
| imbalanced-learn | 0.11.0 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
| ipyflow-core | 0.0.198 | ipykernel | 6.25.1 | ipython | 8.15.0 |
| ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 | isodate | 0.6.1 |
| itsdangerous | 2.0.1 | jax-jumpy | 1.0.0 | jedi | 0.18.1 |
| jeepney | 0.7.1 | Jinja2 | 3.1.2 | jmespath | 0.10.0 |
| joblib | 1.2.0 | joblibspark | 0.5.1 | jsonpatch | 1.33 |
| jsonpointer | 3.0.0 | jsonschema | 4.17.3 | jupyter-서버 | 1.23.4 |
| jupyter_client | 7.4.9 | jupyter_core | 5.3.0 | jupyterlab-pygments | 0.1.2 |
| Keras | 3.2.1 | 열쇠고리 | 23.5.0 | kiwisolver | 1.4.4 |
| langchain | 0.1.20 | langchain-community | 0.0.38 | langchain-core | 0.1.52 |
| langchain 텍스트 분할기 | 0.0.2 | 언어 코드 | 3.4.0 | langsmith | 0.1.63 |
| 언어_데이터 | 1.2.0 | launchpadlib | 1.10.16 | lazr.restfulclient | 0.14.4 |
| lazr.uri | 1.0.6 | lazy_loader | 0.2 | libclang | 15.0.6.1 |
| librosa | 0.10.1 | lightgbm | 4.3.0 | linkify-it-py | 2.0.0 |
| llvmlite | 0.40.0 | lxml | 4.9.2 | lz4 | 4.3.2 |
| Mako | 1.2.0 | marisa-trie | 1.1.1 | Markdown | 3.4.1 |
| markdown-it-py | 2.2.0 | MarkupSafe | 2.1.1 | 마시멜로 | 3.21.2 |
| matplotlib | 3.7.2 | matplotlib-inline | 0.1.6 | mdit-py-plugins | 0.3.0 |
| mdurl | 0.1.0 | memray | 1.13.4 | 잘못 조율하다 | 0.8.4 |
| ml-dtypes | 0.3.2 | mlflow-skinny | 2.13.1 | more-itertools | 8.10.0 |
| mosaicml-streaming | 0.7.4 | mpmath | 1.3.0 | msal | 1.30.0 |
| msal-extensions | 1.2.0 | msgpack | 1.0.8 | multidict | 6.0.2 |
| 다중 방법 | 1.12 | 다중 처리 | 0.70.14 | murmurhash | 1.0.10 |
| mypy-extensions | 0.4.3 | namex | 0.0.8 | nbclassic | 0.5.5 |
| nbclient | 0.5.13 | nbconvert | 6.5.4 | nbformat | 5.7.0 |
| nest-asyncio | 1.5.6 | networkx | 3.1 | 닌자 | 1.11.1.1 |
| nltk | 3.8.1 | 노트북 | 6.5.4 | 노트북_쉼 | 0.2.2 |
| numba | 0.57.1 | numpy | 1.23.5 | nvidia-cublas-cu12 | 12.1.3.1 |
| nvidia-cuda-cupti-cu12 | 12.1.105 | nvidia-cuda-nvrtc-cu12 | 12.1.105 | nvidia-cuda-runtime-cu12 | 12.1.105 |
| nvidia-cudnn-cu12 | 8.9.2.26 | nvidia-cufft-cu12 | 11.0.2.54 | nvidia-curand-cu12 | 10.3.2.106 |
| nvidia-cusolver-cu12 | 11.4.5.107 | nvidia-cusparse-cu12 | 12.1.0.106 | nvidia-ml-py | 12.555.43 |
| nvidia-nccl-cu12 | 2.20.5 | nvidia-nvjitlink-cu12 | 12.5.82 | nvidia-nvtx-cu12 | 12.1.105 |
| oauthlib | 3.2.0 | oci | 2.126.4 | openai | 1.35.3 |
| opencensus | 0.11.4 | opencensus-context | 0.1.3 | opentelemetry-api | 1.25.0 |
| opentelemetry-sdk | 1.25.0 | opentelemetry-semantic-conventions | 0.46b0 | opt-einsum | 3.3.0 |
| 옵트리 | 0.12.1 | orjson | 3.10.6 | 패키징 | 23.2 |
| pandas | 1.5.3 | pandocfilters | 1.5.0 | paramiko | 3.4.0 |
| 파소 | 0.8.3 | 패스스펙 (pathspec) | 0.10.3 | patsy | 0.5.3 |
| petastorm | 0.12.1 | pexpect | 4.8.0 | phik | 0.12.4 |
| 피클쉐어 | 0.7.5 | 베개 | 9.4.0 | pip (파이썬 패키지 관리 시스템) | 23.2.1 |
| platformdirs | 3.10.0 | plotly | 5.9.0 | pmdarima | 2.0.4 |
| 강아지 | 1.8.1 | portalocker | 2.10.1 | As there is no context or further information available, it's difficult to provide an improved translation. If it is assumed to be a unique term or name that requires usage in its original form, leaving it untranslated as "preshed" might be appropriate. | 3.0.9 |
| prometheus-client | 0.14.1 | prompt-toolkit | 3.0.36 | 예언자 | 1.1.5 |
| proto-plus | 1.24.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
| psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
| py-cpuinfo | 8.0.0 | py-spy | 0.3.14 | pyarrow | 14.0.1 |
| pyarrow-hotfix | 0.6 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.13.1 | 피콜로 | 0.0.52 | pycparser | 2.21 |
| pydantic | 1.10.6 | Pygments | 2.15.1 | PyGObject | 3.42.1 |
| PyJWT | 2.3.0 | PyNaCl | 1.5.0 | pyodbc | 4.0.38 |
| pyOpenSSL | 23.2.0 | pyparsing | 3.0.9 | pyrsistent | 0.18.0 |
| pytesseract | 0.3.10 | python-dateutil | 2.8.2 | python-editor | 1.0.4 |
| python-lsp-jsonrpc | 1.1.1 | python-snappy | 0.6.1 | pytz | 2022.7 |
| PyWavelets | 1.4.1 | PyYAML | 6.0 | pyzmq | 23.2.0 |
| 광선 | 2.20.0 | regex | 2022.7.9 | 요청 | 2.31.0 |
| requests-oauthlib | 1.3.1 | 부유한 | 13.7.1 | rsa | 4.9 |
| s3transfer | 0.10.2 | safetensors | 0.4.2 | scikit-image | 0.20.0 |
| scikit-learn | 1.3.0 | scipy | 1.11.1 | seaborn | 0.12.2 |
| SecretStorage | 3.3.1 | Send2Trash | 1.8.0 | sentence-transformers | 2.7.0 |
| sentencepiece (문장 조각) | 0.1.99 | setuptools | 68.0.0 | 샾 | 0.44.0 |
| simplejson | 3.17.6 | 6 | 1.16.0 | 절단기 | 0.0.7 |
| smart-open | 5.2.1 | 스맵 | 5.0.0 | 스니피오 | 1.2.0 |
| 사운드파일 | 0.12.1 | soupsieve | 2.4 | soxr | 0.3.7 |
| 널찍한 | 3.7.2 | spacy-legacy | 3.0.12 | spacy-loggers | 1.0.5 |
| spark-tensorflow-distributor | 1.0.0 | SQLAlchemy | 1.4.39 | sqlparse | 0.4.2 |
| 진짜? | 2.4.8 | ssh-import-id | 5.11 | 스택 데이터 | 0.2.0 |
| stanio | 0.5.1 | statsmodels | 0.14.0 | sympy | 1.11.1 |
| 유니코드에 얽힌 | 0.2.0 | 끈기 | 8.2.2 | tensorboard | 2.16.2 |
| tensorboard-data-server | 0.7.2 | tensorboard_plugin_profile | 2.15.1 | tensorboardX | 2.6.2.2 |
| tensorflow | 2.16.1 | tensorflow-estimator (텐서플로우 추정기) | 2.15.0 | tensorflow-io-gcs-filesystem | 0.37.1 |
| termcolor | 2.4.0 | 완료 | 0.17.1 | 문자적인 | 0.63.3 |
| tf_keras | 2.16.0 | 띵크 | 8.2.3 | threadpoolctl | 2.2.0 |
| tifffile | 2021년 7월 2일 | tiktoken | 0.5.2 | tinycss2 | 1.2.1 |
| tokenize-rt | 4.2.1 | 토큰화기 | 0.19.0 | 손전등 | 2.3.1+cu121 |
| torcheval | 0.0.7 | torchvision | 0.18.1+cu121 | tornado | 6.3.2 |
| tqdm | 4.65.0 | traitlets | 5.7.1 | 변환기 | 4.41.2 |
| 트리톤 | 2.3.1 | typeguard (타입 검사기) | 2.13.3 | typer | 0.9.4 |
| 타이핑 검사 | 0.9.0 | typing_extensions | 4.10.0 | tzdata | 2022.1 |
| uc-micro-py | 1.0.1 | ujson | 5.4.0 | 자동 업데이트 | 0.1 |
| urllib3 | 1.26.16 | virtualenv | 20.24.2 | 비전 | 0.7.5 |
| wadllib | 1.3.6 | 와사비 | 1.1.2 | wcwidth | 0.2.5 |
| 족제비 | 0.3.4 | 웹인코딩스 | 0.5.1 | websocket-client | 0.58.0 |
| 도구 | 2.2.3 | 바퀴 | 0.38.4 | 워드클라우드 | 1.9.3 |
| 감싸인 | 1.14.1 | xgboost | 2.0.3 | xxhash | 3.4.1 |
| yarl | 1.8.1 | ydata-profiling | 4.5.1 | zipp | 3.11.0 |
| zstd | 1.5.5.1 |
R 라이브러리
R 라이브러리는 Databricks Runtime 15.4 LTS의 R 라이브러리와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.12 클러스터)
Databricks Runtime 15.4 LTS의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 15.4 LTS ML에는 다음 JAR이 포함되어 있습니다.
CPU 클러스터
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-spark_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.11.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 클러스터
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.dmlc | xgboost4j-gpu_2.12 | 1.7.3 |
| ml.dmlc | xgboost4j-spark-gpu_2.12 | 1.7.3 |
| org.graphframes | graphframes_2.12 | 0.8.4-db1-spark3.5 |
| org.mlflow | mlflow-client | 2.11.1 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |