ML용 Databricks Runtime 10.2(EoS)
참고
이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.
Databricks는 2021년 12월에 이 버전을 릴리스했습니다.
Machine Learning용 Databricks Runtime 10.2은 Databricks Runtime 10.2(EoS)을 기반으로 즉시 사용 가능한 기계 학습 및 데이터 과학 환경을 제공합니다. Databricks Runtime ML에는 TensorFlow, PyTorch 및 XGBoost를 포함하여 널리 사용되는 많은 기계 학습 라이브러리가 포함되어 있습니다. Databricks Runtime ML에는 기계 학습 파이프라인을 자동으로 학습시키는 도구인 AutoML이 포함되어 있습니다. Databricks Runtime ML은 Horovod를 사용한 분산 딥 러닝 학습도 지원합니다.
Databricks Runtime ML 클러스터 만들기 지침을 포함한 자세한 내용은 Databricks에서의 AI 및 기계 학습을 참조하세요.
새로운 기능 및 향상 기능
Databricks Runtime 10.2 ML은 Databricks Runtime 10.2를 기반으로 빌드되었습니다. Apache Spark MLlib 및 SparkR을 포함하여 Databricks Runtime 10.2의 새로운 기능에 대한 자세한 내용은 Databricks Runtime 10.2(EoS) 릴리스 정보를 참조하세요.
Databricks 자동 로깅(공개 미리 보기)
Databricks 자동 로깅은 이제 모든 지역에서 공개 미리 보기로 제공됩니다. Databricks 자동 로깅은 Azure Databricks에서 기계 학습 교육 세션에 대한 자동 실험 추적을 제공하는 코드 없는 솔루션입니다. Databricks 자동 로깅을 사용하면 널리 사용되는 다양한 기계 학습 라이브러리에서 모델을 학습할 때 모델 매개 변수, 메트릭, 파일 및 계보 정보가 자동으로 캡처됩니다. 학습 세션은 MLflow 추적 실행으로 기록됩니다. 모델 파일도 추적되므로 MLflow 모델 레지스트리에 쉽게 로그하고 MLflow 모델 서비스로 실시간 채점을 위해 배포할 수 있습니다.
Databricks 자동 로깅에 대한 자세한 내용은 Databricks 자동 로깅을 참조하세요.
AutoML의 향상된 기능
AutoML의 향상된 기능은 다음과 같습니다.
- AutoML은 값이 하나만 있는 열을 무시합니다.
- 분류 및 회귀 문제의 경우 데이터 세트를 시간순으로 학습, 유효성 검사 및 테스트 집합으로 분할하는 데 사용되는 시간 열은 이제 문자열 형식이 될 수 있습니다. 이전에는 타임스탬프와 정수만 지원되었습니다. 자세한 내용은 학습, 유효성 검사, 테스트 집합으로 데이터 분할을 참조하세요.
Databricks 기능 저장소의 개선 사항
Databricks 기능 저장소가 다음과 같이 개선되었습니다.
단순화된 FeatureStoreClient 인터페이스
FeatureStoreClient 인터페이스가 단순화되었습니다.
-
FeatureStoreClient.create_feature_table()는 사용되지 않습니다. 대신FeatureStoreClient.create_table()을 사용합니다. -
FeatureStoreClient.get_feature_table()는 사용되지 않습니다. 대신FeatureStoreClient.get_table()을 사용합니다. -
FeatureStoreClient.publish_table()및name이외의online_store에 대한 모든 인수는 키워드 인수로 전달되어야 합니다.
선택한 열만 온라인 상점에 게시
Databricks 기능 저장소는 이제 선택한 열만 온라인 저장소에 게시할 수 있도록 지원합니다. 자세한 내용은 선택한 기능을 온라인 상점에 게시를 참조하세요.
Databricks Runtime ML Python 환경의 주요 변경 내용
Databricks Runtime 10.1 ML에서 더 이상 사용되지 않는 Apache Spark MLlib용 자동화된 MLflow 추적 통합은 이제 Databricks Runtime 10.2 ML에서 기본적으로 사용하지 않도록 설정됩니다. Databricks 자동 로깅과 함께 기본적으로 사용하도록 설정되는 MLflow의 PySpark ML 자동 로깅 통합으로 대체되었습니다. 자동 로깅은 최상의 모델과 관련된 매개 변수, 메트릭 및 아티팩트를 포함하여 MLlib에 대한 자동화된 MLflow 추적이 캡처한 것 이상의 추가 정보를 기록합니다.
업그레이드된 Python 패키지
- databricks-cli 0.14.3 => 0.16.2
- keras 2.6.0 => 2.7.0
- lightgbm 3.3.0 => 3.3.1
- mlflow 1.21.0 => 1.22.0
- plotly 5.3.0 => 5.3.1
- shap 0.39.0 => 0.40.0
- spacy 3.1.3 => 3.2.0
- tensorboard 2.6.0 => 2.7.0
- tensorflow 2.6.0 => 2.7.0
- torch 1.9.1 => 1.10.0
- torchvision 0.10.1 => 0.11.1
- transformers 4.11.3 => 4.12.3
- xgboost 1.4.2 => 1.5.0
시스템 환경
Databricks Runtime 10.2 ML의 시스템 환경은 다음과 같은 면에서 Databricks Runtime 10.2와 다릅니다.
-
DBUtils: Databricks Runtime ML에는 라이브러리 유틸리티(dbutils.library)(레거시)가 포함되어 있지 않습니다.
대신
%pip명령을 사용합니다. Notebook 범위 내의 Python 라이브러리를 참조하세요. - GPU 클러스터의 경우 Databricks Runtime ML에는 다음과 같은 NVIDIA GPU 라이브러리가 포함됩니다.
- CUDA 11.0
- cuDNN 8.0.5.39
- NCCL 2.10.3
- TensorRT 7.2.2
라이브러리
다음 섹션에서는 Databricks Runtime 10.2에 포함된 라이브러리와 다른 Databricks Runtime 10.2 ML에 포함된 라이브러리를 나열합니다.
이 구역의 내용:
최상위 계층 라이브러리
Databricks Runtime 10.2 ML에는 다음과 같은 최상위 라이브러리가 포함되어 있습니다.
- GraphFrames
- Horovod 및 HorovodRunner
- MLflow
- PyTorch
- spark-tensorflow-connector
- Tensorflow
- TensorBoard
Python 라이브러리
Databricks Runtime 10.2 ML은 Python 패키지 관리에 Virtualenv를 사용하며 많은 자주 사용되는 ML 패키지를 포함합니다.
다음 섹션에 지정된 패키지 외에도 Databricks Runtime 10.2 ML에는 다음 패키지도 포함됩니다.
- hyperopt 0.2.7.db1
- sparkdl 2.2.0-db5
- feature_store 0.3.6
- automl 1.5.0
CPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10(ISO-Rolling) | 애플리케이션 디렉토리 | 1.4.4 |
| argon2-cffi | 20.1.0 | astor | 0.8.1 | astunparse | 1.6.3 |
| 비동기 생성기 | 1.10 | 속성들 | 20.3.0 | 백콜 | 0.2.0 |
| bcrypt | 3.2.0 | bidict | 0.21.4 | 표백제 | 3.3.0 |
| 블리스 | 0.7.4 | boto3 | 1.16.7 | botocore | 1.19.7 |
| cachetools | 4.2.4 | 카탈로그 | 2.0.6 | certifi | 2020.12.5 |
| cffi | 1.14.5 | chardet | 4.0.0 | 클릭 | 7.1.2 |
| cloudpickle | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
| convertdate | 2.3.2 | 암호화 | 3.4.7 | 사이클러 | 0.10.0 |
| cymem | 2.0.5 | Cython | 0.29.23 | databricks-automl-runtime | 0.2.4 |
| databricks-cli | 0.16.2 | dbus-python | 1.2.16 | 데코레이터 | 5.0.6 |
| defusedxml | 0.7.1 | 딜 | 0.3.2 | 디스크 캐시 | 5.2.1 |
| 디스트립 | 0.3.3 | 배포판 정보 | 0.23ubuntu1 | 진입점 | 0.3 |
| 에펨 | 4.1.1 | 측면 개관 | 1.0.0 | fasttext | 0.9.2 |
| 파일 잠금 | 3.0.12 | 플라스크 | 1.1.2 | flatbuffers | 2.0 |
| fsspec | 0.9.0 | 미래 | 0.18.2 | 게스트 | 0.4.0 |
| gitdb | 4.0.7 | GitPython | 3.1.12 | google-auth | 1.22.1 |
| google-auth-oauthlib | 0.4.2 | 구글-파스타 | 0.2.0 | grpcio | 1.39.0 |
| gunicorn | 20.0.4 | gviz-api | 1.10.0 | h5py | 3.1.0 |
| 히즈리 변환기 | 2.2.2 | 휴일 | 0.11.3.1 | horovod | 0.23.0 |
| htmlmin | 0.1.12 | huggingface-hub | 0.1.2 | idna | 2.10 |
| 이미지해시 | 4.2.1 | imbalanced-learn | 0.8.1 | importlib-metadata | 3.10.0 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets (아이파이위젯) | 7.6.3 | isodate | 0.6.0 | itsdangerous | 1.1.0 |
| jedi | 0.17.2 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | joblibspark | 0.3.0 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | Keras | 2.7.0 | Keras-Preprocessing | 1.1.2 |
| kiwisolver | 1.3.1 | koalas | 1.8.2 | 한국 음력 달력 | 0.2.1 |
| 언어 코드 | 3.3.0 | libclang | 12.0.0 | lightgbm | 3.3.1 |
| llvmlite | 0.37.0 | LunarCalendar | 0.0.9 | Mako | 1.1.3 |
| Markdown | 3.3.3 | MarkupSafe | 2.0.1 | matplotlib | 3.4.2 |
| 미싱노 | 0.5.0 | 잘못된 조정 | 0.8.4 | mleap | 0.18.1 |
| mlflow-skinny | 1.22.0 | 멀티메소드 | 1.6 | murmurhash | 1.0.5 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | networkx | 2.5 | nltk | 3.6.1 |
| 노트북 | 6.3.0 | numba | 0.54.1 | numpy | 1.19.2 |
| oauthlib | 3.1.0 | opt-einsum | 3.3.0 | 패키징 | 21.3 |
| pandas | 1.2.4 | pandas-profiling | 3.1.0 | pandocfilters | 1.4.3 |
| paramiko | 2.7.2 | 파르소 | 0.7.0 | Pathy | 0.6.0 |
| 희생양 | 0.5.1 | petastorm | 0.11.3 | pexpect | 4.8.0 |
| 피크 | 0.12.0 | pickleshare | 0.7.5 | 베개 | 8.2.0 |
| pip | 21.0.1 | plotly | 5.3.1 | 프레셰드 | 3.0.5 |
| prometheus-client | 0.10.1 | prompt-toolkit | 3.0.17 | 예언자 | 1.0.1 |
| protobuf | 3.17.2 | psutil | 5.8.0 | psycopg2 | 2.8.5 |
| ptyprocess | 0.7.0 | pyarrow | 4.0.0 | pyasn1 | 0.4.8 |
| pyasn1-modules | 0.2.8 | pybind11 | 2.8.1 | pycparser | 2.20 |
| pydantic | 1.8.2 | Pygments | 2.8.1 | PyGObject | 3.36.0 |
| PyMeeus | 0.5.11 | PyNaCl | 1.4.0 | pyodbc | 4.0.30 |
| pyparsing | 2.4.7 | pyrsistent | 0.17.3 | pystan | 2.19.1.1 |
| python-apt | 2.0.0+ubuntu0.20.4.6 | python-dateutil | 2.8.1 | 파이썬 에디터 | 1.0.4 |
| python-engineio | 4.3.0 | python-socketio | 5.4.1 | pytz | 2020.5 |
| PyWavelets | 1.1.1 | PyYAML | 5.4.1 | pyzmq | 20.0.0 |
| regex | 2021년 4월 4일 | 요청 | 2.25.1 | requests-oauthlib | 1.3.0 |
| requests-unixsocket (요청-유닉스소켓) | 0.2.0 | rsa | 4.7.2 | s3transfer | 0.3.7 |
| sacremoses | 0.0.46 | scikit-learn | 0.24.1 | scipy | 1.6.2 |
| 시본 | 0.11.1 | Send2Trash | 1.5.0 | setuptools | 52.0.0 |
| setuptools-git | 1.2 | shap | 0.40.0 | simplejson | 3.17.2 |
| 6 | 1.15.0 | 슬라이서 | 0.0.7 | 스마트-오픈 | 5.2.0 |
| smmap | 3.0.5 | 정신 없는 | 3.2.0 | spacy-legacy | 3.0.8 |
| 스페이시 로거스 | 1.0.1 | spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.1 |
| 진짜로 | 2.4.1 | ssh-import-id | 5.10 | statsmodels | 0.12.2 |
| 표로 정리하다 | 0.8.7 | 유니코드에 얽힌 문제 | 0.1.0 | 끈기 | 6.2.0 |
| 텐서보드 | 2.7.0 | 텐서보드 데이터 서버 | 0.6.1 | tensorboard-plugin-profile | 2.5.0 |
| tensorboard-plugin-wit (텐서보드 플러그인 위트) | 1.8.0 | tensorflow-cpu | 2.7.0 | tensorflow-estimator (텐서플로우 추정기) | 2.7.0 |
| tensorflow-io-gcs-filesystem | 0.22.0 | termcolor | 1.1.0 | 완료됨 | 0.9.4 |
| 테스트 경로 | 0.4.4 | 띵크 | 8.0.12 | threadpoolctl | 2.1.0 |
| 토크나이저 | 0.10.3 | torch | 1.10.0+cpu | torchvision | 0.11.1+cpu |
| tornado | 6.1 | tqdm | 4.59.0 | 트레이트릿 | 5.0.5 |
| 트랜스포머 | 4.12.3 | 타이퍼 | 0.3.2 | typing-extensions | 3.7.4.3 |
| ujson | 4.0.2 | 무인 업그레이드 (unattended-upgrades) | 0.1 | urllib3 | 1.25.11 |
| virtualenv | 20.4.1 | visions | 0.7.4 | 고추냉이 | 0.8.2 |
| wcwidth | 0.2.5 | webencodings (웹 인코딩) | 0.5.1 | 웹소켓 클라이언트 | 0.57.0 |
| 도구 | 1.0.1 | 바퀴 | 0.36.2 | widgetsnbextension (위젯 확장 기능) | 3.5.1 |
| 싸인 | 1.12.1 | xgboost | 1.5.0 | zipp | 3.4.1 |
GPU 클러스터의 Python 라이브러리
| 라이브러리 | 버전 | 라이브러리 | 버전 | 라이브러리 | 버전 |
|---|---|---|---|---|---|
| absl-py | 0.11.0 | Antergos Linux | 2015.10(ISO-Rolling) | 앱디르스 | 1.4.4 |
| argon2-cffi | 20.1.0 | 아스토르 | 0.8.1 | astunparse | 1.6.3 |
| 비동기-제너레이터 | 1.10 | 속성 | 20.3.0 | 백콜 | 0.2.0 |
| bcrypt | 3.2.0 | 비딕트 | 0.21.4 | 표백제 | 3.3.0 |
| blis | 0.7.4 | boto3 | 1.16.7 | botocore | 1.19.7 |
| cachetools | 4.2.4 | 카탈로그 | 2.0.6 | certifi | 2020.12.5 |
| cffi | 1.14.5 | chardet | 4.0.0 | 클릭 | 7.1.2 |
| cloudpickle (클라우드피클) | 1.6.0 | cmdstanpy | 0.9.68 | configparser | 5.0.1 |
| 변환 날짜 | 2.3.2 | 암호화 | 3.4.7 | 사이클러 | 0.10.0 |
| cymem | 2.0.5 | Cython | 0.29.23 | databricks-automl-runtime | 0.2.4 |
| databricks-cli | 0.16.2 | dbus-python | 1.2.16 | 장식자 | 5.0.6 |
| defusedxml | 0.7.1 | 딜(허브) | 0.3.2 | 디스크 캐시 | 5.2.1 |
| distlib | 0.3.3 | 리눅스 배포판 정보 (distro-info) | 0.23ubuntu1 | 진입점 | 0.3 |
| ephem | 4.1.1 | 측면 개요 | 1.0.0 | fasttext | 0.9.2 |
| 파일 잠금 | 3.0.12 | Flask | 1.1.2 | flatbuffers | 2.0 |
| fsspec | 0.9.0 | 미래 | 0.18.2 | gast | 0.4.0 |
| gitdb | 4.0.7 | GitPython | 3.1.12 | 구글 인증 | 1.22.1 |
| 구글 인증 OAuth 라이브러리 (google-auth-oauthlib) | 0.4.2 | 구글 파스타 | 0.2.0 | grpcio | 1.39.0 |
| gunicorn | 20.0.4 | gviz-api | 1.10.0 | h5py | 3.1.0 |
| hijri-converter | 2.2.2 | 휴일 | 0.11.3.1 | horovod | 0.23.0 |
| htmlmin | 0.1.12 | huggingface-hub | 0.1.2 | idna | 2.10 |
| 이미지해시 | 4.2.1 | imbalanced-learn | 0.8.1 | importlib-metadata | 3.10.0 |
| ipykernel | 5.3.4 | ipython | 7.22.0 | ipython-genutils | 0.2.0 |
| ipywidgets | 7.6.3 | isodate | 0.6.0 | itsdangerous | 1.1.0 |
| jedi | 0.17.2 | Jinja2 | 2.11.3 | jmespath | 0.10.0 |
| joblib | 1.0.1 | joblibspark | 0.3.0 | jsonschema | 3.2.0 |
| jupyter-client | 6.1.12 | jupyter-core | 4.7.1 | jupyterlab-pygments | 0.1.2 |
| jupyterlab-widgets | 1.0.0 | Keras | 2.7.0 | Keras-Preprocessing | 1.1.2 |
| kiwisolver | 1.3.1 | koalas | 1.8.2 | 한국 음력 달력 | 0.2.1 |
| 언어 코드 | 3.3.0 | libclang | 12.0.0 | lightgbm | 3.3.1 |
| llvmlite | 0.37.0 | 음력 달력 | 0.0.9 | Mako | 1.1.3 |
| Markdown | 3.3.3 | MarkupSafe | 2.0.1 | matplotlib | 3.4.2 |
| missingno | 0.5.0 | mistune (마크다운 파서 라이브러리) | 0.8.4 | mleap | 0.18.1 |
| mlflow-skinny | 1.22.0 | 멀티메소드 | 1.6 | 무르무르해시 | 1.0.5 |
| nbclient | 0.5.3 | nbconvert | 6.0.7 | nbformat | 5.1.3 |
| nest-asyncio | 1.5.1 | networkx | 2.5 | nltk | 3.6.1 |
| 공책 | 6.3.0 | numba | 0.54.1 | numpy | 1.19.2 |
| oauthlib | 3.1.0 | opt-einsum | 3.3.0 | 패키징 | 21.3 |
| pandas | 1.2.4 | pandas-profiling | 3.1.0 | pandocfilters | 1.4.3 |
| paramiko | 2.7.2 | parso | 0.7.0 | 병증 | 0.6.0 |
| 호구 | 0.5.1 | petastorm | 0.11.3 | pexpect | 4.8.0 |
| phik | 0.12.0 | pickleshare | 0.7.5 | 베개 | 8.2.0 |
| 파이썬 패키지 관리 도구 pip | 21.0.1 | plotly | 5.3.1 | preshed | 3.0.5 |
| prompt-toolkit | 3.0.17 | 예언자 | 1.0.1 | protobuf | 3.17.2 |
| psutil | 5.8.0 | psycopg2 | 2.8.5 | ptyprocess | 0.7.0 |
| pyarrow | 4.0.0 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
| pybind11 | 2.8.1 | pycparser | 2.20 | pydantic | 1.8.2 |
| Pygments | 2.8.1 | PyGObject | 3.36.0 | PyMeeus | 0.5.11 |
| PyNaCl | 1.4.0 | pyodbc | 4.0.30 | pyparsing (파이썬 텍스트 데이터 파싱 라이브러리) | 2.4.7 |
| pyrsistent | 0.17.3 | pystan | 2.19.1.1 | python-apt | 2.0.0+ubuntu0.20.4.6 |
| python-dateutil | 2.8.1 | 파이썬 편집기 | 1.0.4 | python-engineio | 4.3.0 |
| python-socketio | 5.4.1 | pytz | 2020.5 | PyWavelets | 1.1.1 |
| PyYAML | 5.4.1 | pyzmq | 20.0.0 | regex | 2021.4.4 |
| 요청 | 2.25.1 | requests-oauthlib | 1.3.0 | requests-unixsocket | 0.2.0 |
| rsa | 4.7.2 | s3transfer | 0.3.7 | sacremoses | 0.0.46 |
| scikit-learn | 0.24.1 | scipy | 1.6.2 | seaborn | 0.11.1 |
| Send2Trash | 1.5.0 | setuptools | 52.0.0 | setuptools-git | 1.2 |
| shap | 0.40.0 | simplejson | 3.17.2 | 6 | 1.15.0 |
| 슬라이서 | 0.0.7 | 스마트-오픈 | 5.2.0 | smmap | 3.0.5 |
| 공간이 넓은 | 3.2.0 | spacy-legacy | 3.0.8 | spacy-loggers | 1.0.1 |
| spark-tensorflow-distributor | 1.0.0 | sqlparse | 0.4.1 | 진짜 | 2.4.1 |
| ssh-import-id | 5.10 | statsmodels | 0.12.2 | 표로 정리하다 | 0.8.7 |
| 유니코드 얽힘 | 0.1.0 | 끈기 | 6.2.0 | tensorboard | 2.7.0 |
| tensorboard-data-server | 0.6.1 | tensorboard-plugin-profile | 2.5.0 | tensorboard-plugin-wit | 1.8.0 |
| tensorflow | 2.7.0 | tensorflow-estimator | 2.7.0 | tensorflow-io-gcs-filesystem | 0.22.0 |
| termcolor | 1.1.0 | 완료 | 0.9.4 | 시험 경로 | 0.4.4 |
| thinc | 8.0.12 | threadpoolctl | 2.1.0 | 토크나이저 | 0.10.3 |
| 손전등 (or) 횃불 | 1.10.0+cu111 | torchvision | 0.11.1+cu111 | tornado | 6.1 |
| tqdm | 4.59.0 | traitlets | 5.0.5 | 트랜스포머 | 4.12.3 |
| 타이핑하는 사람 | 0.3.2 | 타이핑-익스텐션 | 3.7.4.3 | ujson | 4.0.2 |
| 자동 업그레이드 | 0.1 | urllib3 | 1.25.11 | virtualenv | 20.4.1 |
| 비전 | 0.7.4 | 와사비 | 0.8.2 | wcwidth | 0.2.5 |
| 웹 인코딩 | 0.5.1 | websocket-client | 0.57.0 | Werkzeug | 1.0.1 |
| 바퀴 | 0.36.2 | widgetsnbextension | 3.5.1 | 사로잡힌 | 1.12.1 |
| xgboost | 1.5.0 | 지잎 | 3.4.1 |
Python 모듈이 포함된 Spark 패키지
| Spark 패키지 | Python 모듈 | 버전 |
|---|---|---|
| graphframes | graphframes | 0.8.2-db1-spark3.2 |
R 라이브러리
R 라이브러리는 Databricks Runtime 10.2의 R 라이브러리와 동일합니다.
Java 및 Scala 라이브러리(Scala 2.12 클러스터)
Databricks Runtime 10.2의 Java 및 Scala 라이브러리 외에도 Databricks Runtime 10.2 ML에는 다음 JAR이 포함되어 있습니다.
CPU 클러스터
| 그룹 아이디 | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.1 |
| ml.dmlc | xgboost4j_2.12 | 1.5.1 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.22.0 |
| org.mlflow | mlflow-spark | 1.22.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |
GPU 클러스터
| 그룹 ID | 아티팩트 ID | 버전 |
|---|---|---|
| com.typesafe.akka | akka-actor_2.12 | 2.5.23 |
| ml.combust.mleap | mleap-databricks-runtime_2.12 | 0.18.1-23eb1ef |
| ml.dmlc | xgboost4j-spark_2.12 | 1.5.1 |
| ml.dmlc | xgboost4j_2.12 | 1.5.1 |
| org.graphframes | graphframes_2.12 | 0.8.2-db1-spark3.2 |
| org.mlflow | mlflow-client | 1.22.0 |
| org.mlflow | mlflow-spark | 1.22.0 |
| org.scala-lang.modules | scala-java8-compat_2.12 | 0.8.0 |
| org.tensorflow | spark-tensorflow-connector_2.12 | 1.15.0 |