Поделиться через

Команды CLI Databricks

  • Статья

Примечание.

Эта информация относится к Интерфейсу командной строки Databricks версии 0.205 и выше. Интерфейс командной строки Databricks находится в общедоступной предварительной версии.

Использование интерфейса командной строки Databricks распространяется на лицензию Databricks и уведомление о конфиденциальности Databricks, включая все положения об использовании.

В этой статье содержатся сведения о доступных командах CLI Databricks. Эта информация дополняет справку командной строки. Дополнительные сведения об установке и использовании интерфейса командной строки Databricks см. в разделе "Установка или обновление интерфейса командной строки Databricks" и "Что такое интерфейс командной строки Databricks?".

Интерфейс командной строки Databricks включает группы команд, перечисленные в следующих таблицах. Группы команд содержат наборы связанных команд, которые также могут содержать вложенные команды. Для вывода сведений об использовании и синтаксисе для группы команд, отдельной команды или подкоманда:

  • databricks <command-group> -h
  • databricks <command-group> <command-name> -h
  • databricks <command-group> <command-name> <subcommand-name> -h

Многие команды CLI сопоставляются с операциями, которые описаны в справочнике по REST API Azure Databricks.

Команды рабочей области

Группа Описание и команды
fs Команды для управления файлами и файловой системой:
cat, , cpls, mkdirrm
git-credentials Команды для регистрации личных маркеров доступа для Databricks для выполнения операций от имени пользователя:
create, , deleteget, listupdate
repos Команды, позволяющие пользователям управлять репозиториями Git:
create, , deleteget, listupdate
get-permission-levels, get-permissions, set-permissions, update-permissions
secrets Команды для управления секретами, областями секретов и разрешениями доступа:
create-scope, delete-acl, delete-scope, delete-secret, get-acl, get-secret, list-acls, list-scopes, list-secrets, put-acl, put-secret
workspace Команды для перечисления, импорта, экспорта и удаления записных книжек и папок в рабочей области:
delete, export, export-dirget-statusimportimport-dirlistmkdirs
get-permission-levels, get-permissions, set-permissions, update-permissions

Команды вычислений

Группа Описание и команды
cluster-policies Команды для управления способностью пользователей настраивать кластеры на основе набора правил:
create, , deleteedit, getlist
get-permission-levels, get-permissions, set-permissions, update-permissions
clusters Команды, позволяющие создавать, запускать, изменять, перечислять, завершать и удалять кластеры:
change-owner, create, delete, edit, events, get, list, list-node-types, list-zones, permanent-delete, pin, resize, restart, spark-versions, start, unpin
get-permission-levels, get-permissions, set-permissions, update-permissions
global-init-scripts Команды, позволяющие администраторам рабочих областей настраивать сценарии глобальной инициализации для своей рабочей области:
create, , deleteget, listupdate
instance-pools Команды для создания, редактирования, удаления и перечисления пулов экземпляров с использованием готовых к использованию облачных экземпляров, что позволяет сократить время запуска кластера и автоматического масштабирования:
create, , deleteedit, getlist
get-permission-levels, get-permissions, set-permissions, update-permissions
instance-profiles Команды, которые позволяют администраторам добавлять, просматривать и удалять профили экземпляров, с помощью которых пользователи могут запускать кластеры:
add, edit, list, remove
libraries Команды для установки, удаления и получения состояния библиотек в кластере:
all-cluster-statuses, cluster-status, install, uninstall
policy-families Команды для просмотра доступных семейств политик:
get, list

Команды заданий

Группа Описание и команды
jobs Команды для управления заданиями:
cancel-all-runs, cancel-run, create, delete, delete-run, export-run, get, get-run, get-run-output, list, list-runs, repair-run, reset, run-now, submit, update
get-permission-levels, get-permissions, set-permissions, update-permissions

Команды DLT

Группа Описание и команды
pipelines Команды для создания, редактирования, удаления, запуска и просмотра сведений о конвейерах:
create, delete, get, get-update, list-pipeline-events, list-pipelines, list-updates, start-update, stop, update
get-permission-levels, get-permissions, set-permissions, update-permissions

команды машинного обучения

Группа Описание и команды
experiments Команды для взаимодействия с экспериментами, которые являются основным подразделением организации в MLflow; Все запуски MLflow относятся к эксперименту:
create-experiment, create-run, delete-experiment, delete-run, delete-runs, delete-tag, get-by-name, get-experiment, get-history, get-runGet, list-artifacts, list-experiments, log-batch, log-inputs, log-metric, log-model, log-param, restore-experiment, restore-run, restore-runs, search-experiments, search-runs, set-experiment-tag, set-tag, update-experiment, update-run
get-permission-levels, get-permissions, set-permissions, update-permissions
model-registry Команды для реестра моделей рабочей области:
approve-transition-request, create-comment, create-model, create-model-version, create-transition-request, create-webhook, delete-comment, delete-model, delete-model-tag, delete-model-version, delete-model-version-tag, delete-transition-request, delete-webhook, get-latest-versions, get-model, get-model-version, get-model-version-download-uri, list-models, list-transition-requests, list-webhooks, reject-transition-request, rename-model, search-model-versions, search-models, set-model-tag, set-model-version-tag, test-registry-webhook, transition-stage, update-comment, update-model, update-model-version, update-webhook
get-permission-levels, get-permissions, set-permissions, update-permissions

Команды обслуживания в режиме реального времени

Группа Описание и команды
serving-endpoints Команды для создания, обновления и удаления конечных точек обслуживания моделей:
build-logs, create, delete, export-metrics, get, list, logs, patch, put, query, update-config
get-permission-levels, get-permissions, set-permissions, update-permissions

Команды управления удостоверениями и доступом

Группа Описание и команды
account Команды для управления учетными записями Databricks:
  • Удостоверение и доступ: access-control, groups, service-principals, users, workspace-assignment
  • Каталог Unity: metastore-assignments, metastores, storage-credentials
  • Параметры: ip-access-lists, network-connectivity, settings
  • Подготовка: credentials, encryption-keys, networks, private-access, storage, vpc-endpoints, workspaces
  • Выставление счетов: billable-usage, log-delivery
  • OAuth: custom-app-integration, o-auth-published-apps, published-app-integration, service-principal-secrets
аутентификация Команды для проверки подлинности:
describe, , envlogin, profilestoken
current-user Команды для получения сведений о пользователе или субъекте-службе, прошедших проверку подлинности:
me
groups Команды для групп, упрощающих управление удостоверениями, что упрощает назначение доступа к рабочей области Databricks, данным и другим защищаемым объектам:
create, delete, get, list, patch, update
permissions Команды для создания доступа для чтения, записи, редактирования, обновления и управления доступом для различных пользователей в различных объектах и конечных точках:
get, set, update
get-permission-levels
service-principals Команды для управления идентификаторами, используемыми в задачах, автоматизированных инструментах и системах, таких как скрипты, приложения и платформы CI/CD.
create, delete, get, list, patch, update
users Команды для удостоверений пользователей, распознаваемых системой Databricks и представленных адресами электронной почты:
create, delete, get, list, patch, update
get-permission-levels, get-permissions, set-permissions, update-permissions
Группа Описание и команды
alerts Команды для выполнения операций с оповещениями:
create, , deleteget, listupdate
data-sources Команды для создания новых объектов запроса:
list
queries Команды для выполнения операций с определениями запросов:
create, delete, get, list, restore, update
query-history Команды для доступа к журналу запросов через хранилища SQL:
list
warehouses Команды для управления хранилищами SQL, которые являются вычислительным ресурсом, который позволяет выполнять команды SQL на объектах данных в Databricks SQL:
create, deleteeditgetget-workspace-warehouse-configlistset-workspace-warehouse-configstartstop
get-permission-levels, get-permissions, set-permissions, update-permissions

Команды каталога Unity

Группа Описание и команды
artifact-allowlists Команды для управления списками разрешённых артефактов. В Databricks Runtime 13.3 и более поздних версиях можно добавлять библиотеки и скрипты инициализации в список разрешений в UC, чтобы пользователи могли использовать эти артефакты для вычислений, настроенных в стандартном режиме доступа:
get, update
catalogs Команды для управления каталогами— первый уровень трехуровневого пространства имен каталога Unity:
create, , deleteget, listupdate
connections Команды для создания подключения к внешнему источнику данных:
create, , deleteget, listupdate
external-locations Команды для управления внешними расположениями, которые объединяют путь к облачному хранилищу с учетными данными хранения, которые разрешают доступ к пути к облачному хранилищу:
create, , deleteget, listupdate
functions Команды для управления определяемыми пользователем функциями в каталоге Unity:
create, , deleteget, listupdate
grants Команды для предоставления доступа к данным в каталоге Unity:
get, get-effective, update
metastores Команды для управления хранилищами метаданных, которые являются контейнером верхнего уровня объектов в каталоге Unity:
assign, create, current, delete, get, list, summary, unassign, update, update-assignment
model-versions Команды для управления версиями модели. Databricks предоставляет размещенную версию реестра моделей MLflow в каталоге Unity.
delete, , getget-by-alias, listupdate
online-tables Команды для управления онлайн-таблицами, которые обеспечивают меньшую задержку и более высокую пропускную способность запросов для доступа к данным из таблиц Delta.
create, delete, get
quality-monitors Команды для управления мониторами, которые вычисляют и отслеживают данные или метрики качества модели для таблицы с течением времени:
create, delete, getget-refreshlist-refreshesrun-refreshupdate
registered-models Команды для управления зарегистрированными моделями. Databricks предоставляет размещенную версию реестра моделей MLflow в каталоге Unity.
create, delete, delete-aliasgetlistset-aliasupdate
schemas Команды для управления схемами, которые являются вторым слоем трехуровневого пространства имен каталога Unity:
create, , deleteget, listupdate
storage-credentials Команды для управления учетными данными хранилища, которые являются механизмом проверки подлинности и авторизации для доступа к данным, хранящимся в вашем облачном клиенте:
create, delete, get, list, update, validate
system-schemas Команды для управления системными схемами, которые являются схемами, которые находятся в системных каталогах:
disable, enable, list
table-constraints Команды для управления ограничениями первичного ключа и внешнего ключа, которые кодируют связи между полями в таблицах:
create, delete
tables Команды для управления таблицами, которые находятся на третьем уровне трехуровневого пространства имен каталога Unity:
delete, , existsget, listlist-summaries
volumes Команды для управления томами, которые являются возможностью каталога Unity (UC) для доступа, хранения, управления, организации и обработки файлов:
create, , deletelist, readupdate
workspace-bindings Команды для управления защищаемыми привязками рабочей области. Защищаемые объекты в Databricks можно настроить как OPEN или ISOLATED.
get, get-bindings, update, update-bindings

Команды Delta Sharing

Группа Описание и команды
providers Команды для управления поставщиками данных, которые представляют организации, которым предоставляется общий доступ к данным:
create, delete, get, list, list-shares, update
recipient-activation Команды для управления активацией получателя, которая применима только в открытой модели общего доступа, где объект получателя имеет тип проверки подлинности TOKEN:
get-activation-url-info, retrieve-token
recipients Команды для управления получателями, которые вы создаете с помощью :method:recipients/create, чтобы обозначить организацию, которой вы хотите предоставить доступ к общим ресурсам:
create, delete, get, list, rotate-token, update
share-permissions
shares Команды для управления общими ресурсами, которые являются контейнерами, созданными с помощью :method:shares/create:
create, , deleteget, listupdate
share-permissions, update-permissions

Команды параметров

Группа Описание и команды
ip-access-lists Команды, позволяющие администраторам настраивать списки IP-доступа:
create, delete, get, list, replace, update
settings Команды, позволяющие пользователям управлять параметрами на уровне рабочей области:
automatic-cluster-update, , csp-enablementdefault-namespace, esm-enablementrestrict-workspace-admins
token-management Команды, позволяющие администраторам получать все маркеры и удалять маркеры для других пользователей:
create-obo-token, delete, get, list
get-permission-levels, get-permissions, set-permissions, update-permissions
tokens Команды для создания, перечисления и отзыва маркеров, которые можно использовать для проверки подлинности и доступа к REST API Databricks:
create, delete, list
workspace-conf Команды для обновления параметров рабочей области:
get-status, set-status

Команды инструментов разработчика

Группа Описание и команды
пакет Команды для управления пакетами активов Databricks, которые позволяют выразить проекты Databricks в виде кода:
deploy, deployment, destroy, generate, init, open, run, schema, summary, sync, validate
sync Синхронизация локального каталога с каталогом рабочей области.

Команды поиска векторов

Группа Описание и команды
vector-search-endpoints Команды для управления конечными точками векторного поиска, которые представляют вычислительные ресурсы для индексов векторного поиска:
create-endpoint, delete-endpoint, get-endpoint, list-endpoints
vector-search-indexes Команды для управления индексами векторного поиска, представляющими ваши векторы встраивания, которые обеспечивают поддержку запросов поиска в реальном времени и эффективные запросы поиска приблизительных ближайших соседей (ANN).
create-index, delete-data-vector-index, delete-indexget-indexlist-indexesquery-indexsync-indexupsert-data-vector-index

Команды панели мониторинга

Группа Описание и команды
dashboards Команды для изменения панелей мониторинга:
create, delete, get, list, restore, update
lakeview Команды, предоставляющие определенные операции управления для панелей мониторинга AI/BI:
create, get, get-publishedmigratepublishtrashunpublishupdate

Дополнительные команды

Группа Описание и команды
api Команды для выполнения запросов к REST API Databricks:
delete, get, head, patch, post, put
завершение Команды для создания скрипта автозаполнения для указанной оболочки:
bash, fish, powershell, zsh
configure Настройте интерфейс командной строки Databricks.
help Вывод информации об использовании для любой команды.
labs Команды для управления установками Databricks Labs:
clear-cache, install, installedlistshowuninstallupgrade
version Получите версию используемого интерфейса командной строки.

Глобальные флаги

Следующие флаги доступны для всех команд CLI Databricks. Обратите внимание, что некоторые флаги не применяются к некоторым командам. Подробные сведения о конкретных командах и их флагах см. в справке командной строки.

Флаг Описание
-h или --help Отобразить справку по интерфейсу командной строки Databricks, связанной группе команд или отдельной команде.
-e или --environment string Строка, представляющая среду пакета, используемую, если применимо для связанной команды.
--log-file Строка, представляющая место назначения для записи выходных журналов. Если этот флаг не указан, по умолчанию используется запись журналов выходных данных в stderr.
--log-format text для записи журналов выходных данных в текст или для записи журналов выходных данных в JSON. Если этот флаг не указан, выходные журналы записываются как текст.
--log-level Строка, представляющая уровень формата журнала. Если не указано, уровень формата журнала отключен.
-o или --output text для записи выходных данных в виде текста или json записи выходных данных в формате JSON. Если этот флаг не указан, выходные данные записываются как текст.
-p или --profile Строка, представляющая именованный профиль конфигурации для использования в .databrickscfg файле. Если этот флаг не указан, используется именованный профиль DEFAULT, если он существует. Вы можете нажать Tab после --profile или -p, чтобы отобразить список существующих и доступных профилей конфигурации для выбора, вместо того чтобы вводить имя профиля конфигурации вручную.
--progress-format Формат для отображаемых журналов выполнения (defaultпо умолчанию или appendinplacejson).