Поделиться через

az ml datastore

  • Ссылка

Заметка

Эта ссылка является частью расширения машинного обучения для Azure CLI (версия 2.15.0 или более поздней). Расширение будет автоматически устанавливаться при первом запуске команды az ml datastore. Узнайте больше о расширениях.

Управление хранилищами данных Машинного обучения Azure.

Хранилища данных машинного обучения Azure безопасно связывают службы хранилища Azure с рабочей областью, чтобы получить доступ к хранилищу без необходимости жестко закодировать сведения о подключении в скрипты. Секреты подключения, такие как учетные данные проверки подлинности службы хранилища, хранятся в Хранилище ключей рабочей области.

При создании рабочей области учетная запись хранения Azure автоматически создается в качестве связанного ресурса. Контейнер BLOB-объектов создается в этой учетной записи, а его сведения о подключении хранятся в качестве хранилища данных с именем Workspaceblobstore. Это служит хранилищем данных по умолчанию рабочей области, а контейнер BLOB-объектов используется для хранения артефактов рабочей области и журналов заданий машинного обучения и выходных данных.

Команды

Имя Описание Тип Состояние
az ml datastore create

Создайте хранилище данных.

 Расширение ГА
az ml datastore delete

Удаление хранилища данных.

 Расширение ГА
az ml datastore list

Вывод списка хранилищ данных в рабочей области.

 Расширение ГА
az ml datastore mount

Подключите определенное хранилище данных к локальному пути. Сейчас поддерживается только Linux.

 Расширение Предварительный просмотр
az ml datastore show

Отображение сведений о хранилище данных.

 Расширение ГА
az ml datastore update

Обновление хранилища данных.

 Расширение ГА

az ml datastore create

Создайте хранилище данных.

Это подключает базовую службу хранилища Azure к рабочей области. Типы служб хранилища, к которым можно подключиться, создав хранилище данных, включая хранилище BLOB-объектов Azure, общую папку Azure, Azure Data Lake Storage 1-го поколения и Azure Data Lake Storage 2-го поколения.

az ml datastore create --file
                       --resource-group
                       --workspace-name
                       [--name]
                       [--set]

Примеры

Создание хранилища данных из файла спецификации YAML

az ml datastore create --file blobstore.yml --resource-group my-resource-group --workspace-name my-workspace

Обязательные параметры

--file -f

Локальный путь к YAML-файлу, содержаму спецификацию хранилища данных Машинного обучения Azure. Справочные документы YAML для хранилища данных можно найти по адресу: https://aka.ms/ml-cli-v2-datastore-blob-yaml-reference, https://aka.ms/ml-cli-v2-datastore-file-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen1-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen2-yaml-reference.

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--workspace-name -w

Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>.

Необязательные параметры

--name -n

Имя хранилища данных. Это перезаписывает поле "имя" в ФАЙЛЕ YAML, предоставленном --file/-f.

--set

Обновите объект, указав путь к свойству и значение для задания. Пример: --set property1.property2=value.

Глобальные параметры
--debug

Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.

--help -h

Отображение этого сообщения справки и выхода.

--only-show-errors

Отображаются только ошибки, подавляющие предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.

az ml datastore delete

Удаление хранилища данных.

При этом данные подключения к службе хранилища удаляются из рабочей области, но не удаляются базовые данные в хранилище.

az ml datastore delete --name
                       --resource-group
                       --workspace-name

Обязательные параметры

--name -n

Имя хранилища данных.

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--workspace-name -w

Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>.

Глобальные параметры
--debug

Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.

--help -h

Отображение этого сообщения справки и выхода.

--only-show-errors

Отображаются только ошибки, подавляющие предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.

az ml datastore list

Вывод списка хранилищ данных в рабочей области.

az ml datastore list --resource-group
                     --workspace-name
                     [--max-results]

Примеры

Перечислите все хранилища данных в рабочей области с помощью аргумента --query для выполнения запроса JMESPath в результатах команд.

az ml datastore list --query "[].{Name:name}"  --output table --resource-group my-resource-group --workspace-name my-workspace

Обязательные параметры

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--workspace-name -w

Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>.

Необязательные параметры

--max-results -r

Максимальное количество возвращаемых результатов.

Глобальные параметры
--debug

Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.

--help -h

Отображение этого сообщения справки и выхода.

--only-show-errors

Отображаются только ошибки, подавляющие предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.

az ml datastore mount

Предварительный просмотр

Эта команда находится в предварительной версии и находится в процессе разработки. Уровни справки и поддержки: https://aka.ms/CLI_refstatus

Подключите определенное хранилище данных к локальному пути. Сейчас поддерживается только Linux.

az ml datastore mount --path
                      [--mode]
                      [--mount-point]
                      [--persistent]
                      [--resource-group]
                      [--workspace-name]

Примеры

Подключение хранилища данных по имени

az ml datastore mount --mount-point /mnt/my-datastore --mode ro_mount --path my-datastore

Подключение хранилища данных по URL-адресу короткой формы хранилища данных

az ml datastore mount --mount-point /mnt/my-datastore --mode ro_mount --path azureml://datastores/my-datastore

Подключение хранилища данных по URL-адресу длинной формы хранилища данных

az ml datastore mount --mount-point /mnt/my-datastore --mode ro_mount --path azureml://subscriptions/my-sub-id/resourcegroups/my-rg/providers/Microsoft.MachineLearningServices/workspaces/myworkspace/datastores/my-datastore

Обязательные параметры

--path

Путь к хранилищу данных для подключения в виде <datastore_name> или azureml://datastores/<datastore_name>.

Необязательные параметры

--mode

Режим подключения ro_mount (только для чтения) или rw_mount (чтение и запись).

Default value: ro_mount
--mount-point

Локальный путь, используемый в качестве точки подключения.

Default value: /home/azureuser/mount/data
--persistent

Сохраните подключение во время перезагрузки. Поддерживается только в вычислительном экземпляре.

Default value: False
--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--workspace-name -w

Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>.

Глобальные параметры
--debug

Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.

--help -h

Отображение этого сообщения справки и выхода.

--only-show-errors

Отображаются только ошибки, подавляющие предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.

az ml datastore show

Отображение сведений о хранилище данных.

az ml datastore show --name
                     --resource-group
                     --workspace-name

Обязательные параметры

--name -n

Имя хранилища данных.

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--workspace-name -w

Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>.

Глобальные параметры
--debug

Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.

--help -h

Отображение этого сообщения справки и выхода.

--only-show-errors

Отображаются только ошибки, подавляющие предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.

az ml datastore update

Обновление хранилища данных.

Можно обновить свойства "description", "tags" и "credential".

az ml datastore update --resource-group
                       --workspace-name
                       [--add]
                       [--file]
                       [--force-string]
                       [--name]
                       [--remove]
                       [--set]

Обязательные параметры

--resource-group -g

Имя группы ресурсов. Группу по умолчанию можно настроить с помощью az configure --defaults group=<name>.

--workspace-name -w

Имя рабочей области Машинного обучения Azure. Вы можете настроить рабочую область по умолчанию с помощью az configure --defaults workspace=<name>.

Необязательные параметры

--add

Добавьте объект в список объектов, указав пары пути и значения ключа. Пример: --add property.listProperty <key=value, string or JSON string>.

Default value: []
--file -f

Локальный путь к YAML-файлу, содержаму спецификацию хранилища данных Машинного обучения Azure. Справочные документы YAML для хранилища данных можно найти по адресу: https://aka.ms/ml-cli-v2-datastore-blob-yaml-reference, https://aka.ms/ml-cli-v2-datastore-file-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen1-yaml-reference, https://aka.ms/ml-cli-v2-datastore-data-lake-gen2-yaml-reference.

--force-string

При использовании "set" или "add" сохраняйте строковые литералы вместо попытки преобразовать в JSON.

Default value: False
--name -n

Имя хранилища данных. Это перезаписывает поле "имя" в ФАЙЛЕ YAML, предоставленном --file/-f.

--remove

Удалите свойство или элемент из списка. Пример: --remove property.list <indexToRemove> ИЛИ --remove propertyToRemove.

Default value: []
--set

Обновите объект, указав путь к свойству и значение для задания. Пример: --set property1.property2=<value>.

Default value: []
Глобальные параметры
--debug

Увеличьте детализацию ведения журнала, чтобы отобразить все журналы отладки.

--help -h

Отображение этого сообщения справки и выхода.

--only-show-errors

Отображаются только ошибки, подавляющие предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте детализацию ведения журнала. Используйте --debug для полных журналов отладки.