Поделиться через

az synapse spark job

  • Ссылка

Управление пакетными заданиями Synapse Spark.

Команды

Имя Описание Тип Состояние
az synapse spark job cancel

Отмена задания Spark.

 Ядро ГА
az synapse spark job list

Вывод списка всех заданий Spark.

 Ядро ГА
az synapse spark job show

Получение задания Spark.

 Ядро ГА
az synapse spark job submit

Отправка задания Spark.

 Ядро ГА

az synapse spark job cancel

Изменить

Отмена задания Spark.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Примеры

Отмена задания Spark.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Обязательные параметры

--livy-id

Идентификатор задания Spark.

--spark-pool-name

Имя пула Spark.

--workspace-name

Имя рабочей области.

Необязательные параметры

--yes -y

Не запрашивать подтверждение.

Default value: False
Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az synapse spark job list

Изменить

Вывод списка всех заданий Spark.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Примеры

Вывод списка всех заданий Spark.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Обязательные параметры

--spark-pool-name

Имя пула Spark.

--workspace-name

Имя рабочей области.

Необязательные параметры

--from-index

Необязательный параметр, указывающий, с какого индекса должен начинаться список.

--size

Размер возвращаемого списка. По умолчанию это 20, и это максимальное значение.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az synapse spark job show

Изменить

Получение задания Spark.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Примеры

Получение задания Spark.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Обязательные параметры

--livy-id

Идентификатор задания Spark.

--spark-pool-name

Имя пула Spark.

--workspace-name

Имя рабочей области.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.

az synapse spark job submit

Изменить

Отправка задания Spark.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Примеры

Отправка задания Java Spark.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Обязательные параметры

--executor-size

Размер исполнителя.

Допустимые значения: Large, Medium, Small
--executors

Количество исполнителей.

--main-definition-file

Основной файл, используемый для задания.

--name -n

Имя задания Spark.

--spark-pool-name

Имя пула Spark.

--workspace-name

Имя рабочей области.

Необязательные параметры

--archives

Массив архивов.

--arguments

Необязательные аргументы для задания (примечание. Используйте URI хранилища для аргументов файлов).

--configuration

Конфигурация задания Spark.

--language

Язык задания Spark.

Допустимые значения: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
Default value: Scala
--main-class-name

Полный идентификатор или основной класс, который находится в файле основного определения.

--python-files

Массив файлов, используемых для повторного разрешения в основном файле определения Python. Примеры включают пользовательские WHL-файлы и пользовательские файлы Python. Может передавать несколько файлов, например az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2.

--reference-files

Дополнительные файлы, используемые для ссылки в файле основного определения.

--tags

Теги, разделенные пробелами: key[=value] [key[=value] ...]. Используйте "" для очистки существующих тегов.

Глобальные параметры
--debug

Повышение уровня детализации журнала для включения всех журналов отладки.

--help -h

Показать это сообщение справки и выйти.

--only-show-errors

Отображать только ошибки, не показывая предупреждения.

--output -o

Формат вывода.

Допустимые значения: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Строка запроса JMESPath. Дополнительные сведения и примеры см. в разделе http://jmespath.org/.

--subscription

Имя или идентификатор подписки. Подписку по умолчанию можно настроить с помощью az account set -s NAME_OR_ID.

--verbose

Увеличьте уровень детализации ведения журнала. Чтобы включить полные журналы отладки, используйте параметр --debug.