Partilhar via

az synapse spark job

  • Referência

Gerencie trabalhos em lote do Synapse Spark.

Comandos

Name Description Tipo Status
az synapse spark job cancel

Cancelar um trabalho do Spark.

 Núcleo GA
az synapse spark job list

Liste todos os trabalhos do Spark.

 Núcleo GA
az synapse spark job show

Obtenha um emprego no Spark.

 Núcleo GA
az synapse spark job submit

Envie um trabalho do Spark.

 Núcleo GA

az synapse spark job cancel

Editar

Cancelar um trabalho do Spark.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Exemplos

Cancelar um trabalho do Spark.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parâmetros Obrigatórios

--livy-id

O id do trabalho do Spark.

--spark-pool-name

O nome da piscina Spark.

--workspace-name

O nome do espaço de trabalho.

Parâmetros Opcionais

--yes -y

Não solicite confirmação.

Default value: False
Parâmetros de Globais
--debug

Aumente a verbosidade do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

Valores aceites: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da subscrição. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumente a verbosidade do registro. Use --debug para logs de depuração completos.

az synapse spark job list

Editar

Liste todos os trabalhos do Spark.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Exemplos

Liste todos os trabalhos do Spark.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parâmetros Obrigatórios

--spark-pool-name

O nome da piscina Spark.

--workspace-name

O nome do espaço de trabalho.

Parâmetros Opcionais

--from-index

Parâmetro opcional que especifica a partir de qual índice a lista deve começar.

--size

O tamanho da lista retornada. Por defeito, é 20 e esse é o máximo.

Parâmetros de Globais
--debug

Aumente a verbosidade do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

Valores aceites: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da subscrição. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumente a verbosidade do registro. Use --debug para logs de depuração completos.

az synapse spark job show

Editar

Obtenha um emprego no Spark.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Exemplos

Obtenha um emprego no Spark.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parâmetros Obrigatórios

--livy-id

O id do trabalho do Spark.

--spark-pool-name

O nome da piscina Spark.

--workspace-name

O nome do espaço de trabalho.

Parâmetros de Globais
--debug

Aumente a verbosidade do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

Valores aceites: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da subscrição. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumente a verbosidade do registro. Use --debug para logs de depuração completos.

az synapse spark job submit

Editar

Envie um trabalho do Spark.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Exemplos

Envie um trabalho do Java Spark.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Parâmetros Obrigatórios

--executor-size

O tamanho do executor.

Valores aceites: Large, Medium, Small
--executors

O número de executores.

--main-definition-file

O arquivo principal usado para o trabalho.

--name -n

O nome do trabalho do Spark.

--spark-pool-name

O nome da piscina Spark.

--workspace-name

O nome do espaço de trabalho.

Parâmetros Opcionais

--archives

A matriz de arquivos.

--arguments

Argumentos opcionais para o trabalho (Observação: use URIs de armazenamento para argumentos de arquivo).

--configuration

A configuração do trabalho do Spark.

--language

A linguagem de trabalho do Spark.

Valores aceites: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
Default value: Scala
--main-class-name

O identificador totalmente qualificado ou a classe principal que está no arquivo de definição principal.

--python-files

A matriz de arquivos usados para refenence no arquivo de definição python principal. Os exemplos incluem arquivos whl personalizados e arquivos python personalizados. Pode passar vários arquivos, como az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2.

--reference-files

Arquivos adicionais usados para referência no arquivo de definição principal.

--tags

Tags separadas por espaço: key[=value] [key[=value] ...]. Use "" para limpar tags existentes.

Parâmetros de Globais
--debug

Aumente a verbosidade do log para mostrar todos os logs de depuração.

--help -h

Mostrar esta mensagem de ajuda e sair.

--only-show-errors

Mostrar apenas erros, suprimindo avisos.

--output -o

Formato de saída.

Valores aceites: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

Cadeia de caracteres de consulta JMESPath. Consulte http://jmespath.org/ para obter mais informações e exemplos.

--subscription

Nome ou ID da subscrição. Você pode configurar a assinatura padrão usando az account set -s NAME_OR_ID.

--verbose

Aumente a verbosidade do registro. Use --debug para logs de depuração completos.