Condividi tramite

az synapse spark job

  • Riferimento

Gestire i processi batch di Synapse Spark.

Comandi

Nome Descrizione Tipo Status
az synapse spark job cancel

Annullare un processo Spark.

 Nucleo GA
az synapse spark job list

Elencare tutti i processi Spark.

 Nucleo GA
az synapse spark job show

Ottenere un processo Spark.

 Nucleo GA
az synapse spark job submit

Inviare un processo Spark.

 Nucleo GA

az synapse spark job cancel

Modifica

Annullare un processo Spark.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

Esempio

Annullare un processo Spark.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parametri necessari

--livy-id

ID del processo Spark.

--spark-pool-name

Nome del pool di Spark.

--workspace-name

Nome dell'area di lavoro.

Parametri facoltativi

--yes -y

Non richiedere conferma.

Valore predefinito: False
Parametri globali
--debug

Aumentare la verbosità dei log per visualizzare tutti i log di debug.

--help -h

Mostra questo messaggio Guida, esci.

--only-show-errors

Mostra solo gli errori, eliminando gli avvisi.

--output -o

Formato dell'output.

Valori accettati: json, jsonc, none, table, tsv, yaml, yamlc
Valore predefinito: json
--query

Stringa di query JMESPath. Per altre informazioni ed esempi, vedere http://jmespath.org/.

--subscription

Nome o ID della sottoscrizione. È possibile configurare la posizione predefinito usando az account set -s NAME_OR_ID.

--verbose

Aumentare il livello di dettaglio della registrazione. Usare --debug per log di debug completi.

az synapse spark job list

Modifica

Elencare tutti i processi Spark.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

Esempio

Elencare tutti i processi Spark.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parametri necessari

--spark-pool-name

Nome del pool di Spark.

--workspace-name

Nome dell'area di lavoro.

Parametri facoltativi

--from-index

Parametro facoltativo che specifica l'indice da cui iniziare l'elenco.

--size

Dimensioni dell'elenco restituito. Per impostazione predefinita, è 20 e questo è il valore massimo.

Parametri globali
--debug

Aumentare la verbosità dei log per visualizzare tutti i log di debug.

--help -h

Mostra questo messaggio Guida, esci.

--only-show-errors

Mostra solo gli errori, eliminando gli avvisi.

--output -o

Formato dell'output.

Valori accettati: json, jsonc, none, table, tsv, yaml, yamlc
Valore predefinito: json
--query

Stringa di query JMESPath. Per altre informazioni ed esempi, vedere http://jmespath.org/.

--subscription

Nome o ID della sottoscrizione. È possibile configurare la posizione predefinito usando az account set -s NAME_OR_ID.

--verbose

Aumentare il livello di dettaglio della registrazione. Usare --debug per log di debug completi.

az synapse spark job show

Modifica

Ottenere un processo Spark.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

Esempio

Ottenere un processo Spark.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

Parametri necessari

--livy-id

ID del processo Spark.

--spark-pool-name

Nome del pool di Spark.

--workspace-name

Nome dell'area di lavoro.

Parametri globali
--debug

Aumentare la verbosità dei log per visualizzare tutti i log di debug.

--help -h

Mostra questo messaggio Guida, esci.

--only-show-errors

Mostra solo gli errori, eliminando gli avvisi.

--output -o

Formato dell'output.

Valori accettati: json, jsonc, none, table, tsv, yaml, yamlc
Valore predefinito: json
--query

Stringa di query JMESPath. Per altre informazioni ed esempi, vedere http://jmespath.org/.

--subscription

Nome o ID della sottoscrizione. È possibile configurare la posizione predefinito usando az account set -s NAME_OR_ID.

--verbose

Aumentare il livello di dettaglio della registrazione. Usare --debug per log di debug completi.

az synapse spark job submit

Modifica

Inviare un processo Spark.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

Esempio

Inviare un processo Java Spark.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

Parametri necessari

--executor-size

Dimensioni dell'executor.

Valori accettati: Large, Medium, Small
--executors

Numero di executor.

--main-definition-file

File principale utilizzato per il processo.

--name -n

Nome del processo Spark.

--spark-pool-name

Nome del pool di Spark.

--workspace-name

Nome dell'area di lavoro.

Parametri facoltativi

--archives

Matrice di archivi.

--arguments

Argomenti facoltativi per il processo (nota: usare gli URI di archiviazione per gli argomenti di file).

--configuration

Configurazione del processo Spark.

--language

Linguaggio del processo Spark.

Valori accettati: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
Valore predefinito: Scala
--main-class-name

Identificatore completo o classe principale presente nel file di definizione principale.

--python-files

Matrice di file usati per il refenence nel file di definizione python principale. Gli esempi includono file whl personalizzati e file Python personalizzati. Può passare più file, ad esempio az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2.

--reference-files

File aggiuntivi usati per riferimento nel file di definizione principale.

--tags

Tag separati da spazi: key[=value] [key[=value] ...]. Usare "" per cancellare i tag esistenti.

Parametri globali
--debug

Aumentare la verbosità dei log per visualizzare tutti i log di debug.

--help -h

Mostra questo messaggio Guida, esci.

--only-show-errors

Mostra solo gli errori, eliminando gli avvisi.

--output -o

Formato dell'output.

Valori accettati: json, jsonc, none, table, tsv, yaml, yamlc
Valore predefinito: json
--query

Stringa di query JMESPath. Per altre informazioni ed esempi, vedere http://jmespath.org/.

--subscription

Nome o ID della sottoscrizione. È possibile configurare la posizione predefinito usando az account set -s NAME_OR_ID.

--verbose

Aumentare il livello di dettaglio della registrazione. Usare --debug per log di debug completi.