共用方式為

az synapse spark job

  • 參考

管理 Synapse Spark 批次作業。

命令

名稱 Description 類型 狀態
az synapse spark job cancel

取消 Spark 作業。

 核心 GA
az synapse spark job list

列出所有Spark作業。

 核心 GA
az synapse spark job show

取得Spark作業。

 核心 GA
az synapse spark job submit

提交Spark作業。

 核心 GA

az synapse spark job cancel

編輯

取消 Spark 作業。

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

範例

取消 Spark 作業。

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必要參數

--livy-id

Spark 作業的標識碼。

--spark-pool-name

Spark 集區的名稱。

--workspace-name

工作區的名稱。

選擇性參數

--yes -y

請勿提示確認。

預設值: False
全域參數
--debug

提高日誌詳細程度以顯示所有調試日誌。

--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤，隱藏警告。

--output -o

輸出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
預設值: json
--query

JMESPath 查詢字串。 如需詳細資訊和範例，請參閱 http://jmespath.org/。

--subscription

訂用帳戶的名稱或標識碼。 您可以使用 az account set -s NAME_OR_ID來設定預設訂用帳戶。

--verbose

增加記錄的詳細程度。 針對完整偵錯記錄使用 --debug。

az synapse spark job list

編輯

列出所有Spark作業。

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

範例

列出所有Spark作業。

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必要參數

--spark-pool-name

Spark 集區的名稱。

--workspace-name

工作區的名稱。

選擇性參數

--from-index

選擇性參數，指定清單應該從哪個索引開始。

--size

傳回清單的大小。默認為 20，也就是最大值。

全域參數
--debug

提高日誌詳細程度以顯示所有調試日誌。

--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤，隱藏警告。

--output -o

輸出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
預設值: json
--query

JMESPath 查詢字串。 如需詳細資訊和範例，請參閱 http://jmespath.org/。

--subscription

訂用帳戶的名稱或標識碼。 您可以使用 az account set -s NAME_OR_ID來設定預設訂用帳戶。

--verbose

增加記錄的詳細程度。 針對完整偵錯記錄使用 --debug。

az synapse spark job show

編輯

取得Spark作業。

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

範例

取得Spark作業。

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

必要參數

--livy-id

Spark 作業的標識碼。

--spark-pool-name

Spark 集區的名稱。

--workspace-name

工作區的名稱。

全域參數
--debug

提高日誌詳細程度以顯示所有調試日誌。

--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤，隱藏警告。

--output -o

輸出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
預設值: json
--query

JMESPath 查詢字串。 如需詳細資訊和範例，請參閱 http://jmespath.org/。

--subscription

訂用帳戶的名稱或標識碼。 您可以使用 az account set -s NAME_OR_ID來設定預設訂用帳戶。

--verbose

增加記錄的詳細程度。 針對完整偵錯記錄使用 --debug。

az synapse spark job submit

編輯

提交Spark作業。

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

範例

提交 Java Spark 作業。

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

必要參數

--executor-size

執行程式大小。

接受的值: Large, Medium, Small
--executors

執行程序的數目。

--main-definition-file

用於作業的主要檔案。

--name -n

Spark 作業名稱。

--spark-pool-name

Spark 集區的名稱。

--workspace-name

工作區的名稱。

選擇性參數

--archives

封存的陣列。

--arguments

作業的選擇性自變數（注意：請針對檔案自變數使用記憶體 URI）。

--configuration

Spark 作業的組態。

--language

Spark 作業語言。

接受的值: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
預設值: Scala
--main-class-name

主要定義檔中的完整標識碼或主要類別。

--python-files

用於在主要 Python 定義檔中重新參考的檔案陣列。 範例包括自定義 whl 檔案和自定義 Python 檔案。 可以傳遞多個檔案，例如 az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2。

--reference-files

用於主要定義檔中參考的其他檔案。

--tags

以空格分隔的標記：key[=value] [key[=value] ...]。使用 「清除現有的標記」。

全域參數
--debug

提高日誌詳細程度以顯示所有調試日誌。

--help -h

顯示此說明訊息並結束。

--only-show-errors

只顯示錯誤，隱藏警告。

--output -o

輸出格式。

接受的值: json, jsonc, none, table, tsv, yaml, yamlc
預設值: json
--query

JMESPath 查詢字串。 如需詳細資訊和範例，請參閱 http://jmespath.org/。

--subscription

訂用帳戶的名稱或標識碼。 您可以使用 az account set -s NAME_OR_ID來設定預設訂用帳戶。

--verbose

增加記錄的詳細程度。 針對完整偵錯記錄使用 --debug。