다음을 통해 공유

az synapse spark job

  • 참조

Synapse Spark 일괄 처리 작업을 관리합니다.

명령

Name Description 형식 상태
az synapse spark job cancel

Spark 작업을 취소합니다.

 코어 GA
az synapse spark job list

모든 Spark 작업을 나열합니다.

 코어 GA
az synapse spark job show

Spark 작업을 가져옵니다.

 코어 GA
az synapse spark job submit

Spark 작업을 제출합니다.

 코어 GA

az synapse spark job cancel

편집

Spark 작업을 취소합니다.

az synapse spark job cancel --livy-id
                            --spark-pool-name
                            --workspace-name
                            [--yes]

예제

Spark 작업을 취소합니다.

az synapse spark job cancel --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

필수 매개 변수

--livy-id

Spark 작업의 ID입니다.

--spark-pool-name

Spark 풀의 이름입니다.

--workspace-name

작업 영역의 이름입니다.

선택적 매개 변수

--yes -y

확인 메시지를 표시하지 않습니다.

Default value: False
전역 매개 변수
--debug

로깅 수위를 높여 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--only-show-errors

경고를 표시하지 않고 오류만 표시합니다.

--output -o

출력 형식

허용되는 값: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

JMESPath 쿼리 문자열입니다. 자세한 내용 및 예제는 http://jmespath.org/ 참조하세요.

--subscription

구독의 이름 또는 ID입니다. az account set -s NAME_OR_ID사용하여 기본 구독을 구성할 수 있습니다.

--verbose

로깅의 자세한 정도를 증가시킵니다. 전체 디버그 로그에 --debug를 사용합니다.

az synapse spark job list

편집

모든 Spark 작업을 나열합니다.

az synapse spark job list --spark-pool-name
                          --workspace-name
                          [--from-index]
                          [--size]

예제

모든 Spark 작업을 나열합니다.

az synapse spark job list --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

필수 매개 변수

--spark-pool-name

Spark 풀의 이름입니다.

--workspace-name

작업 영역의 이름입니다.

선택적 매개 변수

--from-index

목록을 시작해야 하는 인덱스 지정 선택적 매개 변수입니다.

--size

반환된 목록의 크기입니다. 기본적으로 최대값은 20입니다.

전역 매개 변수
--debug

로깅 수위를 높여 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--only-show-errors

경고를 표시하지 않고 오류만 표시합니다.

--output -o

출력 형식

허용되는 값: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

JMESPath 쿼리 문자열입니다. 자세한 내용 및 예제는 http://jmespath.org/ 참조하세요.

--subscription

구독의 이름 또는 ID입니다. az account set -s NAME_OR_ID사용하여 기본 구독을 구성할 수 있습니다.

--verbose

로깅의 자세한 정도를 증가시킵니다. 전체 디버그 로그에 --debug를 사용합니다.

az synapse spark job show

편집

Spark 작업을 가져옵니다.

az synapse spark job show --livy-id
                          --spark-pool-name
                          --workspace-name

예제

Spark 작업을 가져옵니다.

az synapse spark job show --livy-id 1 --workspace-name testsynapseworkspace --spark-pool-name testsparkpool

필수 매개 변수

--livy-id

Spark 작업의 ID입니다.

--spark-pool-name

Spark 풀의 이름입니다.

--workspace-name

작업 영역의 이름입니다.

전역 매개 변수
--debug

로깅 수위를 높여 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--only-show-errors

경고를 표시하지 않고 오류만 표시합니다.

--output -o

출력 형식

허용되는 값: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

JMESPath 쿼리 문자열입니다. 자세한 내용 및 예제는 http://jmespath.org/ 참조하세요.

--subscription

구독의 이름 또는 ID입니다. az account set -s NAME_OR_ID사용하여 기본 구독을 구성할 수 있습니다.

--verbose

로깅의 자세한 정도를 증가시킵니다. 전체 디버그 로그에 --debug를 사용합니다.

az synapse spark job submit

편집

Spark 작업을 제출합니다.

az synapse spark job submit --executor-size {Large, Medium, Small}
                            --executors
                            --main-definition-file
                            --name
                            --spark-pool-name
                            --workspace-name
                            [--archives]
                            [--arguments]
                            [--configuration]
                            [--language {CSharp, PySpark, Python, Scala, Spark, SparkDotNet}]
                            [--main-class-name]
                            [--python-files]
                            [--reference-files]
                            [--tags]

예제

Java Spark 작업을 제출합니다.

az synapse spark job submit --name WordCount_Java --workspace-name testsynapseworkspace \
--spark-pool-name testsparkpool \
--main-definition-file abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/wordcount.jar \
--main-class-name WordCount \
--arguments abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/shakespeare.txt \
abfss://testfilesystem@testadlsgen2.dfs.core.windows.net/samples/java/wordcount/result/ \
--executors 2 --executor-size Small

필수 매개 변수

--executor-size

실행기 크기입니다.

허용되는 값: Large, Medium, Small
--executors

실행기 수입니다.

--main-definition-file

작업에 사용되는 기본 파일입니다.

--name -n

Spark 작업 이름입니다.

--spark-pool-name

Spark 풀의 이름입니다.

--workspace-name

작업 영역의 이름입니다.

선택적 매개 변수

--archives

보관 파일의 배열입니다.

--arguments

작업에 대한 선택적 인수(참고: 파일 인수에 스토리지 URI를 사용하세요).

--configuration

Spark 작업의 구성입니다.

--language

Spark 작업 언어입니다.

허용되는 값: CSharp, PySpark, Python, Scala, Spark, SparkDotNet
Default value: Scala
--main-class-name

정규화된 식별자 또는 주 정의 파일에 있는 기본 클래스입니다.

--python-files

기본 Python 정의 파일에서 리펜던스에 사용되는 파일의 배열입니다. 사용자 지정 whl 파일 및 사용자 지정 python 파일을 예로 들어 있습니다. az synapse spark job sumbit <other_args> --python_files abfss://file1 abss://file2같은 여러 파일을 전달할 수 있습니다.

--reference-files

기본 정의 파일에서 참조에 사용되는 추가 파일입니다.

--tags

공백으로 구분된 태그: key[=value] [key[=value] ...]. ""를 사용하여 기존 태그를 지웁니다.

전역 매개 변수
--debug

로깅 수위를 높여 모든 디버그 로그를 표시합니다.

--help -h

이 도움말 메시지를 표시하고 종료합니다.

--only-show-errors

경고를 표시하지 않고 오류만 표시합니다.

--output -o

출력 형식

허용되는 값: json, jsonc, none, table, tsv, yaml, yamlc
Default value: json
--query

JMESPath 쿼리 문자열입니다. 자세한 내용 및 예제는 http://jmespath.org/ 참조하세요.

--subscription

구독의 이름 또는 ID입니다. az account set -s NAME_OR_ID사용하여 기본 구독을 구성할 수 있습니다.

--verbose

로깅의 자세한 정도를 증가시킵니다. 전체 디버그 로그에 --debug를 사용합니다.