데이터 엔지니어 위한 Livy API란? (미리 보기)
참고
패브릭 데이터 엔지니어 Livy API는 미리 보기로 제공됩니다.
적용 대상:✅ Microsoft Fabric의 데이터 엔지니어링 및 데이터 과학
Microsoft Fabric Livy API를 사용하면 사용자가 Fabric Lakehouse와 연결된 Spark 컴퓨팅 내에서 Spark 코드를 제출하고 실행할 수 있으므로 Notebook 또는 Spark 작업 정의 아티팩트를 만들 필요가 없습니다. Lakehouse와 통합하면 OneLake에 저장된 데이터에 쉽게 액세스할 수 있습니다.
기능
Fabric Livy API를 사용하면 두 가지 모드로 작업을 제출할 수 있습니다.
- 세션 작업
- Livy 세션 작업은 Livy API와의 상호 작용 전체에서 활성 상태로 유지되는 Spark 세션을 설정해야 합니다. Livy 세션은 대화형 워크로드에 유용합니다.
- Spark 세션은 작업이 제출될 때 시작되며 사용자가 작업을 종료하거나 시스템이 20분 동안 비활성 상태로 종료될 때까지 지속됩니다. 세션 전체에서 여러 작업을 실행하고 실행 간에 상태 및 캐시된 데이터를 공유할 수 있습니다.
- 배치 작업
- Livy 일괄 처리 작업은 단일 작업 실행을 위해 Spark 애플리케이션을 제출해야 합니다. Livy 세션 작업과 달리 일괄 처리 작업은 진행 중인 Spark 세션을 유지하지 않습니다.
- Livy 일괄 처리 작업을 사용하면 각 작업이 작업이 완료되면 종료되는 새 Spark 세션을 시작합니다. 이 방법은 이전 계산에 의존하지 않거나 작업 간에 상태를 유지 관리해야 하는 작업에 적합합니다.
Livy API 시작
Livy API를 사용하여 Spark 세션 제출 작업 또는 Livy API를 사용하여 Spark 일괄 처리 제출 작업을 선택하여 Fabric에서 Livy API를 사용하여 Spark 작업을 만들고 실행하는 방법을 알아봅니다.