O que é a API Livy para Engenharia de Dados? (Pré-visualização)
Nota
A API Livy para engenharia de dados do Fabric está em pré-visualização.
Aplica-se a:✅ Engenharia de Dados e Ciência de Dados no Microsoft Fabric
A API do Microsoft Fabric Livy permite que os usuários enviem e executem o código do Spark na computação do Spark associada a um Fabric Lakehouse, eliminando a necessidade de criar qualquer artefato de definição de trabalho do Notebook ou do Spark. Essa integração com o Lakehouse garante acesso direto aos dados armazenados no OneLake.
Funcionalidades
A API do Fabric Livy permite enviar trabalhos em dois modos diferentes:
- Trabalhos de sessão
- Um trabalho de sessão na Livy envolve estabelecer uma sessão Spark que permanece ativa durante toda a interação com a API Livy. As Livy Sessions são úteis para cargas de trabalho interativas.
- Uma sessão do Spark começa quando um trabalho é enviado e dura até que o usuário o termine ou o sistema o encerre após 20 minutos de inatividade. Ao longo da sessão, vários trabalhos podem ser executados, compartilhando dados de estado e armazenados em cache entre as execuções.
- Trabalhos em lote
- Um trabalho em lote Livy envolve o envio de um aplicativo Spark para uma única execução de trabalho. Ao contrário de um trabalho de sessão do Livy, um trabalho em lote não mantém uma sessão Spark contínua.
- Com os trabalhos em lote do Livy, cada tarefa inicia uma nova sessão do Spark que é encerrada ao finalizar a tarefa. Essa abordagem funciona bem para tarefas que não dependem de cálculos anteriores ou exigem a manutenção do estado entre os trabalhos.
Introdução à API Livy
Saiba como criar e executar trabalhos do Spark usando a API do Livy no Fabric ao escolher entre submeter trabalhos de sessão do Spark usando a API do Livy ou submeter trabalhos em lote do Spark usando a API do Livy.