A transmissão no Azure Databricks
Você pode usar o Azure Databricks para ingestão, processamento, aprendizado de máquina e IA de dados quase em tempo real para streaming de dados.
O Azure Databricks oferece várias otimizações para streaming e processamento incremental, incluindo o seguinte:
- A DLT fornece sintaxe declarativa para processamento incremental. Consulte O que é DLT?.
- O Auto Loader simplifica a ingestão incremental do armazenamento de objetos na nuvem. Consulte O que é Auto Loader?.
- O Unity Catalog adiciona governança de dados a cargas de trabalho de streaming. Consulte Utilizar o Unity Catalog com Streaming Estruturado.
O Delta Lake fornece a camada de armazenamento para essas integrações. Consulte transmissões de leitura e gravação da tabela Delta
Para a execução de modelos em tempo real, consulte Implantar modelos usando o Mosaic AI Model Serving.
- Tutorial
- Conceitos
- Streaming com estado
- Aplicações de estado personalizadas
- Considerações sobre a produção
- Monitorar fluxos
- Integração do Unity Catalog
- Streaming com a Delta
- Exemplos
O Azure Databricks tem recursos específicos para trabalhar com campos de dados semiestruturados contidos no Avro, buffers de protocolo e cargas úteis de dados JSON. Para saber mais, veja:
- Ler e escrever dados Avro em streaming
- Ler e escrever buffers de protocolo
- Consultar cadeias de caracteres JSON
Recursos adicionais
O Apache Spark fornece um Guia de Programação de Streaming Estruturado com mais informações sobre Streaming Estruturado.
Para obter informações de referência sobre o Structured Streaming, o Databricks recomenda as seguintes referências da API do Apache Spark: