Ferramentas de desenvolvimento local
O Databricks fornece um ecossistema de ferramentas para ajudá-lo a desenvolver aplicativos e soluções que se integram ao Azure Databricks e gerenciam programaticamente recursos e dados do Databricks.
Este artigo fornece uma visão geral dessas ferramentas e recomendações para as melhores ferramentas para cenários comuns de desenvolvedores.
Que ferramentas o Databricks fornece para o desenvolvimento local?
A tabela a seguir fornece uma lista de ferramentas de desenvolvedor fornecidas pelo Databricks.
| Ferramenta | Descrição |
|---|---|
| Autenticação e autorização | Configure a autenticação e a autorização para que suas ferramentas, scripts e aplicativos funcionem com o Azure Databricks. |
| Databricks Connect | Conecte-se ao Azure Databricks usando ambientes de desenvolvimento integrado (IDEs) populares, como PyCharm, IntelliJ IDEA, Eclipse, RStudio e JupyterLab. Se você estiver usando o Visual Studio Code, o Databricks recomenda a extensão Databricks para Visual Studio Code, que é criada sobre o Databricks Connect, pois fornece recursos adicionais para permitir uma configuração mais fácil. |
| Extensão Databricks para Visual Studio Code | Conecte-se aos seus espaços de trabalho remotos do Azure Databricks a partir do ambiente de desenvolvimento integrado (IDE) do Visual Studio Code . |
| Plugin PyCharm Databricks | Configure uma conexão com um espaço de trabalho remoto do Databricks e execute arquivos em clusters Databricks do PyCharm. Este plugin é desenvolvido e fornecido pela JetBrains em parceria com a Databricks. |
| Databricks SDKs | Automatize o Azure Databricks a partir de bibliotecas de código escritas para linguagens populares como Python, Java, Go e R. Em vez de enviar chamadas de API REST diretamente usando curl/Postman, você pode usar um SDK para interagir com o Databricks usando uma linguagem de programação de sua escolha. Os SDKs do Databricks suportam a API REST completa e fornecem outros recursos, incluindo autenticação unificada e paginação, que os tornam fáceis de usar e se estendem para cobrir muitos cenários. |
| Drivers e ferramentas SQL | Conecte-se ao Azure Databricks para executar comandos e scripts SQL, interagir programaticamente com o Azure Databricks e integrar a funcionalidade SQL do Azure Databricks em aplicativos escritos em linguagens populares como Python, Go, JavaScript e TypeScript. |
| CLI do Databricks | Acesse a funcionalidade do Azure Databricks usando a interface de linha de comando (CLI) do Databricks. A CLI encapsula a API REST do Databricks, portanto, em vez de enviar chamadas de API REST diretamente usando curl ou Postman, você pode usar a CLI do Databricks para interagir com o Databricks. |
| Pacotes de Ativos da Databricks | Implemente as práticas recomendadas de desenvolvimento, teste e implantação (CI/CD) padrão do setor para os seus projetos de dados e IA no Azure Databricks usando Databricks Asset Bundles (DABs). |
| Databricks Terraform provider e Terraform CDKTF para Databricks | Provisione a infraestrutura e os recursos do Azure Databricks usando o Terraform. |
| Ferramentas CI/CD | Integre sistemas e estruturas populares de CI/CD, como GitHub Actions, Jenkins e Apache Airflow. |
Gorjeta
Você também pode conectar muitas ferramentas de terceiros populares adicionais a clusters e armazéns SQL para acessar dados no Azure Databricks. Consulte os parceiros de tecnologia.
Qual ferramenta de desenvolvedor devo usar?
A tabela a seguir descreve as recomendações da ferramenta Databricks para cenários comuns de desenvolvedores.
| Ferramenta | Recomendação de utilização |
|---|---|
|
Extensão Databricks para Visual Studio Code Plugin PyCharm Databricks Para outras IDEs, utilize a CLI do Databricks com o Databricks Connect |
|
| CLI do Databricks |
|
| Databricks Asset Bundles (um recurso da CLI) |
|
| Provedor Terraform do Databricks |
|
|
Databricks Python SDK Databricks Java SDK Databricks Go SDK Databricks R SDK |
|
| API REST do Databricks |
|