локальные средства разработки
Databricks предоставляет экосистему средств для разработки приложений и решений, которые интегрируются с Azure Databricks и программно управляют ресурсами и данными Databricks.
В этой статье представлен обзор этих средств и рекомендаций по лучшим средствам для распространенных сценариев разработчика.
Какие средства предоставляют Databricks для локальной разработки?
В следующей таблице приведен список средств разработчика, предоставляемых Databricks.
| Инструмент | Описание |
|---|---|
| Проверка подлинности и авторизация | Настройте проверку подлинности и авторизацию для средств, сценариев и приложений для работы с Azure Databricks. |
| Databricks Connect | Подключитесь к Azure Databricks с помощью популярных интегрированных сред разработки (IDEs), таких как PyCharm, IntelliJ IDEA, Eclipse, RStudio и JupyterLab. Если вы используете Visual Studio Code, Databricks рекомендует расширение Databricks для Visual Studio Code, созданное на основе Databricks Connect, так как предоставляет дополнительные функции для упрощения настройки. |
| Расширение Databricks для Visual Studio Code | Подключитесь к удаленным рабочим областям Azure Databricks из интегрированной среды разработки Visual Studio Code (IDE). |
| Плагин PyCharm Databricks | Настройте подключение к удаленной рабочей области Databricks и запустите файлы в кластерах Databricks из PyCharm. Этот подключаемый модуль разработан и предоставляется JetBrains в партнерстве с Databricks. |
| SDK Databricks | Автоматизация Azure Databricks из библиотек кода, написанных для популярных языков, таких как Python, Java, Go и R. Вместо отправки вызовов REST API непосредственно с помощью curl/Postman можно использовать пакет SDK для взаимодействия с Databricks с помощью выбранного языка программирования. Пакеты SDK Databricks поддерживают полный REST API и предоставляют другие функции, включая единую проверку подлинности и разбиение на страницы, что упрощает их использование и расширение для покрытия многих сценариев. |
| Драйверы и средства SQL | Подключитесь к Azure Databricks для выполнения команд и скриптов SQL, программного взаимодействия с Azure Databricks и интеграции функций SQL Azure Databricks в приложения, написанные на популярных языках, таких как Python, Go, JavaScript и TypeScript. |
| CLI Databricks | Доступ к функциям Azure Databricks с помощью интерфейса командной строки Databricks (CLI). Интерфейс командной строки упаковывает REST API Databricks, поэтому вместо отправки вызовов REST API непосредственно с помощью curl или Postman можно использовать интерфейс командной строки Databricks для взаимодействия с Databricks. |
| Пакеты активов Databricks | Реализуйте передовые практики отраслевого стандарта по разработке, тестированию и развертыванию (CI/CD) для данных и проектов ИИ в Azure Databricks с помощью Databricks Asset Bundles (DAB). |
| Провайдер Databricks Terraform и Terraform CDKTF для Databricks | Подготовка инфраструктуры и ресурсов Azure Databricks с помощью Terraform. |
| Средства CI/CD | Интеграция популярных систем CI/CD и платформ, таких как GitHub Actions, Jenkins и Apache Airflow. |
Совет
Вы также можете подключить множество дополнительных популярных сторонних средств к кластерам и хранилищам SQL для доступа к данным в Azure Databricks. Ознакомьтесь с партнерами по технологиям.
Какой инструмент разработчика следует использовать?
В следующей таблице приведены рекомендации по инструменту Databricks для распространенных сценариев разработчика.
| Инструмент | Рекомендация по использованию |
|---|---|
|
Расширение Databricks для Visual Studio Code Плагин PyCharm Databricks Для других IDE используйте интерфейс командной строки Databricks с Databricks Connect |
|
| Databricks CLI |
|
| Наборы активов Databricks (функция CLI) |
|
| Провайдер Databricks для Terraform |
|
|
Databricks Python SDK Databricks Java SDK Databricks Go SDK Databricks R SDK |
|
| REST API Databricks |
|