Megosztás a következőn keresztül:


helyi fejlesztési eszközök

A Databricks olyan eszközök ökoszisztémáját kínálja, amelyekkel olyan alkalmazásokat és megoldásokat fejleszthet, amelyek integrálhatók az Azure Databricks szolgáltatással, és programozott módon kezelik a Databricks-erőforrásokat és -adatokat.

Ez a cikk áttekintést nyújt ezekről az eszközökről és javaslatokról a gyakori fejlesztői forgatókönyvek legjobb eszközeihez.

Milyen eszközöket biztosít a Databricks a helyi fejlesztéshez?

Az alábbi táblázat a Databricks által biztosított fejlesztői eszközök listáját tartalmazza.

Eszköz Leírás
Hitelesítés és engedélyezés Konfigurálja az eszközök, szkriptek és alkalmazások hitelesítését és engedélyezését az Azure Databricks használatához.
Databricks Connect Csatlakozzon az Azure Databrickshez olyan népszerű integrált fejlesztési környezetek (IDE-k) használatával, mint a PyCharm, az IntelliJ IDEA, az Eclipse, az RStudio és a JupyterLab.
Ha Visual Studio Code-ot használ, a Databricks a Databricks Connectre épülő Databricks-bővítményt javasolja a Visual Studio Code-hoz, mivel további funkciókat biztosít a könnyebb konfigurálás érdekében.
Databricks-bővítmény a Visual Studio Code-hoz Csatlakozzon távoli Azure Databricks-munkaterületeihez a Visual Studio Code integrált fejlesztési környezetéből (IDE).
PyCharm Databricks plugin Konfiguráljon kapcsolatot egy távoli Databricks-munkaterülethez, és futtasson fájlokat a PyCharmból származó Databricks-fürtökön. Ezt a beépülő modult a JetBrains fejlesztette ki és biztosítja a Databricks együttműködésével.
Databricks SDK-k Az Azure Databricks automatizálása olyan népszerű nyelvekhez írt kódtárakból, mint a Python, a Java, a Go és az R. Ahelyett, hogy közvetlenül a Curl/ Postman használatával küldene REST API-hívásokat, egy SDK-val egy tetszőleges programozási nyelv használatával kezelheti a Databrickset. A Databricks SDK-k támogatják a teljes REST API-t, és más funkciókat is biztosítanak, például egységes hitelesítést és lapozást, amelyek megkönnyítik a használatukat, és számos forgatókönyvre kiterjednek.
SQL-illesztőprogramok és -eszközök Csatlakozzon az Azure Databrickshez SQL-parancsok és szkriptek futtatásához, az Azure Databricks programozott módon való használatához, és integrálja az Azure Databricks SQL-funkciókat olyan népszerű nyelveken írt alkalmazásokba, mint a Python, a Go, a JavaScript és a TypeScript.
Databricks CLI Az Azure Databricks funkcióinak elérése a Databricks parancssori felületével (CLI). A parancssori felület körbefuttatja a Databricks REST API-t, így ahelyett, hogy közvetlenül a Curl vagy a Postman használatával küldene REST API-hívásokat, a Databricks parancssori felületével kezelheti a Databricks szolgáltatást.
Databricks-eszközcsomagok Iparági szabványoknak megfelelő fejlesztési, tesztelési és üzembe helyezési (CI/CD) ajánlott eljárások implementálása Azure Databricks-adatokhoz és AI-projektekhez a Databricks Asset Bundles (DAB-k) használatával.
Databricks Terraform szolgáltatóteljesítmény és Terraform CDKTF Databrickshez Azure Databricks-infrastruktúra és -erőforrások kiépítése a Terraform használatával.
CI/CD-eszközök Integrálja a népszerű CI/CD-rendszereket és keretrendszereket, például a GitHub Actionst, a Jenkinst és az Apache Airflow-t.

Tipp.

Számos további népszerű külső eszközt is csatlakoztathat fürtökhöz és SQL-raktárakhoz az Azure Databricks adatainak eléréséhez. Tekintse meg a technológiai partnereket.

Melyik fejlesztői eszközt használjam?

Az alábbi táblázat a Databricks-eszközök általános fejlesztői forgatókönyvekre vonatkozó javaslatait ismerteti.

Eszköz Használati javaslat
Databricks-bővítmény a Visual Studio Code-hoz
PyCharm Databricks beépülő modul
Egyéb IDE-k esetén használja a Databricks CLI-t a Databricks Connect segítségével.
  • Interaktív fejlesztés és hibakeresés helyi IDE-ből
Databricks CLI
  • Közvetlen interakció a Databricks szolgáltatással a parancssorból
  • Shell-szkriptelés
  • Kísérletezés
  • A REST API meghívása közvetlenül
  • Helyi hitelesítési profilok kezelése
  • Kód szinkronizálása az IDE-ből a Databricks-munkaterületre
Databricks-eszközcsomagok (a parancssori felület egyik funkciója)
  • Munkafolyamatok kezelése és projektek üzembe helyezése a Databricksben
  • A CI/CD ajánlott eljárásainak alkalmazása
  • Társverzió, társszerző, erőforrások és eszközök együttes üzembe helyezése egy egységként
  • A leggyakoribb erőforrások támogatása
Databricks Terraform-szolgáltató
  • Infrastruktúra kódként, CI/CD
  • Munkaterületek, katalógusok, metaadattárak felügyelete és létrehozása és engedélyek kikényszerítése
  • A környezet hordozhatóságának és vészhelyreállításának garantálása
  • Számos támogatott erőforrás
Databricks Python SDK
Databricks Java SDK
Databricks Go SDK
Databricks R SDK
  • Alkalmazásfejlesztés
  • Integrálás meglévő üzembehelyezési rendszerekkel
  • Egyéni Databricks-munkafolyamatok és új webszolgáltatások létrehozása
Databricks REST API
  • Olyan folyamatok automatizálása, amelyekben az előnyben részesített programozási nyelven nem érhető el SDK
  • Csak speciális forgatókönyvek
  • Szinte minden Databricks-erőforrás elérhető