Megosztás a következőn keresztül:


Rendszerhéjparancsok futtatása az Azure Databricks webes terminálban

Az Azure Databricks webes terminál kényelmes és rendkívül interaktív módot kínál a parancssori felületen (CLI) futó rendszerhéjparancsok futtatására, beleértve a Databricks CLI-parancsokat is, hogy programozott módon végezhesse el a műveleteket a Databricks-objektumokon. Különösen hasznos speciális használati esetekhez, például több fájl kötegműveleteihez, amelyeket a meglévő felhasználói felületek (UI-k) esetleg nem támogatnak teljes mértékben.

Egy számításon több felhasználó is használhatja a webes terminált.

A webes terminál használatával a következőket teheti:

  • Gyors fájl szerkesztése a Vim vagy az Emacs használatával.
  • Az erőforrás-használat monitorozása olyan parancsokkal, mint a htop (fürthasználat) vagy nvidia-smi a (GPU-használat).
  • Nem Spark Python-szkriptek futtatása.
  • Fájlműveletek végrehajtása rendszerhéjparancsokkal, például mv és mkdir.
  • Kódtárak telepítése és kezelése a számításkor.
  • A Databricks parancssori felületével automatizálhatja az Azure Databricks különböző aspektusait.

Követelmények

Figyelmeztetés

Az Azure Databricks a számítási Spark-illesztő 7681-es portjáról proxyzja a webes terminálszolgáltatást. Ez a webes proxy csak a webes terminállal használható. Ha a port a számítás indításakor van elfoglalva, vagy valamilyen ütközés van, előfordulhat, hogy a webes terminál nem a várt módon működik. Ha más webszolgáltatások is elindulnak a 7681-ös porton, a számítási felhasználók potenciális biztonsági rések elé kerülhetnek. Sem a Databricks, sem a Microsoft nem felelős a nem támogatott szoftverek számításra való telepítéséből eredő problémákért.

A webes terminál indítása

A webes terminált a számítási adatok oldaláról vagy egy jegyzetfüzetből indíthatja el.

Jegyzetfüzetből

A webes terminál indítása jegyzetfüzetből:

  1. Csatlakoztassa a jegyzetfüzetet a számításhoz.
  2. A jegyzetfüzet jobb oldali oldalsávjának alján kattintson az Alsó panel megnyitása ikonra Alsó panel megnyitása a jegyzetfüzetben.
  3. Másik lehetőségként kattintson a csatolt számítási legördülő listára, mutasson a csatolt számítás fölé, majd kattintson a Web Terminal elemre.

A webes terminál a képernyő alján lévő panelen nyílik meg. A panel jobb felső sarkában található gombok lehetővé teszik a következő műveletekhez:

  • Nyisson meg egy új terminál munkamenetet egy új lapon új terminálmunkamenet megnyitása.
  • Terminálmunkamenet terminálmunkamenet újrabetöltéseújratöltése .
  • Zárja be az alsó panelt alsó panel bezárása. A panel újbóli megnyitásához kattintson az alsó panel újbóli megnyitása a jobb oldali oldalsáv aljára.

A számítási részletek lapról

A webes terminál elindítása a számítási részletek lapról:

  1. A munkaterület oldalsávján kattintson a Számítás gombra.
  2. A Teljes célú számítás lapon kattintson a számítás nevére.
  3. Kattintson a Start gombra a számítás elindításához.
  4. Az Alkalmazások lapon kattintson a Web Terminál elemre.

Megnyílik egy új lap a webes terminál felhasználói felületével és a Bash-üzenettel.

Webes terminál használata

A webes terminálban futtathat parancsokat a gyökérből a számítási illesztőprogram-csomópont tárolójában.

Minden felhasználó legfeljebb 100 aktív webes terminál munkamenetet (lapokat) nyithat meg. Az inaktív webes terminál munkamenetei időtúllépést okozhatnak, és a webes terminál webalkalmazása újracsatlakozik, ami új rendszerhéj-folyamatot eredményez. Ha meg szeretné tartani a Bash-munkamenetet, a Databricks a tmux használatát javasolja.

Databricks CLI-parancsok futtatása

A webes terminál használatával Databricks CLI-parancsokat is futtathat. Az elérhető parancssori felület mindig a legújabb verzió, a hitelesítés pedig az aktuális felhasználón alapul. A számításnak meg kell felelnie a következő követelményeknek:

  • A fürtnek telepítve kell lennie a Databricks Runtime 15.0-s vagy újabb verziójával.
  • A munkaterületet nem szabad engedélyezni a Private Linkhez.

Indítsa el a webes terminált, és futtassa a következő parancsot az aktuális felhasználó adatainak megjelenítéséhez:

   databricks current-user me

Csomagparancsok is elérhetők, amelyek lehetővé teszik a Databricks-eszközcsomagok létrehozását és kezelését közvetlenül a Databricks-munkaterület webes termináljáról. Egy egyszerű csomag létrehozása, üzembe helyezése és futtatása például az alapértelmezett sablon használatával:

  1. A webes terminál gyökeréből lépjen a munkaterület kezdőlapjához, és futtassa a következőt bundle init:

    cd /Workspace/Users/someone@example.com
    databricks bundle init
    
  2. Fogadja el az alapértelmezett sablonüzeneteket, majd váltson a csomagkönyvtárra, és telepítse:

    cd my_project
    databricks bundle deploy
    

    Az üzembe helyezett my_project csomagot a Databricks-munkaterület felhasználói felületén tekintheti meg.

  3. Végül futtassa az alapértelmezett feladatot a csomagban:

    databricks bundle run my_project_job
    

    Lépjen a Feladatfuttatások elemre a futó feladat megtekintéséhez.

A webes terminál konfigurálása

A webes terminál állandó konfigurációit .bashrc konfigurációs fájlokkal állíthatja be.

A Databricks automatikusan a .bashrc nevű fájlokat a munkaterület fájlrendszerének kezdőmappájából származtatja. Ezekből a fájlokból a beállítások automatikusan aktiválódnak minden alkalommal, amikor új terminál-munkamenetet indít el.

Ha más fájlokat (például .zshrc) szeretne beszerezni a webes terminál használatához, a .bashrc fájlból származó forrásként használja őket a konfiguráció megőrzéséhez.

Mentse az összes konfigurációs fájlt a munkaterület mappájába, ahol konfigurálhatja őket egy szövegszerkesztő használatával.

Korlátozások

  • Az Azure Databricks nem támogatja a Spark-feladatok webes terminálból való futtatását.

  • Az Azure Databricks webes terminálja nem érhető el a következő számítási típusok esetében:

    • Feladat számítása
    • Kiszolgáló nélküli számítástechnika
    • A számítás a DISABLE_WEB_TERMINAL=true környezeti változókészlettel indult el.
    • A hozzáférési móddal indított számítás a Megosztott a Databricks-futtatókörnyezetben 15.1 alatt. A webterminál a Databricks Runtime 15.1-es és újabb verziók megosztott számítási felületén érhető el.
    • A Spark-konfigurációs spark.databricks.pyspark.enableProcessIsolationtruebeállítással indított számítás.
  • A kezdeti oldalbetöltés óta 12 órás korlátozás van érvényben, amely után a kapcsolat – még ha aktív is – megszakad. Az újracsatlakozáshoz frissítheti a webes terminált. A Databricks a tmux használatát javasolja a rendszerhéj-munkamenet megőrzése érdekében.

  • Az ARM számítási erőforrásai nem használhatnak webes terminálokat a munkaterületfájlok, köztük a Git-mappák fájljainak eléréséhez.

  • A Docker Container Services engedélyezése letiltja a webes terminált.