Rendszerhéjparancsok futtatása az Azure Databricks webes terminálban

Az Azure Databricks webes terminál kényelmes és rendkívül interaktív módot kínál a parancssori felületen (CLI) futó rendszerhéjparancsok futtatására, beleértve a Databricks CLI-parancsokat is, hogy programozott módon végezhesse el a műveleteket a Databricks-objektumokon. Különösen hasznos speciális használati esetekhez, például több fájl kötegműveleteihez, amelyeket a meglévő felhasználói felületek (UI-k) esetleg nem támogatnak teljes mértékben.

Egy számításon több felhasználó is használhatja a webes terminált.

A webes terminál használatával a következőket teheti:

• Gyors fájl szerkesztése a Vim vagy az Emacs használatával.
• Az erőforrás-használat monitorozása olyan parancsokkal, mint a htop (fürthasználat) vagy nvidia-smi a (GPU-használat).
• Nem Spark Python-szkriptek futtatása.
• Fájlműveletek végrehajtása rendszerhéjparancsokkal, például mv és mkdir.
• Kódtárak telepítése és kezelése a számításkor.
• A Databricks parancssori felületével automatizálhatja az Azure Databricks különböző aspektusait.

Követelmények

• A webes terminál alapértelmezés szerint le van tiltva minden munkaterület-felhasználó számára. Az engedélyezéshez lásd : A webes terminál engedélyezése.
• CSATOLHATÓ egy számítási engedélyhez .
• A számításnak egyfelhasználós vagy nincs megosztott elkülönítési hozzáférési módotkell használnia. A Databricks Runtime 15.1 és újabb verziók esetében a megosztott hozzáférési mód is támogatott.

A webes terminál indítása

A webes terminált a számítási adatok oldaláról vagy egy jegyzetfüzetből indíthatja el.

Jegyzetfüzetből

A webes terminál indítása jegyzetfüzetből:

1. Csatlakoztassa a jegyzetfüzetet a számításhoz.
2. A jegyzetfüzet jobb oldali oldalsávjának alján kattintson az Alsó panel megnyitása ikonra .
3. Másik lehetőségként kattintson a csatolt számítási legördülő listára, mutasson a csatolt számítás fölé, majd kattintson a Web Terminal elemre.

A webes terminál a képernyő alján lévő panelen nyílik meg. A panel jobb felső sarkában található gombok lehetővé teszik a következő műveletekhez:

• Nyisson meg egy új terminál munkamenetet egy új lapon .
• Terminálmunkamenet újratöltése .
• Zárja be az alsó panelt . A panel újbóli megnyitásához kattintson a jobb oldali oldalsáv aljára.

A számítási részletek lapról

A webes terminál elindítása a számítási részletek lapról:

1. A munkaterület oldalsávján kattintson a Számítás gombra.
2. A Teljes célú számítás lapon kattintson a számítás nevére.
3. Kattintson a Start gombra a számítás elindításához.
4. Az Alkalmazások lapon kattintson a Web Terminál elemre.

Megnyílik egy új lap a webes terminál felhasználói felületével és a Bash-üzenettel.

Webes terminál használata

A webes terminálban futtathat parancsokat a gyökérből a számítási illesztőprogram-csomópont tárolójában.

Minden felhasználó legfeljebb 100 aktív webes terminál munkamenetet (lapokat) nyithat meg. Az inaktív webes terminál munkamenetei időtúllépést okozhatnak, és a webes terminál webalkalmazása újracsatlakozik, ami új rendszerhéj-folyamatot eredményez. Ha meg szeretné tartani a Bash-munkamenetet, a Databricks a tmux használatát javasolja.

Databricks CLI-parancsok futtatása

A webes terminál használatával Databricks CLI-parancsokat is futtathat. Az elérhető parancssori felület mindig a legújabb verzió, a hitelesítés pedig az aktuális felhasználón alapul. A számításnak meg kell felelnie a következő követelményeknek:

• A fürtnek telepítve kell lennie a Databricks Runtime 15.0-s vagy újabb verziójával.
• A munkaterületet nem szabad engedélyezni a Private Linkhez.

Indítsa el a webes terminált, és futtassa a következő parancsot az aktuális felhasználó adatainak megjelenítéséhez:

   databricks current-user me

Csomagparancsok is elérhetők, amelyek lehetővé teszik a Databricks-eszközcsomagok létrehozását és kezelését közvetlenül a Databricks-munkaterület webes termináljáról. Egy egyszerű csomag létrehozása, üzembe helyezése és futtatása például az alapértelmezett sablon használatával:

1. A webes terminál gyökeréből lépjen a munkaterület kezdőlapjához, és futtassa a következőt bundle init:

   cd /Workspace/Users/someone@example.com
   databricks bundle init
   

2. Fogadja el az alapértelmezett sablonüzeneteket, majd váltson a csomagkönyvtárra, és telepítse:

   cd my_project
   databricks bundle deploy
   

   Az üzembe helyezett my_project csomagot a Databricks-munkaterület felhasználói felületén tekintheti meg.

3. Végül futtassa az alapértelmezett feladatot a csomagban:

   databricks bundle run my_project_job
   

   Lépjen a Feladatfuttatások elemre a futó feladat megtekintéséhez.

A webes terminál konfigurálása

A webes terminál állandó konfigurációit .bashrc konfigurációs fájlokkal állíthatja be.

A Databricks automatikusan a .bashrc nevű fájlokat a munkaterület fájlrendszerének kezdőmappájából származtatja. Ezekből a fájlokból a beállítások automatikusan aktiválódnak minden alkalommal, amikor új terminál-munkamenetet indít el.

Ha más fájlokat (például .zshrc) szeretne beszerezni a webes terminál használatához, a .bashrc fájlból származó forrásként használja őket a konfiguráció megőrzéséhez.

Mentse az összes konfigurációs fájlt a munkaterület mappájába, ahol konfigurálhatja őket egy szövegszerkesztő használatával.

Korlátozások

• Az Azure Databricks nem támogatja a Spark-feladatok webes terminálból való futtatását.

• Az Azure Databricks webes terminálja nem érhető el a következő számítási típusok esetében:

  • Feladat számítása
  • Kiszolgáló nélküli számítástechnika
  • A számítás a DISABLE_WEB_TERMINAL=true környezeti változókészlettel indult el.
  • A hozzáférési móddal indított számítás a Megosztott a Databricks-futtatókörnyezetben 15.1 alatt. A webterminál a Databricks Runtime 15.1-es és újabb verziók megosztott számítási felületén érhető el.
  • A Spark-konfigurációs spark.databricks.pyspark.enableProcessIsolationtruebeállítással indított számítás.

• A kezdeti oldalbetöltés óta 12 órás korlátozás van érvényben, amely után a kapcsolat – még ha aktív is – megszakad. Az újracsatlakozáshoz frissítheti a webes terminált. A Databricks a tmux használatát javasolja a rendszerhéj-munkamenet megőrzése érdekében.

• Az ARM számítási erőforrásai nem használhatnak webes terminálokat a munkaterületfájlok, köztük a Git-mappák fájljainak eléréséhez.

• A Docker Container Services engedélyezése letiltja a webes terminált.