Rendszerhéjparancsok futtatása az Azure Databricks webes terminálban
Az Azure Databricks webes terminál kényelmes és rendkívül interaktív módot kínál a parancssori felületen (CLI) futó rendszerhéjparancsok futtatására, beleértve a Databricks CLI-parancsokat is, hogy programozott módon végezhesse el a műveleteket a Databricks-objektumokon. Különösen hasznos speciális használati esetekhez, például több fájl kötegműveleteihez, amelyeket a meglévő felhasználói felületek (UI-k) esetleg nem támogatnak teljes mértékben.
Egy számításon több felhasználó is használhatja a webes terminált.
A webes terminál használatával a következőket teheti:
- Gyors fájl szerkesztése a Vim vagy az Emacs használatával.
- Az erőforrás-használat monitorozása olyan parancsokkal, mint a
htop
(fürthasználat) vagynvidia-smi
a (GPU-használat). - Nem Spark Python-szkriptek futtatása.
- Fájlműveletek végrehajtása rendszerhéjparancsokkal, például
mv
ésmkdir
. - Kódtárak telepítése és kezelése a számításkor.
- A Databricks parancssori felületével automatizálhatja az Azure Databricks különböző aspektusait.
Követelmények
Figyelmeztetés
Az Azure Databricks a számítási Spark-illesztő 7681-es portjáról proxyzja a webes terminálszolgáltatást. Ez a webes proxy csak a webes terminállal használható. Ha a port a számítás indításakor van elfoglalva, vagy valamilyen ütközés van, előfordulhat, hogy a webes terminál nem a várt módon működik. Ha más webszolgáltatások is elindulnak a 7681-ös porton, a számítási felhasználók potenciális biztonsági rések elé kerülhetnek. Sem a Databricks, sem a Microsoft nem felelős a nem támogatott szoftverek számításra való telepítéséből eredő problémákért.
- A webes terminál alapértelmezés szerint le van tiltva minden munkaterület-felhasználó számára. Az engedélyezéshez lásd : A webes terminál engedélyezése.
- CSATOLHATÓ egy számítási engedélyhez .
- A számításnak egyfelhasználós vagy nincs megosztott elkülönítési hozzáférési módotkell használnia. A Databricks Runtime 15.1 és újabb verziók esetében a megosztott hozzáférési mód is támogatott.
A webes terminál indítása
A webes terminált a számítási adatok oldaláról vagy egy jegyzetfüzetből indíthatja el.
Jegyzetfüzetből
A webes terminál indítása jegyzetfüzetből:
- Csatlakoztassa a jegyzetfüzetet a számításhoz.
- A jegyzetfüzet jobb oldali oldalsávjának alján kattintson az Alsó panel megnyitása ikonra
.
- Másik lehetőségként kattintson a csatolt számítási legördülő listára, mutasson a csatolt számítás fölé, majd kattintson a Web Terminal elemre.
A webes terminál a képernyő alján lévő panelen nyílik meg. A panel jobb felső sarkában található gombok lehetővé teszik a következő műveletekhez:
- Nyisson meg egy új terminál munkamenetet egy új lapon
.
- Terminálmunkamenet
újratöltése .
- Zárja be az alsó panelt
. A panel újbóli megnyitásához kattintson
a jobb oldali oldalsáv aljára.
A számítási részletek lapról
A webes terminál elindítása a számítási részletek lapról:
- A munkaterület oldalsávján kattintson a Számítás gombra.
- A Teljes célú számítás lapon kattintson a számítás nevére.
- Kattintson a Start gombra a számítás elindításához.
- Az Alkalmazások lapon kattintson a Web Terminál elemre.
Megnyílik egy új lap a webes terminál felhasználói felületével és a Bash-üzenettel.
Webes terminál használata
A webes terminálban futtathat parancsokat a gyökérből a számítási illesztőprogram-csomópont tárolójában.
Minden felhasználó legfeljebb 100 aktív webes terminál munkamenetet (lapokat) nyithat meg. Az inaktív webes terminál munkamenetei időtúllépést okozhatnak, és a webes terminál webalkalmazása újracsatlakozik, ami új rendszerhéj-folyamatot eredményez. Ha meg szeretné tartani a Bash-munkamenetet, a Databricks a tmux használatát javasolja.
Databricks CLI-parancsok futtatása
A webes terminál használatával Databricks CLI-parancsokat is futtathat. Az elérhető parancssori felület mindig a legújabb verzió, a hitelesítés pedig az aktuális felhasználón alapul. A számításnak meg kell felelnie a következő követelményeknek:
- A fürtnek telepítve kell lennie a Databricks Runtime 15.0-s vagy újabb verziójával.
- A munkaterületet nem szabad engedélyezni a Private Linkhez.
Indítsa el a webes terminált, és futtassa a következő parancsot az aktuális felhasználó adatainak megjelenítéséhez:
databricks current-user me
Csomagparancsok is elérhetők, amelyek lehetővé teszik a Databricks-eszközcsomagok létrehozását és kezelését közvetlenül a Databricks-munkaterület webes termináljáról. Egy egyszerű csomag létrehozása, üzembe helyezése és futtatása például az alapértelmezett sablon használatával:
A webes terminál gyökeréből lépjen a munkaterület kezdőlapjához, és futtassa a következőt
bundle init
:cd /Workspace/Users/someone@example.com databricks bundle init
Fogadja el az alapértelmezett sablonüzeneteket, majd váltson a csomagkönyvtárra, és telepítse:
cd my_project databricks bundle deploy
Az üzembe helyezett
my_project
csomagot a Databricks-munkaterület felhasználói felületén tekintheti meg.Végül futtassa az alapértelmezett feladatot a csomagban:
databricks bundle run my_project_job
Lépjen a Feladatfuttatások elemre a futó feladat megtekintéséhez.
A webes terminál konfigurálása
A webes terminál állandó konfigurációit .bashrc konfigurációs fájlokkal állíthatja be.
A Databricks automatikusan a .bashrc nevű fájlokat a munkaterület fájlrendszerének kezdőmappájából származtatja. Ezekből a fájlokból a beállítások automatikusan aktiválódnak minden alkalommal, amikor új terminál-munkamenetet indít el.
Ha más fájlokat (például .zshrc) szeretne beszerezni a webes terminál használatához, a .bashrc fájlból származó forrásként használja őket a konfiguráció megőrzéséhez.
Mentse az összes konfigurációs fájlt a munkaterület mappájába, ahol konfigurálhatja őket egy szövegszerkesztő használatával.
Korlátozások
Az Azure Databricks nem támogatja a Spark-feladatok webes terminálból való futtatását.
Az Azure Databricks webes terminálja nem érhető el a következő számítási típusok esetében:
- Feladat számítása
- Kiszolgáló nélküli számítástechnika
- A számítás a
DISABLE_WEB_TERMINAL=true
környezeti változókészlettel indult el. - A
hozzáférési móddal indított számítás a Megosztotta Databricks-futtatókörnyezetben 15.1 alatt. A webterminál a Databricks Runtime 15.1-es és újabb verziók megosztott számítási felületén érhető el. - A Spark-konfigurációs
spark.databricks.pyspark.enableProcessIsolation
true
beállítással indított számítás.
A kezdeti oldalbetöltés óta 12 órás korlátozás van érvényben, amely után a kapcsolat – még ha aktív is – megszakad. Az újracsatlakozáshoz frissítheti a webes terminált. A Databricks a tmux használatát javasolja a rendszerhéj-munkamenet megőrzése érdekében.
Az ARM számítási erőforrásai nem használhatnak webes terminálokat a munkaterületfájlok, köztük a Git-mappák fájljainak eléréséhez.
A Docker Container Services engedélyezése letiltja a webes terminált.