A Databricks parancssori felület migrálása
Ez a cikk azt ismerteti, hogyan migrálható a Databricks CLI 0.18-os vagy újabb verziójáról a Databricks CLI 0.205-ös vagy újabb verziójára. A Databricks CLI 0.205-ös és újabb verziói nyilvános előzetes verzióban érhetők el.
A rövidség kedvéért ez a cikk a Databricks CLI 0.18-as és újabb verzióira hivatkozik az "örökölt" parancssori felületként, a Databricks CLI 0.205-ös és újabb verzióit pedig "új" parancssori felületként.
Az örökölt és az új CLI-kkal kapcsolatos további információkért lásd:
- Databricks CLI (örökölt) az örökölt parancssori felülethez.
- Mi a Databricks parancssori felület? az új parancssori felülethez.
Az örökölt parancssori felület eltávolítása
Ha telepítve van az örökölt parancssori felület, és el szeretné távolítani, a parancs futtatásához ( pip
vagy pip3
a Python verziójától függően) az alábbiak szerint futtassa a uninstall
parancsot:
pip uninstall databricks-cli
Az új parancssori felület telepítése
Az új parancssori felület telepítéséről a Telepítés vagy a Databricks CLI updatecímű témakörben olvashat.
A parancssori felület telepítésének ellenőrzése
Ha nem biztos abban, hogy az új parancssori felületet használja-e, kövesse az ebben a szakaszban található utasításokat az ellenőrzéshez és a szükség szerinti módosításhoz. Mielőtt végrehajtja ezeket az utasításokat, mindenképpen lépjen ki a Python virtuális környezeteiből, conda
környezeteiből vagy hasonló környezeteiből.
A parancssori felület alapértelmezett telepítésének verziójának ellenőrzéséhez futtassa a következő parancsot:
databricks -v
Ha a verziószám nem a várt, tegye az alábbiak egyikét:
-
Ha a parancssori felületnek csak egy verzióját szeretné használni: távolítsa el a parancssori felület összes korábbi verzióját, amelyet már nem szeretne használni. Előfordulhat, hogy update az operációs rendszered
PATH
, hogy a használni kívánt parancssori felület fennmaradó verziójának elérési útja szerepeljen a listában. - Ha továbbra is a parancssori felület több verzióját szeretné használni: a parancssori felület minden egyes hívásához előre írja be a parancssori felület minden egyes hívásához használni kívánt parancssori felület teljes elérési útját.
-
Ha továbbra is a parancssori felület több verzióját szeretné használni, de nem szeretné a leggyakrabban használt parancssori felület verziójának teljes elérési útját előre felerősíteni: győződjön meg arról, hogy az adott verzió teljes elérési útja először szerepel az operációs rendszerében
PATH
. Vegye figyelembe, hogy továbbra is elő kell használnia a parancssori felület azon verzióinak teljes elérési útját, amelyek nem szerepelnek az operációs rendszerPATH
első listájában.
A(z) update az operációs rendszer PATH
-hez a következőket tegye:
MacOS vagy Linux
List az elérési utak where
databricks
telepítése az alábbi parancsok egyikének futtatásával történik:which -a databricks # Or: where databricks
Get a használni kívánt telepítés útvonalát anélkül, hogy minden egyes parancssori felület használatakor a teljes elérési utat előre meg kellene adni. Ha nem biztos benne, hogy melyik elérési útról van szó, futtassa az egyes helyek teljes elérési útját, majd
-v
kövesse például a következőt:/usr/local/bin/databricks -v
A használni kívánt telepítés elérési útját a következő paranccsal helyezheti
PATH
el, és cserélje le/usr/local/bin
a használni kívánt elérési útra. Ne adja hozzádatabricks
az elérési út végéhez. Példa:export PATH="/usr/local/bin:$PATH"
Annak ellenőrzéséhez, hogy a
PATH
helyesen set-e az aktuális terminálmunkamenethez, futtassadatabricks
, majd-v
, és ellenőrizze a verziószámot:databricks -v
Ahhoz, hogy a
PATH
set így legyen minden alkalommal, amikor újraindítja a terminált, adja hozzá a 3. lépés parancsát a rendszerhéj inicializálási fájljához. A Zshell esetében például ez a fájl általában a következő helyen~/.zshrc
található: . A Bash esetében ez a fájl általában a következő helyen~/.bashrc
található: . Egyéb rendszerhéjak esetén tekintse meg a rendszerhéjszolgáltató dokumentációját.Miután update a rendszerhéj inicializálási fájlját, újra kell indítania a terminált a frissített
PATH
érték alkalmazásához.
Windows
Kattintson a jobb gombbal a használni kívánt telepítésre
databricks
anélkül, hogy a parancssori felület minden egyes hívásának teljes elérési útját előre fel kell függesztetnie.Kattintson a Fájl helyének megnyitása gombra.
Jegyezze fel például
databricks
a elérésiC:\Windows
utat.A Start menüben keressen környezeti változókat.
Kattintson a fiók környezeti változóinak szerkesztése elemre.
Select Elérési út változó a Felhasználói változók
<username>
szakaszában.Kattintson a Szerkesztés gombra.
Kattintson az Új gombra.
Adja meg a hozzáadni kívánt elérési utat ( például
databricks.exe
) nélkülC:\Windows
.A Feljebb gombbal áthelyezheti az imént hozzáadott útvonalat a listelejére.
Kattintson az OK gombra.
Ha ellenőrizni szeretné, hogy a
PATH
helyesen set-e, nyisson meg egy új parancssort, futtassadatabricks
majd-v
, majd ellenőrizze a verziószámot:databricks -v
További hitelesítési típusok használata
Az örökölt parancssori felület és az új parancssori felület egyaránt támogatja az Azure Databricks személyes hozzáférési jogkivonat-hitelesítését. A Databricks azonban azt javasolja, hogy lehetőség szerint használjon más Azure Databricks-hitelesítési típusokat, amelyeket csak az új parancssori felület támogat.
Ha Azure Databricks személyes hozzáférési jogkivonat-hitelesítést kell használnia, a Databricks azt javasolja, hogy azure Databricks-fiók vagy munkaterület-felhasználó helyett egy szolgáltatásnévhez társítottat használjon. Tekintse meg az alkalmazáspéldányok kezelését ismertető cikket.
Az új CLI az Azure Databricks személyes hozzáférési jogkivonatai mellett a Microsoft Entra ID-jogkivonatokat is támogatja. Ezek a további jogkivonatok biztonságosabbak, mivel általában egy órán belül lejárnak, míg az Azure Databricks személyes hozzáférési jogkivonatai egy naptól határozatlan ideig érvényesek lehetnek. Ez különösen akkor fontos, ha egy jogkivonat véletlenül be van jelentkezve a mások által elérhető verziókövetési rendszerekbe. Emellett az új parancssori felület automatikusan refresh ezeket a további jogkivonatokat a lejáratukkor, míg az Azure Databricks személyes hozzáférési jogkivonatainak frissítése manuális folyamat, vagy nehéz lehet automatizálni.
További információ: Hitelesítés a Databricks parancssori felületéhez.
Parancscsoportok és parancsok összehasonlítása
Az alábbi table felsorolja az örökölt CLI parancscsoportokat és azok új CLI parancscsoportjaiknak megfelelőit. Where jelentős különbségek vannak a CLI-k között, a régebbi tableslist CLI-parancsok vagy -opciók és az új CLI-parancsok vagy -opciók megfelelői között.
Parancscsoportok
Örökölt parancscsoport | Új parancscsoport |
---|---|
cluster-policies |
cluster-policies . Minden parancsnév ugyanaz. |
clusters |
clusters . Minden parancsnév ugyanaz. |
configure |
configure . Lásd a konfigurálási beállításokat. |
fs |
fs . Lásd: fs parancsok. |
groups |
groups . Csoportparancsok megtekintése. |
instance-pools |
instance-pools . Minden parancsnév ugyanaz. |
jobs |
jobs . Minden parancsnév ugyanaz. |
libraries |
libraries . Minden parancsnév ugyanaz, kivéve a list . A list parancs már nem érhető el; használja inkább a all-cluster-statuses cluster-status parancsokat. |
pipelines |
pipelines . Lásd a folyamatparancsokat. |
repos |
repos . Minden parancsnév ugyanaz. |
runs |
jobs . Lásd: futtatás parancsok. |
secrets |
secrets . Titkos kódok parancsai. |
stack |
Az új parancssori felület nem érhető el. A Databricks azt javasolja, hogy inkább a Databricks Terraform-szolgáltatót használja. |
tokens |
tokens . A jogkivonatok parancsainak megtekintése. |
unity-catalog |
Különböző. Lásd: unity-catalog parancscsoportok. |
workspace |
workspace . Lásd: munkaterületi parancsok. |
configure
beállítások
Örökölt beállítás | Új lehetőség |
---|---|
-o |
Az örökölt parancssori felület OAuth-hitelesítéshez használható -o . Az új parancssori felület újrakonfigurálja -o annak megadását, hogy a parancssori felület kimenete szöveg vagy JSON formátumban van-e. Az Azure Databricksre nem alkalmazható. |
--oauth |
Az Azure Databricksre nem alkalmazható. |
-s vagy --scope |
Az Azure Databricksre nem alkalmazható. |
-t vagy --token |
-t vagy --token (ugyanaz) |
-f vagy --token-file |
Az új parancssori felület nem érhető el. |
--host |
--host (ugyanaz) |
--aad-token |
Az Azure Databricks személyes hozzáférési jogkivonat helyett használjon --host és adjon meg Egy Microsoft Entra-azonosító jogkivonatot, amikor a rendszer kéri. |
--insecure |
Az új parancssori felület nem érhető el. |
--jobs-api-version |
Az új parancssori felület nem érhető el. Az új CLI csak a Jobs API 2.1-et használja. Az örökölt Jobs API 2.0 meghívásához használja az örökölt parancssori felületet, és tekintse meg a Feladatok parancssori felületét (örökölt). |
--debug |
Az új parancssori felület hibakeresésével és naplózásával kapcsolatban lásd : Hibakeresési mód. |
--profile |
--profile (ugyanaz) vagy -p |
-h vagy --help |
-h vagy --help (ugyanaz) |
fs
Parancsok
Az örökölt parancssori felület összes fs
parancsa megegyezik az új parancssori felülettel, kivéve fs mv
, amely nem érhető el az új parancssori felületen.
Örökölt parancs | Új parancs |
---|---|
fs cat |
fs cat (ugyanaz) |
fs cp |
fs cp (ugyanaz) |
fs ls |
fs ls (ugyanaz) |
fs mkdirs |
fs mkdir |
fs mv |
Az új parancssori felület nem érhető el. |
fs rm |
fs rm (ugyanaz) |
groups
Parancsok
Örökölt parancs | Új parancs |
---|---|
groups add-member |
groups patch |
groups create |
groups create (ugyanaz) |
groups delete |
groups delete (ugyanaz) |
groups list |
groups list (ugyanaz) |
groups list-members |
groups list |
groups list-parents |
groups list |
groups remove-member |
groups patch |
pipelines
Parancsok
Örökölt parancs | Új parancs |
---|---|
pipelines create |
pipelines create (ugyanaz) |
pipelines delete |
pipelines delete (ugyanaz) |
pipelines deploy |
pipelines create |
pipelines edit |
pipelines update |
pipelines get |
pipelines get (ugyanaz) |
pipelines list |
pipelines list-pipeline-events vagy pipelines list-pipelines pipelines list-updates |
pipelines reset |
pipelines reset (ugyanaz) |
pipelines start |
pipelines start update |
pipelines stop |
pipelines stop (ugyanaz) |
pipelines update |
pipelines update (ugyanaz) |
runs
Parancsok
Örökölt parancs | Új parancs |
---|---|
runs cancel |
jobs cancel-run |
runs get |
jobs get-run |
runs get-output |
jobs get-run-output |
runs list |
jobs list-runs |
runs submit |
jobs submit |
secrets
Parancsok
Örökölt parancs | Új parancs |
---|---|
secrets create-scope |
secrets create-scope (ugyanaz) |
secrets delete |
secrets delete-secret |
secrets delete-acl |
secrets delete-acl (ugyanaz) |
secrets delete-scope |
secrets delete-scope (ugyanaz) |
secrets get-acl |
secrets get-acl (ugyanaz) |
secrets list |
secrets list-secrets |
secrets list-acls |
secrets list-acls (ugyanaz) |
secrets list-scopes |
secrets list-scopes (ugyanaz) |
secrets put |
secrets put-secret |
secrets put-acl |
secrets put-acl (ugyanaz) |
secrets write |
secrets put-secret |
secrets write-acl |
secrets put-acl |
tokens
Parancsok
Örökölt parancs | Új parancs |
---|---|
tokens create |
tokens create (ugyanaz) |
tokens list |
tokens list (ugyanaz) |
tokens revoke |
tokens delete |
unity-catalog
parancscsoportok
unity-catalog <command>
az örökölt parancssori felület csak <command>
az új parancssori felületre kerül.
Örökölt parancscsoport | Új parancscsoport |
---|---|
unity-catalog catalogs |
catalogs (ugyanaz, de csepp unity-catalog ) |
unity-catalog external-locations |
external-locations (ugyanaz, de csepp unity-catalog ) |
unity-catalog lineage |
Az új parancssori felület nem érhető el. Lásd: Lekéréses lekérés a Data Lineage REST API használatával. |
unity-catalog metastores |
metastores (ugyanaz, de csepp unity-catalog ) |
unity-catalog permissions |
grants |
unity-catalog providers |
providers (ugyanaz, de csepp unity-catalog ) |
unity-catalog recipients |
recipients (ugyanaz, de csepp unity-catalog ) |
unity-catalog schemas |
schemas (ugyanaz, de csepp unity-catalog ) |
unity-catalog shares |
shares (ugyanaz, de csepp unity-catalog ) |
unity-catalog storage-credentials |
storage-credentials (ugyanaz, de csepp unity-catalog ) |
unity-catalog tables |
tables (ugyanaz, de csepp unity-catalog ) |
workspace
Parancsok
Örökölt parancs | Új parancs |
---|---|
workspace delete |
workspace delete (ugyanaz) |
workspace export |
workspace export (ugyanaz) |
workspace export-dir |
workspace export |
workspace import |
workspace import (ugyanaz) |
workspace import-dir |
workspace import |
workspace list |
workspace list (ugyanaz) |
workspace ls |
workspace list |
workspace mkdirs |
workspace mkdirs (ugyanaz) |
workspace rm |
workspace delete |
Alapértelmezett és pozícióargumentumok
Az új PARANCSSOR-parancsok többsége legalább egy alapértelmezett argumentumot tartalmaz, amely nem rendelkezik kísérő beállítással. Egyes új parancssori felületi parancsok két vagy több pozícióargumentumot használnak, amelyeket egy adott sorrendben kell megadni, és amelyek nem rendelkeznek kísérő beállításokkal. Ez eltér az örökölt parancssori felülettől, where a legtöbb parancshoz minden argumentumhoz meg kell adni a beállításokat. Az új parancssori felület parancsa clusters get
például egy fürtazonosítót használ alapértelmezett argumentumként. Az örökölt parancssori felület parancsához clusers get
azonban meg kell adnia egy --cluster-id
lehetőséget a fürtazonosítóval együtt. Példa:
Az örökölt parancssori felület esetében:
# This works with the legacy CLI.
databricks clusters get --cluster-id 1234-567890-a1b23c4d
# This does **not** work with the legacy CLI - "Error:
# Missing None. One of ['cluster-id', 'cluster-name'] must be provided."
databricks clusters get 1234-567890-a1b23c4d
Az új parancssori felület esetében:
# This works with the new CLI.
databricks clusters get 1234-567890-a1b23c4d
# This does **not** work with the new CLI - "Error: unknown flag: --cluster-id"
databricks clusters get --cluster-id 1234-567890-a1b23c4d
Egy másik példaként az új parancssori felület parancsa grants get
két alapértelmezett argumentumot használ: a biztonságos típust és a biztonságossá tétel teljes nevét. Az örökölt parancssori felület parancsához unity-catalog permissions get
azonban meg kell adnia egy --<securable-type>
lehetőséget a biztonságos eszköz teljes nevével együtt. Példa:
Az örökölt parancssori felület esetében:
databricks unity-catalog permissions get --schema main.default
Az új parancssori felület esetében:
# This works with the new CLI.
databricks grants get schema main.default
# This does **not** work with the new CLI - "Error: unknown flag: --schema"
databricks grants get --schema main.default
Hibakeresési mód
Az örökölt parancssori felület lehetővé teszi --debug
a teljes verem nyomon követését hiba esetén. Az új parancssori felület esetében a --debug
beállítás nem ismerhető fel. Ehelyett használja a következő beállításokat:
- Naplóadatok
--log-file <path>
írása a megadott fájlba<path>
. Ha ez a beállítás nincs megadva, a naplóadatok az stderr-nek lesznek kiadva.--log-file
Ha nem adja meg--log-level
az eredményeket, akkor a rendszer nem ír naplóadatokat a fájlba. - A naplózott adatok formátumának megadására szolgál
--log-format <type>
.<type>
text
lehet (az alapértelmezett, ha nincs megadva) vagyjson
. - A naplózott információk szintjének megadására szolgál
--log-level <format>
. Az engedélyezett valuesdisabled
(ha nincs megadva),trace
,debug
,info
,warn
éserror
.
Az örökölt parancssori felület esetében az alábbi példa a hiba teljes veremkövetését mutatja be:
databricks fs ls / --debug
# Output:
#
# HTTP debugging enabled
# NoneType: None
# Error: The path / must start with "dbfs:/"
Az új parancssori felület esetében az alábbi példa naplózza a teljes verem nyomkövetését egy, az aktuális munkakönyvtárban elnevezett new-cli-errors.log
fájlba. A verem nyomkövetése JSON formátumban van megírva a fájlba:
databricks fs ls / --log-file new-cli-errors.log --log-format json --log-level trace
# Output:
#
# Error: expected dbfs path (with the dbfs:/ prefix): /
#
# (The full stack trace is also written to the new-cli-errors.log file.)
Gyakori kérdések
Ez a szakasz az örököltről az új parancssori felületre való migrálással kapcsolatos gyakori kérdéseket sorolja fel.
Mi történik az örökölt parancssori felülettel?
Az örökölt parancssori felület továbbra is elérhető, de nem kap kritikus fontosságú frissítéseket. Az örökölt CLI-dokumentáció ezt tükrözi. A Databricks azt javasolja, hogy a felhasználók a lehető leghamarabb térjenek át az új parancssori felületre.
Az örökölt parancssori felület mindig kísérleti állapotban volt, azzal a jogi nyilatkozattal, hogy a Databricks nem tervez új funkciót az örökölt parancssori felülethez, és az örökölt parancssori felület nem támogatott a Databricks támogatási csatornáival.
Mikor lesz elavult az örökölt parancssori felület?
Az örökölt parancssori felület mindig kísérleti állapotban volt, azzal a jogi nyilatkozattal, hogy a Databricks nem tervez új funkciót az örökölt parancssori felülethez, és az örökölt parancssori felület nem támogatott a Databricks támogatási csatornáival.
A Databricks nem hozott létre dátumot vagy ütemtervet az örökölt parancssori felület elavultságához. A Databricks azonban azt javasolja, hogy a felhasználók a lehető leghamarabb migráljanak az új parancssori felületre.
Mikor jelenik meg az új parancssori felület általánosan elérhetőként (GA)?
Az új parancssori felület ga-ként való kiadásának dátuma vagy idővonala nem lett meghatározva. Ez attól függ, hogy a Databricks milyen visszajelzéseket kap a felhasználóktól a nyilvános előzetes verzió során.
Mik a fő különbségek az örökölt és az új CLI-k között?
- Az örökölt parancssori felület Python-csomagként jelent meg. Az új parancssori felület önálló végrehajthatóként jelenik meg, és nincs szükség futtatókörnyezeti függőségek telepítésére.
- Az új parancssori felület teljes körűen lefedi a Databricks REST API-kat. Az örökölt parancssori felület nem.
- Az új parancssori felület nyilvános előzetes verzióként érhető el. Az örökölt parancssori felület kísérleti állapotban marad.
Az új parancssori felület rendelkezik teljes funkció paritásossággal az örökölt parancssori felülettel?
Az új parancssori felület lefedi az örökölt parancssori felület szinte minden parancsát. Az új parancssori felületről azonban hiányzik a stacks
régi parancssori felület parancscsoportja. Emellett néhány régi parancssori felületi parancssori felületi parancscsoport, például unity-catalog
runs
az új parancssori felület új parancscsoportjaiba lett átfogva. A migrálással kapcsolatos útmutatásért tekintse meg a cikk korábbi részében megadott információkat.
Hogyan migrálni az örökölt parancssori felületről az új parancssori felületre?
A migrálással kapcsolatos útmutatásért tekintse meg a cikk korábbi részében megadott információkat. Vegye figyelembe, hogy az új parancssori felület nem helyettesíti az örökölt parancssori felületet, és bizonyos beállításokat igényel az örökölt parancssori felületről az új parancssori felületre való áttéréshez.
Létezhetnek az örökölt és az új CLI-k telepítése ugyanazon a gépen?
Igen. Az örökölt és az új CLI-k telepítése ugyanazon a gépen is létezhet, de különböző könyvtárakban kell lenniük. Mivel a végrehajtható elemek neve mindkettő databricks
, a gép PATH
konfigurálásával szabályoznia kell, hogy melyik végrehajtható fájl fut alapértelmezés szerint. Ha az új parancssori felületet szeretné futtatni, de valahogy véletlenül inkább az örökölt parancssori felületet szeretné futtatni, alapértelmezés szerint az örökölt parancssori felület ugyanazokkal az argumentumokkal futtatja az új parancssori felületet, és megjeleníti a következő figyelmeztető üzenetet:
Databricks CLI <new-version-number> found at <new-path>
Your current PATH prefers running CLI <old-version-number> at <old-path>
Because both are installed and available in PATH,
I assume you are trying to run the newer version.
If you want to disable this behavior you can set DATABRICKS_CLI_DO_NOT_EXECUTE_NEWER_VERSION=1.
Executing CLI <new-version-number>...
-------------------------------------
Databricks CLI <new-version-number>
Az előző figyelmeztető üzenetben látható módon set a DATABRICKS_CLI_DO_NOT_EXECUTE_NEWER_VERSION
környezeti változót, hogy 1
tiltsa le ezt a viselkedést, és helyette futtassa az örökölt parancssori felületet.
Get segítség
Ha segítséget szeretne get az örökölt parancssori felületről az új parancssori felületre való migráláshoz, tekintse meg a következő erőforrásokat: