A Unity Catalog számítási hozzáférési módra vonatkozó korlátozásai

A Databricks a legtöbb számítási feladathoz standard hozzáférési módot (korábban megosztott hozzáférési módot) javasol. Ez a cikk a Unity Catalog egyes hozzáférési módjaira vonatkozó korlátozásokat és követelményeket ismerteti. A hozzáférési módokról további információt az Access módokat ismertető cikkben talál.

A Databricks számítási szabályzatok használatát javasolja a legtöbb felhasználó konfigurációs beállításainak egyszerűsítése érdekében. Lásd: Számítási szabályzatok létrehozása és kezelése.

Dedikált hozzáférési mód korlátozásai a Unity Katalógusban

A Unity Catalog dedikált hozzáférési módja az alábbi korlátozásokkal rendelkezik. Ezek a Unity Catalog összes hozzáférési módjára vonatkozó általános korlátozásokon kívül vannak. Lásd a Unity Catalogáltalános korlátozásait.

A finomhangolt hozzáférés-vezérlési korlátozások a Unity Catalog dedikált hozzáférési módjához

A Databricks Runtime 15.3 és újabb verzió esetén az egyfelhasználós számítás részletes hozzáférés-vezérlése nem támogatott. Ezek konkrétan a következők:

• Nem férhet hozzá olyan táblához, amely sorszűrővel vagy oszlopmaszkkal rendelkezik.
• Nem fér hozzá a(z) dinamikus nézetekhez.
• A bármely nézetből történő olvasáshoz minden, a nézet által jelzett táblán és nézeten meg kell legyen a SELECT.

A dinamikus nézetek, azok az alapnézetek vagy táblák, amelyek tekintetében nincs SELECT jogosultsága, illetve amelyek sorszűrőkkel vagy oszlopmaszkokkal rendelkeznek, lekérdezéséhez használja az alábbiak egyikét:

• Egyszerű SQL-tároló.
• Számítás standard hozzáférési móddal.
• Dedikált hozzáférési móddal történő számítás a Databricks Runtime 15.4 LTS vagy újabb verzióján.

A Databricks Runtime 15.4 LTS és újabb verziók támogatják a részletes hozzáférés-vezérlést az egyfelhasználós számításon. A Databricks Runtime 15.4 LTS és újabb verzióiban biztosított adatszűrés előnyeinek kihasználásához ellenőrizze, hogy a munkaterület engedélyezve van-e a kiszolgáló nélküli számításhoz.

A kiszolgáló nélküli számítás kezeli az adatszűrést, amely lehetővé teszi a nézethez való hozzáférést anélkül, hogy engedélyre van szüksége a mögöttes táblákhoz és nézetekhez. Mivel a kiszolgáló nélküli számítás kezeli az adatszűrést, kiszolgáló nélküli számítási költségek merülhetnek fel, amikor egyetlen felhasználó által végzett számítással kérdezi le a nézeteket. További információ: Részletes hozzáférés-vezérlés dedikált számítási erőforrásokon (korábbi nevén egyfelhasználós számítás).

Folyamatos táblázatok és materializált nézetek korlátozásai önálló Unity Catalog hozzáférési mód esetén.

A Databricks Runtime 15.3-s és újabb verziójában nem használhat egyfelhasználós számítást a DLT-folyamattal létrehozott táblák lekérdezéséhez, beleértve streamelési táblákat és materializált nézeteket, ha ezek a táblák más felhasználók tulajdonában vannak. A táblát létrehozó felhasználó a tulajdonos.

A DLT által létrehozott és más felhasználók tulajdonában lévő streamelési táblák és materializált nézetek lekérdezéséhez használja az alábbiak egyikét:

• egy SQL adattárház.
• Számítás standard hozzáférési móddal a Databricks Runtime 13.3 LTS vagy újabb verzióján.
• Dedikált hozzáférési móddal történő számítás a Databricks Runtime 15.4 LTS vagy újabb verzióján.

A munkaterületet kiszolgáló nélküli számításhoz is engedélyezni kell. További információ: Részletes hozzáférés-vezérlés dedikált számítási erőforrásokon (korábbi nevén egyfelhasználós számítás).

A dedikált Unity Catalog hozzáférési mód streamelési korlátozásai

• Az aszinkron ellenőrzőpont-készítés nem támogatott a Databricks Runtime 11.3 LTS-ben és alább.
• StreamingQueryListener megköveteli, hogy a Databricks Runtime 15.1 vagy újabb verziója hitelesítő adatokat használjon, vagy a Unity Catalog által felügyelt objektumokkal működjön együtt egyetlen felhasználó által végzett számítás során.

Standard hozzáférési mód korlátozásai a Unity Katalógusban

A Unity Catalog standard hozzáférési módja az alábbi korlátozásokkal rendelkezik. Ezek az összes Unity Catalog-hozzáférési módra vonatkozó általános korlátozásokon kívül vannak. Lásd a Unity Catalogáltalános korlátozásait.

• A Databricks Runtime ML és a Spark Machine Learning Library (MLlib) nem támogatott.
• A Spark-küldési feladatok nem támogatottak. Ehelyett használjon JAR-feladatot.
• A DBUtils és más ügyfelek, amelyek közvetlenül olvassák az adatokat a felhőbeli tárolóból, csak akkor támogatottak, ha külső helyet használ a tárolási hely eléréséhez. Lásd: Külső hely létrehozása a felhőbeli tároló Azure Databrickshez való csatlakoztatásához.
• A Databricks Runtime 13.3 és újabb verziókban az egyes sorok száma nem haladhatja meg a 128 MB-ot.
• A DBFS-gyökér és a csatlakoztatások nem támogatják a FUSE-t.

• Az egyéni tárolók nem támogatottak.

Unity Catalog standard hozzáférési mód nyelvi támogatása

• Az R nem támogatott.
• A Scala támogatott a Databricks Runtime 13.3-ban és újabb verziókban.
  • A Databricks Runtime 15.4 LTS és újabb verziókban a Databricks Runtime-mal csomagolt Java- vagy Scala-könyvtárak (JAR-fájlok) elérhetőek a számítás során Unity Catalog hozzáférési módokban.
  • A Databricks Runtime 15.3 vagy ennél alacsonyabb verzió esetén, amely standard hozzáférési módot használ a számításhoz, állítsa be a Spark konfigurációt spark.databricks.scala.kernel.fullClasspath.enabled-ról true-re.

Spark API korlátozásai és követelményei a Unity Catalog standard hozzáférési módjához

• Az RDD API-k nem támogatottak.
• Spark-környezet (sc),spark.sparkContext, és sqlContext nem támogatott Scala esetében egyetlen Databricks-futtatókörnyezetben sem, és a Spark Context nem támogatott Python esetében a Databricks Runtime 14.0-s vagy újabb verzióiban.
  • A Databricks azt javasolja, hogy használja a spark változót a SparkSession példány kezeléséhez.
  • A következő sc függvények szintén nem támogatottak: emptyRDD, range, , init_batched_serializer, parallelizepickleFile, textFilewholeTextFilesbinaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDDhadoopFile, . hadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
• Az alábbi Scala Dataset API-műveletekhez a Databricks Runtime 15.4 LTS vagy újabb verziója szükséges: map, mapPartitions, foreachPartition, flatMapreduce és filter.
• A Spark konfigurációs tulajdonság spark.executor.extraJavaOptions nem támogatott.

A Unity Catalog standard hozzáférési módra vonatkozó UDF-korlátozások és követelmények

A felhasználó által definiált függvények (UDF-ek) a következő korlátozásokkal rendelkeznek a standard hozzáférési móddal:

• A Hive UDF-ek nincsenek támogatva.
• applyInPandas és mapInPandas a Databricks Runtime 14.3 vagy újabb verziójának megkövetelése.
• A PySpark UDF-jei nem férnek hozzá a Git-mappákhoz, munkaterületfájlokhoz vagy kötetekhez a Databricks Runtime 14.2-ben és alatta lévő modulok importálásához.
• A Scala skaláris UDF-jeihez a Databricks Runtime 14.2 vagy újabb verziója szükséges. Más Scala UDF-ek és UDAF-ek nem támogatottak.
• A Databricks Runtime 14.2-es és alacsonyabb verzióiban a grpc, pyarrow vagy protobuf egyéni verziójának használata PySpark UDF-ben jegyzetfüzet-hatókörű vagy fürt-hatókörű könyvtárakon keresztül nem támogatott, mert mindig a telepített verzió élvez előnyt. A telepített kódtárak verziójának megkereséséhez tekintse meg az adott Databricks Runtime-verzió kibocsátási megjegyzéseinek System Environment szakaszát.

• A Python skaláris UDF-jeihez és Pandas UDF-jeihez a Databricks Runtime 13.3 LTS vagy újabb verziója szükséges.

• A nem skaláris Python- és Pandas-UDF-ek, beleértve az UDAF-eket, az UDTF-eket és a Sparkon futó Pandast, a Databricks Runtime 14.3 LTS-t vagy újabb verziót igénylik.

Lásd felhasználó által definiált függvényeket (UDF-eket) a Unity Catalog.

streamelési korlátozások és követelmények a Unity Catalog standard hozzáférési módjához

• Az állapotalapú streamelési lekérdezések állapotadatainak lekérdezéséhez nem használhatja a statestore és state-metadata formátumokat.
• transformWithState, transformWithStateInPandasés társított API-k nem támogatottak.
• A Scala esetében foreach a Databricks Runtime 16.1 vagy újabb verziójára van szükség. foreachBatch, és flatMapGroupsWithState a Databricks Runtime 16.2 vagy újabb verziójára van szükség.
• Python foreachBatch esetén a Databricks Runtime 14.0-s és újabb verziója a következő viselkedési változásokat követi:
  • print() parancsok írnak kimenetet az illesztőprogram-naplókba.
  • Nem tudja elérni a(z) dbutils.widgets almodult a függvényen belül.
  • A függvényben hivatkozott fájloknak, moduloknak és objektumoknak szerializálhatónak kell lenniük, és elérhetőnek kell lenniük a Sparkban.
• A Scala from_avro esetében a Databricks Runtime 14.2-s vagy újabb verziójára van szükség.
• applyInPandasWithState A Databricks Runtime 14.3 LTS-t vagy újabb verziót igényel.
• Az aljzatforrások használata nem támogatott.
• A sourceArchiveDir-nak ugyanazon a külső helyszínen kell lennie, mint a forrásnak, amikor option("cleanSource", "archive")-et a Unity Catalog által kezelt adatforrással használja.
• A Kafka-források és -fogadók esetében a következő lehetőségek nem támogatottak:
  • kafka.sasl.client.callback.handler.class
  • kafka.sasl.login.callback.handler.class
  • kafka.sasl.login.class
  • kafka.partition.assignment.strategy
• A Következő Kafka-beállítások támogatottak a Databricks Runtime 13.3 LTS és újabb verziókban, de a Databricks Runtime 12.2 LTS-ben nem támogatottak. Ezekhez a beállításokhoz csak a Unity Catalog által felügyelt külső helyeket adhatja meg:
  • kafka.ssl.truststore.location
  • kafka.ssl.keystore.location
• A Scala esetében a StreamingQueryListener a Databricks Runtime 16.1-et vagy újabb verzióját igényli.
• Python esetén a StreamingQueryListener használatához a Databricks Runtime 14.3 LTS vagy újabb verziója szükséges, hogy hitelesítő adatokat használhassunk, vagy a Unity Catalog által kezelt objektumokkal kommunikálhassunk a standard hozzáférési módban.

Hálózati és fájlrendszer-hozzáférési korlátozások és követelmények a Unity Catalog standard hozzáférési módjához

• A parancsokat a számítási csomópontokon olyan alacsony jogosultságú felhasználóként kell futtatnia, aki nem fér hozzá a fájlrendszer bizalmas részeihez.
• A Databricks Runtime 11.3 LTS-ben és az alábbi verziókban csak a 80-443-as portokhoz hozhat létre hálózati kapcsolatokat.

• Nem csatlakozhat a példány metaadat-szolgáltatásához vagy az Azure WireServerhez.

Unity Catalog általános korlátozásai

Az alábbi korlátozások az összes Unity Catalog-kompatibilis hozzáférési módra vonatkoznak.

Streamelési korlátozások a Unity Cataloghoz

• Az Apache Spark folyamatos feldolgozási módja nem támogatott. Tekintse meg a folyamatos feldolgozást a Spark strukturált streamelési programozási útmutatójában.

Lásd még a Unity Catalog dedikált hozzáférési módjának streaming korlátozásait, valamint a Unity Catalog standard hozzáférési módjának streaming korlátozásait és követelményeit.

A Unity Catalog használatával történő streamelésről további információt a A Unity Katalógus használata strukturált streamelésicímű témakörben talál.