Databricks Runtime 7.4 (EoS)

A Databricks 2020 novemberében adta ki ezt a verziót.

Az alábbi kibocsátási megjegyzések az Apache Spark 3.0 által működtetett Databricks Runtime 7.4-ről nyújtanak információkat.

Új funkciók

Ebben a szakaszban:

• A Delta Lake funkciói és fejlesztései
• Az Automatikus betöltő mostantól támogatja a fájlértesítési erőforrások beállításának rendszergazdákra történő delegálását
• Az új USAGE jogosultságok nagyobb ellenőrzést biztosítanak a rendszergazdáknak az adathozzáférési jogosultságok felett
• A DBFS FUSE mostantól engedélyezve van az átengedés-kompatibilis fürtökhöz

A Delta Lake funkciói és fejlesztései

Ez a kiadás a következő Delta Lake-funkciókat és -fejlesztéseket biztosítja:

• Új API lehetővé teszi a Delta Lake számára annak ellenőrzését, hogy a táblához hozzáadott adatok megfelelnek-e a korlátozásoknak
• Új API lehetővé teszi a Delta-táblák visszaállítását a tábla egy régebbi verziójára
• Az új kezdő verzió lehetővé teszi, hogy csak a legújabb módosításokat adja vissza egy Delta Lake streamelési forrásban
• Továbbfejlesztett stabilitása OPTIMIZE

Az új API lehetővé teszi a Delta Lake számára annak ellenőrzését, hogy a táblához hozzáadott adatok megfelelnek-e a korlátozásoknak

A Delta Lake mostantól támogatja CHECK a korlátozásokat. Ha megadja, a Delta Lake automatikusan ellenőrzi, hogy a táblához hozzáadott adatok megfelelnek-e a megadott kifejezésnek. Korlátozások hozzáadásához CHECK használja a ALTER TABLE ADD CONSTRAINTS parancsot. További információ: Az Azure Databricks korlátozásai.

Az új API lehetővé teszi a Delta-tábla visszaállítását a tábla egy régebbi verziójára

A Delta-táblákat a RESTORE paranccsal visszaállíthatja a régebbi verziókra:

SQL

RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';

Python

from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')

Scala

import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE létrehoz egy új véglegesítést, amely visszaállítja a táblában végrehajtott összes módosítást a visszaállítani kívánt verzió óta. A rendszer visszaállítja az összes meglévő adatot és metaadatot, beleértve a sémát, a korlátozásokat, a streamelési tranzakció azonosítóit, a COPY INTO metaadatokat és a táblaprotokoll-verziót. További információ: Delta-tábla visszaállítása.

Az új kezdő verzió lehetővé teszi, hogy csak a legújabb módosításokat adja vissza egy Delta Lake streamelési forrásban

Ha csak a legújabb módosításokat szeretné visszaadni, adja meg startingVersion a következőt latest: . További részletekért lásd a kezdeti pozíció megadása című témakört.

Továbbfejlesztett stabilitása OPTIMIZE

OPTIMIZE (partíciós predikátumok nélkül) több tízmillió kis fájlból álló táblákra méretezhető. Korábban az Apache Spark-illesztőprogram elfogyhatott a memóriából, és OPTIMIZE nem fejeződött be. OPTIMIZE most már nagyon nagy táblákat kezel több tízmillió fájllal.

Az Automatikus betöltő mostantól támogatja a fájlértesítési erőforrások beállításának rendszergazdákra történő delegálását

Az új Scala API-val a rendszergazdák fájlértesítési erőforrásokat állíthatnak be az Automatikus betöltőhöz. Az adatmérnökök mostantól kevesebb engedéllyel üzemeltethetik az automatikus betöltő streameket úgy, hogy delegálják a kezdeti erőforrás-beállítást a rendszergazdáiknak. Lásd: Fájlértesítési erőforrások manuális konfigurálása vagy kezelése.

Az új USAGE jogosultságok nagyobb ellenőrzést biztosítanak a rendszergazdáknak az adathozzáférési jogosultságok felett

Ha műveletet szeretne végrehajtani egy adatbázisban lévő objektumon, akkor a USAGE művelet végrehajtásához szükséges jogosultságokon felül meg kell adnia az adott adatbázisra vonatkozó jogosultságot. A USAGE jogosultság egy adatbázishoz vagy katalógushoz adható. A USAGE jogosultság bevezetésével a táblatulajdonos nem dönthet úgy, hogy azt egy másik felhasználóval megosztja; a felhasználónak USAGE jogosultsággal is rendelkeznie kell a táblát tartalmazó adatbázisban.

A táblahozzáférés-vezérlést engedélyező munkaterületeken a users csoport automatikusan rendelkezik a legfelső szintű CATALOGUSAGE jogosultságával.

További részletekért lásd a USAGE jogosultságot.

A DBFS FUSE mostantól engedélyezve van az átengedés-kompatibilis fürtökhöz

Most már olvashat és írhat a DBFS-ből a FUSE csatlakoztatásával /dbfs/ , amikor a hitelesítő adatok átengedéséhez engedélyezett magas egyidejűségi fürtöt használ. A normál csatlakoztatások támogatottak. Az átmenő hitelesítő adatokat igénylő csatlakoztatások nem támogatottak.

Fejlesztések

A Spark SQL támogatja és IFF szinonimaként CHARINDEX támogatja IF ésPOSITION

A Databricks Runtime IF() a CASE WHEN <cond> THEN <expr1> ELSE <expr2> END

A Databricks Runtime mostantól szinonimaként támogatja IFF() a IF()

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX a függvény alternatív neve POSITION . CHARINDEX megkeresi egy sztring első előfordulásának helyét egy másik sztringben egy választható kezdőindexkel.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

Alapértelmezés szerint több kimenet engedélyezett cellánként a Python-jegyzetfüzetekhez

A Databricks Runtime 7.1 több kimenetet is támogatott cellánként a Python-jegyzetfüzetekben (és a nem Python-jegyzetfüzetekben lévő %Python-cellákat), de engedélyeznie kellett a funkciót a jegyzetfüzethez. Ez a funkció alapértelmezés szerint engedélyezve van a Databricks Runtime 7.4-ben. Lásd: Több kimenet megjelenítése cellánként.

A Python-jegyzetfüzetek automatikus kiegészítési fejlesztései

A Python automatikus kiegészítése a kód statikus elemzéséből származó további típusinformációkat jeleníti meg a Jedi-kódtár használatával. A Tab billentyűvel megtekintheti a lehetőségek listáját.

A Spark ML-vektorok továbbfejlesztett display verziója a Spark DataFrame előzetes verziójában

A display formátum mostantól a vektortípus (ritka vagy sűrű), a hossz, az indexek (ritka vektorok) és az értékek címkéit jeleníti meg.

Egyéb javítások

• Kijavítottunk egy válogatós hibát collections.namedtuple a jegyzetfüzetekben.
• Kijavítottuk az interaktívan definiált osztályok és metódusok pácolásával kapcsolatos problémát.
• Kijavítottunk egy hibát, amely miatt a mlflow.start_run() hívásai meghiúsultak az átviteli mód vagy a táblahozzáférés-vezérlésre engedélyezett fürtök használatakor.

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • 0.14.1-ről 0.17.2-re frissített jedi.
  • koalák frissítve 1.2.0-ról 1.3.0-ra.
  • parso frissítve 0.5.2-ről 0.7.0-ra.
• Több telepített R-kódtárat frissített. Lásd: Telepített R-kódtárak.

Apache Spark

A Databricks Runtime 7.4 tartalmazza az Apache Spark 3.0.1-et. Ez a kiadás tartalmazza a Databricks Runtime 7.3 LTS -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-33170] [SQL] SQL-konfiguráció hozzáadása a gyors sikertelen működés szabályozásához a FileFormatWriterben
• [SPARK-33136] [SQL] Hibásan felcserélt paraméter javítása a V2WriteCommand.outputResolved fájlban
• [SPARK-33134] [SQL] Részleges eredmények visszaadása csak gyökérszintű JSON-objektumok esetén
• [SPARK-33038] [SQL] Az AQE kezdeti és jelenlegi tervének egyesítése...
• [SPARK-33118] [SQL] CREATE ideiglenes TABLE hely miatt sikertelen
• [SPARK-33101] [ML] A LibSVM formátum propagálja a Hadoop-konfigurációt a DS-beállításokról a mögöttes HDFS fájlrendszerre
• [SPARK-33035] [SQL] Frissíti az attribútumleképezés elavult bejegyzéseit a QueryPlan#transformUpWithNewOutput fájlban
• [SPARK-33091] [SQL] Az OrcUtils.readCatalystSchema hívóinál ne használjon térképet foreach helyett
• [SPARK-33073] [PYTHON] Hibakezelés javítása a Pandas-ról nyílra konvertálási hibák esetén
• [SPARK-33043] [ML] A spark.driver.maxResultSize=0 kezelése a RowMatrix heurisztikus számításában
• [SPARK-29358] [SQL] Az unionByName megadása opcionálisan null értékekkel tölti ki a hiányzó oszlopokat
• [SPARK-32996] [WEB-UI] Üres ExecutorMetrics kezelése a ExecutorMetricsJsonSerializerben
• [SPARK-32585] [SQL] Scala-számbavétel támogatása a ScalaReflection szolgáltatásban
• [SPARK-33019] [CORE] Alapértelmezés szerint a spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 használata
• [SPARK-33018] [SQL] Becslési statisztikai probléma javítása, ha a gyermeknek 0 bájtja van
• [SPARK-32901] [CORE] Ne foglaljon le memóriát a UnsafeExternalSorter kiömlése közben
• [SPARK-33015] [SQL] MillisToDays() használata a ComputeCurrentTime szabályban
• [SPARK-33015] [SQL] Az aktuális dátum kiszámítása csak egyszer
• [SPARK-32999] [SQL] A Utils.getSimpleName használatával elkerülheti a hibásan formázott osztály nevét a TreeNode-ban
• [SPARK-32659] [SQL] Szórástömb az InSubqueryExec beállítása helyett
• [SPARK-32718] [SQL] Az intervallumegységek szükségtelen kulcsszavainak eltávolítása
• [SPARK-32886] [WEBUI] kijavítottuk a "nem definiált" hivatkozást az esemény ütemtervének nézetben
• [SPARK-32898] [CORE] Hibás végrehajtórunTime kijavítása, ha a feladat a tényleges kezdés előtt el lett végezve
• [SPARK-32635] [SQL] Új teszteset hozzáadása a katalizátormodulhoz
• [SPARK-32930] [CORE] Elavult isFile/isDirectory metódusok cseréje
• [SPARK-32906] [SQL] A szerkezetmezők neve nem módosítható az úszók normalizálása után
• [SPARK-24994] [SQL] UnwrapCastInBinaryComparison optimalizáló hozzáadása az integrál literál leegyszerűsítéséhez
• [SPARK-32635] [SQL] Összecsukható propagálás javítása
• [SPARK-32738] [CORE] Csökkentenie kell az aktív szálak számát, ha végzetes hiba történik a Inbox.process
• [SPARK-32900] [CORE] Null érték esetén a UnsafeExternalSorter kiszivárgásának engedélyezése
• [SPARK-32897] [PYTHON] Ne jelenjen meg elavulásra figyelmeztető üzenet a SparkSession.builder.getOrCreate webhelyen
• [SPARK-32715] [CORE] Memóriavesztés javítása, ha nem sikerült tárolni a közvetítési darabokat
• [SPARK-32715] [CORE] Memóriavesztés javítása, ha nem sikerült tárolni a közvetítési darabokat
• [SPARK-32872] [CORE] A BytesToBytesMap MAX_CAPACITY növekedési küszöbértékének túllépésének megakadályozása
• [SPARK-32876] [SQL] Az alapértelmezett tartalékverzió módosítása a HiveExternalCatalogVersionsSuite 3.0.1-es és 2.4.7-es verziójára
• [SPARK-32840] [SQL] Érvénytelen intervallumérték lehet csak ragasztó az egységhez
• [SPARK-32819] Az [SQL] ignoreNullability paraméternek rekurzív módon kell érvényesnek lennie
• [SPARK-32832] [SS] CaseInsensitiveMap használata a DataStreamReader/Writer beállításhoz
• [SPARK-32794] [SS] Kijavítottuk a ritka sarkú kisbetűs hibát a mikrokötegmotorban néhány állapotalapú lekérdezéssel + nem adatkötegekkel + V1-forrásokkal
• [SPARK-32813] [SQL] A ParquetSource vektoros olvasó alapértelmezett konfigurációjának lekérése, ha nincs aktív SparkSession
• [SPARK-32823] [WEBES FELHASZNÁLÓI FELÜLET] A fő felhasználói felületi erőforrások jelentésének javítása
• [SPARK-32824] [CORE] Javítsa a hibaüzenetet, ha a felhasználó elfelejti a .amount erőforrás-konfigurációban
• [SPARK-32614] [SQL] Ne alkalmazza a megjegyzésfeldolgozást, ha a "megjegyzés" nincs megszabva a CSV-hez
• [SPARK-32638] [SQL] A WidenSetOperationTypes aliasok hozzáadásakor kijavítja a hivatkozásokat
• [SPARK-32810] [SQL] CSV/JSON adatforrásoknak kerülnie kell az elérési utakat a séma következtetésekor
• [SPARK-32815] [ML] A LibSVM-adatforrás betöltési hibájának kijavítása a glob metacharacterekkel rendelkező fájlelérési útvonalakon
• [SPARK-32753] [SQL] Csak címkék másolása címkével nem rendelkező csomópontra
• [SPARK-32785] [SQL] A csonkoló alkatrészekkel rendelkező intervallum nem eredményezhet null értéket
• [SPARK-32764] [SQL] A -0.0 értéknek 0,0-nak kell lennie
• [SPARK-32810] [SQL] A CSV/JSON adatforrásoknak kerülniük kell a fájlutak összevonását a séma meghatározásakor.
• [SPARK-32779] [SQL] Kerülje a SessionCatalog szinkronizált API-jának használatát aClient-folyamattal, ez holtponthoz vezet
• [SPARK-32791] [SQL] Nem particionált táblázat metrikájának nem szabad dinamikus partíciószűrési idővel rendelkeznie
• [SPARK-32767] [SQL] A vödörcsatlakozásnak működnie kell, ha a spark.sql.shuffle.partitions nagyobb, mint a vödrök száma
• [SPARK-32788] [SQL] nem particionált táblavizsgálat nem rendelkezhet partíciószűrővel
• [SPARK-32776] [SS] A streamelési korlátot nem szabad eltávolítani vagy figyelmen kívül hagyni a PropagateEmptyRelation optimalizálása által
• [SPARK-32624] [SQL] Regresszió javítása a CodegenContext.addReferenceObj fájlban beágyazott Scala-típusok esetén
• [SPARK-32659] [SQL] A DPP nem atomi típusú metszési vizsgálatának javítása
• [SPARK-31511] [SQL] BytesToBytesMap iterátorok szálvédetté tétele
• [SPARK-32693] [SQL] Hasonlítson össze két adatkeretet ugyanazzal a sémával, kivéve a null értékű tulajdonságot
• [SPARK-28612] [SQL] A DataFrameWriterV2.replace() helyes metódus-dokumentuma

Karbantartási frissítések

Lásd a Databricks Runtime 7.4 karbantartási frissítéseit.

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64 (1.8.0_265-b11-es build)
• Scala: 2.12.10
• Python: 3.7.5
• R: R 3.6.3-es verzió (2020-02-29)
• Delta Lake 0.7.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve a XXXX-XX-XX rendszeren.

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)