Databricks Runtime 10.1 (EoS)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.2.0 által működtetett Databricks Runtime 10.1-es és Databricks Runtime 10.1 Photon-ról nyújtanak információkat. A Databricks 2021 novemberében adta ki ezt a verziót. A Photon nyilvános előzetes verzióban érhető el.

Új funkciók és fejlesztések

• Kis méretű fájlok tömörítésének új Delta table beállításai
• Új sorcsoportmetrikák Parquet-lekérdezésekhez
• Trigger.AvailableNow a Delta-forrás streamelési lekérdezéseihez
• Trigger.AvailableNow automatikus betöltőhöz
• A DataFrame-beállításokon keresztül átadott Hadoop fájlrendszerkonfigurációk delta támogatása
• Az aszinkron állapot-ellenőrzőpontozás mostantól támogatott az állapotalapú streamelési feladatokban (nyilvános előzetes verzió)
• Sparklyr hitelesítő adatok átengedésével
• Databricks Utilities data summarize precision control (Public Preview)
• Az Azure Databricks-jegyzetfüzetek mostantól használhatók az IPython kernellel
• Új függvények a Spark SQL-ben

Új Delta table-beállítások kis fájlok tömörítéséhez

A Delta table tulajdonság delta.autoOptimize.autoCompact mostantól elfogadja az új valuesauto és legacy-t a meglévő valuestrue és falsemellett. Ha setauto (ajánlott), az automatikus tömörítés jobb alapértelmezett értékeket használ, például 32 MB-ot állít be célfájlméretként (bár az alapértelmezett viselkedések a jövőben változhatnak). Amikor set-tól legacy-ig vagy true, az Automatikus tömörítés 128 MB-ot használ célfájlméretként.

A tabletulajdonság egyéni beállítása helyett állítsa set a spark.databricks.delta.autoCompact.enabled konfigurációt auto, legacy, vagy true értékre, hogy engedélyezze az automatikus tömörítést az összes Delta tablesesetében. Ez a konfiguráció elsőbbséget élvez a kapcsolódó table tulajdonságtal szemben az aktuális munkamenet során.

Az automatikus tömörítés célfájlmérete a spark.databricks.delta.autoCompact.maxFileSize konfigurációval szabályozható.

További információ az automatikus tömörítésről: Delta Lake automatikus tömörítése az Azure Databricksben.

Új sorcsoportmetrikák Parquet-lekérdezésekhez

A Parquet-vizsgálatokkal rendelkező lekérdezések most már a Sorcsoport metrikákat vizsgálják a Spark felhasználói felületén. Ezek a sorcsoportmetrikák a következők:

• parquet sorcsoportok teljes száma
• olvasott parquet sorcsoportok száma

Trigger.AvailableNow a Delta-forrás streamelési lekérdezéseihez

Ez a módosítás támogatja a Delta-forrásstreamelési lekérdezések új típusú eseményindítóját a Scalában: Trigger.AvailableNow. Ez olyan, mintha Trigger.Onceaz összes rendelkezésre álló adatot feldolgozza, majd leállítja a lekérdezést. Trigger.AvailableNow Azonban jobb méretezhetőséget biztosít, mivel az adatok több kötegben is feldolgozhatók egy helyett. Ez a módosítás nem vezet be új felületet; egy meglévő Spark API-t implementál. Ez az eseményindító az összes olyan sebességkorlátozó beállítást is támogatja, amelyet a Delta már támogat forrásként.

Példa:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

A Mi az automatikus betöltő? című témakört Trigger.AvailableNowtekinti meg.

Trigger.AvailableNow automatikus betöltőhöz

Trigger.AvailableNowA egy új stream-eseményindító mód, amely a .Trigger.Once Trigger.Once feldolgozza az összes rendelkezésre álló adatot, majd leállítja a lekérdezést. Trigger.AvailableNow nagyobb méretezhetőséget biztosít, mivel az adatok több kötegben is feldolgozhatók egy helyett. Az automatikus betöltő mostantól támogatja Trigger.AvailableNow a Scala címtár- és fájlértesítési módjait is. A Mi az automatikus betöltő? című témakört Trigger.AvailableNowtekinti meg.

A DataFrame-beállításokon keresztül átadott Hadoop fájlrendszerkonfigurációk delta támogatása

A Parquethez hasonlóan a Delta mostantól támogatja Hadoop fájlrendszer-konfigurációk olvasását DataFrameReader és DataFrameWriter beállításokból, amikor a table olvasása vagy írása DataFrameReader.load(path) vagy DataFrameWriter.save(path)használatával történik. Lásd: Delta tárhely konfigurálása credentials.

Az aszinkron állapot-ellenőrzőpontozás mostantól támogatott az állapotalapú streamelési feladatokban (nyilvános előzetes verzió)

Az aszinkron állapot-ellenőrzőpontozás egy új funkció, amely potenciálisan csökkenti a végpontok közötti mikrobatch-késést a nagy állapotfrissítéseket tartalmazó állapotalapú streamelési feladatokban. Tekintse meg az állapotalapú lekérdezések aszinkron állapot-ellenőrzőpontozását.

Sparklyr hitelesítő adatok átengedésével

Mostantól a sparklyr API-k használatával adatokat olvashat és írhat a felhőbeli tárolókba és onnan a hitelesítő adatok átengedésével. Ez a funkció az egyfelhasználós hozzáféréssel rendelkező standard fürtökre korlátozódik. Lásd: Access Azure Data Lake Storage a Microsoft Entra ID hitelesítő adatok átengedés (örökölt) használatával.

Databricks Utilities data summarize precision control (Public Preview)

Az összefoglaló eredmények pontosságát vezérlő új precise paraméter dbutils.data.summarize . Amikor a preciseset hamisra (alapértelmezett érték) van állítva, az összegzés hozzávetőleges eredményeket ad vissza az egyedi darabszámok, percentilisek és gyakori elemek számai alapján. Amikor precise beállítása set igazra kerül, az összegzések mostantól pontos eltérő darabszámmal és gyakori tételszámmal, valamint pontosabb percentilisbecslésekkel lesznek kiszámítva. Lásd: summarize command (dbutils.data.summarize).

Az Azure Databricks-jegyzetfüzetek mostantól használhatók az IPython kernellel

Most már konfigurálhat egy Azure Databricks-fürtöt az IPython kernel használatával a Python-kód végrehajtásához. Az IPython kernel azure Databricksen való használata támogatja az IPython megjelenítési és kimeneti eszközkészletét. Az IPython kernel emellett rögzíti a jegyzetfüzet által létrehozott gyermekfolyamatok stdout- és stderr-kimeneteit, így a kimenet szerepelhet a jegyzetfüzet parancseredményeiben.

További információ: IPython kernel.

Új függvények a Spark SQL-ben

A következő objektumok és parancsok lettek hozzáadva az adatok kezeléséhez Unity Catalog (előzetes verzió):

• Külső helyek
• ALTER CATALOG
• ALTER CREDENTIAL
• HELY MÓDOSÍTÁSA
• CREATE CATALOG
• HELY LÉTREHOZÁSA
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• A HELY LEÍRÁSA
• DROP CATALOG
• DROP CREDENTIAL
• DROP LOCATION
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• HELYEK MEGJELENÍTÉSE
• USE CATALOG

Az alábbi parancsokat adták hozzá a Delta Sharing (előzetes verzió)-hez, amely lehetővé teszi, hogy csak olvasható adatokat osszon meg a szervezetén kívül recipients.

• Osztás
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT MEGOSZTÁS
• REVOKE MEGOSZTÁS
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Hibajavítások

• Kijavítottunk egy olyan versenyfeltételt, amely olyan lekérdezési hibát IOException okozhat, amely No FileSystem for scheme miatt a módosítások sparkContext.hadoopConfiguration nem lépnek érvénybe a lekérdezésekben.

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • filelock 3.0.12 és 3.3.1 között
  • koalák 1.8.1 és 1.8.2 között
  • ábrázolás 5.1.0 és 5.3.0 között
• Frissített R-kódtárak:
  • bslib 0.3.0 és 0.3.1 között
  • 6,0-88-tól 6,0-90-hez
  • cpp11 0.3.1-től 0.4.0-ra
  • adat.table 1.14.0-tól 1.14.2-ig
  • desc 1.3.0-tól 1.4.0-ra
  • diffobj 0.3.4 és 0.3.5 között
  • kivonat 0.6.27-től 0.6.28-ra
  • általános 0.1.0 és 0.1.1 között
  • hms 1.1.0 és 1.1.1 között
  • knitr 1,34-től 1,36-ig
  • Rács 0,20-44-ről 0,20-45-re
  • életciklus 1.0.0 és 1.0.1 között
  • lubridate 1.7.10-től 1.8.0-ra
  • mgcv 1,8-37-től 1,8-38-ra
  • mime 0,11 és 0,12 között
  • pkgload 1.2.2-től 1.2.3-ra
  • progressr 0.8.0 és 0.9.0 között
  • rcmdcheck 1.3.3-tól 1.4.0-ra
  • olvasó 2.0.1 és 2.0.2 között
  • receptek 0.1.16-tól 0.1.17-ig
  • 2.4.0 és 2.4.1 közötti távoli
  • rlang 0.4.11-től 0.4.12-ig
  • rvest 1.0.1 és 1.0.2 között
  • fényes 1.6.0 és 1.7.1 között
  • stringi 1.7.4 és 1.7.5 között
  • testthat 3.0.4-től 3.1.0-ra
  • tidyr 1.1.3-tól 1.1.4-től
  • tinytex 0,33 és 0,34 között
  • usethis 2.0.1-től 2.1.2-ig
  • xfun 0,26 és 0,27 között
• Frissített Java-kódtárak:
  • com.zaxxer.HikariCP 3.1.0-tól 4.0.3-ig

Apache Spark

A Databricks Runtime 10.1 tartalmazza az Apache Spark 3.2.0-t. Ez a kiadás tartalmazza a Databricks Runtime 10.0 (EoS) összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-37037] [SQL] A bájttömbök rendezésének javítása az UTF8String és a ByteArray egyesítésével
• [SPARK-37091] [R] SystemRequirements to include Java < 18
• [SPARK-37041] [SQL] Backport HIVE-15025: Secure-Socket-Layer (SSL) támogatás a HMS-hez
• [SPARK-37098] [SQL] A table tulajdonságainak módosítása érvényteleníti a gyorsítótárat
• [SPARK-36992] [SQL] A bájttömb rendezési perf javítása az UTF8String és a ByteArray getPrefix függvényének egységesítésével
• [SPARK-37047] [SQL] Lpad- és rpad-függvények hozzáadása bináris sztringekhez
• [SPARK-37076] [SQL] A StructType.toString explicit implementálása a Scala 2.13-hoz
• [SPARK-37075] [SQL] UDAF-kifejezésépítés áthelyezése sql/katalizátorról sql/core-ra
• [SPARK-37084] [SQL] Set spark.sql.files.openCostInBytes to bytesConf
• [SPARK-37088] [PYSPARK][SQL] Az írószál nem férhet hozzá a bemenethez a feladat befejezése figyelőjének visszatérése után
• [SPARK-37069] [SQL] Megfelelő tartalék, ha a Hive.getWithoutRegisterFns nem érhető el
• [SPARK-37050] [PYTHON] Update Conda telepítési útmutatója
• [SPARK-37067] [SQL] A ZoneId.of() használatával kezelheti timezone karakterláncot a DatetimeUtilsban
• [SPARK-35925] [SQL] DayTimeIntervalType támogatása a width-bucket függvényben
• [SPARK-35926] [SQL] Támogatás hozzáadása YearMonthIntervalType width_bucket
• [SPARK-35973] [SQL] Hozzáadás parancs SHOW CATALOGS
• [SPARK-36922] [SQL] A SIGN/SIGNUM függvényeknek támogatniuk kell az ANSI-intervallumokat
• [SPARK-37078] [CORE] Régi 3-paraméteres fogadókonstruktorok támogatása
• [SPARK-37061] [SQL] CustomMetrics javítása belső osztályok használatakor
• [SPARK-35918] [AVRO] Az olvasási/írási és a hibaüzenetek javítása schema eltéréskezelésének egységesítése
• [SPARK-36871] [SQL]CreateViewStatement áttelepítése v2-parancsra
• [SPARK-36898] [SQL] Konfigurálhatóvá kell tenni a shuffle kivonatot join tényezőt
• [SPARK-36921] [SQL] ANSI-intervallumok támogatása a következővel: DIV
• [SPARK-36794] [SQL] Figyelmen kívül hagyhatja a duplikált join kulcsokat a SEMI/ANTI elfojtott kivonat join
• [SPARK-36867] [SQL] Hibás üzenet javítása GROUP BY aliassal
• [SPARK-36914] [SQL] DropIndex és listIndexes implementálása a JDBC-ben (MySQL-dialektus)
• [SPARK-35531] [SQL] Közvetlenül adja át a hive-Table a HiveClientnek, amikor meghívja a getPartitionst, hogy elkerülje a HiveTable-ból való szükségtelen átalakítást –> CatalogTable – –> HiveTable
• [SPARK-36718] [SQL] Csak akkor csukja össze a projekteket, ha nem duplikáljuk a drága kifejezéseket
• [SPARK-37046] [SQL]: Az alter nézet nem őrzi meg column esetet
• [SPARK-36978] [SQL] Az InferConstraints-szabálynak a gyökér beágyazott típusa helyett isNotNull-kényszereket kell létrehoznia a megnyitott beágyazott mezőre
• [SPARK-37052] [CORE] A Spark csak akkor adjon át részletes argumentumot a főosztálynak, ha az SQL Shell
• [SPARK-37017] [SQL] A szinkronizált hatókör csökkentése a lehetséges holtpont elkerülése érdekében
• [SPARK-37032] [SQL] Hibás SQL-szintaxis hivatkozásának javítása az SQL referenciaoldalán
• [SPARK-36905] [SQL] Hive views olvasásának javítása explicit column nevek nélkül
• [SPARK-36678] Migrálni SHOW TABLES a V2 parancs alapértelmezett használatára
• [SPARK-36943] [SQL] A hiányzó column hibaüzenet olvashatóságának javítása
• [SPARK-36980] [SQL] Insert CTE-vel való támogatási lekérdezés
• [SPARK-37001] [SQL] Két szint leképezésének letiltása a végleges kivonatok összesítéséhez alapértelmezés szerint
• [SPARK-36970] [SQL] A funkció manuális letiltott formátuma Bdate_format a Java 17-nek a Java 8-nal való kompatibilitásának érdekében
• [SPARK-36546] [SQL] Tömbtámogatás hozzáadása az egyesítőhöz név szerint
• [SPARK-36979] [SQL] RewriteLateralSubquery szabály hozzáadása a nemExcludableRules elemhez
• [SPARK-36949] [SQL] A Hive-szolgáltató tables letiltása ANSI-időközökkel
• [SPARK-36849] [SQL] A UseStatement migrálása v2-parancs keretrendszerbe
• [SPARK-36868] [SQL] CreateFunctionStatement migrálása v2-parancs keretrendszerbe
• [SPARK-36841] [SQL] Ansi szintaxis set catalog xxx hozzáadása az aktuális catalog módosításához
• [SPARK-36821] [SQL] ColumnarBatch osztály bővíthetővé tétele – kiegészítés
• [SPARK-36963] [SQL] Max_by/min_by hozzáadása az sql.functionshez
• [SPARK-36913] [SQL] CreateIndex és IndexExists implementálása a DS V2 JDBC-ben (MySQL-dialektus)
• [SPARK-36848] [SQL] ShowCurrentNamespaceStatement migrálása a v2-parancs keretrendszerbe
• [SPARK-36526] [SQL] DSV2 indextámogatás: SupportIndex-felület hozzáadása
• [SPARK-36960] [SQL] Leküldéses szűrők ANSI-intervallummal values ORC-be
• [SPARK-36929] [SQL] Remove Nem használt metódus: EliminateSubqueryAliasesSuite#assertEquivalent
• [SPARK-36931] [SQL] ANSI-intervallumok olvasásának és írásának támogatása ORC-adatforrásokból és -adatforrásokból
• [SPARK-34980] [SQL] A partition támogatása az AQE-beli unión keresztül
• [SPARK-36809] [SQL] Remove broadcast az InSubqueryExec-hez a DPP-ben
• [SPARK-36813] [SQL][PYTHON] as-of join és imlement ps.merge_asof infrastruktúrájának felajánlása
• [SPARK-36918] [SQL] A típusok figyelmen kívül hagyása az unionByName szerkezeteinek összehasonlításakor
• [SPARK-36891] [SQL] A SpecificParquetRecordReaderBase újrabontása és további lefedettség hozzáadása a vektoros Parquet-dekódoláshoz
• [SPARK-36920] [SQL] ANSI-intervallumok támogatása a következővel: ABS()
• [SPARK-36888] [SQL] tesztesetek hozzáadása sha2-függvényhez
• [SPARK-36889] [SQL] Tisztelet spark.sql.parquet.filterPushdown a v2 parquet scan builder által
• [SPARK-36830] [SQL] ANSI-intervallumok olvasásának és írásának támogatása JSON-adatforrásokból és -adatforrásokból
• [SPARK-36870] [SQL] INTERNAL_ERROR hibaosztály bemutatása
• [SPARK-36831] [SQL] Támogatja az ANSI-intervallumok olvasását és írását a CSV-adatforrások között.
• [SPARK-36550] [SQL] Propagálási ok, ha az UDF-tükröződés meghiúsul
• [SPARK-36866] [SQL] Leküldéses szűrők ANSI-intervallummal values a parquethez
• [SPARK-33832] [SQL] A kód egyszerűsítése és fejlesztése join kényszerítése
• [SPARK-36642] [SQL] df.withMetadata pyspark API hozzáadása
• [SPARK-35765] [SQL] A különböző aggreditációk nem duplikálják a bizalmas elemeket
• [SPARK-36825] [SQL] Adatkeretek olvasása/írása ANSI-időközökkel a fájlokból/fájlokból a parquet fájlokba
• [SPARK-36829] [SQL] A collectionOperators null értékű ellenőrzésének újrabontása
• [SPARK-32712] [SQL] Hive-gyűjtős table írásának támogatása (Hive-fájlformátumok Hive-kivonattal)
• [SPARK-36797] [SQL] Az Unionnak felső szinten kell feloldania a beágyazott columnscolumns
• [SPARK-36838] [SQL] Az InSet által létrehozott kód teljesítményének javítása
• [SPARK-36683] [SQL] Új beépített SQL-függvények hozzáadása: SEC és CSC
• [SPARK-36721] [SQL] Logikai egyenlőség egyszerűsítése, ha az egyik oldal literál
• [SPARK-36760] [SQL] Adapter hozzáadása SupportsPushDownV2Filters
• [SPARK-36652] [SQL] Az AQE dinamikus join kiválasztása nem vonatkozik a nem egyenlőség alapú join
• [SPARK-36745] [SQL] ExtractEquiJoinKeys a join kulcsok eredeti predikátumait adja vissza
• [SPARK-36107] [SQL] Az első set lekérdezésvégrehajtási hibák közül 20 újraszervezése hibaosztályok használatával
• [SPARK-32709] [SQL] Hive-gyűjtős table írásának támogatása (Parquet/ORC formátum Hive kivonattal)
• [SPARK-36735] [SQL] A gyorsítótárazott reláció többletterhelésének módosítása a DPP-hez
• [SPARK-33832] [SQL] Támogatás optimize ferde join akkor is, ha extra shuffle-t vezet be
• [SPARK-36822] [SQL] A BroadcastNestedLoopJoinExec a nem egyenlő feltétel helyett az összes feltételt használja
• [SPARK-35221] [SQL] A támogatott join tippek ellenőrzésének hozzáadása
• [SPARK-36814] [SQL] A ColumnarBatch osztály bővíthetővé tétele
• [SPARK-36663] [SQL] Csak számozott column nevek támogatása ORC-adatforrásokban
• [SPARK-36751] [SQL][PYTHON][R] Bit/octet_length API-k hozzáadása a Scalához, a Pythonhoz és az R-hez
• [SPARK-36733] [SQL] A SchemaPruning perf hibájának kijavítása, ha egy struktúra több mezővel rendelkezik
• [SPARK-36724] [SQL] Az időtípus támogatása timestamp_ntz formájában a SessionWindow-hoz column
• [SPARK-36556] [SQL] DSV2-szűrők hozzáadása
• [SPARK-36687] [SQL][CORE] Hibaosztályok átnevezése _ERROR utótaggal
• [SPARK-35803] [SQL] A DataSource V2 CreateTempViewUsing támogatása
• [SPARK-36642] [SQL] df.withMetadata hozzáadása: szintaxis-jelölő az adatkeret metaadatainak update

Karbantartási frissítések

Lásd a Databricks Runtime 10.1 karbantartási frissítéseit.

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN 2021-10-26-os pillanatképéből vannak telepítve.

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)