Databricks Runtime 10.2 (EoS)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.2.0 által működtetett Databricks Runtime 10.2-es és Databricks Runtime 10.2 Photon-ról nyújtanak információkat. A Databricks 2021 decemberében adta ki ezt a verziót. A Photon nyilvános előzetes verzióban érhető el.

Új funkciók és fejlesztések

• Fájlok használata a Tárakban a Spark Streaming szolgáltatással
• Databricks Utilities hozzáad egy frissítés csatlakoztatási parancsot
• Delta Lake támogatja az oszlopok átnevezését (nyilvános előzetes verzió)
• Delta Lake táblaelőzményei hozzáadják a Databricks Runtime verzióinformációit
• A Databricks Utilities a címtárak listázásakor a legújabb módosítási időadatokat adja hozzá
• A Spark SQL hozzáad egy függvényt approx_top_k a legfontosabb elemek és azok számának visszaadásához
• A Trigger.AvailableNow mostantól elérhető a Pythonban és a Scalában is
• Automatikus betöltő mostantól támogatja az Avro (nyilvános előzetes verzió) sémafejlődését

Fájlok használata a Tárakban a Spark Streaming szolgáltatással

Mostantól a Spark Streamingből elérheti a Tárakban lévő fájlokat.

A Databricks Utilities hozzáad egy frissítés csatlakoztatási parancsot

Az új dbutils.fs.updateMount parancs hasonló, de ez az új parancs egy meglévő csatlakoztatási pontot frissít ahelyett, hogy dbutils.fs.mountújat hoz létre. Lásd: updateMount parancs (dbutils.fs.updateMount).

A Delta Lake támogatja az oszlopok átnevezését (nyilvános előzetes verzió)

A Delta Lake mostantól támogatja az oszlopok átnevezését. Egy Delta-tábla oszlopának átnevezéséhez frissítenie kell a Delta-tábla verzióját, majd meg kell adnia az oszlopleképezési módot névleképezésre. Lásd: Oszlopok átnevezése és elvetése Delta Lake-oszlopleképezéssel.

A Delta Lake táblaelőzményei hozzáadják a Databricks Futtatókörnyezet verzióadatait

Amikor most írás történik egy Delta-táblába, a Databricks Runtime-verzióról is információkat rögzítünk. A verzióinformációk lekéréséhez futtassa a DESCRIBE HISTORY parancsot a táblában, majd tekintse meg a kimenet engineInfo oszlopát. Lásd a Delta Lake táblák előzményeit DESCRIBE HISTORY és munka.

A Databricks Utilities a címtárak listázásakor a legújabb módosítási időadatokat adja hozzá

A dbutils.fs.ls könyvtár tartalmának felsorolására szolgáló parancs most egy modificationTime mezőt ad ki. Ez a mező az egyes felsorolt fájlok vagy címtárak legutóbbi módosítási idejét tartalmazza. Lásd: ls parancs (dbutils.fs.ls).

A Spark SQL hozzáad egy függvényt approx_top_k a legfontosabb elemek és azok számának visszaadásához

Az új approx_top_k függvény a megadott kifejezéshez a leggyakrabban előforduló elemértékeket és azok hozzávetőleges számát adja vissza. Néhány példa:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

A futtatás eredménye a következő:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Lásd approx_top_k összesítő függvényt.

A Trigger.AvailableNow mostantól elérhető a Pythonban és a Scalában is

Ez a módosítás támogatja a Delta-forrás streamelési lekérdezéseket Trigger.AvailableNow a Pythonban és a Scalában is. A Databricks Runtime 10.1 a Scalában bevezette az eseményindító támogatását. A Databricks Runtime 10.2 mostantól a Pythonban is támogatja ezt az eseményindítót. A Mi az automatikus betöltő? című témakört Trigger.AvailableNowtekinti meg.

Az Automatikus betöltő mostantól támogatja az Avro sémafejlődését (nyilvános előzetes verzió)

Lásd Az automatikus betöltő sémakövetkeztetésének és -fejlesztésének konfigurálása.

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • filelock 3.3.1-től 3.4.0-ra
  • 5.3.0 és 5.3.1 közötti ábrázolás
• Frissített R-kódtárak:
  • alap: 4.1.1–4.1.2
  • fordító 4.1.1 és 4.1.2 között
  • 4.1.1 és 4.1.2 közötti adatkészletek
  • 4.1.1 és 4.1.2 közötti grafikus elemek
  • grDevices 4.1.1 és 4.1.2 között
  • rács 4.1.1 és 4.1.2 között
  • 4.1.1–4.1.2.
  • párhuzamos 4.1.1 és 4.1.2 között
  • Rserve 1,8-8-tól 1,8-10-ig
  • splines from 4.1.1 to 4.1.2
  • 4.1.1 és 4.1.2 közötti statisztikák
  • statisztikái4 a 4.1.1-től a 4.1.2-hez
  • tcltk 4.1.1 és 4.1.2 között
  • 4.1.1–4.1.2 közötti eszközök
  • utils from 4.1.1 to 4.1.2
  • backports from 1.2.1 to 1.4.0
  • seprű 0.7.9 és 0.7.10 között
  • cli 3.0.1-től 3.1.0-ra
  • cpp11 0.4.0 és 0.4.1 között
  • 1.4.1 és 1.4.2 közötti kráton
  • hitelesítő adatok az 1.3.1-től az 1.3.2-hez
  • 1.22.1-től 1.23.0-ra
  • gert 1.4.1 és 1.4.3 között
  • glmnet 4.1-2-től 4.1-3-ra
  • 1.4.2 és 1.5.0 közötti ragasztó
  • memoise 2.0.0-ról 2.0.1-re
  • párhuzamosan az 1.28.1-től az 1.29.0-sig
  • olvasó a 2.0.2-től a 2.1.0-sig
  • sessioninfo 1.1.1 és 1.2.1 között
  • stringi 1.7.5-től 1.7.6-osig
  • 3.1.5-től 3.1.6-osig
  • tinytex 0,34 és 0,35 között
  • tzdb 0.1.2-től 0.2.0-ra
  • usethis 2.1.2-től 2.1.3-ig
  • uuid 0,1-4-től 1,0-3-ra
  • vroom 1.5.5-től 1.5.6-osig
  • xfun 0,27-től 0,28-ra
• Frissített Java-kódtárak:
  • com.fasterxml.jackson 2.12.2 és 2.12.3 között
  • io.airlift.aircompressor 0,19 és 0,21 között
  • io.netty.netty-all 4.1.63.Final-4.1.68.Final
  • joda-time.joda-time 2.10.5 és 2.10.10 között
  • org.apache.commons.commons-compress 1.20 és 1.21 között
  • org.apache.orc 1.6.10 és 1.6.12 között
  • org.eclipse.jetty 9.4.40.v20210413 és 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 1.0 és 1.2 között
  • org.scalanlp.breeze_2.12 1.0 és 1.2 között
  • org.org.typelevel.algebra_2.12 2.0.0 és 2.0.1 között
  • org.typelevel.cats-kernel_2.12 2.0.0 és 2.0.1 között

Apache Spark

A Databricks Runtime 10.2 tartalmazza az Apache Spark 3.2.0-t. Ez a kiadás tartalmazza a Databricks Runtime 10.1 (EoS) összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-37447] [SQL] A Cache LogicalPlan.isStreaming() eredménye egy lusta val
• [SPARK-37468] [SQL] AZ ANSI-intervallumok és az UnionEstimation timestampNTZ támogatása
• [SPARK-37464] [SQL] SCHEMA és a DATABASE-nek egyszerűen a NAMESPACE aliasainak kell lenniük
• [SPARK-37452] [SQL] A Karakter és a Varchar kompatibilitását megszakítja a 3.1 és a 2. verzió között
• [SPARK-36861] [SQL] A yyyy-MM-dd használata dátummintaként a partíciófelderítésben
• [SPARK-37456] [SQL] A NAMESPACE LÉTREHOZÁSA parancsnak minősítenie kell a helyet a v2 parancshoz
• [SPARK-37357] [SQL] Kis partíciótényező hozzáadása az újraegyensúlyozási partíciókhoz
• [SPARK-37446] [SQL] A getWithoutRegisterFns tükrözése lehetővé teszi a különböző Hive-verziók készítését
• [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION-nak egységesen kell kezelnie az üres helyet az 1. és a 2. v2-parancs között
• [SPARK-36357] [SQL] A leküldéses időbélyeg támogatása az orc időzónája nélkül
• [SPARK-36346] [SQL] A TimestampNTZ típus támogatása az Orc fájlforrásban
• [SPARK-36646] [SQL] Csoport leküldése partícióoszloponként az összesítéshez
• [SPARK-34960] [SQL] Összesítő leküldés az ORC-hez
• [SPARK-37386] [SQL] Egyszerűsítse az OptimizeSkewedJoin parancsot, hogy ne futtassa a költségértékelőt
• [SPARK-36073] [SQL] EquivalentExpressions javítások és fejlesztések
• [SPARK-35352] [SQL] Kódgenerálás hozzáadása a teljes külső rendezés szerinti összekötéshez.
• [SPARK-37292] [SQL] Eltávolítja a külső illesztést, ha csak a DISTINCT van streamelt oldalon aliassal
• [SPARK-37371] [SQL] Az UnionExecnek támogatnia kell az oszlopos oszlopokat, ha minden gyermek támogatja az oszlopos
• [SPARK-36645] [SQL] Összesítés (Min/Max/Count) leküldés leküldése a Parquethez
• [SPARK-37379] [SQL] Faminta metszésének hozzáadása a CTESubstitution szabályhoz
• [SPARK-37332] [SQL] ANSI-intervallumok engedélyezése a következőben: ALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] Írási útvonal optimalizálása a RocksDB állapottároló szolgáltatóján
• [SPARK-37304] [SQL] ANSI-intervallumok engedélyezése a v2-ben ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL] CAST az ANSI-intervallumok és az IntegralType között
• [SPARK-37289] [SQL] partitionSchemaOption függvény eltávolítása
• [SPARK-37270] [SQL] A CaseWhen-ágakba összecsukható leküldés javítása, ha az elseValue üres
• [SPARK-35345] [SQL] Parquet-tesztek hozzáadása a BloomFilterBenchmarkhoz
• [SPARK-37341] [SQL] Kerülje a felesleges puffert, és másolja a teljes külső rendezési egyesítési illesztést
• [SPARK-37266] [SQL] A szöveg megtekintése csak SELECT lekérdezés lehet
• [SPARK-37288] [PYTHON][3.2] Visszaillesztés a jegyzetfrissítés óta történt
• [SPARK-37262] [SQL] Ne naplózza az üres összesítést és csoportosítást a JDBCScanben
• [SPARK-37283] [SQL] Ne próbáljon olyan V1-táblát tárolni, amely ANSI-intervallumokat tartalmaz Hive-kompatibilis formátumban
• [SPARK-37221] [SQL] A SparkPlan collect-szerű API-jának támogatnia kell az oszlopos kimenetet
• [SPARK-37202] [SQL] Az AnalysisContext használata a hivatkozott ideiglenes függvények nyomon követéséhez
• [SPARK-37023] [CORE] Kerülje az egyesítési állapot beolvasását, ha a shuffleMergeEnabled hamis a shuffleDep tendencia esetén az újrapróbálkozás során
• [SPARK-37307] [CORE] Ne szerezzen be JDBC-kapcsolatot üres partíciókhoz
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions támogatja a nem gyökércsomópont optimalizálását
• [SPARK-36799] [SQL] A queryExecution nevének átadása a parancssori felületen
• [SPARK-37261] [SQL] Partíciók hozzáadása ANSI-intervallumokkal a DSv2-ben
• [SPARK-37203] [SQL] A NotSerializableException javítása a TypedImperativeAggregate használatával történő megfigyeléskor
• [SPARK-37199] [SQL] Determinisztikus mező hozzáadása a QueryPlanhoz
• [SPARK-37253] [PYTHON] try_simplify_traceback nem lehet sikertelen, ha tb_frame.f_lineno nincs
• [SPARK-37214] [SQL] Korábbi sikertelen lekérdezéselemzés érvénytelen azonosítókkal
• [SPARK-37240] [SQL] ANSI-intervallumok kezelése a következővel: ColumnVectorUtils.populate()
• [SPARK-35437] [SQL] Kifejezések használata a Hive-partíciók ügyféloldali szűréséhez
• [SPARK-32940] [SQL] A collect, first és last függvénynek determinisztikus aggregátumfüggvénynek kell lennie
• [SPARK-37231] [SQL] ANSI-intervallumpartíciók dinamikus írása/olvasása
• [SPARK-37038] [SQL] DSV2 minta leküldése
• [SPARK-36665] [SQL] További nem operátoros egyszerűsítések hozzáadása
• [SPARK-37150] [SQL] A DESCRIBE NAMESPACE áttelepítése a V2-parancs alapértelmezés szerint történő használatához
• [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale failed return null
• [SPARK-37212] [SQL] Az összesített leküldés implementálásának javítása.
• [SPARK-37190] [SQL] A Cast for ANSI módban megjelenő hibaüzenetek javítása
• [SPARK-37161] [SQL] A RowToColumnConverter támogatja az AnsiIntervalType-t
• [SPARK-37160] [SQL] Konfiguráció hozzáadása a karaktertípus kitöltésének letiltásához
• [SPARK-36554] [SQL][PYTHON] Make_date kifejezésének elérhetővé nyilvánítása a functions.scala-ban
• [SPARK-37200] [SQL] Támogatási elvetési index adatforrás v2-hez
• [SPARK-37179] [SQL] ANSI mód: Konfiguráció hozzáadása a Datetime és a Numerikus közötti öntés engedélyezéséhez
• [SPARK-37168] [SQL] Az SQL-függvények és -operátorok hibaüzeneteinek javítása ANSI módban
• [SPARK-36935] [SQL] ParquetSchemaConverter kiterjesztése a Parquet-ismétlődés és definíciószint kiszámításához
• [SPARK-37066] [SQL] A következő fájl beolvasásának sikertelen beolvasásakor megjelenő fájl elérési útjának javítása hibaüzenet
• [SPARK-32567] [SQL] Kód-gen hozzáadása teljes külső elfojtott kivonat illesztéshez
• [SPARK-37176] [SQL] A JsonInferSchema#infer metódus kivételkezelő logikájának szinkronizálása a JacksonParser#parse metódussal
• [SPARK-37149] [SQL] Aritmetikai túlcsordulási kivételek hibaüzeneteinek javítása ANSI módban
• [SPARK-37136] [SQL] A hive buildin függvény kódjának eltávolítása, de a Sparkban nem implementálható
• [SPARK-16280][SPARK-37082] [SQL] Implementálja histogram_numeric aggregációs függvényt, amely támogatja a részleges összesítést.
• [SPARK-36975] [SQL] A Hive-ügyfélhívások metrikáinak javítása a HiveClientImplben

Karbantartási frissítések

Lásd a Databricks Runtime 10.2 karbantartási frissítéseit.

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN 2021-11-30-as pillanatképéből vannak telepítve.

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)