Databricks Runtime 10.5 (EoS)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.2.1 által működtetett Databricks Runtime 10.5-ről nyújtanak információkat. A Databricks 2022 májusában adta ki ezt a verziót.

Új funkciók és fejlesztések

• SQL: Új függvények to_number és try_to_number
• SQL: Új függvény try_sum
• SQL: Frissítés a ceil, ceilingés floor függvényekre
• SQL: Új összesítő függvények regr_avgx és regr_avgy
• SQL: Frissítés a contains, startswithés endswith függvényekre
• SQL: Új függvény array_size
• Unity Catalog: SQL LIST kimenet eltávolítja a is_directory oszlopot, és a végére / ad a címtár elérési útjaihoz (nyilvános előzetes verzió)
• Automatikus betöltő: új SQL-függvény CLOUD_FILES_STATE
• Automatikus betöltő: a fájlértesítés támogatása mostantól általánosan elérhető
• Delta Lake: új maxRecordsPerFile lehetőség az egyetlen fájlba írt rekordok maximális értékére
• Koalas elavulása
• Új _metadata oszlop minden fájlformátumhoz
• Teszteld a DLT-folyamatodat a Databricks Runtime 10.5-tel

SQL: Új függvények to_number és try_to_number

A to_number függvény és a try_to_number függvény lehetővé teszi, hogy a különböző formátumú számok karakterábrázolásait DECIMALkonvertáljuk.

SQL: Új függvény try_sum

A sumellentétben az try_sum összesítő függvény null értéket ad vissza, nem pedig hibát, ha túlcsordulás történik.

SQL: Frissítés a ceil, ceilingés floor függvényekre

A ceil függvény, ceiling függvényés floor függvény mostantól támogat egy második választható argumentumot a célméret megadásához.

SQL: Új összesítő függvények regr_avgx és regr_avgy

Az új regr_avgx aggregátumfüggvény és regr_avgy aggregátumfüggvény támogatják a lineáris regressziót.

SQL: Frissítés a contains, startswithés endswith függvényekre

A contains függvény, startswith függvényés endswith függvény mostantól a sztringek mellett bemenetként is támogatja a bináris adattípusokat.

SQL: Új függvény array_size

Az új array_size függvény kiszámítja egy tömb méretét.

Unity Catalog: Az SQL LIST kimenete eltávolítja a(z) is_directory oszlopot, és hozzáfűz egy záró / a könyvtár útvonalakhoz (nyilvános előzetes verzió)

Az SQL LIST utasítás kimenete megváltozott a Unity-katalógus által szabályozott útvonalak listázása során. A is_directory oszlop már nem jelenik meg. Ahhoz képest a könyvtárakat ábrázoló útvonalak most a / és path oszlopok esetében perjellel (name) végződnek. Ez a módosítás a dbutils.fs.ls parancs kimenetével való következetességet szolgálja.

Automatikus betöltő: új SQL-függvény CLOUD_FILES_STATE

Az új CLOUD_FILES_STATE függvény használatával lekérdezheti az automatikus betöltő stream belső állapotát. Lásd : Az Automatikus betöltő által felderített fájlok lekérdezése.

Automatikus betöltő: a fájlértesítés támogatása mostantól már általánosan elérhető

A Google Cloudban általánosan elérhető a Mi az automatikus betöltő? fájlértesítés támogatása.

Delta Lake: új maxRecordsPerFile lehetőség az egyetlen fájlba írt rekordok maximális értékére

Amikor a DataFrame API-kkal egy Delta-táblába ír, a maxRecordsPerFile beállítással megadhatja az egyetlen fájlba írandó rekordok maximális számát. Nulla vagy negatív érték megadása nem jelent korlátot. Lásd: A Delta Lake konfigurálása az adatfájlok méretének szabályozásához.

Koalas inaktívvá válása

Koalas most elavult. A Koalas pandas API-kat biztosít az Apache Spark tetején. A Koalashoz a közösség hozzájárult, és pandas API-ként érhető el a Sparkban az Apache Spark 3.2-től kezdve. A Koalas továbbra is előtelepítve lesz a Databricks Runtime 10.5-ös verziójához, de a Koalas már nem lesz előre telepítve a következő Databricks Runtime-verziótól kezdve.

További információ a Pandas API-ról a Sparkon:

• Pandas API a Sparkon az Azure Databricks dokumentációjában
• Pandas API a Sparkon az Apache Spark dokumentációjában
• Migrálás a Koalasból a Pandas API-ba Sparkon az Apache Spark dokumentációjában

Új _metadata oszlop az összes fájlformátumhoz

A bemeneti fájlok metaadatait a _metadata oszlopban szerezheti be. A _metadata oszlop rejtett. Ez az oszlop minden bemeneti fájlformátumhoz elérhető. Ha a _metadata oszlopot szeretné szerepeltetni egy visszakapott DataFrame-ben, explicit módon hivatkoznia kell erre az oszlopra a lekérdezésben. Lásd a Fájl metaadata oszlopot.

DLT-folyamat tesztelése a Databricks Runtime 10.5-ös verzióval

A Databricks Runtime 10.5 mostantól a DLT támogatott preview verziója. Ha a Databricks Runtime 10.5-ös verzióval szeretné tesztelni a folyamatot, állítsa a channel beállítást preview a folyamat beállításai között.

Hibajavítások

• Kijavítottuk az numUpdatedRows és numCopiedRows metrikaeredmények megjelenítését azon Delta-táblák frissítési műveleteihez, amelyeken engedélyezve van a változásadat-rögzítés (CDC).

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • plotly 5.5.0-ról 5.6.0-ra
• Frissített R-kódtárak:
  • alap verzió 4.1.2-ről 4.1.3-ra
  • caret 6,0-90 és 6,0-91 között
  • klaszter 2.1.2-től 2.1.3-ra
  • commonmark 1.7-ről 1.8.0-ra
  • fordító 4.1.2-ről 4.1.3-ra
  • kréta 1.5.0-ról 1.5.1-re
  • 4.1.2 és 4.1.3 közötti adatkészletek
  • verziófrissítés 1.4.0-ról 1.4.1-re
  • fani 1.0.2-től 1.0.3-ra
  • 1.6.1 és 1.6.2 közötti ragasztó
  • 4.1.2 és 4.1.3 közötti grafikus elemek
  • grDevices 4.1.2-ről 4.1.3-ra
  • rács 4.1.2-től 4.1.3-ra
  • knitr 1,37-től 1,38-ig
  • TÖMEG a 7.3-55-től a 7.3-56-ig
  • Mátrix 1,4-0 és 1,4-1 között
  • módszerek a 4.1.2-től a 4.1.3-ig
  • mgcv változott 1.8-39-ről 1.8-40-re
  • nlme 3.1-155-től 3.1-157-hez
  • openssl frissítése 1.4.6-ról 2.0.0-ra
  • párhuzamos 4.1.2 és 4.1.3 között
  • plyr 1.8.6-ról 1.8.7-re
  • processx 3.5.2-ről 3.5.3-ra
  • r2d3 0.2.5-től 0.2.6-ig
  • Rcpp 1.0.8 és 1.0.8.3 között
  • rlang 1.0.1-től 1.0.2-ig
  • rmarkdown 2.11-től 2.13-ig
  • RSQLite 2.2.10-től 2.2.11-esig
  • sass 0.4.0-tól 0.4.1-esig
  • splines 4.1.2-ről 4.1.3-ra
  • 4.1.2 és 4.1.3 közötti statisztikák
  • statisztikái4 a 4.1.2-től a 4.1.3-hoz
  • tcltk 4.1.2 és 4.1.3 között
  • 4.1.2 és 4.1.3 közötti eszközök
  • segédprogramok 4.1.2-ről 4.1.3-ra
  • uuid 1.0-3-tól 1.0-4-hez
  • waldo 0.3.1-től 0.4.0-ra
  • withr 2.4.3-ról 2.5.0-ra
  • xfun 0,29-től 0,30-ra
• Frissített Java-kódtárak:
  • com.h2database.h2 1.4.195 és 2.1.210 között
  • org.apache.hadoop.hadoop-client-api 3.3.1-databrickstől 3.3.2-databricksig
  • org.apache.hadoop.hadoop-client-runtime 3.3.1-ről 3.3.2-re
  • org.rocksdb.rocksdbjni 6.24.2-től 6.20.3-ra

Apache Spark

A Databricks Runtime 10.5 tartalmazza az Apache Spark 3.2.1-et. Ez a kiadás tartalmazza a Databricks Runtime 10.4 LTS-ben található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-38354] [SC-97886] Visszavonás: “[SQL] Hash beolvasások metrika hozzáadása a kevert hash összekapcsoláshoz”
• [SPARK-38484] [SAS-103][sas-111][SAS-113][sc-98102][Cherry-Pick] Instrument PySpark SQL modul általános használati naplózóval
• [SPARK-38333] [SQL] A PlanExpression kifejezésnek kihagynia kell az AddExprTree függvényt a Végrehajtóban
• [SPARK-38646] [PYTHON][10.x] Tulajdonság lekérése Python-függvényekhez
• [SPARK-38674] [PHOTON] Egy metrika hozzáadása a PhotonSubqueryBroadcastExechez
• [SPARK-38787] [SS] Cserélje le a talált értéket a kulcs fennmaradó listájában lévő nem null elemre, és távolítsa el a fennmaradó null elemeket a keyWithIndexToValue tároló értékeiből stream-stream illesztések esetén
• [SPARK-38446] [Core] A Log4j által okozott holtpont kijavítása a ExecutorClassLoader és a FileDownloadCallback között
• [SPARK-38705] [SQL] Függvényazonosító használata a függvény létrehozása és elvetése parancsban
• [SPARK-38684] [SS] Kijavítottuk a stream-stream külső csatlakoztatásával kapcsolatos helyességi problémát a RocksDB állapottároló szolgáltatójával
• [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase nem találja azt az eltolássort, amelynek bemenete nem null
• [SPARK-38204] [SS] A StatefulOpClusteredDistribution használata állapotalapú operátorokhoz a visszamenőleges kompatibilitás tiszteletben tartásával
• [SPARK-38616] [SQL] SQL-lekérdezés szövegének nyomon követése a Catalyst TreeNode-ban
• [SPARK-38600] [SQL] Belefoglalás unit a következő SQL-sztringbe: TIMESTAMPADD/DIFF
• [SPARK-34805] [SQL] Metaadatok propagálása beágyazott oszlopokból aliasban
• [SPARK-38535] [SQL] Adja hozzá az datetimeUnit enumerát, és használja a következőben: TIMESTAMPADD/DIFF
• [SPARK-38415] [SQL] Frissítse a histogram_numeric (x, y) eredménytípust, hogy x == legyen a bemeneti típus
• [SPARK-38148] [SQL] Ne adjon hozzá dinamikus partíciómetszetet, ha létezik statikus partíciómetszet
• [SPARK-37527] [SQL] Fordítsa le COVAR_POP, COVAR_SAMP és CORR a H2Dialet-ban
• [SPARK-38510] [SQL] A ClassSymbol.selfType újrapróbálkozása a ciklikus hivatkozások megkerüléséhez
• [SPARK-38509] [SQL] Törölje a TIMESTAMPADD/DIFF függvények regisztrációját, és távolítsa el a DATE_ADD/DIFF
• [SPARK-38504] [SQL] A TimestampNTZ nem olvasható timestampLTZ-ként
• [SPARK-38526] [SQL] A RuntimeReplaceable félrevezető függvény aliasnevének javítása
• [SPARK-38335] [SQL] Az alapértelmezett oszlopértékek elemzői támogatásának implementálása
• [SPARK-38593] [SS] Az elvetett késői események számának átvitele a SessionWindowStateStoreSaveExecbe
• [SPARK-38549] [SS] Adjon hozzá numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec
• [SPARK-38583] [SQL] Állítsa vissza a numerikus típusokat engedélyező to_timestamp viselkedését
• [SPARK-38481] [SQL] Java-túlcsordulási kivétel helyettesítése Spark-kivételből TIMESTAMPADD
• [SPARK-37753] [SQL] Logika finomhangolása a Broadcast hash join lefokozására a DynamicJoinSelection folyamatban
• [SPARK-37582] [SPARK-37583][sql] CONTAINS, STARTSWITH, ENDSWITH mind a string, mind a bináris típusokat egyaránt támogatja
• [SPARK-38345] [SQL] SQL-függvény ARRAY_SIZE bemutatása
• [SPARK-38385] [SQL] Az üres utasítás <EOF> és a ParseException hibaüzeneteinek javítása
• [SPARK-37614] [SQL] ANSI-összesítő függvény támogatása: regr_avgx ®r_avgy
• [SPARK-38560] [SQL] Ha Suma Count különállóval Anyegyütt nem végezhető el részleges összesítés leküldése.
• [SPARK-38360] [SQL][ss][PYTHON] TreeNodeexists függvényének bemutatása az ismétlődő kódminták kiküszöböléséhez
• [SPARK-38385] [SQL] A "nem egyező bemeneti" esetek hibaüzeneteinek javítása az ANTLR-ből
• [SPARK-38240] [SQL] A RuntimeReplaceable javítása és új függvények hozzáadására szolgáló útmutató hozzáadása
• [SPARK-38542] [SQL]A UnsafeHashedRelation-nek sorosítania kell a numKeys-értéket kívülre.
• [SPARK-38521] [SQL] Váltás partitionOverwriteMode sztringről változóra a Scalában
• [SPARK-38558] [SQL] Az IntegerType és az IntDecimal közötti szükségtelen leadások eltávolítása
• [SPARK-38489] [SQL] Aggregate.groupOnly támogatja az összecsukható kifejezéseket
• [SPARK-38410] [SQL] Támogatás a kezdeti partíciószám megadásával az újraegyensúlyozáshoz
• [SPARK-38107] [SQL] Hibaosztályok használata a python/pandas UDF-ek fordítási hibáiban
• [SPARK-38354] [SQL] Hash szonda mérőszám hozzáadása elosztott hash összekapcsoláshoz
• [SPARK-38112] [SQL] Hibaosztályok használata a dátum/időbélyeg kezelése végrehajtási hibáiban
• [SPARK-38361] [SQL] Gyári függvény getConnection hozzáadása JDBCDialect-ba.
• [SPARK-37865] [SQL] Az egyesítő deduplikáció helyességi hibájának javítása
• [SPARK-38298] [SQL][tesztek] Javítsa ki a DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite hibáit ANSI módban.
• [SPARK-38407] [SQL] ANSI Cast: lazítsa meg a nem null komplex típusok öntésének korlátozását
• [SPARK-38352] [SQL] A DataFrameAggregateSuite, DataFrameSetOperationsSuite és DataFrameWindowFunctionsSuite javítása ANSI módban
• [SPARK-38054] [SQL] Támogatja a listanévtereket a JDBC v2 MySQL-dialektusban
• [SPARK-37960] [SQL] Új keretrendszer a katalizátorkifejezések DS v2 API-kban való megjelenítéséhez
• [SPARK-38103] [SQL] Az átalakítás elemzési hibáinak migrálása az új hiba keretrendszerbe
• [SPARK-38519] [SQL] Az AQE-dobás kivételének tiszteletben kell tartania a SparkFatalExceptionet
• [SPARK-38528] [SQL] A projektlista összeállítása során azonnal iteráljon az összesítő szekvencián ExtractGenerator
• [SPARK-38320] [SS] A flatMapGroupsWithState időtúllépésének javítása kulcsadatokkal rendelkező kötegben
• [SPARK-38442] [SQL] A ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite javítása az ANSI módban
• [SPARK-38268] [SQL] A "failOnError" mező elrejtése az Abs/CheckOverflow toString metódusában
• [SPARK-37949] [SQL] A kiegyensúlyozási statisztikák becslésének javítása
• [SPARK-38450] [SQL] HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite javítása ANSI módban
• [SPARK-38501] [SQL] Thriftserver-teszthibák elhárítása ANSI módban
• [SPARK-37895] [SQL] Szűrőleküldés idézőjeles oszlopokkal
• [SPARK-38449] [SQL] Kerülje a createTable metódus hívását, ha az ignoreIfExists=true értéket adták meg, és a tábla létezik
• [SPARK-38406] [SQL] A ShufflePartitionsUtil createSkewPartitionSpecs teljesítményének javítása
• [SPARK-37947] [SQL] Kinyeri a generátort a Generate operátor által tartalmazott GeneratorOuter-kifejezésből.
• [SPARK-38309] [CORE] SHS shuffleTotalReads - és shuffleTotalBlocks percentilismetrikák javítása
• [SPARK-38412] [SS] Javítsa a "from" és "to" felcserélt sorrendjét a StateSchemaCompatibilityChecker-ben.
• [SPARK-38267] [CORE][sql][SS] Logikai kifejezések mintaegyezéseinek cseréje feltételes utasításokra
• [SPARK-38104] [SQL] Az ablak elemzési hibáinak migrálása az új hibakeretbe
• [SPARK-38434] [SQL] A CheckAnalysis.getDataTypesAreCompatibleFn metódus szemantikai helyessége
• [SPARK-38033] [SS] Az SS-feldolgozás nem indítható el, mert a...
• [SPARK-38378] [SQL] Az ANTLR nyelvhelyesség-definíciójának újrabontása különálló Elemző- és Lexer-fájlokba
• [SPARK-37475] [SQL] Lépték paraméter hozzáadása a lefelé és felfelé kerekítési függvényekhez
• [SPARK-38411] [CORE] Használja a UTF-8-t, amikor a doMergeApplicationListingInternal eseménynaplókat olvas
• [SPARK-36553] [ML] A KMeans elkerüli a nagy K-k számítási kiegészítő statisztikáit
• [SPARK-38393] [SQL] Elavult használat megszüntetése GenSeq/GenMap
• [SPARK-38389] [SQL] DATEDIFF() és DATE_DIFF() aliasok hozzáadása TIMESTAMPDIFF()-hoz/hez
• [SPARK-33206] [CORE][3.2] A shuffle index gyorsítótár súlyának számításának javítása kis indexfájlok esetén
• [SPARK-38353] [PYTHON] Eszközök be- és kilépési mágikus módszerei a Pandas API-hoz a Sparkban
• [SPARK-38323] [SQL][stream] A rejtett fájl metaadatainak támogatása a streamelésben
• [SPARK-38138] [SQL] QueryPlan-al lekérdezések materializálása
• [SPARK-38094] A sémaoszlopnevek mezőazonosítók szerinti egyeztetésének engedélyezése
• [SPARK-37923] [SQL] Partícióátalakítások létrehozása a BucketSpechez az elemzőben
• [SPARK-38363] [SQL] A Dataset.summary()/Dataset.describe() modul futásidejű hibájának elkerülése, ha az ANSI mód be van kapcsolva
• [SPARK-38284] [SQL] A TIMESTAMPDIFF() függvény hozzáadása
• [SPARK-38251] [SQL] A Cast.toString módosítása ANSI módban "ansi_cast" helyett "cast" alakra
• [SPARK-38314] [SQL] A rejtett fájl metaadatainak írása utáni parquet-fájl olvasási hiba javítása

Lásd a Databricks Runtime 10.5 karbantartási frissítéseit.

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.3
• Delta Lake: 1.2.1

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2022-03-28-án.

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)