Databricks Runtime 12.1 (EoS)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.3.1 által működtetett Databricks Runtime 12.1-ről nyújtanak információkat.

A Databricks 2023 januárjában adta ki ezt a verziót.

Új funkciók és fejlesztések

• Protokollkezeléshez támogatott Delta Lake-táblafunkciók
• A frissítések prediktív I/O-je nyilvános előzetes verzióban érhető el
• A Katalóguskezelő mostantól minden személy számára elérhető
• Több állapotalapú operátor támogatása egyetlen streamelési lekérdezésben
• A protokollpufferek támogatása nyilvános előzetes verzióban érhető el
• A Confluent-sémaregisztrációs adatbázis hitelesítésének támogatása
• A táblaelőzmények deltamegosztásokkal való megosztásának támogatása
• Streamelés támogatása Delta-megosztásokkal
• A katalógusokban lévő Delta-megosztási táblák esetében mostantól támogatott az időbélyeget használó táblaverzió
• Támogatás a 'WHEN NOT MATCHED BY SOURCE' kifejezéshez a MERGE INTO számára
• optimalizált statisztikagyűjtés CONVERT TO DELTA
• A Unity Catalog támogatása a táblák visszaállítására

Protokollkezeléshez támogatott Delta Lake-táblafunkciók

Az Azure Databricks bevezette a Delta Lake-táblafunkciók támogatását, amelyek részletes jelzőket vezetnek be, amelyek meghatározzák, hogy az adott tábla mely funkciókat támogatja. Lásd: Hogyan kezeli az Azure Databricks a Delta Lake funkció kompatibilitását?.

A frissítések prediktív I/O-je nyilvános előzetes verzióban érhető el

A prediktív I/O mostantól felgyorsítja a DELETE, MERGE, és UPDATE műveleteket a Delta-táblákon a Photon-kompatibilis számításon engedélyezett törlési vektorokkal. Lásd Mi a prediktív I/O?.

A Katalóguskezelő mostantól minden személy számára elérhető

A Catalog Explorer mostantól minden Azure Databricks-személy számára elérhető a Databricks Runtime 7.3 LTS és újabb verziók használatakor.

Több állapotalapú operátor támogatása egyetlen streamelési lekérdezésben

A felhasználók mostantól összefűzési móddal láncra kapcsolhatják az állapotalapú operátorokat a streamelési lekérdezésben. Nem minden operátor támogatott teljes mértékben. Stream-stream időintervallum-illesztés, és flatMapGroupsWithState nem engedélyezi más állapotalapú operátorok láncolt használatát.

A protokollpufferek támogatása nyilvános előzetes verzióban érhető el

Az from_protobuf és to_protobuf függvények segítségével adatcserét végezhet bináris és strukturált típusok között. Lásd: Olvasási és írási protokollpufferek.

A Confluent-sémaregisztrációs adatbázis hitelesítésének támogatása

Az Azure Databricks és a Confluent Sémaregisztrációs adatbázis integrációja mostantól támogatja a külső sémaregisztrációs adatbázis-címeket hitelesítéssel. Ez a funkció a from_avro, to_avro, from_protobuf, és to_protobuf függvényeknél érhető el. Lásd: Protobuf vagy Avro.

A táblaelőzmények megosztásának támogatása a Delta Sharing használatával

Mostantól teljes előzményekkel rendelkező táblázatokat oszthat meg a Delta Sharing használatával, így a címzettek időutazási lekérdezéseket hajthatnak végre, és lekérdezhetik a táblát a Spark Strukturált streamelés használatával. WITH HISTORY helyett ajánlott CHANGE DATA FEED, bár az utóbbi továbbra is támogatott. Lásd a ALTER SHARE és bejegyzésekben a táblák hozzáadása a megosztáshoz.

Streamelés támogatása Delta-megosztásokkal

A Spark strukturált streamelés mostantól a deltasharing formátummal működik egy olyan forrás Delta Sharing táblán, amelyet WITH HISTORY használatával osztottak meg.

A katalógusokban lévő Delta-megosztási táblák esetében mostantól támogatott az időbélyeget használó táblaverzió

Mostantól az SQL-szintaxissal TIMESTAMP AS OF megadhatja a SELECT utasításokban a katalógusban csatlakoztatott Delta Sharing-tábla verzióját. A táblákat meg kell osztani a következővel WITH HISTORY: .

A MERGE INTO FORRÁS SZERINT NEM EGYEZŐ ÁLLAPOTának támogatása

Most már hozzáadhat WHEN NOT MATCHED BY SOURCE záradékokat a kiválasztott tábla azon sorainak frissítéséhez MERGE INTO vagy törléséhez, amelyek nem rendelkeznek egyezésekkel a forrástáblában az egyesítési feltétel alapján. Az új záradék sql, Python, Scala és Java nyelven érhető el. Lásd a(z) MERGE INTO.

Optimalizált statisztikai gyűjtemény CONVERT TO DELTA

A művelet statisztikáinak CONVERT TO DELTA gyűjtése most már sokkal gyorsabb. Ez csökkenti a hatékonyság érdekében használható NO STATISTICS számítási feladatok számát.

A Unity Catalog támogatása lefedő táblákhoz

Ez a funkció kezdetben nyilvános előzetes verzióban jelent meg. 2023. október 25-én általánosan elérhető.

Az elvetett felügyelt vagy külső táblákat az elvetéstől számított hét napon belül visszaállíthatja egy meglévő sémában. Lásd: UNDROP és SHOW TABLES DROPPED.

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • filelock 3.8.0-ról 3.8.2-re
  • platformdirs 2.5.4-ről 2.6.0-ra
  • setuptools 58.0.4-től 61.2.0-ra
• Frissített R-kódtárak:
• Frissített Java-kódtárak:
  • io.delta.delta-sharing-spark_2.12 0.5.2 és 0.6.2 között
  • org.apache.hive.hive-storage-api 2.7.2-től 2.8.1-esig
  • org.apache.parquet.parquet-column from 1.12.3-databricks-0001 to 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common 1.12.3-databricks-0001-ről 1.12.3-databricks-0002-ra
  • org.apache.parquet.parquet-encoding from 1.12.3-databricks-0001 to 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures verziója 1.12.3-databricks-0001-ről 1.12.3-databricks-0002-re
  • org.apache.parquet.parquet-hadoop verziófrissítése 1.12.3-databricks-0001-ről 1.12.3-databricks-0002-ra.
  • org.apache.parquet.parquet-jackson from 1.12.3-databricks-0001 to 1.12.3-databricks-0002
  • org.tukaani.xz 1,8 és 1,9 között

Apache Spark

A Databricks Runtime 12.1 tartalmazza az Apache Spark 3.3.1-et. Ez a kiadás tartalmazza a Databricks Runtime 12.0 (EoS) összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-41405] [SC-119769][12.1.0] Vonja vissza a(z) "[SC-119411][sql] Az oszlopfeloldási logika központosítása" és "[SC-117170][spark-41338][SQL] Külső hivatkozások és normál oszlopok feloldása ugyanabban az elemző kötegben" változtatásokat.
• [SPARK-41405] [SC-119411][sql] Az oszlopfeloldási logika központosítása
• [SPARK-41859] [SC-119514][sql] A CreateHiveTableAsSelectCommand parancsnak megfelelően kell beállítania a felülírás jelzőt
• [SPARK-41659] [SC-119526][connect][12.X] Dokumentumtesztek engedélyezése a pyspark.sql.connect.readwriter alkalmazásban
• [SPARK-41858] [SC-119427][sql] Az ORC-olvasó perf regresszióját javította az ALAPÉRTELMEZETT érték funkció miatt
• [SPARK-41807] [SC-119399][core] Távolítsa el a nem létező hibaosztályt: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Adjon nevet az _LEGACY_ERROR_TEMP_2141 fájlnak
• [SPARK-41571] [SC-119362][sql] Név hozzárendelése a _LEGACY_ERROR_TEMP_2310-hez
• [SPARK-41810] [SC-119373][connect] A SparkSession.createDataFrame szótárainak listájából származó nevek következtetése
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] A Spark Connect dokumentációjának és szkriptének áthelyezése dev/ és Python-dokumentációba
• [SPARK-41534] [SC-119456][connect][SQL][12.x] A Spark Connect kezdeti ügyfélmoduljának beállítása
• [SPARK-41365] [SC-118498][ui][3.3] A fázisok felhasználói felületének oldala nem töltődik be proxy használata esetén meghatározott yarn környezetben.
• [SPARK-41481] [SC-118150][core][SQL] INVALID_TYPED_LITERAL újrafelhasználása _LEGACY_ERROR_TEMP_0020 helyett
• [SPARK-41049] [SC-119305][sql] Állapotalapú kifejezéskezelés felülvizsgálata
• [SPARK-41726] [SC-119248][sql] OptimizedCreateHiveTableAsSelectCommand eltávolítása
• [SPARK-41271] [SC-118648][sc-118348][SQL] A paraméteres SQL-lekérdezések támogatása sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] DataFrame.sampleBy és DataFrame.stat.sampleBy implementálása
• [SPARK-41407] [SC-119402][sc-119012][SQL][minden teszt] A v1 írás kiemelése a WriteFiles-ba
• [SPARK-41565] [SC-118868][sql] Adja hozzá a hibaosztályt UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] A DECODE függvény hibás eredményt ad vissza, ha null értéket ad át
• [SPARK-41554] [SC-119274] javítsa a decimális skála módosítását, amikor a skála csökken m...
• [SPARK-41065] [SC-119324][connect][PYTHON] Implementál DataFrame.freqItems és DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Dokumentációs tesztek újraengedélyezése és a count() függvény hiányzó oszlopaliasának hozzáadása.
• [SPARK-41069] [SC-119310][connect][PYTHON] DataFrame.approxQuantile és DataFrame.stat.approxQuantile végrehajtása
• [SPARK-41809] [SC-119367][connect][PYTHON] Tegye lehetővé a függvényt from_json a DataType-séma támogatásához
• [SPARK-41804] [SC-119382][sql] Válassza ki a megfelelő elemméretet az InterpretedUnsafeProjection UDT-tömbhöz
• [SPARK-41786] [SC-119308][connect][PYTHON] Segédfüggvények deduplikálása
• [SPARK-41745] [SC-119378][spark-41789][12.X] createDataFrame sorok támogatási listájának létrehozása
• [SPARK-41344] [SC-119217][sql] Hiba egyértelműbbé tétele, ha a tábla nem található a SupportsCatalogOptions katalógusban
• [SPARK-41803] [SC-119380][connect][PYTHON] Hiányzó függvény hozzáadása log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] JSON-függvények támogatási beállításainak megadása
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Tegye lehetővé __getitem__ támogatását a szűréshez és a kiválasztáshoz
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Oszlop op támogatása Null érték
• [SPARK-41440] [SC-119279][connect][PYTHON] Kerülje a Sample általános gyorsítótár-operátorának használatát.
• [SPARK-41785] [SC-119290][connect][PYTHON] GroupedData.mean implementálása
• [SPARK-41629] [SC-119276][connect] Protokollbővítmények támogatása a relációban és a kifejezésben
• [SPARK-41417] [SC-118000][core][SQL] Nevezze át _LEGACY_ERROR_TEMP_0019INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] A Spark Connect Server/-ügyfél megfelelő hibakezelése
• [SPARK-41292] [SC-119357][connect][12.X] Támogatási ablak a pyspark.sql.window névtérben
• [SPARK-41493] [SC-119339][connect][PYTHON] Csv-függvények támogatási beállításainak megadása
• [SPARK-39591] [SC-118675][ss] Aszinkron haladáskövetés
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Column.{withField, dropFields} implementálása
• [SPARK-41068] [SC-119268][connect][PYTHON] Megvalósítás DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Dokumentumtesztek engedélyezése a pyspark.sql.connect.columnban
• [SPARK-41738] [SC-119170][connect] Keverje a ClientId-t a SparkSession gyorsítótárban
• [SPARK-41354] [SC-119194][connect] A RepartitionByExpression hozzáadása a protohoz
• [SPARK-41784] [SC-119289][connect][PYTHON] Hiányzó __rmod__ hozzáadása oszlopban
• [SPARK-41778] [SC-119262][sql] Alias "reduce" hozzáadása ArrayAggregate-hez
• [SPARK-41067] [SC-119171][connect][PYTHON] Implementálás DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] A belső karakterlánc műveleti nevének konzisztenssé tétele a FunctionRegistryvel
• [SPARK-41734] [SC-119160][connect] Szülőüzenet hozzáadása a katalógushoz
• [SPARK-41742] [SC-119263] Támogatás: df.groupBy().agg({"*":"count"})
• [SPARK-41761] [SC-119213][connect][PYTHON] Aritmetikai műveletek javítása: __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][sql] Nevezze át UNSUPPORTED_CORRELATED_REFERENCECORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Column.{isNull, isNotNull, eqNullSafe} javítása
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] unwrap_udt függvény implementálása
• [SPARK-41333] [SC-119195][spark-41737] Implementál GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] Column.{bitwiseAND, bitwiseOR, bitwiseXOR} javítása
• [SPARK-41631] [SC-101081][sql] Implicit oldaloszlop-aliasfeloldás támogatása összesítéskor
• [SPARK-41529] [SC-119207][connect][12.X] SparkSession.stop implementálása
• [SPARK-41729] [SC-119205][core][SQL][12.x] Nevezze át _LEGACY_ERROR_TEMP_0011-ről UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES-ra
• [SPARK-41717] [SC-119078][connect][12.X] Deduplikálja a nyomtatást és repr_html a LogicalPlanban
• [SPARK-41740] [SC-119169][connect][PYTHON] Implementálás Column.name
• [SPARK-41733] [SC-119163][sql][SS] Famintás alapú metszés alkalmazása a ResolveWindowTime szabályhoz
• [SPARK-41732] [SC-119157][sql][SS] Famintázat alapú metszés alkalmazása a SessionWindowing szabályhoz
• [SPARK-41498] [SC-119018] Metaadatok propagálása az Unionon keresztül
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Az oszlop tartozékának implementálása
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types támogatja ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Implementál format_number függvényt
• [SPARK-41707] [SC-119141][connect][12.X] Catalog API implementálása a Spark Connectben
• [SPARK-41710] [SC-119062][connect][PYTHON] Implementálásra kerül Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON]High-order függvény: array_compact implementáció
• [SPARK-41518] [SC-118453][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] sequence függvény implementálása
• [SPARK-41703] [SC-119060][connect][PYTHON] NullType és typed_null egyesítése literálban
• [SPARK-41722] [SC-119090][connect][PYTHON] 3 hiányzó időablak-függvény implementálása
• [SPARK-41503] [SC-119043][connect][PYTHON] Partícióátalakítási függvények implementálása
• [SPARK-41413] [SC-118968][sql] Kerülje a Storage-Partitioned illesztést, ha a partíciókulcsok nem egyeznek, de az illesztési kifejezések kompatibilisek
• [SPARK-41700] [SC-119046][connect][PYTHON] FunctionBuilder eltávolítandó
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types támogatja MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] Érvénytelen oszlop műveletek hozzáadása
• [SPARK-41660] [SC-1188666][sql] Csak akkor propagálja a metaadatoszlopokat, ha használják őket
• [SPARK-41637] [SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] Gyűjtő implementálása a leképezősorok számmetrikáinak gyűjtéséhez
• [SPARK-41647] [SC-119064][connect][12.X] Deduplikálja a dokumentumokat a pyspark.sql.connect.functions függvényekben
• [SPARK-41701] [SC-119048][connect][PYTHON] Oszlopművelet támogatás decimal
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] Implementálja rollup, cube és pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] Deduplikálja a dokumentumokat a pyspark.sql.connect.dataframe-ben
• [SPARK-41688] [SC-118951][connect][PYTHON] A kifejezéseket az expressions.py fájlba helyezzük át
• [SPARK-41687] [SC-118949][connect] Deduplikálja a dokustringeket a pyspark.sql.connect.group fájlban
• [SPARK-41649] [SC-118950][connect] Deduplikálja a dokumentumokat a pyspark.sql.connect.window fájlban
• [SPARK-41681] [SC-118939][connect] CsoportosítottAdatok kiemelése a group.py fájlba
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Window függvények implementálása
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] Oszlopos műveletek támogatása datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] Az elavult függvények engedélyezése
• [SPARK-41673] [SC-118932][connect][PYTHON] Implementál Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] A broadcast függvény megvalósítása
• [SPARK-41648] [SC-118914][connect][12.X] Deduplikálja a dokumentumokat a pyspark.sql.connect.readwriter alkalmazásban
• [SPARK-41646] [SC-118915][connect][12.X] Deduplikálja a dokumentumokat a pyspark.sql.connect.session-ben
• [SPARK-41643] [SC-118862][connect][12.X] Deduplikálja a dokumentumokat a pyspark.sql.connect.columnban
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] A Lambda többi függvényének implementálása
• [SPARK-41441] [SC-118557][sql] Támogatás a külső hivatkozások kezelésére gyermek kimenet szükségessége nélkül
• [SPARK-41669] [SC-118923][sql] A canCollapseExpressions korai metszése során
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : ScalaReflectionLock eltávolítása a SchemaConvertersből
• [SPARK-41464] [SC-118861][connect][PYTHON] Implementálás DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Kezdeti LambdaFunction implementáció
• [SPARK-41539] [SC-118802][sql] A LogicRDD logikai tervében szereplő kimenet statisztikáinak és korlátainak újraképezettsége
• [SPARK-41396] [SC-118786][sql][PROTOBUF] OneOf mező támogatása és rekurziós ellenőrzések
• [SPARK-41528] [SC-118769][connect][12.X] A Spark Connect és a PySpark API névterének egyesítése
• [SPARK-41568] [SC-118715][sql] Adjon nevet a _LEGACY_ERROR_TEMP_1236-nak
• [SPARK-41440] [SC-118788][connect][PYTHON] Implementálás DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Spark Connect és protobuf hozzáadása setup.py függőségek megadásával
• [SPARK-27561] [SC-101081][12.x][SQL] Implicit oldaloszlop-aliasfeloldás támogatása a Projectben
• [SPARK-41535] [SC-118645][sql] A InterpretedUnsafeProjection és InterpretedMutableProjection naptárintervallum-mezőinek null értékű beállítása
• [SPARK-40687] [SC-118439][sql] A beépített "mask" függvény adatmaszkolásának támogatása
• [SPARK-41520] [SC-118440][sql] Az AND_OR TreePattern felosztása az AND és OR TreePattern-ek különválasztására
• [SPARK-41349] [SC-118668][connect][PYTHON] DataFrame.hint implementálása
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types támogatnia kell a StructType-ot.
• [SPARK-41334] [SC-118549][connect][PYTHON] SortOrder proto áthelyezése kapcsolatokról kifejezésekre
• [SPARK-41387] [SC-118450][ss] A Trigger.AvailableNow Kafka-adatforrásának aktuális végeltolásának beállítása
• [SPARK-41508] [SC-118445][core][SQL] Nevezze át _LEGACY_ERROR_TEMP_1180UNEXPECTED_INPUT_TYPE és távolítsa el _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Implement Column.{when, otherwise} és függvény when with UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Helytelen gyermekmetódus hívásának javítása az SQLShuffleWriteMetricsReporter.decRecordsWritten() alkalmazásban
• [SPARK-41453] [SC-118458][connect][PYTHON] Implementálás DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] Adja hozzá a "spark.sql.json.enablePartialResults" értéket a JSON részleges eredményeinek engedélyezéséhez/letiltásához
• [SPARK-41437] "Visszavonás: “[SC-117601][sql] Ne optimalizálja kétszer az inputqueryt v1-es írási tartalékhoz”
• [SPARK-41472] [SC-118352][connect][PYTHON] A többi sztring/bináris függvény implementálása
• [SPARK-41526] [SC-118355][connect][PYTHON] Implementálás Column.isin
• [SPARK-32170] [SC-118384] [CORE] Javítsa a spekulációt a fázisfeladat-metrikákon keresztül.
• [SPARK-41524] [SC-118399][ss] Az SQLConf és az extraOptions megkülönböztetése a StateStoreConfban a RocksDBConf-ban való használathoz
• [SPARK-41465] [SC-118381][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] LongToUnsafeRowMap funkció figyelmen kívül hagyja a duplikált kulcsokat
• [SPARK-41409] [SC-118302][core][SQL] Nevezze át _LEGACY_ERROR_TEMP_1043 erre: WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Megvalósítása a DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] Ne optimalizálja kétszer a bemeneti lekérdezést a v1-es írási visszaeséshez
• [SPARK-41314] [SC-117172][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] Refactor LiteralExpression a DataType támogatásához
• [SPARK-41448] [SC-118046] Konzisztens MR-feladatazonosítók létrehozása a FileBatchWriter és a FileFormatWriter alkalmazásban
• [SPARK-41456] [SC-117970][sql] A try_cast teljesítményének javítása
• [SPARK-41495] [SC-118125][connect][PYTHON] collection függvények implementálása: P~Z
• [SPARK-41478] [SC-118167][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] A NUM_COLUMNS_MISMATCH újrabontási hibaüzenete általánosabbá tétele érdekében
• [SPARK-41404] [SC-118016][sql] A(z) ColumnVectorUtils#toBatch refaktorálása, hogy a(z) ColumnarBatchSuite#testRandomRows teszt primitívebb adattípust használjon
• [SPARK-41468] [SC-118044][sql] A PlanExpression kezelés javítása a EquivalentExpressionsben
• [SPARK-40775] [SC-118045][sql] A V2-fájlvizsgálatok ismétlődő leírási bejegyzéseinek javítása
• [SPARK-41492] [SC-118042][connect][PYTHON] MISC-függvények implementálása
• [SPARK-41459] [SC-118005][sql] javítás a thrift kiszolgáló műveleti naplójának üres kimenetére
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjectionsetDecimal használatával állítsa be a nem biztonságos sorban lévő decimális értékek null értékeit
• [SPARK-41376] [SC-117840][core][3.3] Javítsa ki a Netty preferDirectBufs ellenőrzési logikáját a végrehajtó indításakor
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] collection függvények implementálása: E~M
• [SPARK-41389] [SC-117426][core][SQL] WRONG_NUM_ARGS újrafelhasználása _LEGACY_ERROR_TEMP_1044 helyett
• [SPARK-41462] [SC-117920][sql] A dátum- és időbélyeg típus konvertálható TimestampNTZ típusra
• [SPARK-41435] [SC-117810][sql] A curdate()invalidFunctionArgumentsError hívásának módosítása, ha expressions nem üres
• [SPARK-41187] [SC-118030][core] LiveExecutor memória szivárgás az AppStatusListenerben, amikor ExecutorLost bekövetkezik
• [SPARK-41360] [SC-118083][core] Kerülje a BlockManager újbóli regisztrációját, ha a végrehajtó elveszett
• [SPARK-41378] [SC-117686][sql] Az oszlopstatisztikák támogatása a DS v2-ben
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] A StringDecode prettyName felülbírálása
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Dátum-/időbélyegző függvények implementálása
• [SPARK-41329] [SC-117975][connect] Körkörös importálás feloldása a Spark Connectben
• [SPARK-41477] [SC-118025][connect][PYTHON] A literális egész számok adattípusának helyes következtetése
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] createDataFrame támogatási séma és több bemeneti adatkészlet-típus létrehozása
• [SPARK-41475] [SC-117997][connect] A lint-scala parancs hibájának és elírásának javítása
• [SPARK-38277] [SC-117799][ss] Írási köteg törlése a RocksDB állapottároló véglegesítése után
• [SPARK-41375] [SC-117801][ss] Az üres legújabb KafkaSourceOffset elkerülése
• [SPARK-41412] [SC-118015][connect] Implementálás Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Implementálja a DataFrame.melt és DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Oszlophoz kapcsolódó tesztek refaktorálása test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] Az oszlopnak támogatnia kell a != operátort
• [SPARK-40697] [SC-117806][sc-112787][SQL] Olvasási oldali karakterpárnázás hozzáadása külső adatfájlok lefedéséhez
• [SPARK-41349] [SC-117594][connect][12.X] DataFrame.hint implementálása
• [SPARK-41338] [SC-117170][sql] Oldja fel a külső hivatkozásokat és a normál oszlopokat ugyanabban az elemző kötegben
• [SPARK-41436] [SC-117805][connect][PYTHON] collection függvények implementálása: A~C
• [SPARK-41445] [SC-117802][connect] DataFrameReader.parquet implementálása
• [SPARK-41452] [SC-117865][sql] to_char null értéket kell visszaadnia, ha a formátum null
• [SPARK-41444] [SC-117796][connect] Támogatás read.json()
• [SPARK-41398] [SC-117508][sql] A Storage-Partitioned csatlakozásra vonatkozó korlátozások lazítása, ha a futtatókörnyezet szűrése után a partíciókulcsok nem egyeznek
• [SPARK-41228] [SC-117169][sql] Átnevezés & COLUMN_NOT_IN_GROUP_BY_CLAUSEhibaüzenetének javítása.
• [SPARK-41381] [SC-117593][connect][PYTHON] count_distinct és sum_distinct függvények implementálása
• [SPARK-41433] [SC-117596][connect] A Max Arrow BatchSize konfigurálhatóvá tétele
• [SPARK-41397] [SC-117590][connect][PYTHON] Sztring/bináris függvények egy részének implementálása
• [SPARK-41382] [SC-117588][connect][PYTHON] product függvény implementálása
• [SPARK-41403] [SC-117595][connect][PYTHON] Implementálás DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg() kompatibilisnek kell lennie
• [SPARK-41369] [SC-117584][connect] Adja hozzá a connect common-t a szerverek árnyékolt jar-jába
• [SPARK-41411] [SC-117562][ss] Többállapotú operátor vízjeltámogatási hibajavítása
• [SPARK-41176] [SC-116630][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Aggregációs függvények implementálása
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Normál függvények implementálása
• [SPARK-41305] [SC-117411][connect] A proto parancs dokumentációjának javítása
• [SPARK-41372] [SC-117427][connect][PYTHON] DataFrame TempView implementálása
• [SPARK-41379] [SC-117420][ss][PYTHON] Klónozott Spark-munkamenet biztosítása a DataFrame használatával a foreachBatch fogadó user függvényben a PySparkban
• [SPARK-41373] [SC-117405][sql][ERROR] Nevezze át CAST_WITH_FUN_SUGGESTION CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] Refactor ColumnVectorUtils#populate metódust úgy, hogy ahelyett, hogy DataType, PhysicalDataType-t használja
• [SPARK-41355] [SC-117423][sql] Megkerülő megoldás a hive táblanév érvényesítésével kapcsolatos problémára
• [SPARK-41390] [SC-117429][sql] Frissítse a register függvény létrehozásához használt szkriptet UDFRegistration
• [SPARK-41206] [SC-117233][sc-116381][SQL] Nevezze át a _LEGACY_ERROR_TEMP_1233 hibaosztályt COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Matematikai függvények implementálása
• [SPARK-40970] [SC-117308][connect][PYTHON] Támogatás a Join on argumentum List[Column] számára
• [SPARK-41345] [SC-117178][connect] Tipp hozzáadása a Proto csatlakoztatásához
• [SPARK-41226] [SC-117194][sql][12.x] Spark-típusok újrabontása fizikai típusok bevezetésével
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Alapszintű támogatás hozzáadása a DataFrameWriterhez
• [SPARK-41347] [SC-117173][connect] Kiegészítés: típuskonverzió az Expression proto-hoz
• [SPARK-41323] [SC-117128][sql] Támogatja a current_schema
• [SPARK-41339] [SC-117171][sql] Zárja be és hozza létre újra a RocksDB írási köteget a törlés helyett
• [SPARK-41227] [SC-117165][connect][PYTHON] DataFrame keresztcsatlakozás implementálása
• [SPARK-41346] [SC-117176][connect][PYTHON] asc és desc függvények implementálása
• [SPARK-41343] [SC-117166][connect] FunctionName-elemzés áthelyezése kiszolgálóoldalra
• [SPARK-41321] [SC-117163][connect] Támogatás célmező számára az UnresolvedStar esetében
• [SPARK-41237] [SC-117167][sql] Használja újra a hibaosztályt UNSUPPORTED_DATATYPE_LEGACY_ERROR_TEMP_0030-hoz
• [SPARK-41309] [SC-116916][sql] A INVALID_SCHEMA.NON_STRING_LITERAL újrafelhasználása _LEGACY_ERROR_TEMP_1093 helyett
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] A StructType konstruktorhasználatának optimalizálása
• [SPARK-41335] [SC-117135][connect][PYTHON] Az IsNull és az IsNotNull támogatása oszlopban
• [SPARK-41332] [SC-117131][connect][PYTHON] nullOrdering javítása SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] A GroupBy hiányzó avg() javítása a DF-en
• [SPARK-41327] [SC-117137][core] A SparkStatusTracker.getExecutorInfos javítása az On/OffHeapStorageMemory információ be- és kikapcsolásával
• [SPARK-41315] [SC-117129][connect][PYTHON] Implementálja DataFrame.replace és DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Logikai és sztring API hozzáadása oszlophoz
• [SPARK-41331] [SC-117127][connect][PYTHON] orderBy és drop_duplicates hozzáadása
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal gondoskodnia kell arról, hogy a zárolás zökkenőmentesen feloldva legyen
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] "Column" újrafaktorálása az API-kompatibilitás érdekében
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] DataFrame.withColumnRenamed implementálása
• [SPARK-41221] [SC-116607][sql] Adja hozzá a hibaosztályt INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] INVALID_SCHEMA újrafelhasználása _LEGACY_ERROR_TEMP_1227 helyett
• [SPARK-41260] [SC-116880][python][SS][12.x] A NumPy-példányok Python-primitív típusokba való átcsoportosítása a GroupState-frissítésben
• [SPARK-41174] [SC-116609][core][SQL] Hibaosztály propagálása a felhasználóknak a to_binary() érvénytelen format
• [SPARK-41264] [SC-116971][connect][PYTHON] További adattípusok támogatása a literálban
• [SPARK-41326] [SC-116972] [CONNECT] A deduplikálás hiányzó bemenetének javításával
• [SPARK-41316] [SC-116900][sql] A tail-recursion engedélyezése, ahol csak lehetséges
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Sztringkifejezések támogatása a szűrőben.
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] DataFrame.withColumn(ok) implementálása
• [SPARK-41182] [SC-116632][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] A térképbeállítások hibáinak migrálása hibaosztályokra
• [SPARK-40940] [SC-115993][12.x] A streamelési lekérdezések többállapotú operátor-ellenőrzőinek eltávolítása.
• [SPARK-41310] [SC-116885][connect][PYTHON] DataFrame.toDF implementálása
• [SPARK-41179] [SC-116631][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] A BHJ LeftAnti nem frissíti a numOutputRows számlálót, amikor a codegen le van tiltva
• [SPARK-41148] [SC-116878][connect][PYTHON] DataFrame.dropna és DataFrame.na.drop megvalósítása
• [SPARK-41217] [SC-116380][sql] Adja hozzá a hibaosztályt FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] DataFrame.count() javítása
• [SPARK-41301] [SC-116786] [CONNECT] A SparkSession.range() homogenizálási viselkedése
• [SPARK-41306] [SC-116860][connect] A Connect Expression proto dokumentációjának továbbfejlesztése
• [SPARK-41280] [SC-116733][connect] DataFrame.tail implementálása
• [SPARK-41300] [SC-116751] [CONNECT] A nem beállított séma sémaként van értelmezve
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] RemoteSparkSession átnevezése
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. a toPandas nem ad vissza opcionális pandas-adatkeretet
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain ki kell nyomtatnia és a None értéket kell visszaadnia
• [SPARK-41278] [SC-116732][connect] Tisztítsa meg a nem használt QualifiedAttribute kifejezést az Expression.proto-ban.
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Redundáns gyűjteménykonvertálási alap eltávolítása Scala 2.13-kódon
• [SPARK-41261] [SC-116718][python][SS] Kijavítottuk az ApplyInPandasWithState hibát, ha a csoportosítási kulcsok oszlopai nem a legkorábbi sorrendbe vannak helyezve
• [SPARK-40872] [SC-116717][3.3] Visszalépés az eredeti shuffle blokkra, ha egy leküldéses egyesített shuffle-adattömb nulla méretű
• [SPARK-41114] [SC-116628][connect] A LocalRelation helyi adatainak támogatása
• [SPARK-41216] [SC-116678][connect][PYTHON] Implementálás DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] További beépített adattípusok támogatása
• [SPARK-41230] [SC-116674][connect][PYTHON] Távolítsa el a str az összesítő kifejezéstípusból
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Optimalizált nyílalapú adatgyűjtési implementáció a kiszolgálóról az ügyfélre való streameléshez
• [SPARK-41222] [SC-116625][connect][PYTHON] Egyesítse a gépelési definíciókat
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Tiltsa le a nem támogatott függvényeket.
• [SPARK-41201] [SC-116526][connect][PYTHON] Implementálás DataFrame.SelectExpr Python-ügyfélben
• [SPARK-41203] [SC-116258] [CONNECT] A Dataframe.tansform támogatása a Python-ügyfélben.
• [SPARK-41213] [SC-116375][connect][PYTHON] Implementál DataFrame.__repr__ és DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Implementálás DataFrame.drop
• [SPARK-41172] [SC-116245][sql] A nem egyértelmű hivatkozási hiba hibaosztályba történő migrálása
• [SPARK-41122] [SC-116141][connect] Az Explain API különböző módokat támogat
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] A PySpark-típus következtetésének javítása _merge_type metódusban
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Homogenizálja a protobuf verziót a Spark connect-kiszolgálón, hogy ugyanazt a főverziót használja.
• [SPARK-35531] [SC-116409][sql] A hive-tábla statisztikáinak frissítése szükségtelen átalakítás nélkül
• [SPARK-41154] [SC-116289][sql] Helytelen relációs gyorsítótárazás időutazási specifikációjú lekérdezésekhez
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implementálás DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Nevezze át UNSUPPORTED_EMPTY_LOCATIONINVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Egy bővítő API hozzáadása a gyorsítótárazáshoz kapcsolódó terv normalizálására.
• [SPARK-41054] [SC-116447][ui][CORE] A RocksDB támogatása KVStore-ként az élő felhasználói felületen
• [SPARK-38550] [SC-115223]Visszaállítás "[SQL][core] Lemezalapú tároló használatával további hibakeresési információkat menthet élő felhasználói felületen"
• [SPARK-41173] [SC-116185][sql] require() áthelyezése a sztringkifejezések konstruktorai közül
• [SPARK-41188] [SC-116242][core][ML] Állítsa be a executorEnv OMP_NUM_THREADS alapértelmezés szerint spark.task.cpus értékre spark-végrehajtó JVM-folyamatokhoz
• [SPARK-41130] [SC-116155][sql] Nevezze át OUT_OF_DECIMAL_TYPE_RANGE a(z) NUMERIC_OUT_OF_SUPPORTED_RANGE-ra/-re
• [SPARK-41175] [SC-116238][sql] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Csökkentse a gyűjteményátalakítást attribútumtérkép létrehozásakor
• [SPARK-41139] [SC-115983][sql] Hibaosztály javítása: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Árnyékolást igényel a Java-osztály jarhoz, javítva a hibakezelést
• [SPARK-40999] [SC-116168] Emlékeztető propagálása albekérdezésekre
• [SPARK-41017] [SC-116054][sql] Oszlopkivágás támogatása több nemdeterminista szűrővel
• [SPARK-40834] [SC-114773][sql] A SparkListenerSQLExecutionEnd használatával nyomon követheti a végleges SQL-állapotot a felhasználói felületen
• [SPARK-41118] [SC-116027][sql] to_number/try_to_numbernull kell visszaadnia, ha a formátum null
• [SPARK-39799] [SC-115984][sql] DataSourceV2: Katalógus felületének megtekintése
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Kerülje a Spark Connect beágyazását az Apache Spark bináris kiadásba
• [SPARK-41048] [SC-116043][sql] A kimenet particionálásának és sorrendjének javítása az AQE-gyorsítótárral
• [SPARK-41198] [SC-116256][ss] A CTE- és DSv1-streamforrással rendelkező streamelési lekérdezések metrikáinak javítása
• [SPARK-41199] [SC-116244][ss] Kijavított metrikaprobléma, amikor a DSv1 és DSv2 streamforrások együtt vannak használva.
• [SPARK-40957] [SC-116261][sc-114706] Memória-gyorsítótár hozzáadása a HDFSMetadataLog-hoz
• [SPARK-40940] Visszavonás: "[SC-115993] Többállapotú operátor-ellenőrzők eltávolítása a streamelési lekérdezésekhez".
• [SPARK-41090] [SC-116040][sql] Kivétel db_name.view_name az Adathalmaz API által létrehozott ideiglenes nézet létrehozásakor
• [SPARK-41133] [SC-116085][sql] Integrálja UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION a NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] 9 kódmentés rögzítése
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Spark Connect build illesztőprogram beépülő modulként árnyékolt függőségekkel
• [SPARK-41096] [SC-115812][sql] A parquet FIXED_LEN_BYTE_ARRAY típus olvasásának támogatása
• [SPARK-41140] [SC-115879][sql] Nevezze át a hibaosztályt _LEGACY_ERROR_TEMP_2440INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][sql] Eltérés a FileSourceScanExec és az Orc és a ParquetFileFormat között oszlopos kimenet előállításakor
• [SPARK-41155] [SC-115991][sql] Hibaüzenet hozzáadása a SchemaColumnConvertNotSupportedException szolgáltatáshoz
• [SPARK-40940] [SC-115993] A streamelési lekérdezések többállapotú operátor-ellenőrzőinek eltávolítása.
• [SPARK-41098] [SC-115790][sql] Nevezze át GROUP_BY_POS_REFERS_AGG_EXPRGROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] A számformázás típusellenőrzési hibáinak áthelyezése hibaosztályokra
• [SPARK-41059] [SC-115658][sql] Nevezze át _LEGACY_ERROR_TEMP_2420NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Konvertálás a DATATYPE_MISMATCH.UNSPECIFIED_FRAME típusáról belső hibára (INTERNAL_ERROR)
• [SPARK-40973] [SC-115132][sql] Nevezze át _LEGACY_ERROR_TEMP_0055UNCLOSED_BRACKETED_COMMENT

Karbantartási frissítések

Lásd a Databricks Runtime 12.1 karbantartási frissítéseit.

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a 2022-11-11-i Microsoft CRAN-pillanatképből vannak telepítve.

Telepített Java- és Scala-könyvtárak (2.12-es Scala-fürtverzió)