Databricks Runtime 16.1

Az alábbi kibocsátási megjegyzések az Apache Spark 3.5.0 által működtetett Databricks Runtime 16.1-ről nyújtanak információkat.

A Databricks 2024 decemberében adta ki ezt a verziót.

Viselkedési változások

Kompatibilitástörő változás: A photon reguláris kifejezéskezelés most már konzisztens az Apache Sparkkal

A Databricks Runtime 15.4-ben és újabb verzióiban a Photonben a reguláris kifejezéskezelés az Apache Spark normál kifejezéskezelésének megfelelően frissül. Korábban a Photon által futtatott reguláris kifejezésfüggvények( például split() és regexp_extract()) elfogadtak néhány, a Spark-elemző által elutasított reguláris kifejezést. Az Apache Sparkkal való konzisztenciának fenntartása érdekében a Photon-lekérdezések nem fognak működni a Spark által érvénytelennek ítélt reguláris kifejezések esetében.

A módosítás miatt hibákat tapasztalhat, ha a Spark-kód érvénytelen reguláris kifejezéseket tartalmaz. A split(str_col, '{')kifejezés például, amely egy nem egyező zárójelet tartalmaz, és amelyet a Photon korábban elfogadott, most meghiúsul. A kifejezés kijavításához a következő kapcsos zárójeljelet kell feloldania: split(str_col, '\\{').

A foton és a Spark viselkedése abban is eltért, ahogyan a nem ASCII-karaktereket kezelik a normál kifejezések illesztésében. Ez is frissül, így a Photon megegyezik az Apache Spark viselkedésével.

A VARIANT adattípus már nem használható összehasonlítást igénylő műveletekkel

A Databricks Runtime 16.1-es vagy újabb verziójában nem használhatja a következő záradékokat vagy operátorokat olyan lekérdezésekben, amelyek VARIANT adattípust tartalmaznak:

• DISTINCT
• INTERSECT
• EXCEPT
• UNION
• DISTRIBUTE BY

Ezenkívül nem használhatja ezeket a DataFrame-függvényeket:

• df.dropDuplicates()
• df.repartition()

Ezek a műveletek összehasonlítást végeznek, és a VARIANT adattípust használó összehasonlítások nem definiált eredményeket eredményeznek, és a Databricks nem támogatja őket. Ha az Azure Databricks számítási feladataiban vagy tábláiban a VARIANT típust használja, a Databricks a következő módosításokat javasolja:

• Frissítse a lekérdezéseket vagy kifejezéseket úgy, hogy a VARIANT értékeket kifejezetten átalakítsa aVARIANT adattípusokra.
• Ha olyan mezőkkel rendelkezik, amelyeket a fenti műveletek bármelyikével együtt kell használnia, bontsa ki ezeket a mezőket a VARIANT adattípusból, és neVARIANT adattípusokkal tárolja őket.

További információ: Lekérdezésvariáns adatok.

Új funkciók és fejlesztések

• Az Apache Sparkban a kollekciók támogatása nyilvános előzetes verzióban van
• A Delta Lake-beli betűrendek támogatása nyilvános előzetes verzióban van
• LITE vákuum mód nyilvános előzetes változatban
• A USE CATALOG with IDENTIFIER záradék paraméterezésének támogatása
• COMMENT ON COLUMN táblák és nézetek támogatása
• Új SQL-függvények
• Elnevezett paraméter meghívása további függvényekhez
• A SYNC METADATA parancs REPAIR TABLE paramétere támogatott a Hive metaadattára
• Bővített adatintegritás tömörített Apache Arrow-kötegekhez
• Támogatás hozzáadva a Scala-metódusokhoz a Unity Catalog megosztott hozzáférési módú számítógépes erőforrásaiban
• Teradata beépített JDBC-illesztő
• StreamingQueryListener támogatása Scala számára
• beépített Oracle JDBC-illesztő
• Az elérési utakkal elért Delta-táblák részletesebb hibái

Az Apache Sparkban az összehasonlítások támogatása nyilvános előzetes verzióban van.

Mostantól nyelvérzéketlen, kis- és nagybetűkre érzéketlen és hozzáférésre érzéketlen rendezéseket rendelhet STRING oszlopokhoz és kifejezésekhez. Ezeket a kollációkat karakterlánc-összehasonlításokban, rendezési, csoportosítási műveletekben és több karakterláncfüggvényben használják. Lásd a rendezés-je.

Delta Lake-beli összehasonlítások támogatása nyilvános előzetes verzió állapotban érhető el.

A Delta-tábla létrehozásakor vagy módosításakor most már megadhatja az oszlopok rendezéseit. Lásd a Delta Lake betűrendbe rendezési támogatást.

LITE vákuum mód nyilvános előzetes verzióban érhető el

Mostantól a VACUUM table_name LITE használatával kisebb súlyú vákuumműveletet hajthat végre, amely a Delta tranzakciónapló metaadatait használja. Lásd: Teljes vs. könnyű mód és VACUUM.

A USE CATALOG with IDENTIFIER záradék paraméterezésének támogatása

A Databricks Runtime 16.1-ben és újabb verziókban a IDENTIFIER záradék támogatott a USE CATALOG utasításhoz. Ezzel a támogatással paraméterezheti az aktuális katalógust egy sztringváltozó vagy paraméterjelölő alapján.

COMMENT ON COLUMN táblák és nézetek támogatása

A Databricks Runtime 16.1 és újabb verziókban a COMMENT ON utasítás támogatja a nézet- és táblázatoszlopok megjegyzéseinek módosítását.

Új SQL-függvények

A Databricks Runtime 16.1-ben és újabb verziókban a következő új beépített SQL-függvények érhetők el:

• dayname(expr) a hét napjának hárombetűs angol betűszóját adja vissza az adott dátumhoz.
• uniform(expr1, expr2 [,seed]) egy véletlenszerű értéket ad vissza független és azonos eloszlású értékekkel a megadott számtartományon belül.
• randstr(hossz) véletlenszerű karaktersorozatot ad vissza length alfa-numerikus karakterekből.

Elnevezett paraméter meghívása további függvényekhez

A Databricks Runtime 16.1-ben és újabb verziókban az alábbi függvények támogatják elnevezett paraméterhívási:

• variant_explode
• variant_explode_outer
• beágyazott
• inline_outer
• posexplode
• posexplode_outer

Az SYNC METADATA parancs REPAIR TABLE paramétere a Hive metaadattárban támogatott

A Databricks Runtime 16.1-ben és újabb verzióiban a SYNC METADATA paramétert a REPAIR TABLE paranccsal frissítheti a Hive metaadattár által felügyelt táblák metaadatait. Lásd: REPAIR TABLE.

Továbbfejlesztett adatintegritás tömörített Apache Arrow-kötegekhez

A Databricks Runtime 16.1-ben és újabb verziókban az adatsérülések elleni további védelem érdekében minden LZ4 tömörített Arrow csomag tartalmazza a LZ4 tartalmat és a blokk ellenőrzőösszegeket. Lásd: LZ4 keretformátum leírása.

Scala-metódusok támogatása a Unity Catalog megosztott hozzáférési módú számítási szolgáltatásában

A Databricks Runtime 16.1-ben és újabb verziókban a Unity Catalog megosztott hozzáférési módú számításán a következő Scala-metódusok támogatottak: Dataset.flatMapGroups(), Dataset.mapGroups()és DataStreamWriter.foreach().

Beépített Teradata JDBC-illesztő

A Databricks Runtime 16.1-ben és újabb verziókban a Teradata JDBC-illesztő az Azure Databricksbe van beépítve. Ha ügyfél által feltöltött JDBC-illesztő JAR-t használ DriverManagerkeresztül, át kell írnia szkripteket az egyéni JAR explicit használatához. Ellenkező esetben a beépített illesztőprogramot használja a rendszer. Ez az illesztőprogram csak a Lakehouse Federationt támogatja. Egyéb használati esetekben saját illesztőprogramot kell megadnia.

StreamingQueryListener-támogatás a Scalához

Mostantól használhatja a StreamingQueryListener a Scalában a megosztott hozzáférési móddal konfigurált számításon.

Beépített Oracle JDBC-illesztő

A Databricks Runtime 16.1 és újabb verziókban az Oracle JDBC-illesztőprogram az Azure Databricksbe van beépítve. Ha ügyfél által feltöltött JDBC-illesztő JAR-t használ DriverManagerkeresztül, át kell írnia szkripteket az egyéni JAR explicit használatához. Ellenkező esetben a beépített illesztőprogramot használja a rendszer. Ez az illesztőprogram csak a Lakehouse Federationt támogatja. Egyéb használati esetekben saját illesztőprogramot kell megadnia.

A fájlútvonalakkal elérhető Delta-táblák részletes hibái

Új hibaüzenet-élmény érhető el a Delta-táblákhoz, amelyeket útvonalak használatával értek el. A rendszer minden kivételt továbbít a felhasználónak. A kivétel DELTA_MISSING_DELTA_TABLE akkor van fenntartva, ha a mögöttes fájlok nem olvashatók Delta-táblaként.

Egyéb módosítások

Átnevezett hibakódok a cloudFiles strukturált stream forráshoz

Ez a kiadás a következő hibakódok átnevezésére vonatkozó módosítást tartalmaz:

• _LEGACY_ERROR_TEMP_DBR_0143 átnevezve CF_INCORRECT_STREAM_USAGE.
• _LEGACY_ERROR_TEMP_DBR_0260 átnevezve CF_INCORRECT_BATCH_USAGE .

Hibajavítások

A beágyazott típusok mostantól megfelelően fogadják el a NULL-korlátozásokat

Ez a kiadás kijavít egy hibát, amely a beágyazott típusok egyes Delta által létrehozott oszlopait érinti, például STRUCT. Ezek az oszlopok néha helytelenül utasítják el a kifejezéseket a beágyazott mezők NULL vagy NOT NULL korlátozásai alapján. Ezt kijavítottuk.

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • ipyflow-core 0.0.198 és 0.0.201 között
  • pyccolo 0.0.52 és 0.0.65 között
• Frissített R-kódtárak:
• Frissített Java-kódtárak:
  • io.delta.delta-sharing-client_2.12 1.2.1 és 1.2.2 között
  • org.lz4.lz4-java 1.8.0-1.8.0-databricks-1
  • software.amazon.cryptools.AmazonCorrettoCryptoProvider 1.6.2-linux-x86_64 2.4.1-linux-x86_64

Apache Spark

A Databricks Runtime 16.1 tartalmazza az Apache Spark 3.5.0-t. Ez a kiadás tartalmazza a Databricks Runtime 16.0összes Spark-javítását és fejlesztését, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-50482] [SC-182879][CORE] Elavultnak ítélt no-op spark.shuffle.spill konfiguráció
• [SPARK-50032] [SC-182706][SQL][16.x] Teljes karakterkészlet neve használatának engedélyezése
• [SPARK-50467] [SC-182823][PYTHON] __all__ hozzáadása beépített függvényekhez
• [SPARK-48898] [SC-182828][SQL] A Variant aprítási hibájának javítása
• [SPARK-50441] [SC-182668][SQL] A nem működő parametrikaazonosítók javítása a CTE-k hivatkozásakor
• [SPARK-50446] [SC-182639][PYTHON] Párhuzamossági szint az Arrow-optimalizált Python UDF-ben
• [SPARK-50430] [SC-182536][CORE] Manuális klón helyett használja a standard Properties.clone parancsot
• [SPARK-50471] [SC-182790][PYTHON] A nyílalapú Python-adatforrás-író támogatása
• [SPARK-50466] [SC-182791][PYTHON] Szövegfüggvények docstringjének finomítása – 1. rész
• [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] A New Timer API és az Initial State API integrálása az Időzítővel
• [SPARK-50437] [SC-182586][SS] Csökkenti a deszerializálók létrehozásának többletterhelését a TransformWithStateExecben
• [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Támogatás hozzáadása láncoláshoz o...
• [SPARK-49294] [SC-182730][UI] Adja hozzá a szélesség tulajdonságot a shuffle-write-time jelölőnégyzethez.
• [SPARK-50426] [SC-182540][PYTHON] A statikus Python-adatforrások keresésének elkerülése beépített vagy Java-adatforrások használatakor
• [SPARK-48356] [SC-182603][SQL] FOR utasítás támogatása
• [SPARK-50333] [SC-182136][SQL] A CsvToStructs codegen-támogatása (a RuntimeReplaceable meghívásával &)
• [SPARK-50285] [SC-182575] Metrikák a StagedTable-példányok véglegesítéséhez
• [SPARK-50081] [SC-182344][SQL] A XPath*kodek támogatása (a & RuntimeReplaceable meghívásával)
• [SPARK-50440] [SC-182592] [SQL] Átszervezés: AttributeSeq.resolveCandidates
• [SPARK-50067] [SC-179648][SQL] Kódgenerálás támogatása a SchemaOfCsv számára (RuntimeReplaceable megadásával &)
• [SPARK-49873] [SC-178577][SQL] kijavította az egyesítés utáni hibát hibateszteléskor
• [SPARK-50118] [SC-181259][CONNET] Az elkülönített állapot gyorsítótárának alaphelyzetbe állítása a tevékenységek futtatásakor
• [SPARK-49873] [SC-178577][SQL] A megfelelő hibaosztály hozzárendelése _LEGACY_ERROR_TEMP_1325
• [SPARK-50381] [SC-182197][CORE] Támogatás spark.master.rest.maxThreads
• [SPARK-46725] [SC-182448][SQL] DAYNAME függvény hozzáadása
• [SPARK-50270] [SC-181179][SS][PYTHON] Egyéni állapotmetrikákat adott hozzá a TransformWithStateInPandashoz
• [SPARK-50118] Visszaállítás “[SC-181259][CONNECT] Az izolált állapotgyorsítótár visszaállítása a feladatok futása közben”
• [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] DataFrame API-k hozzáadása táblaértékű függvényekhez
• [SPARK-49470] [SC-175736][UI] DataTables stíluslapok és javascriptek frissítése 1.13.5-ről 1.13.11-esre
• [SPARK-50235] Revertálás: „[SC-180786][SQL] A ColumnVector erőforrások eltávolítása a ColumnarToRowExec összes sorának feldolgozása után”
• [SPARK-50324] [SC-182278][PYTHON][CONNECT] createDataFrame eseményindítót Config RPC-t egyszerre
• [SPARK-50387] [SC-182441][SS] Az időzítő lejáratának és a vonatkozó tesztnek a frissítési feltétele
• [SPARK-50287] [SC-182400][SQL] A tábla és a kapcsolat egyesítése a WriteBuilder fájltáblában való létrehozásakor
• [SPARK-50066] [SC-181484][SQL] Kódgenerálási támogatás a SchemaOfXml-hez (a & RuntimeReplaceable meghívásával)
• [SPARK-50092] [SC-181568][SQL] A PostgreSQL-összekötő viselkedésének javítása többdimenziós tömbök esetén
• [SPARK-50318] [SC-181641][SQL] Az IntervalUtils.makeYearMonthInterval használatával a kód deduplikálása az értelmezett és a kódgenerálás közötti részeknél
• [SPARK-50312] [SC-181646][SQL] SparkThriftServer createServer paraméter átadási hibája, ha a kerberos igaz
• [SPARK-50246] [SC-181468][SQL] A megfelelő hibafeltétel hozzárendelése _LEGACY_ERROR_TEMP_2167: INVALID_JSON_RECORD_TYPE
• [SPARK-50214] [SC-180692][SQL] A json/xml fájlból nem módosíthatja a rendezéseket az adott sémában
• [SPARK-50250] [SC-181466][SQL] Rendeljen hozzá megfelelő hibafeltételt _LEGACY_ERROR_TEMP_2075: UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
• [SPARK-50248] [SC-181467][SQL] A megfelelő hibafeltétel hozzárendelése _LEGACY_ERROR_TEMP_2058: INVALID_PARTITION_VALUE
• [SPARK-50118] [SC-181259][CONNET] Az elkülönített állapot gyorsítótárának alaphelyzetbe állítása a tevékenységek futtatásakor
• [SPARK-50235] [SC-180786][SQL] A ColumnVector-erőforrás törlése a ColumnarToRowExec összes sorának feldolgozása után
• [SPARK-50156] [SC-180781][SQL] Integrálja _LEGACY_ERROR_TEMP_2113 a UNRECOGNIZED_STATISTIC-ba
• [SPARK-50069] [SC-180163][SQL] Integrálja _LEGACY_ERROR_TEMP_0028 a UNSUPPORTED_FROM_TO_EXPRESSION
• [SPARK-50154] [SC-180663][SQL] A megfelelő hibafeltétel hozzárendelése _LEGACY_ERROR_TEMP_0043: INVALID_RESET_COMMAND_FORMAT
• [SPARK-49967] [SC-179534][SQL] Codegen support for StructsToJson(to_json)
• [SPARK-50055] [SC-180978][SQL] TryMakeInterval alternatíva hozzáadása
• [SPARK-50397] [SC-182367][CORE] Távolítsa el az elavult --ip és -i argumentumokat Master/Worker
• [SPARK-50238] [SC-181434][PYTHON] Variáns támogatás hozzáadása a PySpark UDF-ekhez/UDTF-ekhez/UDAF-ekhez és a Python UC UDF-ekhez
• [SPARK-50079] [SC-179830][SQL] Rendeljen hozzá megfelelő hibafeltételeket _LEGACY_ERROR_TEMP_2013: NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
• [SPARK-50182] [SC-180346][PÉLDA] submit-sql.sh REST API-példa hozzáadása
• [SPARK-49966] [SC-179501][SQL] Invoke használata JsonToStructsimplementálásához (from_json)
• [SPARK-50302] [SC-182518][SS] Győződjön meg arról, hogy a másodlagos indexek mérete megegyezik a TransformWithState állapotalapú változók elsődleges indexméreteivel TTL-vel
• [SPARK-50301] [SC-182241][SS][16.x] A TransformWithState metrikák az intuitív jelentésüket tükrözik
• [SPARK-50175] [SC-182140][SQL] A rendezés elsőbbsége számításának módosítása
• [SPARK-50148] [SC-180292][SQL] A StaticInvoke a kivételt dobó metódussal való kompatibilitásának biztosítása
• [SPARK-50280] [SC-181214][PYTHON] Az eredmények rendezésének újraszervezése és az üres rekeszek kitöltése a compute_hist-ben
• [SPARK-50190] [SC-182458][PYTHON] A Numpy közvetlen függőségének eltávolítása a hisztogramból
• [SPARK-50382] [SC-182368][CONNECT] Az alkalmazásfejlesztéssel és a Spark Connect kiterjesztésével kapcsolatos általános információk dokumentációjának hozzáadása
• [SPARK-50296] [SC-181464][PYTHON][CONNECT] A Python Connect-ügyfél szálkészletében ne használjon osztálytulajdonságot
• [SPARK-49566] [SC-182239][SQL] SQL-cső szintaxisának hozzáadása az EXTEND operátorhoz
• [SPARK-50036] [SC-179533][CORE][PYTHON] SPARK_LOG_SCHEMA belefoglalása a REPL-rendszerhéj környezetbe
• [SPARK-49859] [SC-178259][CONNECT] Cserélje le a többprocesszoros elemet. ThreadPool és ThreadPoolExecutor
• [SPARK-50141] [SC-182378][PYTHON] A lpad és rpad elfogadja az oszloptípusú argumentumokat.
• [SPARK-50379] [SC-182142][SQL] A DayTimeIntevalType kezelésének javítása a WindowExecBase-ben
• [SPARK-49954] [SC-179110][SQL] Codegen support for SchemaOfJson (by Invoke & RuntimeReplaceable)
• [SPARK-50398] [SC-182341][CORE] Az ExitCode 0 használata a Spark-szkriptek --help használatára
• [SPARK-50377] [SC-182238][SQL] Lehetővé teszi az összecsukható RuntimeReplaceable kiértékelését
• [SPARK-50241] [SC-181444][SQL] A NullIntolerant Mixint cserélje le az Expression.nullIntolerant metódusra
• [SPARK-50084] [SC-179672][SQL] A megfelelő hibafeltétel hozzárendelése _LEGACY_ERROR_TEMP_3168: MISSING_TIMEOUT_CONFIGURATION
• [SPARK-50078] [SC-179649][SQL] Rendelje hozzá a megfelelő hibafeltételt _LEGACY_ERROR_TEMP_0038: DUPLICATED_CTE_NAMES
• [SPARK-50057] [SC-179573][SQL] A megfelelő hibafeltétel hozzárendelése _LEGACY_ERROR_TEMP_1049: INVALID_ATTRIBUTE_NAME_SYNTAX
• [SPARK-50070] [SC-179579][SQL] Integrálja _LEGACY_ERROR_TEMP_0039 a UNSUPPORTED_SQL_STATEMENT-ba
• [SPARK-50378] [SC-182235][SS] Egyéni metrika hozzáadása a transformWithState-ben a végrehajtás kezdeti állapotánál eltöltött idő nyomon követésére.
• [SPARK-50029] [SC-179531][SQL] A StaticInvoke kompatibilissé tétele a Any-t visszaadó módszerrel
• [SPARK-49990] [SC-179497][SQL] A randStr teljesítményének javítása
• [SPARK-50048] [SC-179528][SQL] Rendelje hozzá a _LEGACY_ERROR_TEMP_2114megfelelő hibafeltételét: UNRECOGNIZED_STATISTIC
• [SPARK-50053] [SC-179532][SQL] A _LEGACY_ERROR_TEMP_2104 átalakítása INTERNAL_ERROR
• [SPARK-49665] [SC-180054][SQL] Levágási és rendezési támogatás sztringfüggvényekhez
• [SPARK-48549] [SC-176472][SQL][PYTHON] Az SQL-függvény sentences javítása
• [SPARK-50022] [SC-179503][CORE][UI] Kijavítottuk a MasterPage, hogy elrejtse az alkalmazás felhasználói felületére mutató hivatkozásokat, ha a felhasználói felület le van tiltva
• [SPARK-50087] [SC-182152] Logikai kifejezések robusztus kezelése a CASE WHEN for MsSqlServer és a jövőbeli összekötők esetében
• [SPARK-49991] [SC-179481][SQL] Tegye a HadoopMapReduceCommitProtocol tiszteletet a "mapreduce.output.basename" értékre a fájlnevek létrehozásához
• [SPARK-50038] [SC-179521][SQL] Rendeljék hozzá a megfelelő hibafeltételt _LEGACY_ERROR_TEMP_0008: MERGE_WITHOUT_WHEN
• [SPARK-50236] [SC-181671][SQL] A megfelelő hibafeltétel hozzárendelése _LEGACY_ERROR_TEMP_1156: COLUMN_NOT_DEFINED_IN_TABLE
• [SPARK-50021] [SC-179500][CORE][UI] Javítás ApplicationPage az alkalmazás felhasználói felületére mutató hivatkozások elrejtéséhez, ha a felhasználói felület le van tiltva
• [SPARK-49911] [SC-179111][SQL] A bináris egyenlőség támogatásának szemantikai javítása
• [SPARK-50025] [SC-179496][SQL] Integrálja _LEGACY_ERROR_TEMP_1253-t EXPECT_VIEW_NOT_TABLE-ba
• [SPARK-49829] [SC-179480][SS] Kijavítottuk az optimalizálási hibát a stream-stream illesztésben lévő állapottároló bemenetének hozzáadásakor
• [SPARK-50004] [SC-179499][SQL] Integrálja a _LEGACY_ERROR_TEMP_3327-t a FIELD_NOT_FOUND-ba
• [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperatornak tiszteletben kell tartania a szerződést a ConstantFoldingben
• [SPARK-50340] [SC-181859][SQL] Csomagolja ki a UDT-t a INSERT bemeneti lekérdezésben
• [SPARK-50237] [SC-181660][SQL] Rendeljen hozzá megfelelő hibafeltételt a _LEGACY_ERROR_TEMP_2138-9-höz: CIRCULAR_CLASS_REFERENCE
• [SPARK-50258] [SC-181993][SQL] Az AQE optimalizálása után módosított kimeneti oszlopsorrend javítása
• [SPARK-49773] [SC-178369][SQL] Helytelen időzónával rendelkező kezeletlen Java-kivétel make_timestamp() esetén
• [SPARK-49977] [SC-179265][SQL] Veremalapú iteratív számítások használatával elkerülheti, hogy sok Scala List objektumot hozzon létre mélykifejezés-fákhoz
• [SPARK-50153] [SC-181591][SQL] name hozzáadása a RuleExecutor a QueryExecutionMetricsnaplóinak egyértelműbbé tétele érdekében
• [SPARK-50320] [SC-181668][CORE] Tegye --remote hivatalos opcióvá a experimental figyelmeztetés eltávolításával
• [SPARK-49909] [SC-179492]Visszavonás „[SQL] Néhány kifejezés szép nevének javítása”
• [SPARK-50330] [SC-180720][SC-181764][SQL] Tippek hozzáadása rendezési és ablakcsomópontokhoz
• [SPARK-50364] [SC-182003][SQL] A LocalDateTime típus szerializálásának implementálása a Row.jsonValue-ban
• [SPARK-50016] [SC-182139][SQL] A megfelelő hibafeltétel hozzárendelése a _LEGACY_ERROR_TEMP_2067-hez: UNSUPPORTED_PARTITION_TRANSFORM
• [SPARK-49899] [SC-181175][PYTHON][SS] Támogatás a TransformWithStateInPandas számára a töröld_ha_létezik alkalmazásához
• [SPARK-49757] [SC-177824][SQL] Támogat IDENTIFIER kifejezést a SETCATALOG utasításban
• [SPARK-50315] [SC-181886][SQL] Egyéni metrikák támogatása V1Fallback-írásokhoz
• [SPARK-42838] [SC-181509][SQL] Rendeljen nevet a hibaosztályhoz _LEGACY_ERROR_TEMP_2000
• [SPARK-50353] [SC-181985][SQL] Refactor ResolveSQLOnFile
• [SPARK-48344] [SC-181967][SQL] SQL Scripting előkészítése a végrehajtási keretrendszer hozzáadásához
• [SPARK-49345] [SC-174786][CONNECT] Győződjön meg arról, hogy az aktuálisan futó Spark-munkamenetet használja
• [SPARK-49925] [SC-178882][SQL] Rendezés tesztjeinek hozzáadása csoportosított sztringekkel
• [SPARK-50167] [SC-181199][PYTHON][CONNECT] A PySpark hibaüzenetek és importálások ábrázolásának javítása
• [SPARK-49368] [SC-174999][CONNECT] Kerülje a protobuf lite osztályok közvetlen elérését
• [SPARK-50056] [SC-181378][SQL] Kódgenerálási támogatás a ParseUrl számára (az Invoke & RuntimeReplaceable által)
• [SPARK-49601] [SC-180770][SS][PYTHON] A TransformWithStateInPandas kezdeti állapotkezelésének támogatása
• [SPARK-49908] [SC-178768][SQL] A megfelelő hibafeltétel hozzárendelése _LEGACY_ERROR_TEMP_0044
• [SPARK-50144] [SC-180307][SS] A metrikaszámítás korlátozásának kezelése DSv1 streamelési forrásokkal
• [SPARK-49874] [SC-178303][SQL] Távolítsa el a levágási és ltrim kollációs jelölőket.
• [SPARK-49513] [SC-180339][SS] Időzítő támogatása az transformWithStateInPandas API-ban
• [SPARK-49119] [SC-175607][SQL] Az 1. és 2. v2 közötti szintaxis show columns inkonzisztencia javítása
• [SPARK-49206] [SC-173704][CORE][UI] Environment Variables tábla hozzáadása a master EnvironmentPage
• [SPARK-49934] [SC-179581][SQL] A rendezett térkép literállal való eléréséhez implicit cast hozzáadása
• [SPARK-50049] [SC-181659][SQL] Egyéni illesztőprogram-metrikák támogatása a v2-táblába való írás során
• [SPARK-50171] [SC-180295][PYTHON] A numpy megadása nem kötelező a KDE-diagramhoz
• [SPARK-49962] [SC-179320][SQL] Az AbstractStringTypes osztályhierarchiájának egyszerűsítése
• [SPARK-50226] [SC-181483][SQL] Helyes MakeDTInterval és MakeYMInterval a Java-kivételek elfogásához
• [SPARK-48775] [SC-170801][SQL][STS] Cserélje le az SQLContextet SparkSession-ra az STS-ben
• [SPARK-49015] [SC-175688][CORE] A Connect kiszolgálónak tiszteletben kell tartania spark.log.structuredLogging.enabled
• [SPARK-50327] [SC-181667][SQL][16.x] A függvényfeloldás különválasztása az egyáteresztő elemzőben való újrafelhasználás érdekében
• [SPARK-49995] [SC-180762][SQL] Elnevezett argumentum támogatásának hozzáadása további TVF-ekhez
• [SPARK-49268] [SC-174903][CORE] Naplózza az I/O-kivételeket az SHS előzmény-szolgáltatóban
• [SPARK-48123] [SC-164989][Core] Konstans táblaséma biztosítása strukturált naplók lekérdezéséhez
• [SPARK-49217] [SC-174904][CORE] Különálló pufferméret-konfiguráció támogatása a UnsafeShuffleWriterben
• [SPARK-50325] [SC-181664][SQL][16.x] Az alias feloldását különválasztjuk az egylépéses elemzőben történő újrahasznosítás céljából.
• [SPARK-50322] [SC-181665][SQL] Paraméteres azonosító javítása al-lekérdezésben
• [SPARK-48400] [SC-175283][CORE] PrometheusServlet előléptetése DeveloperApi-vá
• [SPARK-50118] Visszaállítás “[SC-181259][CONNECT] Az izolált állapotgyorsítótár visszaállítása a feladatok futása közben”
• [SPARK-50306] [SC-181564][PYTHON][CONNECT] A Python 3.13 támogatása a Spark Connectben
• [SPARK-50152] [SC-181264][SS] A handleInitialState támogatása állapot adatforrás olvasóval
• [SPARK-50260] [SC-181271][CONNECT] Újrabontás és a Spark C optimalizálása...
• [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: LogInfo migrálása változókkal strukturált naplózási keretrendszerbe
• [SPARK-49312] [SC-174672][PYTHON] Javítsa a hibajelzést a assertSchemaEqual számára
• [SPARK-49439] [SC-175236][SQL] A FromProtobuf & ToProtobuf kifejezés szép nevének javítása
• [SPARK-50092] [ES-1258521] A PostgreSQL-összekötő viselkedésének javítása többdimenziós tömbök esetén
• [SPARK-49913] [SC-181565][SQL] Egyedi címkenevek ellenőrzésének hozzáadása beágyazott címkés hatókörökben
• [SPARK-49563] [SC-181465][SQL] Sql-cső szintaxisának hozzáadása az WINDOW operátorhoz
• [SPARK-49661] [SC-179021][SQL] Metszet-rendezési kivonatolás és összehasonlítás implementálása.
• [SPARK-38912] [SC-181543][PYTHON] Távolítsa el a classmethod és a tulajdonság megjegyzését
• [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] A RocksDB SST-fájlleképezés kezelésének javítása, valamint az ugyanazon verzió meglévő pillanatképtel való újratöltésével kapcsolatos probléma megoldása
• [SPARK-49002] Visszavonás: “[SC-172846][SQL] A WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY érvénytelen helyeinek következetes kezelése
• [SPARK-49668] [SC-178268][SQL] Rendezési kulcs támogatása a vágási művelethez
• [SPARK-50262] [SC-181193][SQL] A rendezés módosítása során tiltsa be a specifikáció összetett típusait
• [SPARK-48898] [SC-181435][SQL] Variant-aprító függvények hozzáadása
• [SPARK-48273] [SC-181381]"[SQL] A PlanWithUnresolvedIdentifier késői átírásának visszaállítása"
• [SPARK-50222] [SC-180706][CORE] Támogatás spark.submit.appName
• [SPARK-50208] [SC-180662][CORE] Támogatás spark.master.useDriverIdAsAppName.enabled
• [SPARK-50224] [SC-180689][SQL] Az IsValidUTF8, ValidateUTF8, TryValidateUTF8 és a MakeValidUTF8 cseréjének NullIntolerant-nak kell lennie.
• [SPARK-50247] [SC-180962][CORE] BLOCK_MANAGER_REREGISTRATION_FAILED definiálása ExecutorExitCode
• [SPARK-50282] [SC-181221][ML] Egyszerűsítse TargetEncoderModel.transform
• [SPARK-50112] [SC-180763][SQL] Lehetővé teszi, hogy a TransformWithState operátor Avro kódolást használjon
• [SPARK-50267] [SC-181180][ML] TargetEncoder.fit fejlesztése DataFrame API-kkal
• [SPARK-37178] [SC-180939][ML] Célkódolás hozzáadása az ml.feature-hez
• [SPARK-50118] [SC-181259][CONNET] Az elkülönített állapot gyorsítótárának alaphelyzetbe állítása a tevékenységek futtatásakor
• [SPARK-50085] [VISELKEDÉS-176][SC-179809][PYTHON] Tegye a lit(ndarray) np.int8-at a numpy adattípusnak megfelelővé.
• [SPARK-50256] [SC-181048][SQL] Egyszerűsített ellenőrzéssel ellenőrizheti, hogy egy logikai terv megoldatlanná válik-e minden optimalizáló szabály után
• [SPARK-50196] [SC-180932][CONNECT] Javítsuk ki a Python hibakörnyezetet hogy megfelelő környezetet használjunk
• [SPARK-50274] [SC-181181][CORE] Védelem a DirectByteBufferOutputStream használat utáni bezárása ellen
• [SPARK-49999] [SC-180063][PYTHON][CONNECT] Támogatja az opcionális "oszlop" paramétert a mezőben, a kde és a hisztdiagramokban
• [SPARK-50273] [SC-181178][SS] A RocksDB-zárolások beszerzésére/kiadására vonatkozó esetek naplózásának javítása
• [SPARK-50033] [SC-180720][SC-180659][SQL] Adjunk hozzá egy javaslatot a logikus Összesítő() csomóponthoz
• [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Kijavítottuk a RocksDB extra acquireLock kiadását a befejezési figyelő miatt
• [SPARK-50253] [SC-180969][SS] Stream-Stream Csatlakozás nem kéri le az ellenőrzőpont-azonosítót, ha nem támogatott.
• [SPARK-50255] [SC-180964][PYTHON] Kerülje a szükségtelen öntést a compute_hist
• [SPARK-50228] [SC-180780][SQL] A RewriteCollationJoin szabály áthelyezése FinishAnalysis
• [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Állítsa be a "pontosságot" úgy, hogy a dobozdiagramokhoz tartozó kwargs része legyen
• [SPARK-49637] [SC-180160][SQL] Az INVALID_FRACTION_OF_SECOND hibaüzenet módosítva lett.
• [SPARK-49530] [SC-180658][PYTHON] Aktív munkamenet lekérése adatkeretekből
• [SPARK-50195] [SC-180654][CORE] Kijavítottuk a StandaloneRestServer-t, hogy a spark.app.name megfelelően legyen propagálva a SparkSubmit számára.
• [SPARK-50229] [SC-180773] A logikai tervezés során létrehozott AttributeReference objektumok élettartamának csökkentésével csökkentheti az illesztőprogram memóriahasználatát a széles sémákhoz.
• [SPARK-50231] [SC-180815][PYTHON] Függvény létrehozása instr oszlop substring elfogadása
• [SPARK-49854] [SC-179812][16.x][SQL] Az összetevő-kezelő klónozása a munkamenet-klónozás során
• [SPARK-50219] [SC-180694][SQL] ApplyCharTypePadding újraszervezése, hogy a segédmetódusok egykörös feloldóban is használhatók legyenek
• [SPARK-50077] [SC-179827][SQL] A LogicRelation új mintaobjektumának bevezetése az alapértelmezett teljes params minta elkerüléséhez
• [SPARK-50128] [Backport][16x][SC-180677][SS] Állapotalapú processzorkezelő API-k hozzáadása implicit kódolókkal a Scalában
• [SPARK-50061] [SC-179961][SQL] Csoportosított oszlopok elemzési táblázatának engedélyezése
• [SPARK-49993] [SC-180084][SQL] Az összeg és az átlag hibaüzeneteinek javítása
• [SPARK-49638] [SC-179665][SQL] Távolítsa el az ANSI konfigurációs javaslatot az INVALID_URL üzenetben.
• [SPARK-50204] [SC-180660][SQL] Vegye figyelembe HiveTableRelation olvasási útvonal felbontását
• [SPARK-50193] [SC-180651][SS] Kivételkezelés javítása az időmódok érvényesítéséhez
• [SPARK-50179] [SC-180342][CORE] A REST API-ban spark.app.name tulajdonság megadása nem kötelező
• [SPARK-50068] [SC-180300][SQL] Refaktorálás TypeCoercion és AnsiTypeCoercion különálló csomóponti transzformációkra.
• [SPARK-49411] [SC-179483][SS] Az állapottár ellenőrzőpont-azonosítójának közlése az illesztőprogram és az állapotalapú operátorok között
• [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET meg kell tartania az adatrendezést
• [SPARK-49506] [SC-180165][SQL] Az ArrayBinarySearch optimalizálása összecsukható tömbhöz
• [SPARK-50097] [SC-179908][SQL] Rendelje hozzá a _LEGACY_ERROR_TEMP_1248megfelelő hibafeltételét: ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
• [SPARK-50071] [SC-180159][SQL][PYTHON] Try_make_timestamp(_ltz és _ntz) hozzáadása és a kapcsolódó tesztek
• [SPARK-50054] [SC-180228][PYTHON][CONNECT] Hisztogramdiagramok támogatása
• [SPARK-50015] [SC-179964][SQL] A megfelelő hibafeltétel hozzárendelése _LEGACY_ERROR_TEMP_1125: MISSING_DATABASE_FOR_V1_SESSION_CATALOG
• [SPARK-50155] [SC-180240][3.5] Scala- és Java-fájlok áthelyezése az alapértelmezett mappákba
• [SPARK-49980] [SC-180353][CORE][SQL] A megszakított tevékenységek megszakítása által okozott lehetséges fájlstream-szivárgások javítása
• [SPARK-49010] [SC-172304][SQL][XML] Egységtesztek hozzáadása az XML-séma kis- és nagybetűérzékeny következtetéséhez
• [SPARK-49562] [SC-180211][SQL] SQL-cső szintaxisának hozzáadása az összesítéshez
• [SPARK-49663] [SC-180239][SQL] RTRIM-javaslatok engedélyezése rendezési kifejezésekben
• [SPARK-48965] [SC-175926][SQL] Használja a megfelelő sémát a Dataset#toJSON-ben
• [SPARK-48493] [SC-175893][PYTHON] A Jobb teljesítmény érdekében növelje a Python-adatforrás-olvasót közvetlen Arrow Batch-támogatással
• [SPARK-49734] [SC-180226][PYTHON] hozzáadása seed argumentumnak shuffle
• [SPARK-50174] [16.x][SC-180253][SQL] Kihosszát az UnresolvedCatalogRelation megoldása
• [SPARK-49989] [SC-179512][PYTHON][CONNECT] A kde/sűrűségdiagramok támogatása
• [SPARK-49805] [SC-180218][SQL][ML] Privát[xxx] függvények eltávolítása function.scala
• [SPARK-49808] [SC-179490][SQL] Kijavítottunk egy holtpontot az al-lekérdezés végrehajtásában lusta változók miatt
• [SPARK-49929] [SC-180144][PYTHON][CONNECT] Támogatási dobozdiagramok
• [SPARK-50008] [SC-179290][PS][CONNECT] Kerülje a szükségtelen műveleteket attach_distributed_sequence_column
• [SPARK-49767] [SC-180161][PS][CONNECT] A belső függvény meghívásának újrabontása
• [SPARK-49683] [SC-178341][SQL] Blokkvágási rendezés
• [SPARK-49939] [SC-178941][SQL] A json_object_keys codegen-támogatása (a & RuntimeReplaceable meghívásával)
• [SPARK-50031] [SC-179582][SQL] Adja hozzá a TryParseUrl kifejezést
• [SPARK-49766] [SC-178933][SQL] Codegen támogatás json_array_length számára (készítette: Invoke & RuntimeReplaceable)
• [SPARK-50046] [SC-180026][SS] Az EventTimeWatermark csomópont stabil sorrendjének használata a vízjel kiszámításához
• [SPARK-49540] [SC-180145][PS] A distributed_sequence_id használatának egységesítése
• [SPARK-50060] [SC-179965][SQL] Letiltott átalakítás a TypeCoercion és az AnsiTypeCoercion különböző csoportosított típusai között
• [SPARK-49004] [SC-173244][CONNECT] A belső oszlop API-függvényekhez használjon külön regisztert.
• [SPARK-49811] [SC-1778888][SQL]Rename StringTypeAnyCollation
• [SPARK-49202] [SC-180059][PS] Alkalmazza a ArrayBinarySearch-t a hisztogramhoz
• [SPARK-49203] [SC-175734][SQL] Kifejezés hozzáadása java.util.Arrays.binarySearch
• [SPARK-50034] [SC-179816][CORE] A végzetes hibák téves jelentése, mint kezdetlen kivételek javítása SparkUncaughtExceptionHandler
• [SPARK-50093] [SC-179836][SQL] Az ICU-t használó rendezéseknek rendelkezniük kell a használt ICU-kódtár verziójával
• [SPARK-49985] [SC-179644][SQL] Az intervallumtípusok támogatásának eltávolítása a Variant-ban
• [SPARK-49103] [SC-173066][CORE] Támogatás spark.master.rest.filters
• [SPARK-50090] [SC-179819] Refactorálja a ResolveBinaryArithmetic-et különálló egycsomópontos transzformációra
• [SPARK-49902] [SC-179650][SQL] Az alapul szolgáló futtatókörnyezeti hibák elkapása a RegExpReplace
• [SPARK-49126] [SC-173342][CORE] a spark.history.ui.maxApplications konfigurációs definíció áthelyezése History.scala
• [SPARK-50094] [SC-179820][PYTHON][CONNECT] Jobb hibaüzenet, ha a memóriaprofilozót vonalszám nélküli szerkesztőkben használja
• [SPARK-50062] [SC-179835][SQL] A nyelvi rendezések támogatása InSet
• [SPARK-50035] [Backport][16x][SC-179530][SS] Támogatás hozzáadása az állapotalapú processzor explicit handleExpiredTimer függvényéhez
• [SPARK-49982] [SC-179814][SQL] Az InMemoryRelation negatív gyorsítótárazásának javítása
• [SPARK-49082] [SC-173350][SQL] Típusok szélesítése előléptetések során AvroDeserializer
• [SPARK-50088] [SC-179680][SQL] Refaktorálás UnresolvedStarBase.expand
• [SPARK-49802] [SC-179482][SS] Az állapotalapú processzorokban használt térkép- és listatípusok olvasási változáscsatornájának támogatása
• [SPARK-49846] [SC-179506][SS] numUpdatedStateRows és numRemovedStateRows metrikák hozzáadása transformWithState operátorral való használatra
• [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Tegye lehetővé, hogy a lit elfogadja az str és bool típusú numpy ndarray-t
• [SPARK-49821] [SC-179527][SS][PYTHON] A MapState és a TTL támogatása a TransformWithStateInPandashoz
• [SPARK-49558] [SC-179485][SQL] Sql-cső szintaxisának hozzáadása LIMIT/OFFSET és ORDER/SORT/CLUSTER/DISTRIBUTE BY
• [SPARK-48144] [SC-165725][LC-4080][SQL] A shuffle join tippek tiszteletben tartását szolgáló módosítás canPlanAsBroadcastHashJoin-n
• [SPARK-50051] [SC-179571][PYTHON][CONNECT] Tegye kompatibilissá a lit-t üres numpy ndarray-val
• [SPARK-50018] [SC-179488][SQL] Az AbstractStringType szerializálhatóvá tétele
• [SPARK-50016] [SC-179491][SQL] Az explicit rendezési eltérési hiba javítása
• [SPARK-50010] [SC-179487][SQL] Implicit kollációs eltérési hiba részletezése
• [SPARK-48749] [SC-170116][SQL] Egyszerűsítse az unaryPositive-t, és szüntesse meg a katalizátorszabályokat a RuntimeReplaceable használatával
• [SPARK-49857] [SC-178576][SQL] StorageLevel hozzáadása a Dataset localCheckpoint API-hoz
• [SPARK-50058] [SC-179538][SQL] A terv normalizálási funkcióinak kiszervezése a későbbi, egyátfutású analizátor teszteléseknél való használatra
• [SPARK-50052] [SC-179535][PYTHON][16.X] A NumpyArrayConverter támogatása legyen az üres str típusú ndarray számára.
• [SPARK-47261] [SC-173665][SQL] Jobb nevet rendeljen a hibákhoz _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 és _LEGACY_ERROR_TEMP_1174
• [SPARK-49147] [SC-173471][CORE] Jelölje meg a DeveloperApi interfésszel KryoRegistrator-t
• [SPARK-48949] [SC-173070][SQL] SPJ: Futtatókörnyezeti partíciószűrés
• [SPARK-50044] [SC-179523][PYTHON] Több matematikai függvény docstringjének finomítása
• [SPARK-48757] [SC-170113][CORE] Tegye a IndexShuffleBlockResolver-t explicit konstruktorokkal rendelkezővé
• [SPARK-50037] [SQL] Az AttributeSeq.resolve(...) újrastrukturálása
• [SPARK-48782] [SC-177056][SQL] Az eljárások katalógusokban való végrehajtásának támogatása
• [SPARK-49057] [SC-173081][SQL] Ne tiltsa le az AQE-hurkot a lekérdezési szakaszok beküldésekor
• [SPARK-48824] [SC-176772][VISELKEDÉS-167][SQL] Identitásoszlop SQL-szintaxisának hozzáadása
• [SPARK-48773] [SC-170773] A „spark.default.parallelism” konfiguráció dokumentálása a konfigurációs építőkeretrendszer segítségével
• [SPARK-48735] [SC-169810][SQL] BIN függvény teljesítménybeli javulása
• [SPARK-48900] [SC-172433] reason mező hozzáadása a feladat/szakasz lemondására irányuló összes belső híváshoz
• [SPARK-48488] [SC-167605][CORE] A log[info|warning|error] javítása a SparkSubmit
• [SPARK-48708] [SC-169809][CORE] Három szükségtelen típusregisztráció eltávolítása KryoSerializer
• [SPARK-49958] [SC-179312][PYTHON] sztringérvényesítési függvények Python API-ja
• [SPARK-49979] [SC-179264][SQL] Kijavítottuk az AQE megakadási problémáját, amikor kétszer próbálunk gyűjteni egy sikertelen tervre.
• [SPARK-48729] [SC-169795][SQL] UserDefinedFunction interfész hozzáadása SQL-függvények megjelenítéséhez
• [SPARK-49997] [SC-179279][SQL] Integrálja _LEGACY_ERROR_TEMP_2165MALFORMED_RECORD_IN_PARSING-ba
• [SPARK-49259] [SC-179271][SS]Méretalapú partíció létrehozása a kafka olvasása során
• [SPARK-48129] [SC-165006][PYTHON] Konstans táblaséma biztosítása a PySparkban strukturált naplók lekérdezéséhez
• [SPARK-49951] [SC-179259][SQL] A megfelelő hibafeltétel hozzárendelése LEGACY_ERROR_TEMP(1099|3085)
• [SPARK-49971] [SC-179278][SQL] Rendeljen megfelelő hibafeltételt a _LEGACY_ERROR_TEMP_1097-hez
• [SPARK-49998] [SC-179277][SQL] Integrálja a _LEGACY_ERROR_TEMP_1252-t a EXPECT_TABLE_NOT_VIEW-ba
• [SPARK-49876] [SC-179262][CONNECT] A Spark Connect szolgáltatásból származó globális zárolások eltávolítását
• [SPARK-49957] [SC-179202][SQL] Scala API sztringérvényesítési függvényekhez
• [SPARK-48480] [SC-173055][SS][CONNECT] A StreamQueryListenert nem érinti a spark.interrupt()
• [SPARK-49643] [SC-179239][SQL] _LEGACY_ERROR_TEMP_2042 összevonása az ARITHMETIC_OVERFLOW-val
• [SPARK-49959] [SC-179109][SQL] A ColumnarArray.copy() javítása null értékek beolvasásához a megfelelő eltolásból
• [SPARK-49956] A "[SC-179070] Letiltott kollekciók a collect_set kifejezéssel" módosítás visszavonása
• [SPARK-49987] [SC-179180][SQL] Kijavítottuk a hibaüzenetet, ha seedExpression nem összecsukható a randstr
• [SPARK-49948] [SC-179158][PS][CONNECT] Paraméter "precision" hozzáadása a pandas on Spark box plot-hoz.
• [SPARK-49970] [SC-179167][SQL] Helyes hibafeltétel hozzárendelése az _LEGACY_ERROR_TEMP_2069-hez
• [SPARK-49916] [SC-179108][SQL] Adja meg a megfelelő kivételt a ColumnType és az adattípus közötti típuseltérés esetén egyes sorokban
• [SPARK-49956] [SC-179070] Letiltott összehasonlítások collect_set kifejezéssel
• [SPARK-49974] [16.x][SC-179071][SQL] A resolveRelations(...) áthelyezése az Analyzer.scala-ból
• [SPARK-47259] [SC-176437][SQL] Nevek hozzárendelése az intervallumhibák hibafeltételeihez
• [SPARK-47430] [SC-173679][SQL] Csoport átdolgozása térképtípus szerint a kötési referencia kivételének kijavítása érdekében
• [SPARK-49067] [SC-172616][SQL] Az utf-8 literál áthelyezése az UrlCodec osztály belső metódusaiba
• [SPARK-49955] [SC-178989][SQL] null érték nem jelent sérült fájlt jSON-sztring RDD elemzésekor
• [SPARK-49393] [SC-175212][SQL] Alapértelmezés szerint meghiúsul az elavult katalógus beépülő modul API-jában
• [SPARK-49952] [SC-178985][SQL] Helyes hibafeltétel hozzárendelése a _LEGACY_ERROR_TEMP_1142 részére.
• [SPARK-49405] [SC-175224][SQL] A JsonOptions karakterkészleteinek korlátozása
• [SPARK-49892] [SC-178975][SQL] Rendeljen hozzá megfelelő hibaosztályt _LEGACY_ERROR_TEMP_1136
• [SPARK-49904] [SC-178973][SQL] A megfelelő hibafeltétel hozzárendelése a(z) _LEGACY_ERROR_TEMP_2140 számára.
• [SPARK-47257] [SC-174244][SQL] Nevek hozzárendelése hibaosztályokhoz _LEGACY_ERROR_TEMP_105[3-4] és _LEGACY_ERROR_TEMP_1331
• [SPARK-49915] [SC-178869][SQL] Nullák és egyesek kezelése a ReorderAssociativeOperatorban
• [SPARK-49891] [SC-178970][SQL] A megfelelő hibafeltétel hozzárendelése a _LEGACY_ERROR_TEMP_2271 számára
• [SPARK-49918] [SC-178748][CORE] Írásvédett hozzáférés használata a SparkContext adott esetben történő konföderációhoz
• [SPARK-49666] [SC-177891][SQL] Funkciójelölő hozzáadása a vágási rendezési funkcióhoz
• [SPARK-48885] [SC-171050][SQL] A RuntimeReplaceable felülbírálás néhány alosztályának létrehozása lusta val értékre
• [SPARK-49932] [SC-178931][CORE] A memóriavesztés elkerülése érdekében tryWithResource kiadási JsonUtils#toJsonString erőforrásokat használjon
• [SPARK-49949] [SC-178978][PS] Kerülje a szükségtelen elemzési feladatokat a attach_sequence_column
• [SPARK-49924] [SC-178935][SQL] containsNull megőrzése ArrayCompact csere után
• [SPARK-49121] [SC-174787][SQL] Sql-függvények from_protobuf és to_protobuf támogatása
• [SPARK-47496] [SC-160529][SQL] Java SPI-támogatás dinamikus JDBC-dialektus-regisztrációhoz
• [SPARK-49359] [SC-174895][SQL] Lehetővé teszi a StagedTableCatalog implementációk számára, hogy visszaálljanak nem atomi írásra
• [SPARK-49895] [SC-178543][SQL][ES-1270338] Javítsa a hibát SELECT záradék záró vesszője esetén
• [SPARK-47945] [SC-163457][SQL] MsSQLServer: Dokumentálja a Spark SQL adattípusok hozzárendelését a Microsoft SQL Serverből, és adja hozzá a teszteket.
• [SPARK-46037] [SC-175495][SQL] A Shuffled Hash Join build helyességi javítása, amely kódgenerálás nélkül maradt
• [SPARK-47813] [SC-162615][SQL] A getArrayDimension helyére az updateExtraColumnMeta kerül
• [SPARK-49542] [SC-178765][SQL] Partícióátalakítás kivétele kiértékeli a hibát
• [SPARK-47172] [SC-169537][CORE] Támogatás hozzáadása AES-GCM-hez az RPC-titkosításhoz
• [SPARK-47666] [SC-161476][SQL] Az NPE javítása a mysql-bittömb LongType-ként való olvasásakor
• [SPARK-48947] [SC-174239][SQL] A charset.forName fájlban hiányzó gyorsítótár csökkentéséhez használjon kisbetűs karakterkészletnevet
• [SPARK-49909] [SC-178552][SQL] Néhány kifejezés szép nevének javítása
• [SPARK-47647] [SC-161377][SQL] A MySQL-adatforrást képessé teszi a bit(n>1) BinaryType-ként történő olvasására, hasonlóan a PostgreSQL-hez.
• [SPARK-46622] [SC-153004][CORE] Metódus felülbírálat toStringo.a.s.network.shuffledb.StoreVersion
• [SPARK-48961] [SC-171910][PYTHON] A PySparkException paraméterelnevezésének összhangban kell lennie a JVM-sel
• [SPARK-49889] [SC-178474][PYTHON] Argumentum hozzáadása trim függvényekheztrim/ltrim/rtrim
• [SPARK-47537] [SC-160747][SQL] Hibaadattípus-leképezés javítása a MySQL-összekötőn/J-n
• [SPARK-47628] [SC-161257][SQL] Kijavítottuk a Postgres bittömb "Nem adható át logikai értékre" problémáját
• [SPARK-49843] [SC-178084][ES-1268164][SQL] A karakter/varchar oszlopok módosítási megjegyzésének javítása
• [SPARK-49549] [SC-178764][SQL] Rendeljen nevet a _LEGACY_ERROR_TEMP_3055 hibafeltételekhez, 3146
• [SPARK-49791] [SC-177730][SQL] Bővíthetőbbé teheti a DelegatingCatalogExtensiont
• [SPARK-49559] [SC-178551][SQL] Sql-cső szintaxisának hozzáadása a beállítási műveletekhez
• [SPARK-49906] [SC-178536][SQL] CONFLICTING_DIRECTORY_STRUCTURES hiba bevezetése és használata a PartitioningUtils esetében
• [SPARK-49877] [SC-178392][SQL] A classifyException függvény szignatúrájának megváltoztatása: isRuntime argumentum hozzáadása
• [SPARK-47501] [SC-160532][SQL] Adjunk hozzá convertDateToDate-t a meglévő convertTimestampToTimestamp-hoz a JdbcDialect számára.
• [SPARK-49044] [SC-175746][SQL] A ValidateExternalType hiba esetén a leszármazottat adja vissza
• [SPARK-47462] [SC-160460][SQL] Más aláíratlan numerikus típusok leképezéseinek igazítása a TINYINT-hez a MySQLDialectben
• [SPARK-47435] [SC-160129][SQL] A Spark-45561 által okozott MySQL UNSIGNED TINYINT túlcsordulási problémájának javítása
• [SPARK-49398] [SC-176377][SQL] Javítsa a CACHE TABLE és CREATE VIEW lekérdezésében szereplő paraméterek hibáit
• [SPARK-47263] [SC-177012][SQL] Nevezze el a régi feltételeket _LEGACY_ERROR_TEMP_13[44-46]
• [SPARK-49605] [SC-176605][SQL] Javítsa ki a ascendingOrderDataTypeMismatchSortArray esetén megjelenő promptot.
• [SPARK-49806] [SC-178304][SQL][CONNECT] A redundáns blank space eltávolítása show és Scala ügyfelek Connect után
• [SPARK-47258] [SC-175032][SQL] Nevek hozzárendelése hibaosztályokhoz _LEGACY_ERROR_TEMP_127[0-5]
• [SPARK-49564] [SC-178461][SQL] Sql-cső szintaxisának hozzáadása a JOIN operátorhoz
• [SPARK-49836] [SC-178339][SQL][SS] A lekérdezés javítása, ami akkor válhat hibássá, ha az ablakot megadják az ablak/session_window fn-nek.
• [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] A Postgres és a MySQL SQL időbélyegeinek leképezése
• [SPARK-49776] [SC-177818][PYTHON][CONNECT] A kördiagramok támogatása
• [SPARK-49824] [SC-178251][SS][CONNECT] A SparkConnectStreamingQueryCache naplózásának javítása
• [SPARK-49894] [SC-178460][PYTHON][CONNECT] Az oszlopmezőműveletek sztringképének finomítása
• [SPARK-49764] [SC-177491][PYTHON][CONNECT] Támogatási területdiagramok
• [SPARK-49694] [SC-177376][PYTHON][CONNECT] Pontdiagramok támogatása
• [SPARK-49744] [SC-178363][SS][PYTHON] TTL-támogatás implementálása a ListState-hez a TransformWithStateInPandasban
• [SPARK-49879] [SC-178334][CORE] Helyezze át a TransportCipherUtil egy külön fájlba a Java fordítási figyelmeztetéseinek kiküszöbölése érdekében
• [SPARK-49866] [SC-178353][SQL] A partícióoszlopokkal rendelkező táblázat leírására vonatkozó hibaüzenet javítása
• [SPARK-49867] [SC-178302][ES-1260570][SQL] Javítsa a hibaüzenetet, ha az index túllépi a határokat a GetColumnByOrdinal hívásakor
• [SPARK-49607] [SC-177373][PYTHON] A mintavételezési módszer frissítése mintavételezett alapú diagramokhoz
• [SPARK-49626] [SC-177276][PYTHON][CONNECT] Vízszintes és függőleges sávdiagramok támogatása
• [SPARK-49531] [SC-177770][PYTHON][CONNECT] Vonaldiagram támogatása a Plotly háttérrendszerrel
• [SPARK-49444] [SC-177692][ES-1203248][SQL] Módosította az UnivocityParsert, hogy a tömbindexOutOfBounds által okozott futtatókörnyezeti kivételeket több felhasználóközpontú üzenettel dobja ki
• [SPARK-49870] [SC-178262][PYTHON] Python 3.13-támogatás hozzáadása a Klasszikus Sparkban
• [SPARK-49560] [SC-178121][SQL] Sql-cső szintaxisának hozzáadása a TABLESAMPLE operátorhoz
• [SPARK-49864] [SC-178305][SQL] A BINARY_ARITHMETIC_OVERFLOW üzenetének javítása
• [SPARK-48780] [SC-170274][SQL] Hibák elhárítása a NamedParametersSupport generic fájlban a függvények és eljárások kezeléséhez
• [SPARK-49358] [SC-178158][SQL] Módkifejezés csoportosított sztringekkel rendelkező térképtípusokhoz
• [SPARK-47341] [SC-178157][SQL] A RuntimeConfig#get pontatlan dokumentációjának javítása
• [SPARK-48357] [SC-178153][SQL] LOOP utasítás támogatása
• [SPARK-49845] [SC-178059][CORE] A REST API-ban appArgs és environmentVariables választhatóvá tétele
• [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable jelzi, hogy írásra van-e
• [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Ügyféloldali figyelő támogatása a Scalához
• [SPARK-48700] [SC-177978][SQL] Módkifejezés összetett típusokhoz (minden rendezés)
• [SPARK-48196] [SC-177899][SQL] A QueryExecution lazy val-tervek lazyTry-vé alakítása
• [SPARK-49749] [16.x][SC-177877][CORE] A naplózási szint hibakeresési módra állítása a BlockManagerInfo-ban
• [SPARK-49561] [SC-177897][SQL] Sql-cső szintaxisának hozzáadása a PIVOT és UNPIVOT operátorokhoz
• [SPARK-49823] [SC-177885][SS] Kerülje az öblítést a rocksdb közeli útvonal leállítása során
• [SPARK-49820] [SC-177855] [PYTHON] raise IOError változtatása raise OSError
• [SPARK-49653] [SC-177266][SQL] Egyetlen illesztés korrelált skaláris alhálózatokhoz
• [SPARK-49552] [SC-177477][PYTHON] DataFrame API-támogatás hozzáadása új "randstr" és "egységes" SQL-függvényekhez
• [SPARK-48303] [16.x][SC-166251][CORE] LogKeys átrendezése
• [SPARK-49656] [16x][Backport][SS] Támogatás hozzáadása az állapotváltozókhoz értékállapot-gyűjteménytípusokkal és olvasási változáscsatorna-beállításokkal
• [SPARK-48112] [SC-165129][CONNECT] Tegye elérhetővé a munkamenetet a SparkConnectPlanner-ben a beépülő modulok számára
• [SPARK-48126] [16.x][SC-165309][Core] A spark.log.structuredLogging.enabled hatékonysá tétele
• [SPARK-49505] [SC-176873][SQL] Új "randstr" és "uniform" SQL-függvények létrehozása véletlenszerű sztringek vagy számok tartományon belüli létrehozásához
• [SPARK-49463] [SC-177474] ListState támogatása a TransformWithStateInPandas számára
• [SPARK-48131] [SC-165007][Core] Unify MDC key mdc.taskName és task_name
• [SPARK-49557] [SC-177227][SQL] Sql-cső szintaxisának hozzáadása az WHERE operátorhoz
• [SPARK-49323] [16.x][SC-174689][CONNECT] A MockObserver áthelyezése a Spark Connect Server tesztmappájából a kiszolgáló főmappájába
• [SPARK-49745] [SC-177501][SS] Módosítás hozzáadása a regisztrált időzítők olvasásához állapotadat-forráson keresztül
• [SPARK-49772] [16.x][SC-177478][SC-177214][SS] ColumnFamilyOptions eltávolítása és konfigurációk hozzáadása közvetlenül a dbOptionshoz a RocksDB-ben

Databricks ODBC/JDBC illesztőprogram támogatása

A Databricks támogatja az elmúlt 2 évben kiadott ODBC/JDBC-illesztőprogramokat. Töltse le a nemrég kiadott illesztőprogramokat, és frissítsen (töltse le az ODBC, töltse le a JDBC).

Lásd Databricks Runtime 16.1 karbantartási frissítések.

Rendszerkörnyezet

• operációs rendszer: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.2.1

Telepített Python-kódtárak

telepített R-könyvtárak

Az R-kódtárak a 2024.08.04-iPosit Package Manager CRAN-pillanatképéből vannak telepítve.

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)