Databricks Runtime 13.2 (EoS)

Az alábbi kibocsátási megjegyzések az Apache Spark 3.4.0-s verziójával működő Databricks Runtime 13.2-ről nyújtanak információkat.

A Databricks 2023 júliusában adta ki ezt a verziót.

Új funkciók és fejlesztések

• Changelog checkpointing for RocksDB state store
• Fokozott megbízhatóság a Unity Catalog sekély klónozású VACUUM esetében.
• Python UDF-ek támogatása az SQL-ben
• A Delta Lake UniForm for Iceberg nyilvános előzetes verzióban érhető el
• A Delta Lake folyékony fürtözés nyilvános előzetes verzióban érhető el
• Archiválási támogatás az Azure Databricksben
• IDENTIFIER feltétel támogatás
• A Unity Catalog támogatása Python és Pandas felhasználó által definiált függvényekhez (UDF-ek)
• Sémák megosztása a Delta Sharing használatával
• Hibajavítások

Changelog checkpointing for RocksDB state store

Az állapotalapú strukturált streamelési számítási feladatok esetében engedélyezheti a változásnapló-ellenőrzőpont-ellenőrzést, hogy csökkentse az ellenőrzőpontok időtartamát és a végpontok közötti késést. A Databricks azt javasolja, hogy engedélyezze a változásnapló-ellenőrzőpontozást az összes strukturált streamelési állapotalapú lekérdezéshez. Lásd: Változásnapló-ellenőrzőpont-ellenőrzés engedélyezése.

Növelt megbízhatóság a VACUUM számára a Unity Catalogban található sekély klónnal.

Ha a Unity Catalog által felügyelt táblákat használ egy sekély klónozási művelet forrásához és céljához, a Unity Catalog kezeli a mögöttes adatfájlokat a klónozási művelet forrásának és céljának megbízhatóságának javítása érdekében. A sekély klón forrásán való futtatás VACUUM nem szakítja meg a klónozott táblát. Lásd: Vacuum és Unity Catalog sekély klónok.

Python UDF-ek támogatása az SQL-ben

Mostantól a Python használatával deklarálhat felhasználó által definiált függvényeket a Unity Catalog SQL-utasításaiban CREATE FUNCTION . Lásd a felhasználó által definiált függvényeket (UDF-eket) a Unity Catalogban.

A Delta Lake UniForm for Iceberg nyilvános előzetes verzióban érhető el

A Delta Lake Universal Format (UniForm) lehetővé teszi Delta-táblák olvasását Iceberg-ügyfelekkel. Lásd: Delta-táblák olvasása Iceberg-ügyfelekkel.

A Delta Lake folyékony fürtözés nyilvános előzetes verzióban érhető el

A Delta Lake folyékony fürtözés felváltja a táblaparticionálást, és ZORDER egyszerűsíti az adatelrendezési döntéseket és optimalizálja a lekérdezési teljesítményt. Lásd: Folyékony fürtözés használata Delta-táblákhoz.

Archiválási támogatás az Azure Databricksben

Az Azure Databricks archiválási támogatása olyan képességek gyűjteménye, amelyek lehetővé teszik a felhőalapú életciklus-szabályzatok használatát a Delta-táblákat tartalmazó felhőobjektum-tárolóban a fájlok archiválási tárolási szintekre való áthelyezéséhez. Lásd: Archival support in Azure Databricks.

IDENTIFIER cikkely támogatása

Segítségével IDENTIFIER(:mytable) biztonságosan paraméterezhetők a táblák, oszlopok, függvények és sémanevek számos SQL-utasításban.

A Unity Catalog támogatása Python és Pandas felhasználó által definiált függvényekhez (UDF-ek)

A Databricks Runtime 13.2-ben és újabb verziókban a Pythonban írt, felhasználó által definiált függvények (UDF-ek) támogatottak olyan fürtökön, amelyek megosztott hozzáférési módot használnak egy Unity Catalog-kompatibilis munkaterületen. Ide tartoznak a Python és a Pandas UDF-ek. A Python UDF-ekkel kapcsolatos részletekért lásd: Felhasználó által definiált skaláris függvények – Python.

Sémák megosztása a Delta Sharing használatával

A Databricks Runtime 13.2 lehetővé teszi ALTER SHARE <share-name> ADD SCHEMA <schema-name> egy teljes séma megosztását a Delta Sharing használatával, így a címzett a megosztás pillanatában hozzáférhet a séma összes táblájához és nézetéhez, valamint a sémához a jövőben hozzáadott táblákhoz és nézetekhez. Lásd: Sémák hozzáadása a megosztási és ALTER SHARE.

Hibajavítások

• Kijavítottunk egy hibát a JSON-olvasónál, ahol engedélyezve volt a rekordok elemzése PERMISSIVE módban failOnUnknownFieldsmode . A rekordok most már módban vannak elvetve DROPMALFORMEDparser , vagy ha ezek közül bármelyik beállítás be van állítva, a rendszer kiírja a badRecordsPathrekordokat a módban. FAILFAST hibát jelez, ha egy oszloptípus nem egyezik.

Könyvtárfrissítések

• Frissített Python-kódtárak:
  • nodeenv 1.7.0 és 1.8.0 között
• Frissített R-kódtárak:
• Frissített Java-kódtárak:
  • io.delta.delta-sharing-spark_2.12 0.6.7 és 0.7.0 között

Apache Spark

A Databricks Runtime 13.2 tartalmazza az Apache Spark 3.4.0-t. Ez a kiadás tartalmazza a Databricks Runtime 13.1 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

• [SPARK-42750] [SC-133452][DBRRM-273] Támogatás beszúrása név szerint utasítás szerint
• [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach támogatása
• [SPARK-43663] [SC-134135][CONNECT][PS] Engedélyez SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Javítás (NullOps|NumOps).(eq|ne) a Spark Connecthez.
• [SPARK-44021] [SC-134109][SQL] Spark.sql.files.maxPartitionNum hozzáadása
• [SPARK-43910] [SC-132936][SQL] Az azonosítók hibáinak csíkozása __auto_generated_subquery_name
• [SPARK-43976] [SC-133375][CORE] Annak az esetnek a kezelése, amikor a modifiedConfigs nem létezik az eseménynaplókban
• [SPARK-32559] [SC-133992][SQL] A vágási logika javítása nem kezelte megfelelően az ASCII vezérlőkarakterek használatát
• [SPARK-43421] [SC-132930][SS] Changelog-alapú ellenőrzőpont-készítés implementálása a RocksDB State Store-szolgáltatóhoz
• [SPARK-43594] [SC-133851][SQL] LocalDateTime hozzáadása az anyToMicroshoz
• [SPARK-43884] [SC-133867] Paramjelölők a DDL-ben
• [SPARK-43398] [SC-133894][CORE] A végrehajtó időtúllépésének maximális tétlenségi és rdd-időtúllépési értéknek kell lennie
• [SPARK-43610] [SC-133892][CONNECT][PS] Engedélyezés InternalFrame.attach_distributed_column a Spark Connectben.
• [SPARK-43971] [SC-133826][CONNECT][PYTHON] A Python createDataFrame-jének támogatása streamelési módon
• [SPARK-44006] [SC-133652][CONNECT][PYTHON] Gyorsítótár-összetevők támogatása
• [SPARK-43790] [SC-133468][PYTHON][CONNECT][ML] API hozzáadása copyFromLocalToFs
• [SPARK-43921] [SC-133461][PROTOBUF] Protobuf leírófájlok létrehozása a létrehozáskor
• [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] A fájltámogatás implementálása a SparkSession.addArtifacts szolgáltatásban
• [SPARK-44010] [SC-133744][PYTHON][SS][AL] Python StreamingQueryProgress sorokPerSecond típusú javítás
• [SPARK-43768] [SC-132398][PYTHON][CONNECT] Python-függőségkezelés támogatása a Python Spark Connectben
• [SPARK-43979] [13.X] "[SC-133456][SQL] A CollectedMetricst ugyanúgy kell kezelni az öncsatlakozáshoz"
• [SPARK-42290] [SC-133696][SQL] Az OOM-hiba javítása nem jelenthető, ha az AQE be van kapcsolva
• [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] SQL matematikai függvények hozzáadása a Scalához és a Pythonhoz
• [SPARK-43747] [SC-132047][PYTHON][CONNECT] A pyfile-támogatás implementálása a SparkSession.addArtifactsban
• [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Engedélyezés TimedeltaOps.(sub|rsub) a Spark Connect használatával
• [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] Paritásteszt engedélyezése: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][SQL] A feloldatlan attribútum javasolt jelöltjeinek javítása
• [SPARK-43901] [SC-133454][SQL] Avro to Support custom decimal type backed by Long
• [SPARK-43267] [SC-133024][JDBC] Ismeretlen, felhasználó által definiált oszlop postgres kezelése karakterláncként a tömbben
• [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Xpath_* függvények hozzáadása a Scalához és a Pythonhoz
• [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Percentilis hozzáadása a Scalához és a Python API-hoz
• [SPARK-43717] [SC-133455][CONNECT] A Scala ügyfél-csökkentési agg. nem tudja kezelni a null partíciókat a scala primitív bemeneteihez
• [SPARK-43984] [SC-133469][SQL][PROTOBUF] Váltás a használatra foreach , ha map nem hoz létre eredményt
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] SparkSession.addArtifact(ok) implementálása Python-ügyfélben
• [SPARK-44002] [SC-133606][CONNECT] Az összetevő állapotkezelőjének javítása
• [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Lineáris regressziós aggregátumfüggvények hozzáadása a Scalához és a Pythonhoz
• [SPARK-43920] [SC-133614][SQL][CONNECT] SQL/API-modul létrehozása
• [SPARK-43979] [SC-133456][SQL] A CollectedMetricst ugyanúgy kell kezelni az öncsatlakozáshoz
• [SPARK-43977] [SC-133373][CONNECT] A váratlan ellenőrzés eredményének javítása dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: enumerálás ints hibaként
• [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Unix_* függvények hozzáadása a Scalához és a Pythonhoz
• [SPARK-43807] [SC-132545][SQL] _LEGACY_ERROR_TEMP_1269 migrálása PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][SQL] A hiba kijavítása nem jeleníti meg az oszlop sql-jét a Percentile[Cont|Lemez]
• [SPARK-42626] [SC-133248][CONNECT] Pusztító iterátor hozzáadása a SparkResulthoz
• [SPARK-43333] [SC-132898][SQL] Az Avro a mezőnév stabil és típusával rendelkező SQL-vé alakíthatja az egyesítő típust
• [SPARK-43953] [SC-133134][CONNECT] Eltávolít pass
• [SPARK-43970] [SC-133403][PYTHON][CONNECT] Nem támogatott adatkeret-metódusok elrejtése az automatikus kiegészítésből
• [SPARK-43973] [SC-133272][SS][Felhasználói felület] A strukturált streamelési felhasználói felületnek megfelelően kell megjelenítenie a sikertelen lekérdezéseket
• [SPARK-42577] [SC-125445][CORE] A szakaszok maximális próbálkozási korlátozásának hozzáadása a lehetséges végtelen újrapróbálkozások elkerülése érdekében
• [SPARK-43841] [SC-132699][SQL] Jelölt attribútumok kezelése előtag nélkül a következőben: StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][CORE][Nyomon követés]A konfiguráció spark.rdd.cache.visibilityTracking.enabled támogatási verziójának módosítása a 3.5.0-ra
• [SPARK-37942] [SC-130983][CORE][SQL] Hibaosztályok migrálása
• [SPARK-43898] [SC-132926][CORE] Automatikus regisztráció immutable.ArraySeq$ofRef a KryoSerializer Scala 2.13-hoz
• [SPARK-43775] [SC-132891][SQL] DataSource V2: A frissítések törlésének és beszúrásának engedélyezése
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] UserDefinedType támogatása a createDataFrame-ben a pandas DataFrame-ből és a toPandasból
• [SPARK-43418] [SC-132753][SC-130685][CONNECT] SparkSession.Builder.getOrCreate hozzáadása
• [SPARK-43549] [SC-132383][SQL] Konvertálja _LEGACY_ERROR_TEMP_0036 INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE] Az újrapróbálkozási feladat rdd cache-sel történő újrapróbálkozási feladat esetén az akkumulátorok számának javítása
• [SPARK-43892] [SC-133006][PYTHON] Automatikus kiegészítési támogatás hozzáadása a következőhöz df[|] : pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Választható minta hozzáadása a Catalog.listDatabaseshez
• [SPARK-43205] [SC-132623] IDENTIFIER záradék
• [SPARK-43545] [SC-132378][SQL][PYTHON] Beágyazott időbélyeg típus támogatása
• [SPARK-43949] [SC-133048][PYTHON] Cloudpickle frissítése a 2.2.1-re
• [SPARK-43760] [SC-132809][SQL] A skaláris részkérdezés eredményeinek érvénytelensége
• [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Javítás TimedeltaOps a Spark Connecthez
• [SPARK-43895] [SC-132897][CONNECT][GO] A go csomag elérési útjának előkészítése
• [SPARK-43894] [SC-132892][PYTHON] Hiba javítása a df.cache() fájlban
• [SPARK-43509] [SC-131625][CONNECT] Több Spark Connect-munkamenet létrehozásának támogatása
• [SPARK-43882] [SC-132888][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Javítás NumOps a Spark Connecthez
• [SPARK-43604] [SC-132165][SQL] Újrabontás INVALID_SQL_SYNTAX a hibaszöveg forráskódba való beágyazásának elkerüléséhez
• [SPARK-43859] [SC-132883][SQL] Felülbírálás toString in LateralColumnAliasReference
• [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Választható minta hozzáadása a Catalog.listCatalogshoz
• [SPARK-43353] "[SC-132734][PYTHON] A fennmaradó munkamenethibák migrálása hibaosztályba"
• [SPARK-43375] [SC-130309][CONNECT] A INVALID_CONNECT_URL hibaüzeneteinek javítása
• [SPARK-43863] [SC-132721][CONNECT] Redundáns toSeq eltávolítása a Scala 2.13-ról SparkConnectPlanner
• [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Javítás DatetimeOps a Spark Connecthez
• [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Javítás BinaryOps a Spark Connecthez
• [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Javítás NullOps a Spark Connecthez
• [SPARK-43782] [SC-132885][CORE] Naplószintű konfiguráció támogatása statikus Spark-konfigurálással
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][SQL] AES IV és AAD-támogatás hozzáadása a ExpressionImplUtilshez
• [SPARK-43795] [SC-132532][CONNECT] A SparkConnectPlannerhez nem használt paraméterek eltávolítása
• [SPARK-42317] [SC-129194][SQL] Név hozzárendelése _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL] Név hozzárendelése a _LEGACY_ERROR_TEMP_0017 hibaosztályhoz
• [SPARK-43834] [SC-132679][SQL] Hibaosztályok használata a következő fordítási hibákban: ResolveDefaultColumns
• [SPARK-43749] [SC-132423][SPARK-43750][SQL] Nevek hozzárendelése a _LEGACY_ERROR_TEMP_240 hibaosztályhoz[4-5]
• [SPARK-43576] [SC-132533][CORE] Nem használt deklarációk eltávolítása a Core-modulból
• [SPARK-43314] [SC-129970][CONNECT][PYTHON] Spark Connect-ügyfél hibáinak migrálása hibaosztályba
• [SPARK-43799] [SC-132715][PYTHON] Leíró bináris beállítás hozzáadása a Pyspark Protobuf API-hoz
• [SPARK-43837] [SC-132678][SQL] Név hozzárendelése a _LEGACY_ERROR_TEMP_103[1-2] hibaosztályhoz
• [SPARK-43862] [SC-132750][SQL] Név hozzárendelése a LEGACY_ERROR_TEMP hibaosztályhoz (1254 és 1315)
• [SPARK-43886] [SC-132808][PYTHON] Általános elemek elfogadása a Pandas UDF gépelési tippjeiként
• [SPARK-43530] [SC-132653][PROTOBUF] Leírófájl írása csak egyszer
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Nevek hozzárendelése a _LEGACY_ERROR_TEMP_241[1-7] hibaosztályhoz
• [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Javítás CategoricalOps a Spark Connecthez
• [SPARK-39979] [SC-132685][SQL] Lehetőség hozzáadása nagy változószélesség-vektorok használatára nyíl UDF-műveletekhez
• [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Javítás StringOps a Spark Connecthez
• [SPARK-43353] [SC-132734][PYTHON] Fennmaradó munkamenethibák migrálása hibaosztályba
• [SPARK-43815] [SC-132781][SQL] Alias hozzáadása to_varchar a következőhöz: to_char
• [SPARK-43543] [13.x][SC-131839][PYTHON] Beágyazott MapType-viselkedés javítása a Pandas UDF-ben
• [SPARK-43361] [SC-131789][PROTOBUF] az enumerálással kapcsolatos hibák dokumentációjának frissítése
• [SPARK-43740] [SC-132035][PYTHON][CONNECT] Nem támogatott session metódusok elrejtése az automatikus kiegészítésből
• [SPARK-43022] [SC-131681][CONNECT] Protobuf-függvények támogatása Scala-ügyfélhez
• [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] Migrálás NotImplementedError a PySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL] A tail-recursion engedélyezése, ahol csak lehetséges
• [SPARK-42421] [SC-132695][CORE] A helyi ellenőrzőponton használt dinamikus foglalás kapcsolójának lekérése a utils használatával
• [SPARK-43590] [SC-132012][CONNECT] Mima-ellenőrzés connect-jvm-client-mima-check támogatása a modullal protobuf
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS] Fennmaradó hibák migrálása a DataFrame-ből (Olvasó|Író) hibaosztályba
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: a számmal rendelkező serde engedélyezése intsként
• [SPARK-43789] [SC-132397][R] Alapértelmezés szerint a "spark.sql.execution.arrow.maxRecordsPerBatch" parancsot használja az R createDataFrame-ben a nyíllal
• [SPARK-43596] [SC-126994][SQL] IsNull-predikátum kezelése a rewriteDomainJoins fájlban
• [SPARK-42249] [SC-122565][SQL] Html-hivatkozás finomítása a hibaüzenetekben szereplő dokumentációhoz.
• [SPARK-43128] [SC-131628][CONNECT][SS] A natív Scala Api-val konzisztenssé tétele recentProgress és lastProgress visszatérése StreamingQueryProgress
• [SPARK-43387] [SC-130448][SQL] Adjon meg egy olvasható hibakódot _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [Felhasználói felület] Hiba kijavítása a ExecutorPeakMetricsDistributions API-válaszba való szerializálása során
• [SPARK-42958] [SC-131475][CONNECT] Újrabontás connect-jvm-client-mima-check a mima-ellenőrzés támogatásához az avro-modullal
• [SPARK-43591] [SC-131977][SQL] Név hozzárendelése a _LEGACY_ERROR_TEMP_0013 hibaosztályhoz
• [SPARK-38464] [SC-132211][CORE] Hibaosztályok használata a org.apache.spark.io
• [SPARK-43759] [SC-132189][SQL][PYTHON] TimestampNTZType felfedés a pyspark.sql.types-ban
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Nevek hozzárendelése a _LEGACY_ERROR_TEMP_240[1-3] hibaosztályhoz
• [SPARK-43719] [SC-132016][WEBUI] Leíró missing row.excludedInStages mező
• [SPARK-42956] [SC-127257][CONNECT] Avro-függvények támogatása Scala-ügyfélhez
• [SPARK-43487] [SC-131975][SQL] Beágyazott CTE-hibaüzenet javítása
• [SPARK-43265] [SC-129653] Hiba keretrendszer áthelyezése egy közös utils modulba
• [SPARK-40912] [SC-131547][CORE]A KryoDeserializationStream kivételeinek többletterhelése
• [SPARK-43583] [SC-131976][CORE] az MergedBlockedMetaReqHandler lekérése a meghatalmazotttól a SaslRpcHandler-példány helyett
• [SPARK-42996] [SC-131997][CONNECT][PS][ML] Hozzon létre és rendeljen hozzá megfelelő JIRA-jegyeket az összes sikertelen teszthez.
• [SPARK-38469] [SC-131425][CORE] Hibaosztály használata a org.apache.spark.network webhelyen
• [SPARK-43718] [SC-132014][SQL] Null értékű helyes beállítás a USING illesztésekben lévő kulcsokhoz
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop üres oszlopot kell elfogadnia
• [SPARK-43743] [SC-132038][SQL] HIVE-12188 port (A doA-k nem működnek megfelelően a nem kerberos által védett HS2-ben)
• [SPARK-43598] [SC-131929][SQL] Név hozzárendelése a _LEGACY_ERROR_TEMP_2400 hibaosztályhoz
• [SPARK-43138] [SC-131031][CORE] A ClassNotFoundException javítása a migrálás során
• [SPARK-43360] [SC-131526][SS][CONNECT] Scala-ügyfél StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE] Hibaosztályok használata a org.apache.spark.memory fájlban
• [SPARK-43345] [SC-131790][SPARK-43346][SQL] A hibaosztályok átnevezése LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][SQL] Subexpression elimination support shortcut expression
• [SPARK-38462] [SC-130449][CORE] Hibaosztály hozzáadása INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][SQL] Javítás cannotBroadcastTableOverMaxTableBytesError a használathoz bytesToString
• [SPARK-43539] [SC-131830][SQL] Név hozzárendelése a _LEGACY_ERROR_TEMP_0003 hibaosztályhoz
• [SPARK-43157] [SC-131688][SQL] Klónozza az InMemoryRelation gyorsítótárazott tervét, hogy megakadályozza, hogy a klónozott terv ugyanarra az objektumra hivatkozzon
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] INTERNAL_ERROR kiterjesztése kategóriákkal és hibaosztály hozzáadása INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][SQL] Az egyidejű író javítása nem frissíti a fájlmetrikákat
• [SPARK-43383] [SC-130660][SQL] Statisztika hozzáadása rowCount a LocalRelation szolgáltatáshoz
• [SPARK-43574] [SC-131739][PYTHON][SQL] Python-végrehajthatóság beállítása UDF-hez és pandas-függvény API-khoz futtatókörnyezetben a feldolgozókban
• [SPARK-43569] [SC-131694][SQL] A HADOOP-14067 megkerülő megoldásának eltávolítása
• [SPARK-43183] [SC-128938][SS][13.x] Az "onQueryIdle" új visszahívásának bevezetése a StreamingQueryListenerbe
• [SPARK-43528] [SC-131531][SQL][PYTHON] Duplikált mezőnevek támogatása a createDataFrame-ben a pandas DataFrame használatával
• [SPARK-43548] [SC-131686][SS] A HADOOP-16255 megkerülő megoldásának eltávolítása
• [SPARK-43494] [SC-131272][CORE] Közvetlen hívás replicate() tükrözés HdfsDataOutputStreamBuilder helyett SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][CORE] Hiányzó hadoopProperties és metricsProperties kezelése
• [SPARK-42899] [SC-126456][SQL] A DataFrame.to(séma) kijavítása annak az esetnek a kezeléséhez, amelyben nem null értékű beágyazott mező található egy null értékű mezőben
• [SPARK-43302] [SC-129747][SQL] Python UDAF létrehozása AggregateFunction-ként
• [SPARK-43223] [SC-131270][Csatlakozás] Beírt agg, csökkentési függvények, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS] Bontsa ki a QueryTerminatedEvent elemet, hogy kivétel esetén tartalmazzon hibaosztályt
• [SPARK-43359] [SC-131463][SQL] A Hive-táblából való törlésnek "UNSUPPORTED_FEATURE" kell lennie. TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Visszaváltás URL-kódolt sztringekre
• [SPARK-43492] [SC-131227][SQL] 3-args függvény aliasainak DATE_ADD és DATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON] Támogatásstruktúratípus a createDataFrame-ben a pandas DataFrame-ből
• [SPARK-43386] [SC-131110][SQL] Javasolt oszlop/attribútumok listájának javítása a hibaosztályban UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-43443] [SC-131332][SQL] Teljesítménymutató hozzáadása időbélyeg típusú következtetéshez érvénytelen érték használata esetén
• [SPARK-43518] [SC-131420][SQL] Konvertálás _LEGACY_ERROR_TEMP_2029 INTERNAL_ERROR
• [SPARK-42604] [SC-130648][CONNECT] Functions.typedlit implementálása
• [SPARK-42323] [ES-669513] "[SC-123479][SQL] Név hozzárendelése a következőhöz _LEGACY_ERROR_TEMP_2332: "
• [SPARK-43357] [SC-130649][SQL] Dátumtípus szűrésének dátuma
• [SPARK-43410] [SC-130526][SQL] A csomagolt skipValues vektorizált ciklusának javítása
• [SPARK-43441] [SC-130995][CORE] makeDotNode nem hiúsul meg, ha a DeterministicLevel hiányzik
• [SPARK-43324] [SC-130455][SQL] Delta-alapú források UPDATE parancsainak kezelése
• [SPARK-43272] [SC-131168][CORE] Közvetlen hívás createFile tükröződés helyett
• [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Spark Connect-munkamenet hibáinak migrálása hibaosztályba
• [SPARK-43405] [SC-130987][SQL] Használhatatlan getRowFormatSQLeltávolítása , inputRowFormatSQLoutputRowFormatSQLmetódus
• [SPARK-43447] [SC-131017][R] Támogatás R 4.3.0
• [SPARK-43425] [SC-130981][SQL] Hozzáadás TimestampNTZType a ColumnarBatchRow
• [SPARK-41532] [SC-130523][CONNECT][ÜGYFÉL] Több adatkeretet tartalmazó műveletek ellenőrzése
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Spark Connect strukturált streamelési hibák migrálása hibaosztályba
• [SPARK-42992] [13.x][SC-129465][PYTHON] A PySparkRuntimeError bemutatása
• [SPARK-43422] [SC-130982][SQL] Címkék megőrzése a LogicalRelation szolgáltatásban metaadat-kimenettel
• [SPARK-43390] [SC-130646][SQL] A DSv2 lehetővé teszi, hogy a CTAS/RTAS fenntartsa a séma nullságát
• [SPARK-43430] [SC-130989][CONNECT][PROTO] Az ExecutePlanRequest tetszőleges kérési beállításokat támogat.
• [SPARK-43313] [SC-130254][SQL] Hiányzó alapértelmezett oszlopértékek hozzáadása a MERGE INSERT műveletekhez
• [SPARK-42842] [SC-130438][SQL] A _LEGACY_ERROR_TEMP_2006 hibaosztály egyesítése REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][SQL] Engedélyezés spark.sql.thriftServer.interruptOnCancel alapértelmezés szerint
• [SPARK-43292] [SC-130525][CORE][CONNECT] Ugrás ExecutorClassLoader a modulra core és egyszerűsítés Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL] A TimestampNTZ-típus támogatásának javítása A JDBC-adatforrásban
• [SPARK-43343] [SC-130629][SS] A FileStreamSource-nak le kell tiltania egy további fájl glob-ellenőrzést a DataSource létrehozásakor
• [SPARK-43312] [SC-130294][PROTOBUF] Bármely mező JSON-ra konvertálásának lehetősége
• [SPARK-43404] [SC-130586][SS] Hagyja ki az sst-fájl újbóli újrafelhasználását a RocksDB állapottároló ugyanazon verziójához az azonosítók eltérésének elkerülése érdekében
• [SPARK-43397] [SC-130614][CORE] Napló-végrehajtó leszerelési időtartama a metódusban executorLost
• [SPARK-42388] [SC-128568][SQL] A parquet footer kétszeri olvasásának elkerülése vektoros olvasóban
• [SPARK-43306] [13.x][SC-130320][PYTHON] ValueError migrálása Spark SQL-típusokból hibaosztályba
• [SPARK-43337] [SC-130353][Felhasználói felület][3.4] A rendezési oszlop Asc/desc nyílikonjai nem jelennek meg a táblázat oszlopában
• [SPARK-43279] [SC-130351][CORE] A nem használt tagok törlése a SparkHadoopUtil
• [SPARK-43250] [SC-130147][SQL] A hibaosztály _LEGACY_ERROR_TEMP_2014 cseréje belső hibára
• [SPARK-43363] [SC-130299][SQL][PYTHON] Csak akkor hívja astype meg a kategóriatípust, ha a nyíltípus nincs megadva
• [SPARK-43261] [SC-130154][PYTHON] Migrálás TypeError Spark SQL-típusokból hibaosztályba
• [SPARK-41971] [SC-130230][SQL][PYTHON] Konfiguráció hozzáadása pandas-átalakításhoz a strukturálási típusok kezeléséhez
• [SPARK-43381] [SC-130464][CONNECT] A "transformStatCov" lustavá tétele
• [SPARK-43362] [SC-130481][SQL] A JSON-típus speciális kezelése a MySQL-összekötőhöz
• [SPARK-42843] [SC-130196][SQL] Frissítse a _LEGACY_ERROR_TEMP_2007 hibaosztályt REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][CONNECT] Helyi kapcsolatok streamelése
• [SPARK-43181] [SC-130476][SQL] Felhasználói felületi WebURL megjelenítése a rendszerhéjban spark-sql
• [SPARK-43051] [SC-130194][CONNECT] Alapértelmezett értékeket kibocsátó beállítás hozzáadása
• [SPARK-43204] [SC-129296][SQL] A MERGE-hozzárendelések igazítása táblaattribútumokhoz
• [SPARK-43348] [SC-130082][PYTHON] Támogatás Python 3.8 a PyPy3-ban
• [SPARK-42845] [SC-130078][SQL] A _LEGACY_ERROR_TEMP_2010 hibaosztály frissítése InternalError-ra
• [SPARK-43211] [SC-128978][HIVE] Hadoop2-támogatás eltávolítása az IsolatedClientLoaderben

Rendszerkörnyezet

• Operációs rendszer: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Telepített Python-kódtárak

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN 2023.02.10-i pillanatképéből vannak telepítve.

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)