Databricks Runtime 16.1
Följande versionsanteckningar innehåller information om Databricks Runtime 16.1, som drivs av Apache Spark 3.5.0.
Databricks släppte den här versionen i december 2024.
Tips
För att se versionsinformation för Databricks Runtime-versioner som har nått slutet av support (EoS), se Versionsinformation för Databricks Runtime med avslutad support. EoS Databricks Runtime-versionerna har dragits tillbaka och kanske inte uppdateras.
Beteendeändringar
Icke-bakåtkompatibel ändring: Photon-reguljära uttryck hanteras nu konsekvent med Apache Spark
I Databricks Runtime 15.4 och senare uppdateras hantering av reguljära uttryck i Photon för att matcha beteendet för hantering av reguljära Apache Spark-uttryck. Tidigare accepterade reguljära uttrycksfunktioner som kördes av Photon, till exempel split()
och regexp_extract()
, vissa reguljära uttryck som avvisades av Spark-parsern. För att upprätthålla konsekvens med Apache Spark kommer Photon-frågor nu att misslyckas för reguljära uttryck som Spark anser ogiltiga.
På grund av den här ändringen kan det uppstå fel om Spark-koden innehåller ogiltiga reguljära uttryck. Uttrycket split(str_col, '{')
, som innehåller en omatchad klammerparentes och som tidigare accepterades av Photon, fungerar inte nu. Du kan åtgärda det här uttrycket genom att undvika klammerparentestecknet: split(str_col, '\\{')
.
Photon- och Sparks beteende skilde sig också åt för viss regelbunden uttrycksmatchning av icke-ASCII-tecken. Detta uppdateras också så att Photon matchar Apache Spark-beteendet.
Den VARIANT
datatypen kan inte längre användas med åtgärder som kräver jämförelser
I Databricks Runtime 16.1 och senare kan du inte använda följande satser eller operatorer i frågor som innehåller en VARIANT
datatyp:
DISTINCT
INTERSECT
EXCEPT
UNION
DISTRIBUTE BY
Dessutom kan du inte använda dessa DataFrame-funktioner:
df.dropDuplicates()
df.repartition()
Dessa åtgärder utför jämförelser och jämförelser som använder datatypen VARIANT ger odefinierade resultat och stöds inte i Databricks. Om du använder varianttypen i dina Azure Databricks-arbetsbelastningar eller -tabeller rekommenderar Databricks följande ändringar:
- Uppdatera frågor eller uttryck för att uttryckligen omvandla
VARIANT
värden till icke-VARIANT
datatyper. - Om du har fält som måste användas med någon av ovanstående åtgärder extraherar du dessa fält från
VARIANT
datatypen och lagrar dem med hjälp av icke-VARIANT
datatyper.
Mer information finns i Frågevariantdata.
Nya funktioner och förbättringar
- Stöd för sorteringsordningar i Apache Spark är i offentlig förhandsvisning
- Stöd för sortering i Delta Lake finns i offentlig förhandsversion
-
LITE
läget för vakuum finns i offentlig förhandsversion -
Stöd för parameterisering av
USE CATALOG with IDENTIFIER
-satsen - COMMENT ON COLUMN stöd för tabeller och vyer
- Nya SQL-funktioner
- Namngivna parameteranrop för fler funktioner
-
Parametern
SYNC METADATA
till kommandot REPAIR TABLE stöds med Hive-metaarkivet - Förbättrad dataintegritet för komprimerade Apache Arrow-batchar
- Stöd har lagts till för Scala-metoder i Unity Catalogs delade åtkomstläge för beräkning
- Inbyggd Teradata JDBC-drivrutin
- StreamingQueryListener-stöd för Scala
- inbyggd Oracle JDBC-drivrutin
- Mer detaljerade fel för Delta-tabeller åtkomna via sökvägar
Stöd för sortering i Apache Spark finns i offentlig förhandsversion
Nu kan du tilldela språkkänsliga, skiftlägesokänsliga och åtkomstkänsliga sorteringar till STRING
kolumner och uttryck. Dessa sorteringar används i strängjämförelser, sortering, grupperingsåtgärder och många strängfunktioner. Se sortering.
Stöd för sortering i Delta Lake finns i offentlig förhandsversion
Du kan nu definiera sortering för kolumner när du skapar eller ändrar en Delta-tabell. Se sorteringsstöd för Delta Lake.
LITE
läge för vakuum finns i offentlig förhandsversion
Nu kan du använda VACUUM table_name LITE
för att utföra en vakuumåtgärd med lägre vikt som utnyttjar metadata i Delta-transaktionsloggen. Se Fullt kontra lite-läge och VACUUM.
Stöd för parameterisering av USE CATALOG with IDENTIFIER
-satsen
I Databricks Runtime 16.1 och senare stöds IDENTIFIER-villkoret för USE CATALOG-yttrandet. Med det här stödet kan du parameterisera den aktuella katalogen baserat på en strängvariabel eller parametermarkör.
COMMENT ON COLUMN stöd för tabeller och vyer
I Databricks Runtime 16.1 och senare har COMMENT ON-instruktionen stöd för att ändra kommentarer för vy- och tabellkolumner.
Nya SQL-funktioner
I Databricks Runtime 16.1 och senare är följande nya inbyggda SQL-funktioner tillgängliga:
- dagnamn (expr) returnerar den engelska förkortningen med tre bokstäver för veckodagen för det angivna datumet.
- uniform(expr1, expr2 [,seed]) returnerar ett slumpmässigt värde med oberoende och identiskt distribuerade värden inom det angivna intervallet med tal.
-
randstr(längd) returnerar en slumpmässig sträng med
length
alfanumeriska tecken.
Namngivna parameteranrop för fler funktioner
I Databricks Runtime 16.1 och senare stöder följande funktioner namngivna parameteranrop:
Parametern SYNC METADATA
till kommandot REPAIR TABLE stöds med Hive-metaarkivet
I Databricks Runtime 16.1 och senare kan du använda parametern SYNC METADATA
med kommandot REPAIR TABLE
för att uppdatera metadata för en hanterad Hive-metaarkivtabell. Se REPAIR TABLE.
Förbättrad dataintegritet för komprimerade Apache Arrow-batchar
I Databricks Runtime 16.1 och senare, för att ytterligare skydda mot skadade data, innehåller varje LZ4
komprimerad pilbatch nu LZ4
innehåll och blockkontrollsummor. Se beskrivning av LZ4-ramformat .
Stöd har lagts till för Scala-metoder för beräkning av delat åtkomstläge i Unity Catalog
I Databricks Runtime 16.1 och senare, i Unity Catalogs delade åtkomstlägesberäkning, läggs stöd till för följande Scala-metoder: Dataset.flatMapGroups()
, Dataset.mapGroups()
och DataStreamWriter.foreach()
.
Inbyggd Teradata JDBC-drivrutin
I Databricks Runtime 16.1 och senare är Teradata JDBC-drivrutinen inbyggd i Azure Databricks. Om du använder en JDBC-drivrutins-JAR-fil uppladdad av kund via DriverManager
måste du skriva om skriptfilerna för att specifikt använda den anpassade JAR-filen. Annars används den inbyggda drivrutinen. Den här drivrutinen stöder endast Lakehouse Federation. För andra användningsfall måste du ange en egen drivrutin.
StreamingQueryListener-stöd för Scala
Nu kan du använda StreamingQueryListener
i Scala vid beräkning som konfigurerats med läget för delad åtkomst.
Inbyggd Oracle JDBC-drivrutin
I Databricks Runtime 16.1 och senare är Oracle JDBC-drivrutinen inbyggd i Azure Databricks. Om du använder en JDBC-drivrutins-JAR-fil uppladdad av kund via DriverManager
måste du skriva om skriptfilerna för att specifikt använda den anpassade JAR-filen. Annars används den inbyggda drivrutinen. Den här drivrutinen stöder endast Lakehouse Federation. För andra användningsfall måste du ange en egen drivrutin.
Mer detaljerade fel för Delta-tabeller som nås med sökvägar
En ny felmeddelandeupplevelse för Delta-tabeller som används med hjälp av sökvägar är nu tillgänglig. Alla undantag vidarebefordras nu till användaren. Undantaget DELTA_MISSING_DELTA_TABLE
är nu reserverat för när underliggande filer inte kan läsas som en Delta-tabell.
Andra ändringar
Namnändringar har gjorts för felkoderna i cloudFiles
-källan för strukturerad strömning
Den här versionen innehåller en ändring för att byta namn på följande felkoder:
-
_LEGACY_ERROR_TEMP_DBR_0143
har bytt namn tillCF_INCORRECT_STREAM_USAGE
. -
_LEGACY_ERROR_TEMP_DBR_0260
har bytt namn tillCF_INCORRECT_BATCH_USAGE
.
Felkorrigeringar
Kapslade typer accepterar nu null-begränsningar korrekt
Den här versionen åtgärdar en bugg som påverkar vissa Delta-genererade kolumner av kapslade typer, till exempel STRUCT
. Dessa kolumner avvisar ibland felaktigt uttryck baserat på NULL
eller NOT NULL
begränsningar för kapslade fält. Detta har åtgärdats.
Biblioteksuppgraderingar
- Uppgraderade Python-bibliotek:
- ipyflow-core från 0.0.198 till 0.0.201
- pyccolo från 0.0.52 till 0.0.65
- Uppgraderade R-bibliotek:
- Uppgraderade Java-bibliotek:
- io.delta.delta-sharing-client_2.12 från 1.2.1 till 1.2.2
- org.lz4.lz4-java från 1.8.0 till 1.8.0-databricks-1
- software.amazon.cryptools.AmazonCorrettoCryptoProvider från 1.6.2-linux-x86_64 till 2.4.1-linux-x86_64
Apache Spark
Databricks Runtime 16.1 innehåller Apache Spark 3.5.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 16.0, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:
-
[SPARK-50482] [SC-182879][CORE] Föråldrad no-op
spark.shuffle.spill
konfiguration - [SPARK-50032] [SC-182706][SQL][16.x] Tillåt användning av fullständigt kvalificerade sorteringsnamn
-
[SPARK-50467] [SC-182823][PYTHON] Lägg till
__all__
för inbyggda funktioner - [SPARK-48898] [SC-182828][SQL] Fix Variant shredding bug
- [SPARK-50441] [SC-182668][SQL] Åtgärda att parametriserade identifierare inte fungerar när du refererar till CTE:er
- [SPARK-50446] [SC-182639][PYTHON] Samtidig nivå i Piloptimerad Python UDF
- [SPARK-50430] [SC-182536][CORE] Använd standarden Properties.clone i stället för manuell kloning
- [SPARK-50471] [SC-182790][PYTHON] Stöd för Arrow-baserad Python Data Source Writer
- [SPARK-50466] [SC-182791][PYTHON] Förfina dokumentationssträngen för strängfunktioner – del 1
- [SPARK-50194] [DBR16.x][SC-182593][SS][PYTHON] Integrering av API för ny timer och API för initialt tillstånd med Timer
- [SPARK-50437] [SC-182586][SS] Minska kostnaderna för att skapa deserialiserare i TransformWithStateExec
- [SPARK-49676] [DBR16.x][SC-182538][SS][PYTHON] Lägg till stöd för kedjning o...
- [SPARK-49294] [SC-182730][UI] Lägg till breddattribut för kryssrutan shuffle-write-time.
- [SPARK-50426] [SC-182540][PYTHON] Undvik statisk Python-datakällsökning när du använder inbyggda datakällor eller Java-datakällor
- [SPARK-48356] [SC-182603][SQL] Stöd för FOR-instruktion
-
[SPARK-50333] [SC-182136][SQL] Kodgenereringsstöd för
CsvToStructs
(genom att anropa & RuntimeReplaceable) - [SPARK-50285] [SC-182575] Metrik för åtaganden till StagedTable-instanser
-
[SPARK-50081] [SC-182344][SQL] Codegen-stöd för
XPath*
(genom att anropa & RuntimeReplaceable) - [SPARK-50440] [SC-182592] [SQL] Refaktorisera AttributeSeq.resolveCandidates
- [SPARK-50067] [SC-179648][SQL] Codegen-stöd för SchemaOfCsv(genom att anropa & RuntimeReplaceable)
- [SPARK-49873] [SC-178577][SQL] åtgärda misslyckande efter sammanslagning vid feltestning
- [SPARK-50118] [SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs
- [SPARK-49873] [SC-178577][SQL] Tilldela rätt felklass för _LEGACY_ERROR_TEMP_1325
-
[SPARK-50381] [SC-182197][CORE] Stöd
spark.master.rest.maxThreads
- [SPARK-46725] [SC-182448][SQL] Lägg till funktionen DAYNAME
- [SPARK-50270] [SC-181179][SS][PYTHON] Lade till anpassade tillståndsmått för TransformWithStateInPandas
- [SPARK-50118] Återställ "[SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs"
- [SPARK-50075] [SC-181820][SQL][PYTHON][CONNECT] Lägg till DataFrame-API:er för tabellvärdesfunktioner
- [SPARK-49470] [SC-175736][UI] Uppdatera dataTables-formatmallar och javascript från 1.13.5 till 1.13.11
- [SPARK-50235] Återställ "[SC-180786][SQL] Rensa ColumnVector-resursen efter bearbetning av alla rader i ColumnarToRowExec"
-
[SPARK-50324] [SC-182278][PYTHON][CONNECT] Se till att
createDataFrame
TRIGGAConfig
RPC högst en gång - [SPARK-50387] [SC-182441][SS] Uppdateringsvillkor för timerns giltighetstid och relevant test
- [SPARK-50287] [SC-182400][SQL] Sammanslagningsalternativ för tabell och relation när du skapar WriteBuilder i FileTable
-
[SPARK-50066] [SC-181484][SQL] Codegenerering stöd för
SchemaOfXml
(genom att anropa & RuntimeReplaceable) - [SPARK-50092] [SC-181568][SQL] Åtgärda PostgreSQL-anslutningsbeteende för flerdimensionella matriser
- [SPARK-50318] [SC-181641][SQL] Lägg till IntervalUtils.makeYearMonthInterval för att deduplicera kod mellan tolkad och codegen
- [SPARK-50312] [SC-181646][SQL] Parameteröverföringsfel för SparkThriftServer createServer när kerberos är sant
-
[SPARK-50246] [SC-181468][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_2167
:INVALID_JSON_RECORD_TYPE
- [SPARK-50214] [SC-180692][SQL] Från json/xml bör inte ändra kollationeringar i det angivna schemat
-
[SPARK-50250] [SC-181466][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_2075
:UNSUPPORTED_FEATURE.WRITE_FOR_BINARY_SOURCE
-
[SPARK-50248] [SC-181467][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_2058
:INVALID_PARTITION_VALUE
- [SPARK-50118] [SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs
- [SPARK-50235] [SC-180786][SQL] Rensa ColumnVector-resursen efter bearbetning av alla rader i ColumnarToRowExec
-
[SPARK-50156] [SC-180781][SQL] Integrera
_LEGACY_ERROR_TEMP_2113
iUNRECOGNIZED_STATISTIC
-
[SPARK-50069] [SC-180163][SQL] Integrera
_LEGACY_ERROR_TEMP_0028
iUNSUPPORTED_FROM_TO_EXPRESSION
-
[SPARK-50154] [SC-180663][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_0043
:INVALID_RESET_COMMAND_FORMAT
-
[SPARK-49967] [SC-179534][SQL] Codegen Support for
StructsToJson
(to_json
) - [SPARK-50055] [SC-180978][SQL] Lägg till TryMakeInterval-alternativ
-
[SPARK-50397] [SC-182367][CORE] Ta bort inaktuella
--ip
och-i
argument frånMaster/Worker
- [SPARK-50238] [SC-181434][PYTHON] Lägg till variantstöd i PySpark UDFs/UDTFs/UDAFs och Python UC UDF:er
-
[SPARK-50079] [SC-179830][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_2013
:NEGATIVE_VALUES_IN_FREQUENCY_EXPRESSION
-
[SPARK-50182] [SC-180346][EXEMPEL] Lägg till
submit-sql.sh
REST API-exempel -
[SPARK-49966] [SC-179501][SQL] Använd
Invoke
för att implementeraJsonToStructs
(from_json
) - [SPARK-50302] [SC-182518][SS] Se till att sekundära indexstorlekar är lika med primära indexstorlekar för TransformWithState tillståndskänsliga variabler med TTL
- [SPARK-50301] [SC-182241][SS][16.x] Få TransformWithState-mått att återspegla deras intuitiva betydelser
- [SPARK-50175] [SC-182140][SQL] Ändra sorteringsprioriseringsberäkning
-
[SPARK-50148] [SC-180292][SQL] Gör
StaticInvoke
kompatibel med metoden som deklarerar undantag för utkast -
[SPARK-50280] [SC-181214][PYTHON] Refaktorera resultatsortering och tom platsfyllning i
compute_hist
- [SPARK-50190] [SC-182458][PYTHON] Ta bort direkt beroende av Numpy från Histogram
- [SPARK-50382] [SC-182368][CONNECT] Lägg till dokumentation för allmän information om programutveckling med/utöka Spark Connect
- [SPARK-50296] [SC-181464][PYTHON][CONNECT] Undvik att använda en klassegenskaper i trådpoolen för Python Connect-klienten
- [SPARK-49566] [SC-182239][SQL] Lägg till SQL-rörsyntax för EXTEND-operatorn
- [SPARK-50036] [SC-179533][CORE][PYTHON] Inkludera SPARK_LOG_SCHEMA i samband med REPL-gränssnittet
- [SPARK-49859] [SC-178259][CONNECT] Ersätt multiprocessing.ThreadPool med ThreadPoolExecutor
-
[SPARK-50141] [SC-182378][PYTHON] Gör
lpad
ochrpad
acceptera argument av kolumntyp - [SPARK-50379] [SC-182142][SQL] Åtgärda hanteringen av DayTimeIntervalType i WindowExecBase
- [SPARK-49954] [SC-179110][SQL] Codegen Support for SchemaOfJson (by Invoke & RuntimeReplaceable)
-
[SPARK-50398] [SC-182341][CORE] Använd ExitCode
0
för--help
bruk i Spark-skript - [SPARK-50377] [SC-182238][SQL] Tillåt att utvärdera vikbar RuntimeReplaceable
- [SPARK-50241] [SC-181444][SQL] Ersätt NullIntolerant Mixin med Expression.nullIntolerant-metoden
-
[SPARK-50084] [SC-179672][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_3168
:MISSING_TIMEOUT_CONFIGURATION
-
[SPARK-50078] [SC-179649][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_0038
:DUPLICATED_CTE_NAMES
-
[SPARK-50057] [SC-179573][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_1049
:INVALID_ATTRIBUTE_NAME_SYNTAX
-
[SPARK-50070] [SC-179579][SQL] Integrera
_LEGACY_ERROR_TEMP_0039
iUNSUPPORTED_SQL_STATEMENT
- [SPARK-50378] [SC-182235][SS] Lägg till ett anpassat mätvärde för att spåra resursanvändning för initialt processläge i transformWithState
-
[SPARK-50029] [SC-179531][SQL] Gör
StaticInvoke
kompatibel med metoden som returnerarAny
-
[SPARK-49990] [SC-179497][SQL] Förbättra prestanda för
randStr
-
[SPARK-50048] [SC-179528][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_2114
:UNRECOGNIZED_STATISTIC
-
[SPARK-50053] [SC-179532][SQL] Förvandla
_LEGACY_ERROR_TEMP_2104
tillINTERNAL_ERROR
- [SPARK-49665] [SC-180054][SQL] Trimsorteringsstöd för strängfunktioner
-
[SPARK-48549] [SC-176472][SQL][PYTHON] Förbättra SQL-funktionen
sentences
-
[SPARK-50022] [SC-179503][CORE][UI] Åtgärda
MasterPage
för att dölja appgränssnittslänkar när användargränssnittet är inaktiverat - [SPARK-50087] [SC-182152] Robust hantering av booleska uttryck i CASE WHEN för MsSqlServer och framtida anslutningsappar
- [SPARK-49991] [SC-179481][SQL] Gör HadoopMapReduceCommitProtocol respekt "mapreduce.output.basename" för att generera filnamn
-
[SPARK-50038] [SC-179521][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_0008
:MERGE_WITHOUT_WHEN
-
[SPARK-50236] [SC-181671][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_1156
:COLUMN_NOT_DEFINED_IN_TABLE
-
[SPARK-50021] [SC-179500][CORE][UI] Åtgärda
ApplicationPage
för att dölja appgränssnittslänkar när användargränssnittet är inaktiverat - [SPARK-49911] [SC-179111][SQL] Åtgärda semantiken för binär likhet
-
[SPARK-50025] [SC-179496][SQL] Integrera
_LEGACY_ERROR_TEMP_1253
iEXPECT_VIEW_NOT_TABLE
- [SPARK-49829] [SC-179480][SS] Åtgärda felet vid optimeringen när indata läggs till i tillståndsarkivet i stream-stream-anslutning
-
[SPARK-50004] [SC-179499][SQL] Integrera
_LEGACY_ERROR_TEMP_3327
iFIELD_NOT_FOUND
- [SPARK-50380] [SC-182210][SQL] ReorderAssociativeOperator bör respektera kontraktet i ConstantFolding
- [SPARK-50340] [SC-181859][SQL] Packa upp UDT i INSERT indatafråga
-
[SPARK-50237] [SC-181660][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_2138-9
:CIRCULAR_CLASS_REFERENCE
- [SPARK-50258] [SC-181993][SQL] Åtgärda problem med att kolumnordningen för utdata ändrades efter AQE-optimering
-
[SPARK-49773] [SC-178369][SQL] Oupplöst Javaundantag från
make_timestamp()
med fel tidszon - [SPARK-49977] [SC-179265][SQL] Använd stackbaserad iterativ beräkning för att undvika att skapa många Scala List-objekt för djuputtrycksträd
-
[SPARK-50153] [SC-181591][SQL] Lägg till
name
iRuleExecutor
för att göra utskrifter avQueryExecutionMetrics
:s loggar tydligare -
[SPARK-50320] [SC-181668][CORE] Gör
--remote
ett officiellt alternativ genom att ta bortexperimental
varning - [SPARK-49909] [SC-179492]Återställ "[SQL] Åtgärda det vackra namnet på vissa uttryck"
- [SPARK-50330] [SC-180720][SC-181764][SQL] Lägg till ledtrådar i sorterings- och fönsternoderna
- [SPARK-50364] [SC-182003][SQL] Implementera serialisering för LocalDateTime-typ i Row.jsonValue
-
[SPARK-50016] [SC-182139][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_2067
:UNSUPPORTED_PARTITION_TRANSFORM
- [SPARK-49899] [SC-181175][PYTHON][SS] Stöd deleteIfExists för TransformWithStateInPandas
- [SPARK-49757] [SC-177824][SQL] Stöd för IDENTIFIER-uttryck i SETCATALOG-kommandon
- [SPARK-50315] [SC-181886][SQL] Stöd för anpassade mått för V1Fallback-skrivningar
- [SPARK-42838] [SC-181509][SQL] Tilldela ett namn till felklassen _LEGACY_ERROR_TEMP_2000
- [SPARK-50353] [SC-181985][SQL] Refactor ResolveSQLOnFile
- [SPARK-48344] [SC-181967][SQL] Förbered SQL-skript för tillägg av Execution Framework
- [SPARK-49345] [SC-174786][CONNECT] Kontrollera att du använder den aktuella Spark-sessionen som körs
- [SPARK-49925] [SC-178882][SQL] Lägg till tester för ordning efter med sorterade strängar
- [SPARK-50167] [SC-181199][PYTHON][CONNECT] Förbättra felmeddelanden och importer i PySpark-plotting
- [SPARK-49368] [SC-174999][CONNECT] Undvik att komma åt protobuf lite-klasser direkt
- [SPARK-50056] [SC-181378][SQL] Codegen Support for ParseUrl (by Invoke & RuntimeReplaceable)
- [SPARK-49601] [SC-180770][SS][PYTHON] Stöder initial tillståndshantering för TransformWithStateInPandas
- [SPARK-49908] [SC-178768][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_0044
- [SPARK-50144] [SC-180307][SS] Åtgärda begränsningen av måttberäkning med DSv1-strömmande källor
- [SPARK-49874] [SC-178303][SQL] Ta bort trim- och ltrim-sorteringsspecificerare.
- [SPARK-49513] [SC-180339][SS] Lägg till stöd för timer i transformWithStateInPandas API
-
[SPARK-49119] [SC-175607][SQL] Åtgärda inkonsekvensen i syntaxen
show columns
mellan v1 och v2 -
[SPARK-49206] [SC-173704][CORE][UI] Lägg till
Environment Variables
tabell i MasterEnvironmentPage
- [SPARK-49934] [SC-179581][SQL] Lägg till implicit cast för åtkomst till sorterad karta med literal
- [SPARK-50049] [SC-181659][SQL] Stödjer anpassade drivrutinsmått för att skriva till v2-tabell
- [SPARK-50171] [SC-180295][PYTHON] Gör numpy valfritt för KDE-ritning
- [SPARK-49962] [SC-179320][SQL] Förenkla AbstractStringTypes-klasshierarkin
- [SPARK-50226] [SC-181483][SQL] Korrekt MakeDTInterval och MakeYMInterval för att fånga Java-undantag
- [SPARK-48775] [SC-170801][SQL][STS] Ersätt SQLContext med SparkSession i STS
-
[SPARK-49015] [SC-175688][CORE] Connect Server bör respektera
spark.log.structuredLogging.enabled
- [SPARK-50327] [SC-181667][SQL][16.x] Utvinna funktionslösning för att återanvändas i enkelpass-analysatorn
- [SPARK-49995] [SC-180762][SQL] Lägg till stöd för namngivna argument i fler TVF:er
- [SPARK-49268] [SC-174903][CORE] Registrera I/O-undantag i historiktjänsten för SHS
- [SPARK-48123] [SC-164989][Core] Ange ett konstant tabellschema för att fråga efter strukturerade loggar
- [SPARK-49217] [SC-174904][CORE] Stöd för separat konfiguration av buffertstorlek i UnsafeShuffleWriter
- [SPARK-50325] [SC-181664][SQL][16.x] Extrahera aliasupplösning för att återanvändas i enkelpassanalysatorn
- [SPARK-50322] [SC-181665][SQL] Åtgärda parameterstyrd identifierare i en delfråga
-
[SPARK-48400] [SC-175283][CORE] Höj upp
PrometheusServlet
tillDeveloperApi
- [SPARK-50118] Återställ "[SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs"
- [SPARK-50306] [SC-181564][PYTHON][CONNECT] Stödjer Python 3.13 i Spark Connect
- [SPARK-50152] [SC-181264][SS] Support handleInitialState med tillståndsdatakällläsare
- [SPARK-50260] [SC-181271][CONNECT] Omstrukturera och optimera Spark C...
- [SPARK-47591] [SC-163090][SQL] Hive-thriftserver: Migrera logInfo med variabler till strukturerat loggningsramverk
-
[SPARK-49312] [SC-174672][PYTHON] Förbättra felmeddelandet för
assertSchemaEqual
-
[SPARK-49439] [SC-175236][SQL] Åtgärda det snygga namnet på
FromProtobuf
&ToProtobuf
-uttrycket - [SPARK-50092] [ES-1258521] Åtgärda PostgreSQL-anslutningsbeteende för flerdimensionella matriser
- [SPARK-49913] [SC-181565][SQL] Lägg till kontroll av unika etikettnamn i kapslade etiketterade omfång
- [SPARK-49563] [SC-181465][SQL] Lägg till SQL-rörsyntax för operatorn WINDOW
- [SPARK-49661] [SC-179021][SQL] Implementera trimsorteringsordningshashing och jämförelse.
- [SPARK-38912] [SC-181543][PYTHON] Ta bort kommentaren som rör classmethod och egenskapen
- [SPARK-49770] [16.x][SC-179802][SC-179270][SS][RocksDB Hardening] Förbättra RocksDB SST-filhantering och lösa problemet med att läsa in samma version med en befintlig ögonblicksbild
- [SPARK-49002] Återställ "[SC-172846][SQL] Hanterar konsekvent ogiltiga platser i WAREHOUSE/SCHEMA/TABLE/PARTITION/DIRECTORY
- [SPARK-49668] [SC-178268][SQL] Implementera sorteringsnyckelstöd för trimsortering
- [SPARK-50262] [SC-181193][SQL] Förbjud specifikation av komplexa typer vid ändring av sortering
- [SPARK-48898] [SC-181435][SQL] Lägg till funktioner för variantstrimling
- [SPARK-48273] [SC-181381]Återställ "[SQL] Åtgärda sen omskrivning av PlanWithUnresolvedIdentifier
-
[SPARK-50222] [SC-180706][CORE] Support
spark.submit.appName
-
[SPARK-50208] [SC-180662][CORE] Support
spark.master.useDriverIdAsAppName.enabled
- [SPARK-50224] [SC-180689][SQL] Ersättningarna för IsValidUTF8|ValidateUTF8|TryValidateUTF8|MakeValidUTF8 ska vara intoleranta mot null-värden
-
[SPARK-50247] [SC-180962][CORE] Definiera
BLOCK_MANAGER_REREGISTRATION_FAILED
somExecutorExitCode
-
[SPARK-50282] [SC-181221][ML] Förenkla
TargetEncoderModel.transform
- [SPARK-50112] [SC-180763][SQL] Som gör att TransformWithState-operatorn kan använda Avro-kodning
-
[SPARK-50267] [SC-181180][ML] Förbättra
TargetEncoder.fit
med DataFrame-API:er - [SPARK-37178] [SC-180939][ML] Lägg till målkodning i ml.feature
- [SPARK-50118] [SC-181259][CONNET] Återställ isolerad tillståndscache när aktiviteter körs
-
[SPARK-50085] [BEHAVE-176][SC-179809][PYTHON] Få
lit(ndarray)
med np.int8 att respektera numpy-datatypen - [SPARK-50256] [SC-181048][SQL] Lägg till enkel validering för att kontrollera om en logisk plan blir olöst efter varje optimerarregel
- [SPARK-50196] [SC-180932][CONNECT] Åtgärda Python-felkontexten för att använda en korrekt kontext
- [SPARK-50274] [SC-181181][CORE] Skydda mot användning efter stängning i DirectByteBufferOutputStream
- [SPARK-49999] [SC-180063][PYTHON][CONNECT] Stöd för valfri "kolumn"-parameter i rut-, kde- och histogramdiagram
- [SPARK-50273] [SC-181178][SS] Förbättra loggning för RocksDB-lås för att hämta/släppa ärenden
- [SPARK-50033] [SC-180720][SC-180659][SQL] Lägg till en ledtråd till logiskt Aggregate() Node
- [SPARK-50163] [16.x][SC-180201][SC-180664][SS] Åtgärda extra frigivning av acquireLock i RocksDB på grund av slutförandelyssnaren
- [SPARK-50253] [SC-180969][SS] Stream-Stream Join bör inte hämta kontrollpunkts-ID om det inte stöds.
-
[SPARK-50255] [SC-180964][PYTHON] Undvik onödig gjutning i
compute_hist
-
[SPARK-50228] [SC-180780][SQL] Flytta
RewriteCollationJoin
-regeln tillFinishAnalysis
- [SPARK-50001] [SC-179524][PYTHON][PS][CONNECT] Justera "precision" så att den ingår i kwargs för lådritningar
- [SPARK-49637] [SC-180160][SQL] Ändrat felmeddelande för INVALID_FRACTION_OF_SECOND
- [SPARK-49530] [SC-180658][PYTHON] Hämta aktiv session från dataramar
-
[SPARK-50195] [SC-180654][CORE] Åtgärda
StandaloneRestServer
för att spridaspark.app.name
tillSparkSubmit
korrekt - [SPARK-50229] [SC-180773] Minska minnesanvändningen på drivrutinen för breda scheman genom att minska livslängden för AttributReferensobjekt som skapas under logisk planering
-
[SPARK-50231] [SC-180815][PYTHON] Låt funktionen
instr
acceptera kolumnensubstring
- [SPARK-49854] [SC-179812][16.x][SQL] Klona artefakthanteraren under kloning av session
-
[SPARK-50219] [SC-180694][SQL] Refaktorisera
ApplyCharTypePadding
så att hjälpmetoder kan användas i enpasslösare - [SPARK-50077] [SC-179827][SQL] Introducera ett nytt mönsterobjekt för LogicalRelation för att undvika standardmönstret för fullständiga params
- [SPARK-50128] [Backport][16x][SC-180677][SS] Lägg till tillståndskänsliga API:er för processorhandtag med implicita kodare i Scala
- [SPARK-50061] [SC-179961][SQL] Aktivera analystabell för sorterade kolumner
- [SPARK-49993] [SC-180084][SQL] Förbättra felmeddelanden för summa och medelvärde
- [SPARK-49638] [SC-179665][SQL] Ta bort ANSI-konfigurationsförslaget i INVALID_URL
-
[SPARK-50204] [SC-180660][SQL] Bryt ut
HiveTableRelation
läsvägsupplösning - [SPARK-50193] [SC-180651][SS] Åtgärda undantagshantering för validering av tidslägen
-
[SPARK-50179] [SC-180342][CORE] Gör egenskapen
spark.app.name
valfri i REST API -
[SPARK-50068] [SC-180300][SQL] Omstrukturera
TypeCoercion
ochAnsiTypeCoercion
för att separera transformeringar för enskilda noder - [SPARK-49411] [SC-179483][SS] Kommunicera kontrollpunkts-ID för tillståndslager mellan drivrutins- och tillståndskänsliga operatorer
- [SPARK-50124] [SC-180294][SQL] LIMIT/OFFSET bör bevara dataordningen
- [SPARK-49506] [SC-180165][SQL] Optimera ArrayBinarySearch för vikbar matris
-
[SPARK-50097] [SC-179908][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_1248
:ALTER_TABLE_SERDE_FOR_DATASOURCE_TABLE
- [SPARK-50071] [SC-180159][SQL][PYTHON] Lägg till try_make_timestamp(_ltz och _ntz) och relaterade tester
- [SPARK-50054] [SC-180228][PYTHON][CONNECT] Stöd för histogramritningar
-
[SPARK-50015] [SC-179964][SQL] Tilldela lämpligt felvillkor för
_LEGACY_ERROR_TEMP_1125
:MISSING_DATABASE_FOR_V1_SESSION_CATALOG
- [SPARK-50155] [SC-180240][3.5] Flytta scala- och java-filer till standardmapparna
- [SPARK-49980] [SC-180353][CORE][SQL] Åtgärda potentiella filströmsläckor som orsakas av avbrott i avbrutna processer
- [SPARK-49010] [SC-172304][SQL][XML] Lägg till enhetstester för skiftlägeskänslighet vid XML-schemas inferens
- [SPARK-49562] [SC-180211][SQL] Lägg till SQL-rörsyntax för aggregering
- [SPARK-49663] [SC-180239][SQL] Aktivera RTRIM-förslag i sorteringsuttryck
-
[SPARK-48965] [SC-175926][SQL] Använd rätt schema i
Dataset#toJSON
- [SPARK-48493] [SC-175893][PYTHON] Förbättra Python Datasource Reader med direkt Arrow Batch-stöd för bättre prestanda
-
[SPARK-49734] [SC-180226][PYTHON] Lägg till
seed
argument för funktionshuffle
- [SPARK-50174] [16.x][SC-180253][SQL] Utdela UnresolvedCatalogRelation resolution
- [SPARK-49989] [SC-179512][PYTHON][CONNECT] Stöd för kde/densitetsritningar
-
[SPARK-49805] [SC-180218][SQL][ML] Ta bort privata[xxx] funktioner från
function.scala
- [SPARK-49808] [SC-179490][SQL] Åtgärda ett dödläge i underförfrågan på grund av lata värden
- [SPARK-49929] [SC-180144][PYTHON][CONNECT] Stöd för låddiagram
-
[SPARK-50008] [SC-179290][PS][CONNECT] Undvik onödiga åtgärder i
attach_distributed_sequence_column
- [SPARK-49767] [SC-180161][PS][CONNECT] Omstrukturera intern funktionsanrop
- [SPARK-49683] [SC-178341][SQL] Block trim kollation
- [SPARK-49939] [SC-178941][SQL] Kodgenereringsstöd för json_object_keys (genom Invoke & RuntimeReplaceable)
-
[SPARK-50031] [SC-179582][SQL] Lägg till uttrycket
TryParseUrl
-
[SPARK-49766] [SC-178933][SQL] Codegen Support för
json_array_length
(avInvoke
&RuntimeReplaceable
) - [SPARK-50046] [SC-180026][SS] Använd stabil ordning på EventTimeWatermark-noden för att beräkna vattenstämpeln
-
[SPARK-49540] [SC-180145][PS] Förena användningen av
distributed_sequence_id
- [SPARK-50060] [SC-179965][SQL] Inaktiverad konvertering mellan olika sorterade typer i TypeCoercion och AnsiTypeCoercion
- [SPARK-49004] [SC-173244][CONNECT] Använd separat register för interna funktioner för kolumn-API:et
- [SPARK-49811] [SC-177888][SQL]Byt namn på StringTypeAnyCollation
-
[SPARK-49202] [SC-180059][PS] Tillämpa
ArrayBinarySearch
för histogram -
[SPARK-49203] [SC-175734][SQL] Lägg till uttryck för
java.util.Arrays.binarySearch
-
[SPARK-50034] [SC-179816][CORE] Åtgärda felrapportering av allvarliga fel som oavsiktliga undantag i
SparkUncaughtExceptionHandler
- [SPARK-50093] [SC-179836][SQL] Sortering som använder ICU bör ha versionen av det använda ICU-biblioteket
- [SPARK-49985] [SC-179644][SQL] Ta bort stöd för intervalltyper i Variant
-
[SPARK-49103] [SC-173066][CORE] Stöd
spark.master.rest.filters
- [SPARK-50090] [SC-179819] Omstrukturera ResolveBinaryArithmetic till separat transformering med en nod
-
[SPARK-49902] [SC-179650][SQL] Fånga underliggande körningsfel i
RegExpReplace
-
[SPARK-49126] [SC-173342][CORE] Flytta
spark.history.ui.maxApplications
konfigurationsdefinition tillHistory.scala
- [SPARK-50094] [SC-179820][PYTHON][CONNECT] Bättre felmeddelande när du använder minnesprofilerare i redigeringsprogram utan radnummer
-
[SPARK-50062] [SC-179835][SQL] Stödsortering efter
InSet
- [SPARK-50035] [Backport][16x][SC-179530][SS] Lägg till stöd för explicit handleExpiredTimer-funktionsdel av den tillståndskänsliga processorn
- [SPARK-49982] [SC-179814][SQL] Åtgärda negativ cachelagring i InMemoryRelation
-
[SPARK-49082] [SC-173350][SQL] Breddning av typhöjningar i
AvroDeserializer
-
[SPARK-50088] [SC-179680][SQL] Refaktor
UnresolvedStarBase.expand
- [SPARK-49802] [SC-179482][SS] Lägg till stöd för ändringsflödesläsning för kart- och listtyper som används i tillståndsprocessorer.
- [SPARK-49846] [SC-179506][SS] Lägg till numUpdatedStateRows och numRemovedStateRows-mått för användning med transformWithState-operatorn
- [SPARK-50050] [SC-179643][PYTHON][CONNECT][16.X] Gör så att lit accepterar str och bool typer av numpy ndarray
- [SPARK-49821] [SC-179527][SS][PYTHON] Implementera MapState- och TTL-stöd för TransformWithStateInPandas
- [SPARK-49558] [SC-179485][SQL] Lägg till SQL-rörsyntax för LIMIT/OFFSET och ORDER/SORT/CLUSTER/DISTRIBUTE BY
-
[SPARK-48144] [SC-165725][LC-4080][SQL] Åtgärda
canPlanAsBroadcastHashJoin
för att respektera shuffle join-tips -
[SPARK-50051] [SC-179571][PYTHON][CONNECT] Göra
lit
att fungera med tom numpy ndarray - [SPARK-50018] [SC-179488][SQL] Gör AbstractStringType serieklar
- [SPARK-50016] [SC-179491][SQL] Förbättra explicit sorteringsfel
- [SPARK-50010] [SC-179487][SQL] Utöka implicit fel vid kollationsmissanpassning
- [SPARK-48749] [SC-170116][SQL] Förenkla UnaryPositive och eliminera dess Katalysatorregler med RuntimeReplaceable
- [SPARK-49857] [SC-178576][SQL] Lägg till storageLevel till Dataset localCheckpoint API
- [SPARK-50058] [SC-179538][SQL] Faktorisera ut plannormaliseringsfunktioner för att senare använda dessa i enkel-pass Analyzer-tester
- [SPARK-50052] [SC-179535][PYTHON][16.X] Gör så att NumpyArrayConverter stöder tomma str ndarray
- [SPARK-47261] [SC-173665][SQL] Tilldela bättre namn för fel _LEGACY_ERROR_TEMP_1172, _LEGACY_ERROR_TEMP_1173 och _LEGACY_ERROR_TEMP_1174
-
[SPARK-49147] [SC-173471][CORE] Markera
KryoRegistrator
med DeveloperApi-gränssnittet - [SPARK-48949] [SC-173070][SQL] SPJ: Körningspartitionsfiltrering
- [SPARK-50044] [SC-179523][PYTHON] Förfina docstring av flera matematiska funktioner
-
[SPARK-48757] [SC-170113][CORE] Gör
IndexShuffleBlockResolver
att ha explicita konstruktorer - [SPARK-50037] [SQL] RefaktorattributSeq.resolve(...)
- [SPARK-48782] [SC-177056][SQL] Lägg till stöd för att köra procedurer i kataloger
- [SPARK-49057] [SC-173081][SQL] Blockera inte AQE-loopen när du skickar frågesteg
- [SPARK-48824] [SC-176772][BEHAVE-167][SQL] Lägg till SQL-syntax för identitetskolumn
- [SPARK-48773] [SC-170773] Dokumentera konfigurationen "spark.default.parallelism" genom konfigurationsbyggarramverket
- [SPARK-48735] [SC-169810][SQL] Prestandaförbättring för BIN-funktionen
-
[SPARK-48900] [SC-172433] Lägg till fältet
reason
för alla interna anrop för uppsägning av jobb/fas -
[SPARK-48488] [SC-167605][CORE] Åtgärda metoder
log[info|warning|error]
iSparkSubmit
-
[SPARK-48708] [SC-169809][CORE] Ta bort tre onödiga typregistreringar från
KryoSerializer
- [SPARK-49958] [SC-179312][PYTHON] Python API för strängverifieringsfunktioner
- [SPARK-49979] [SC-179264][SQL] Åtgärda AQE-hängningsproblem när du samlar in data två gånger på en misslyckad plan
- [SPARK-48729] [SC-169795][SQL] Lägg till ett UserDefinedFunction-gränssnitt för att representera en SQL-funktion
-
[SPARK-49997] [SC-179279][SQL] Integrera
_LEGACY_ERROR_TEMP_2165
iMALFORMED_RECORD_IN_PARSING
- [SPARK-49259] [SC-179271][SS]Skapa storleksbaserad partition vid kafka-läsning
- [SPARK-48129] [SC-165006][PYTHON] Ange ett konstant tabellschema i PySpark för att fråga efter strukturerade loggar
- [SPARK-49951] [SC-179259][SQL] Tilldela rätt felvillkor för LEGACY_ERROR_TEMP(1099|3085)
- [SPARK-49971] [SC-179278][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_1097
-
[SPARK-49998] [SC-179277][SQL] Integrera
_LEGACY_ERROR_TEMP_1252
iEXPECT_TABLE_NOT_VIEW
- [SPARK-49876] [SC-179262][CONNECT] Bli av med globala lås från Spark Connect Service
- [SPARK-49957] [SC-179202][SQL] Scala API för strängverifieringsfunktioner
- [SPARK-48480] [SC-173055][SS][CONNECT] StreamingQueryListener bör inte påverkas av spark.interrupt()
- [SPARK-49643] [SC-179239][SQL] Slå samman _LEGACY_ERROR_TEMP_2042 till ARITHMETIC_OVERFLOW
- [SPARK-49959] [SC-179109][SQL] Fix ColumnarArray.copy() för att läsa null-värden från rätt offset
- [SPARK-49956] Återställ "[SC-179070] Inaktiverade sorteringar med collect_set uttryck"
-
[SPARK-49987] [SC-179180][SQL] Åtgärda felmeddelandet när
seedExpression
inte kan vikas irandstr
- [SPARK-49948] [SC-179158][PS][CONNECT] Lägg till parametern "precision" i Pandas på Spark-boxdiagram
- [SPARK-49970] [SC-179167][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_2069
- [SPARK-49916] [SC-179108][SQL] Kasta lämpligt undantag för typkonflikt mellan ColumnType och datatyp i vissa rader
- [SPARK-49956] [SC-179070] Inaktiverade sorteringar med uttrycket collect_set
- [SPARK-49974] [16.x][SC-179071][SQL] Flytta resolveRelations(...) från Analyzer.scala
- [SPARK-47259] [SC-176437][SQL] Tilldela namn till felvillkor för intervallfel
- [SPARK-47430] [SC-173679][SQL] Omarbeta grupp efter karttyp för att åtgärda bindningsreferensfel
- [SPARK-49067] [SC-172616][SQL] Flytta utf-8-literal till interna metoder i UrlCodec-klassen
- [SPARK-49955] [SC-178989][SQL] null-värde betyder inte skadad fil vid parsning av JSON-sträng RDD
- [SPARK-49393] [SC-175212][SQL] Misslyckas som standard i inaktuella API:er för katalog-plugin-program
- [SPARK-49952] [SC-178985][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_1142
- [SPARK-49405] [SC-175224][SQL] Begränsa teckenuppsättningar i JsonOptions
- [SPARK-49892] [SC-178975][SQL] Tilldela rätt felklass för _LEGACY_ERROR_TEMP_1136
- [SPARK-49904] [SC-178973][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_2140
- [SPARK-47257] [SC-174244][SQL] Tilldela namn till felklasserna _LEGACY_ERROR_TEMP_105[3-4] och _LEGACY_ERROR_TEMP_1331
- [SPARK-49915] [SC-178869][SQL] Hantera nollor och ettor i ReorderAssociativeOperator
- [SPARK-49891] [SC-178970][SQL] Tilldela rätt felvillkor för _LEGACY_ERROR_TEMP_2271
-
[SPARK-49918] [SC-178748][CORE] Använd skrivskyddad åtkomst till konfigurationsfilen i
SparkContext
när det är lämpligt - [SPARK-49666] [SC-177891][SQL] Lägg till funktionsflagga för trimcollationsfunktionen
- [SPARK-48885] [SC-171050][SQL] Göra så att vissa underklasser av RuntimeReplaceable skriver över replacement till lazy val
-
[SPARK-49932] [SC-178931][CORE] Använd
tryWithResource
frigjordaJsonUtils#toJsonString
resurser för att undvika minnesläckor -
[SPARK-49949] [SC-178978][PS] Undvik onödig analys i
attach_sequence_column
-
[SPARK-49924] [SC-178935][SQL] Behåll
containsNull
efter ersättning avArrayCompact
-
[SPARK-49121] [SC-174787][SQL] Stöd
from_protobuf
ochto_protobuf
för SQL-funktioner - [SPARK-47496] [SC-160529][SQL] Java SPI-stöd för dynamisk JDBC-dialektregistrering
- [SPARK-49359] [SC-174895][SQL] Tillåt att StagedTableCatalog-implementeringar återgår till icke-atomisk skrivning
- [SPARK-49895] [SC-178543][SQL][ES-1270338] Förbättra felmeddelandet vid efterföljande kommatecken i SELECT-sats
- [SPARK-47945] [SC-163457][SQL] MsSQLServer: Document Mapping Spark SQL Data Types from Microsoft SQL Server och lägg till tester
- [SPARK-46037] [SC-175495][SQL] Korrigering av korrekthet för shuffled hash join build left without codegen
- [SPARK-47813] [SC-162615][SQL] Ersätt getArrayDimension med updateExtraColumnMeta
- [SPARK-49542] [SC-178765][SQL] Fel vid utvärdering av partitionstransformationsundantag
- [SPARK-47172] [SC-169537][CORE] Lägg till stöd för AES-GCM för RPC-kryptering
- [SPARK-47666] [SC-161476][SQL] Åtgärda NPE vid läsning av mysql-bitmatris som LongType
- [SPARK-48947] [SC-174239][SQL] Använd lägre teckenuppsättningsnamn för att minska cachen som saknas i Charset.forName
- [SPARK-49909] [SC-178552][SQL] Åtgärda det vackra namnet på vissa uttryck
- [SPARK-47647] [SC-161377][SQL] Gör MySQL-datakällan kunna läsa bit(n>1) som BinaryType som Postgres
-
[SPARK-46622] [SC-153004][CORE] Åsidosätt
toString
metod föro.a.s.network.shuffledb.StoreVersion
- [SPARK-48961] [SC-171910][PYTHON] Gör parameternamngivningen för PySparkException konsekvent med JVM
-
[SPARK-49889] [SC-178474][PYTHON] Lägg till argument
trim
för funktionertrim/ltrim/rtrim
- [SPARK-47537] [SC-160747][SQL] Korrigera feldatatypmappning på MySQL Connector/J
- [SPARK-47628] [SC-161257][SQL] Åtgärda problem med Postgres-bitmatrisen "Det går inte att casta till booleskt värde"
- [SPARK-49843] [SC-178084][ES-1268164][SQL] Korrigera ändringskommentar för char/varchar-kolumner
- [SPARK-49549] [SC-178764][SQL] Tilldela ett namn till felvillkoren _LEGACY_ERROR_TEMP_3055, 3146
- [SPARK-49791] [SC-177730][SQL] Gör DelegatingCatalogExtension mer utökningsbar
- [SPARK-49559] [SC-178551][SQL] Lägg till SQL pipe-syntax för uppsättningsåtgärder
- [SPARK-49906] [SC-178536][SQL] Introducera och använda CONFLICTING_DIRECTORY_STRUCTURES fel för PartitioningUtils
- [SPARK-49877] [SC-178392][SQL] Ändra funktionssignaturen för classifyException: lägg till isRuntime-argument
- [SPARK-47501] [SC-160532][SQL] Lägg till convertDateToDate likt den befintliga convertTimestampToTimestamp för JdbcDialect
- [SPARK-49044] [SC-175746][SQL] ValidateExternalType bör returnera underordnad vid fel
- [SPARK-47462] [SC-160460][SQL] Justera mappningar för andra osignerade numeriska typer med TINYINT i MySQLDialect
- [SPARK-47435] [SC-160129][SQL] Åtgärda spillproblem med MySQL UNSIGNED TINYINT som orsakas av SPARK-45561
- [SPARK-49398] [SC-176377][SQL] Förbättra felet för parametrar i frågan om CACHE TABLE och CREATE VIEW
- [SPARK-47263] [SC-177012][SQL] Tilldela namn till äldre villkor _LEGACY_ERROR_TEMP_13[44-46]
-
[SPARK-49605] [SC-176605][SQL] Åtgärda meddelandet när
ascendingOrder
ärDataTypeMismatch
iSortArray
-
[SPARK-49806] [SC-178304][SQL][CONNECT] Ta bort redundanta
blank space
eftershow
iScala
ochConnect
klienter - [SPARK-47258] [SC-175032][SQL] Tilldela namn till felklasser _LEGACY_ERROR_TEMP_127[0-5]
- [SPARK-49564] [SC-178461][SQL] Lägg till SQL-rörsyntax för operatorn JOIN
- [SPARK-49836] [SC-178339][SQL][SS] Åtgärda eventuellt trasig fråga när ett fönster tillhandahålls till funktionen window/session_window
- [SPARK-47390] [SC-163306][SC-159312][SPARK-47396][SC-159376][SPARK-47406] Hantera SQL-tidsstämplar för Postgres och MySQL
- [SPARK-49776] [SC-177818][PYTHON][CONNECT] Stöd för cirkeldiagram
- [SPARK-49824] [SC-178251][SS][CONNECT] Förbättra loggningen i SparkConnectStreamingQueryCache
- [SPARK-49894] [SC-178460][PYTHON][CONNECT] Förfina strängrepresentationen av kolumnfältsåtgärder
- [SPARK-49764] [SC-177491][PYTHON][CONNECT] Stödområdesritningar
- [SPARK-49694] [SC-177376][PYTHON][CONNECT] Stöd för punktdiagram
- [SPARK-49744] [SC-178363][SS][PYTHON] Implementera TTL-stöd för ListState i TransformWithStateInPandas
-
[SPARK-49879] [SC-178334][CORE] Flytta
TransportCipherUtil
till en separat fil för att eliminera Java-kompileringsvarningar - [SPARK-49866] [SC-178353][SQL] Förbättra felmeddelandet för beskriv tabell med partitionskolumner
- [SPARK-49867] [SC-178302][ES-1260570][SQL] Förbättra felmeddelandet när index ligger utanför gränserna när du anropar GetColumnByOrdinal
- [SPARK-49607] [SC-177373][PYTHON] Uppdatera samplingsmetoden för exempelbaserade diagram
- [SPARK-49626] [SC-177276][PYTHON][CONNECT] Stöd för vågräta och lodräta stapeldiagram
- [SPARK-49531] [SC-177770][PYTHON][CONNECT] Stöd för linjediagram med Plotly-backend
- [SPARK-49444] [SC-177692][ES-1203248][SQL] Modifierad UnivocityParser så att den kastar körningsexceptioner orsakade av ArrayIndexOutOfBounds med mer användarinriktade meddelanden.
- [SPARK-49870] [SC-178262][PYTHON] Lägg till Python 3.13-stöd i Spark Classic
- [SPARK-49560] [SC-178121][SQL] Lägg till SQL-rörsyntax för operatorn TABLESAMPLE
- [SPARK-49864] [SC-178305][SQL] Förbättra meddelandet om BINARY_ARITHMETIC_OVERFLOW
- [SPARK-48780] [SC-170274][SQL] Gör NamedParametersSupport-fel mer generiska för att hantera funktioner och procedurer
- [SPARK-49358] [SC-178158][SQL] Lägesuttryck för karttyper med sorterade strängar
- [SPARK-47341] [SC-178157][SQL] Åtgärda felaktig dokumentation om RuntimeConfig#get
- [SPARK-48357] [SC-178153][SQL] Stöd för LOOP-instruktion
-
[SPARK-49845] [SC-178059][CORE] Gör
appArgs
ochenvironmentVariables
valfria i REST API - [SPARK-49246] [SC-174679][SQL] TableCatalog#loadTable bör ange om den ska skrivas
- [SPARK-48048] [SC-177525][SC-164846][CONNECT][SS] Stöd för lyssnare på klientsidan har lagts till för Scala
- [SPARK-48700] [SC-177978][SQL] Lägesuttryck för komplexa typer (alla sorteringar)
- [SPARK-48196] [SC-177899][SQL] Förvandla QueryExecution lazy val plans till LazyTry
- [SPARK-49749] [16.x][SC-177877][CORE] Ändra loggnivå för felsökning i BlockManagerInfo
- [SPARK-49561] [SC-177897][SQL] Lägg till SQL-rörsyntax för operatorerna PIVOT och UNPIVOT
- [SPARK-49823] [SC-177885][SS] Undvik tömning under avstängning i rocksdb close path
-
[SPARK-49820] [SC-177855] [PYTHON] Ändra
raise IOError
tillraise OSError
- [SPARK-49653] [SC-177266][SQL] Enkel koppling för korrelerade skalära underfrågor
- [SPARK-49552] [SC-177477][PYTHON] Lägg till Stöd för DataFrame API för nya SQL-funktioner "randstr" och "uniform"
- [SPARK-48303] [16.x][SC-166251][CORE] Omorganisera LogKeys
- [SPARK-49656] [16x][Backport][SS] Lägg till stöd för tillståndsvariabler med samlingstyper för tillståndsvärden och alternativ för att läsa ändringsflöde
- [SPARK-48112] [SC-165129][CONNECT] Exponera session i SparkConnectPlanner för plugin-program
- [SPARK-48126] [16.x][SC-165309][Core] Gör spark.log.structuredLogging.enabled fungerande
- [SPARK-49505] [SC-176873][SQL] Skapa nya SQL-funktioner "randstr" och "uniform" för att generera slumpmässiga strängar eller tal inom intervall
- [SPARK-49463] [SC-177474] Stöd ListState för TransformWithStateInPandas
-
[SPARK-48131] [SC-165007][Core] Enhetliga MDC-nyckel
mdc.taskName
ochtask_name
- [SPARK-49557] [SC-177227][SQL] Lägg till SQL-rörsyntax för operatorn WHERE
- [SPARK-49323] [16.x][SC-174689][CONNECT] Flytta MockObserver från Spark Connect Server-testmappen till serverns huvudmapp
- [SPARK-49745] [SC-177501][SS] Lägg till ändring för att läsa registrerade timers via tillståndsdatakällläsare
- [SPARK-49772] [16.x][SC-177478][SC-177214][SS] Ta bort ColumnFamilyOptions och lägg till konfigurationer direkt i dbOptions i RocksDB
Stöd för Databricks ODBC/JDBC-drivrutin
Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).
Se underhållsuppdateringar för Databricks Runtime 16.1
Systemmiljö
- operativsystem: Ubuntu 24.04.1 LTS
- Java: Zulu17.54+21-CA
- Scala: 2.12.18
- Python: 3.12.3
- R: 4.4.0
- Delta Lake: 3.2.1
Installerade Python-bibliotek
Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
---|---|---|---|---|---|
annoterade typer | 0.7.0 | asttokens | 2.0.5 | astunparse | 1.6.3 |
autokommandon | 2.2.2 | azure-core | 1.31.0 | azure-storage-blob | 12.23.0 |
azure-storage-file-datalake | 12.17.0 | backports.tarfile | 1.2.0 | svart | 24.4.2 |
blinker | 1.7.0 | boto3 | 1.34.69 | botocore | 1.34.69 |
cachetools | 5.3.3 | certifi | 2024.6.2 | cffi | 1.16.0 |
chardet | 4.0.0 | charset-normalizer | 2.0.4 | klicka | 8.1.7 |
cloudpickle | 2.2.1 | Kommun | 0.2.1 | contourpy | 1.2.0 |
kryptografi | 42.0.5 | cyklist | 0.11.0 | Cython | 3.0.11 |
databricks-sdk | 0.30.0 | dbus-python | 1.3.2 | debugpy | 1.6.7 |
dekoratör | 5.1.1 | Föråldrad | 1.2.14 | distlib | 0.3.8 |
docstring-to-markdown | 0.11 | inträdespunkter | 0.4 | Utförande | 0.8.3 |
översikt över facetter | 1.1.1 | filelock | 3.15.4 | fonttools | 4.51.0 |
gitdb | 4.0.11 | GitPython | 3.1.37 | google-api-core | 2.20.0 |
google-auth | 2.35.0 | google-cloud-core | 2.4.1 | google-cloud-storage | 2.18.2 |
google-crc32c | 1.6.0 | google-resumable-media | 2.7.2 | googleapis-common-protos | 1.65.0 |
grpcio | 1.60.0 | grpcio-status | 1.60.0 | httplib2 | 0.20.4 |
idna | 3.7 | importlib-metadata | 6.0.0 | importlib_resources | 6.4.0 |
böja | 7.3.1 | ipyflow-core | 0.0.201 | ipykernel | 6.28.0 |
ipython | 8.25.0 | ipython-genutils | 0.2.0 | ipywidgets | 7.7.2 |
isodate | 0.6.1 | jaraco.context | 5.3.0 | jaraco.functools | 4.0.1 |
jaraco.text | 3.12.1 | jedi | 0.19.1 | jmespath | 1.0.1 |
joblib | 1.4.2 | jupyter_client | 8.6.0 | jupyter_core | 5.7.2 |
kiwisolver | 1.4.4 | launchpadlib | 1.11.0 | lazr.restfulclient | 0.14.6 |
lazr.uri | 1.0.6 | matplotlib | 3.8.4 | matplotlib-inline | 0.1.6 |
Mccabe | 0.7.0 | mlflow-skinny | 2.15.1 | more-itertools | 10.3.0 |
mypy | 1.10.0 | mypy-extensions | 1.0.0 | nest-asyncio | 1.6.0 |
nodeenv | 1.9.1 | numpy | 1.26.4 | oauthlib | 3.2.2 |
opentelemetry-api | 1.27.0 | opentelemetry-sdk | 1.27.0 | opentelemetry-semantiska-konventioner | 0.48b0 |
emballage | 24.1 | Pandor | 1.5.3 | parso | 0.8.3 |
pathspec | 0.10.3 | Patsy | 0.5.6 | pexpect | 4.8.0 |
kudde | 10.3.0 | pip | 24.2 | platformdirs | 3.10.0 |
plotly | 5.22.0 | pluggy | 1.0.0 | prompt-toolkit | 3.0.43 |
proto-plus | 1.24.0 | protobuf | 4.24.1 | psutil | 5.9.0 |
psycopg2 | 2.9.3 | ptyprocess | 0.7.0 | pure-eval | 0.2.2 |
pyarrow | 15.0.2 | pyasn1 | 0.4.8 | pyasn1-modules | 0.2.8 |
pyccolo | 0.0.65 | pycparser | 2.21 | pydantisk | 2.8.2 |
pydantic_core | 2.20.1 | pyflakes | 3.2.0 | Pygments | 2.15.1 |
PyGObject | 3.48.2 | PyJWT | 2.7.0 | pyodbc | 5.0.1 |
pyparsing | 3.0.9 | pyright | 1.1.294 | python-dateutil | 2.9.0.post0 |
python-lsp-jsonrpc | 1.1.2 | python-lsp-server | 1.10.0 | pytoolconfig | 1.2.6 |
pytz | 2024.1 | PyYAML | 6.0.1 | pyzmq | 25.1.2 |
Förfrågningar | 2.32.2 | rep | 1.12.0 | RSA | 4.9 |
s3transfer | 0.10.2 | scikit-learn | 1.4.2 | scipy | 1.13.1 |
seaborn | 0.13.2 | setuptools | 74.0.0 | sex | 1.16.0 |
smmap | 5.0.0 | sqlparse | 0.5.1 | ssh-import-id | 5.11 |
stack-data | 0.2.0 | statsmodels | 0.14.2 | orubblighet | 8.2.2 |
threadpoolctl | 2.2.0 | tokenize-rt | 4.2.1 | tomli | 2.0.1 |
tornado | 6.4.1 | traitlets | 5.14.3 | typeskydd | 4.3.0 |
types-protobuf | 3.20.3 | types-psutil | 5.9.0 | types-pytz | 2023.3.1.1 |
types-PyYAML | 6.0.0 | typer av förfrågningar | 2.31.0.0 | types-setuptools | 68.0.0.0 |
types-six | 1.16.0 | types-urllib3 | 1.26.25.14 | typing_extensions | 4.11.0 |
ujson | 5.10.0 | obevakade uppgraderingar | 0.1 | urllib3 | 1.26.16 |
virtualenv | 20.26.2 | wadllib | 1.3.6 | wcwidth | 0.2.5 |
whatthepatch | 1.0.2 | hjul | 0.43.0 | wrapt | 1.14.1 |
yapf | 0.33.0 | blixtlås | 3.17.0 |
Installerade R-bibliotek
R-bibliotek installeras från Posit Package Manager CRAN-snapshoten den 4 augusti 2024.
Bibliotek | Version | Bibliotek | Version | Bibliotek | Version |
---|---|---|---|---|---|
pil | 16.1.0 | askpass | 1.2.0 | assertthat | 0.2.1 |
backportar | 1.5.0 | bas | 4.4.0 | base64enc | 0.1-3 |
bigD | 0.2.0 | lite | 4.0.5 | bit64 | 4.0.5 |
bitops | 1.0-8 | klump | 1.2.4 | stövel | 1.3-30 |
brygga | 1.0-10 | Brio | 1.1.5 | kvast | 1.0.6 |
bslib | 0.8.0 | cachem | 1.1.0 | anropare | 3.7.6 |
Karet | 6.0-94 | cellranger | 1.1.0 | Chron | 2.3-61 |
klass | 7.3-22 | Cli | 3.6.3 | clipr | 0.8.0 |
klocka | 0.7.1 | kluster | 2.1.6 | codetools | 0.2-20 |
färgrymd | 2.1-1 | commonmark | 1.9.1 | kompilator | 4.4.0 |
konfiguration | 0.3.2 | kluven | 1.2.0 | cpp11 | 0.4.7 |
krita | 1.5.3 | Autentiseringsuppgifter | 2.0.1 | hårlock | 5.2.1 |
data.table | 1.15.4 | Datamängder | 4.4.0 | DBI | 1.2.3 |
dbplyr | 2.5.0 | Beskrivning | 1.4.3 | devtools | 2.4.5 |
diagram | 1.6.5 | diffobj | 0.3.5 | smälta | 0.6.36 |
nedåtlysande | 0.4.4 | dplyr | 1.1.4 | dtplyr | 1.3.1 |
e1071 | 1.7-14 | ellips | 0.3.2 | evaluera | 0.24.0 |
fan | 1.0.6 | färger | 2.1.2 | fastmap | 1.2.0 |
fontawesome | 0.5.2 | forcats | 1.0.0 | foreach | 1.5.2 |
främmande | 0.8-86 | forma | 0.2.0 | Fs | 1.6.4 |
framtid | 1.34.0 | future.apply | 1.11.2 | gurgla | 1.5.2 |
Generika | 0.1.3 | Gert | 2.1.0 | ggplot2 | 3.5.1 |
gh | 1.4.1 | git2r | 0.33.0 | gitcreds | 0.1.2 |
glmnet | 4.1-8 | globals | 0.16.3 | lim | 1.7.0 |
googledrive | 2.1.1 | googlesheets4 | 1.1.1 | Gower | 1.0.1 |
grafik | 4.4.0 | grDevices | 4.4.0 | rutnät | 4.4.0 |
gridExtra | 2.3 | gsubfn | 0.7 | Gt | 0.11.0 |
gtable | 0.3.5 | skyddshjälm | 1.4.0 | hamn | 2.5.4 |
högre | 0.11 | HMS | 1.1.3 | htmltools | 0.5.8.1 |
htmlwidgets | 1.6.4 | httpuv | 1.6.15 | httr | 1.4.7 |
httr2 | 1.0.2 | Idn | 1.0.1 | ini | 0.3.1 |
Ipred-direktivet | 0.9-15 | isoband | 0.2.7 | Iteratorer | 1.0.14 |
jquerylib | 0.1.4 | jsonlite | 1.8.8 | juicyjuice | 0.1.0 |
KernSmooth | 2.23-22 | knitr | 1.48 | Märkning | 0.4.3 |
senare | 1.3.2 | Galler | 0.22-5 | lava | 1.8.0 |
livscykel | 1.0.4 | lyssna | 0.9.1 | lubridate | 1.9.3 |
magrittr | 2.0.3 | Markdown | 1.13 | MASSA | 7.3-60.0.1 |
Matris | 1.6-5 | memorera | 2.0.1 | metoder | 4.4.0 |
mgcv | 1.9-1 | MIME | 0.12 | miniUI | 0.1.1.1 |
mlflow | 2.14.1 | ModelMetrics | 1.2.2.2 | modelr | 0.1.11 |
munsell | 0.5.1 | nlme | 3.1-165 | nnet | 7.3-19 |
numDeriv | 2016.8-1.1 | openssl | 2.2.0 | parallell | 4.4.0 |
parallellt | 1.38.0 | pelare | 1.9.0 | pkgbuild | 1.4.4 |
pkgconfig | 2.0.3 | pkgdown | 2.1.0 | pkgload | 1.4.0 |
plogr | 0.2.0 | plyr | 1.8.9 | berömma | 1.0.0 |
prettyunits | 1.2.0 | pROC | 1.18.5 | processx | 3.8.4 |
prodlim | 2024.06.25 | profvis | 0.3.8 | framsteg | 1.2.3 |
progressr | 0.14.0 | Löften | 1.3.0 | Proto | 1.0.0 |
proxy | 0.4-27 | PS | 1.7.7 | purrr | 1.0.2 |
R6 | 2.5.1 | ragg | 1.3.2 | randomForest | 4.7-1.1 |
rappdirs | 0.3.3 | rcmdcheck | 1.4.0 | RColorBrewer | 1.1-3 |
Rcpp | 1.0.13 | RcppEigen | 0.3.4.0.0 | reagerbar | 0.4.4 |
reactR | 0.6.0 | readr | 2.1.5 | readxl | 1.4.3 |
recept | 1.1.0 | Returmatch | 2.0.0 | rematch2 | 2.1.2 |
Fjärrkontroller | 2.5.0 | reproducerbart exempel | 2.1.1 | omforma2 | 1.4.4 |
rlang | 1.1.4 | rmarkdown | 2.27 | RODBC | 1.3-23 |
roxygen2 | 7.3.2 | rpart | 4.1.23 | rprojroot | 2.0.4 |
Rserve | 1.8-13 | RSQLite | 2.3.7 | rstudioapi | 0.16.0 |
rversioner | 2.1.2 | rvest | 1.0.4 | Sass | 0.4.9 |
våg | 1.3.0 | selectr | 0.4-2 | sessionsinfo | 1.2.2 |
form | 1.4.6.1 | skinande | 1.9.1 | sourcetools | 0.1.7-1 |
sparklyr | 1.8.6 | rumslig | 7.3-17 | Splines | 4.4.0 |
sqldf | 0.4-11 | SQUAREM | 2021.1 | statistik | 4.4.0 |
stats4 | 4.4.0 | sträng | 1.8.4 | stringr | 1.5.1 |
överlevnad | 3.6-4 | Självsäkert sätt | 5.17.14.1 | sys | 3.4.2 |
systemfonts | 1.1.0 | tcltk | 4.4.0 | testthat | 3.2.1.1 |
textshaping | 0.4.0 | tibble | 3.2.1 | tidyr | 1.3.1 |
tidyselect | 1.2.1 | tidyverse | 2.0.0 | tidsändring | 0.3.0 |
tidDatum | 4032.109 | tinytex | 0.52 | arbetsredskap | 4.4.0 |
tzdb | 0.4.0 | urlchecker | 1.0.1 | använd detta | 3.0.0 |
utf8 | 1.2.4 | verktyg | 4.4.0 | uuid | 1.2-1 |
V8 | 4.4.2 | vctrs | 0.6.5 | viridisLite | 0.4.2 |
Vroom | 1.6.5 | Waldo | 0.5.2 | morrhår | 0.4.1 |
withr | 3.0.1 | xfun | 0.46 | xml2 | 1.3.6 |
xopen | 1.0.1 | xtable | 1.8-4 | yaml | 2.3.10 |
zeallot | 0.1.0 | Zip | 2.3.1 |
Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)
Grupp-ID | Artefakt-ID | Version |
---|---|---|
antlr | antlr | 2.7.7 |
com.amazonaws | amazon-kinesis-client | 1.12.0 |
com.amazonaws | aws-java-sdk-autoscaling | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudformation | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudfront | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudhsm | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudsearch | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudtrail | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudwatch | 1.12.638 |
com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.12.638 |
com.amazonaws | aws-java-sdk-codedeploy | 1.12.638 |
com.amazonaws | aws-java-sdk-cognitoidentity | 1.12.638 |
com.amazonaws | aws-java-sdk-cognitosync | 1.12.638 |
com.amazonaws | aws-java-sdk-config | 1.12.638 |
com.amazonaws | aws-java-sdk-core | 1.12.638 |
com.amazonaws | aws-java-sdk-datapipeline | 1.12.638 |
com.amazonaws | aws-java-sdk-directconnect | 1.12.638 |
com.amazonaws | aws-java-sdk-directory | 1.12.638 |
com.amazonaws | aws-java-sdk-dynamodb | 1.12.638 |
com.amazonaws | aws-java-sdk-ec2 | 1.12.638 |
com.amazonaws | aws-java-sdk-ecs | 1.12.638 |
com.amazonaws | aws-java-sdk-efs | 1.12.638 |
com.amazonaws | aws-java-sdk-elasticache | 1.12.638 |
com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.12.638 |
com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.12.638 |
com.amazonaws | aws-java-sdk-elastictranscoder | 1.12.638 |
com.amazonaws | aws-java-sdk-emr | 1.12.638 |
com.amazonaws | aws-java-sdk-glacier | 1.12.638 |
com.amazonaws | aws-java-sdk-glue | 1.12.638 |
com.amazonaws | aws-java-sdk-iam | 1.12.638 |
com.amazonaws | aws-java-sdk-importexport | 1.12.638 |
com.amazonaws | aws-java-sdk-kinesis | 1.12.638 |
com.amazonaws | aws-java-sdk-kms | 1.12.638 |
com.amazonaws | aws-java-sdk-lambda | 1.12.638 |
com.amazonaws | aws-java-sdk-logs | 1.12.638 |
com.amazonaws | aws-java-sdk-machinelearning | 1.12.638 |
com.amazonaws | aws-java-sdk-opsworks | 1.12.638 |
com.amazonaws | aws-java-sdk-rds | 1.12.638 |
com.amazonaws | aws-java-sdk-redshift | 1.12.638 |
com.amazonaws | aws-java-sdk-route53 | 1.12.638 |
com.amazonaws | aws-java-sdk-s3 | 1.12.638 |
com.amazonaws | aws-java-sdk-ses | 1.12.638 |
com.amazonaws | aws-java-sdk-simpledb | 1.12.638 |
com.amazonaws | aws-java-sdk-simpleworkflow | 1.12.638 |
com.amazonaws | aws-java-sdk-sns | 1.12.638 |
com.amazonaws | aws-java-sdk-sqs | 1.12.638 |
com.amazonaws | aws-java-sdk-ssm | 1.12.638 |
com.amazonaws | aws-java-sdk-storagegateway | 1.12.638 |
com.amazonaws | aws-java-sdk-sts | 1.12.638 |
com.amazonaws | aws-java-sdk-support | 1.12.638 |
com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
com.amazonaws | aws-java-sdk-workspaces | 1.12.638 |
com.amazonaws | jmespath-java | 1.12.638 |
com.clearspring.analytics | ström | 2.9.6 |
com.databricks | Rserve | 1.8-3 |
com.databricks | databricks-sdk-java | 0.27.0 |
com.databricks | jets3t | 0.7.1-0 |
com.databricks.scalapb | scalapb-runtime_2.12 | 0.4.15-10 |
com.esotericsoftware | kryoskuggad | 4.0.2 |
com.esotericsoftware | minlog | 1.3.0 |
com.fasterxml | klasskamrat | 1.3.4 |
com.fasterxml.jackson.core | jackson-anteckningar | 2.15.2 |
com.fasterxml.jackson.core | jackson-core | 2.15.2 |
com.fasterxml.jackson.core | jackson-databind | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.15.2 |
com.fasterxml.jackson.dataformat | jackson-dataformat-yaml | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.15.2 |
com.fasterxml.jackson.datatype | jackson-datatype-jsr310 | 2.16.0 |
com.fasterxml.jackson.module | jackson-module-paranamer | 2.15.2 |
com.fasterxml.jackson.module | jackson-module-scala_2.12 | 2.15.2 |
com.github.ben-manes.koffein | koffein | 2.9.3 |
com.github.fommil | jniloader | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1 |
com.github.fommil.netlib | native_ref-java | 1.1-natives |
com.github.fommil.netlib | native_system-java | 1.1 |
com.github.fommil.netlib | native_system-java | 1.1-natives |
com.github.fommil.netlib | netlib-native_ref-linux-x86_64 | 1.1-natives |
com.github.fommil.netlib | netlib-native_system-linux-x86_64 | 1.1-natives |
com.github.luben | zstd-jni | 1.5.5-4 |
com.github.wendykierp | JTransforms | 3.1 |
com.google.code.findbugs | jsr305 | 3.0.0 |
com.google.code.gson | gson | 2.10.1 |
com.google.crypto.tink | tink | 1.9.0 |
com.google.errorprone | error_prone_annotations | 2.10.0 |
com.google.flatbuffers | flatbuffers-java | 23.5.26 |
com.google.guava | guava | 15.0 |
com.google.protobuf | protobuf-java | 3.25.1 |
com.helger | profilerare | 1.1.1 |
com.ibm.icu | icu4j | 75.1 |
com.jcraft | jsch | 0.1.55 |
com.jolbox | bonecp | 0.8.0.RELEASE |
com.lihaoyi | sourcecode_2.12 | 0.1.9 |
com.microsoft.azure | azure-data-lake-store-sdk | 2.3.9 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.2.jre8 |
com.microsoft.sqlserver | mssql-jdbc | 11.2.3.jre8 |
com.ning | compress-lzf | 1.1.2 |
com.sun.mail | javax.mail | 1.5.2 |
com.sun.xml.bind | jaxb-core | 2.2.11 |
com.sun.xml.bind | jaxb-impl | 2.2.11 |
com.tdunning | json | 1.8 |
com.thoughtworks.paranamer | paranamer | 2.8 |
com.trueaccord.lenses | lenses_2.12 | 0.4.12 |
com.twitter | chill-java | 0.10.0 |
com.twitter | chill_2.12 | 0.10.0 |
com.twitter | util-app_2.12 | 7.1.0 |
com.twitter | util-core_2.12 | 7.1.0 |
com.twitter | util-function_2.12 | 7.1.0 |
com.twitter | util-jvm_2.12 | 7.1.0 |
com.twitter | util-lint_2.12 | 7.1.0 |
com.twitter | util-registry_2.12 | 7.1.0 |
com.twitter | util-stats_2.12 | 7.1.0 |
com.typesafe | konfiguration | 1.4.3 |
com.typesafe.scala-logging | scala-logging_2.12 | 3.7.2 |
com.uber | h3 | 3.7.3 |
com.univocity | univocity-parsers | 2.9.1 |
com.zaxxer | HikariCP | 4.0.3 |
commons-cli | commons-cli | 1.5.0 |
commons-codec | commons-codec | 1.16.0 |
commons-collections | commons-collections | 3.2.2 |
commons-dbcp | commons-dbcp | 1.4 |
filuppladdning på commons | filuppladdning på commons | 1.5 |
commons-httpclient | commons-httpclient | 3.1 |
commons-io | commons-io | 2.13.0 |
commons-lang | commons-lang | 2.6 |
commons-logging | commons-logging | 1.1.3 |
commons-pool | commons-pool | 1.5.4 |
dev.ludovic.netlib | arpack | 3.0.3 |
dev.ludovic.netlib | Blas | 3.0.3 |
dev.ludovic.netlib | lapack | 3.0.3 |
info.ganglia.gmetric4j | gmetric4j | 1.0.10 |
io.airlift | luftkompressor | 0.27 |
io.delta | delta-sharing-client_2.12 | 1.2.2 |
io.dropwizard.metrics | metrics-annotation | 4.2.19 |
io.dropwizard.metrics | metrics-core | 4.2.19 |
io.dropwizard.metrics | metrics-graphite | 4.2.19 |
io.dropwizard.metrics | hälsokontroller av metrik | 4.2.19 |
io.dropwizard.metrics | metrics-jetty9 | 4.2.19 |
io.dropwizard.metrics | metrics-jmx | 4.2.19 |
io.dropwizard.metrics | metrics-json | 4.2.19 |
io.dropwizard.metrics | metrics-jvm | 4.2.19 |
io.dropwizard.metrics | metrics-servlets | 4.2.19 |
io.netty | netty-all | 4.1.108.Final |
io.netty | netty-buffert | 4.1.108.Final |
io.netty | netty-codec | 4.1.108.Final |
io.netty | netty-codec-http | 4.1.108.Final |
io.netty | netty-codec-http2 | 4.1.108.Final |
io.netty | netty-codec-socks | 4.1.108.Final |
io.netty | netty-common | 4.1.108.Final |
io.netty | netty-handler | 4.1.108.Final |
io.netty | netty-handler-proxy | 4.1.108.Final |
io.netty | netty-resolver | 4.1.108.Final |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-linux-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-aarch_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-osx-x86_64 |
io.netty | netty-tcnative-boringssl-static | 2.0.61.Final-db-r16-windows-x86_64 |
io.netty | netty-tcnative-classes | 2.0.61.Final |
io.netty | netty-transport | 4.1.108.Final |
io.netty | netty-transport-classes-epoll | 4.1.108.Final |
io.netty | netty-transport-classes-kqueue | 4.1.108.Final |
io.netty | netty-transport-native-epoll | 4.1.108.Final |
io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-aarch_64 |
io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-riscv64 |
io.netty | netty-transport-native-epoll | 4.1.108.Final-linux-x86_64 |
io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-aarch_64 |
io.netty | netty-transport-native-kqueue | 4.1.108.Final-osx-x86_64 |
io.netty | netty-transport-native-unix-common | 4.1.108.Final |
io.prometheus | simpleclient | 0.7.0 |
io.prometheus | simpleclient_common | 0.7.0 |
io.prometheus | simpleclient_dropwizard | 0.7.0 |
io.prometheus | simpleclient_pushgateway | 0.7.0 |
io.prometheus | simpleclient_servlet | 0.7.0 |
io.prometheus.jmx | samlare | 0.12.0 |
jakarta.annotation | jakarta.annotation-api | 1.3.5 |
jakarta.servlet | jakarta.servlet-api | 4.0.3 |
jakarta.validation | jakarta.validation-api | 2.0.2 |
jakarta.ws.rs | jakarta.ws.rs-api | 2.1.6 |
javax.activation | aktivering | 1.1.1 |
javax.el | javax.el-api | 2.2.4 |
javax.jdo | jdo-api | 3.0.1 |
javax.transaction | jta | 1.1 |
javax.transaction | transaktions-API | 1.1 |
javax.xml.bind | jaxb-api | 2.2.11 |
javolution | javolution | 5.5.1 |
jline | jline | 2.14.6 |
joda-time | joda-time | 2.12.1 |
net.java.dev.jna | jna | 5.8.0 |
net.razorvine | ättikslag | 1.3 |
net.sf.jpam | jpam | 1.1 |
net.sf.opencsv | opencsv | 2.3 |
net.sf.supercsv | super-csv | 2.2.0 |
net.snowflake | snowflake-ingest-sdk | 0.9.6 |
net.sourceforge.f2j | arpack_combined_all | 0.1 |
org.acplt.remotetea | remotetea-oncrpc | 1.1.2 |
org.antlr | ST4 | 4.0.4 |
org.antlr | antlr-runtime | 3.5.2 |
org.antlr | antlr4-runtime | 4.9.3 |
org.antlr | strängmall | 3.2.1 |
org.apache.ant | myra | 1.10.11 |
org.apache.ant | ant-jsch | 1.10.11 |
org.apache.ant | ant-launcher | 1.10.11 |
org.apache.arrow | pilformat | 15.0.0 |
org.apache.arrow | arrow-memory-core | 15.0.0 |
org.apache.arrow | arrow-memory-netty | 15.0.0 |
org.apache.arrow | pilvektor | 15.0.0 |
org.apache.avro | avro | 1.11.3 |
org.apache.avro | avro-ipc | 1.11.3 |
org.apache.avro | avro-mapred | 1.11.3 |
org.apache.commons | commons-collections4 | 4.4 |
org.apache.commons | commons-compress | 1.23.0 |
org.apache.commons | commons-crypto | 1.1.0 |
org.apache.commons | commons-lang3 | 3.12.0 |
org.apache.commons | commons-math3 | 3.6.1 |
org.apache.commons | commons-text | 1.10.0 |
org.apache.curator | kurator-klient | 2.13.0 |
org.apache.curator | curator-framework | 2.13.0 |
org.apache.curator | kurerade recept | 2.13.0 |
org.apache.datasketches | datasketches-java | 3.1.0 |
org.apache.datasketches | datasketches-memory | 2.0.0 |
org.apache.derby | Derby | 10.14.2.0 |
org.apache.hadoop | hadoop-client-runtime | 3.3.6 |
org.apache.hive | hive-beeline | 2.3.9 |
org.apache.hive | hive-cli | 2.3.9 |
org.apache.hive | hive-jdbc | 2.3.9 |
org.apache.hive | hive-llap-client | 2.3.9 |
org.apache.hive | hive-llap-common | 2.3.9 |
org.apache.hive | hive-serde | 2.3.9 |
org.apache.hive | hive-shims | 2.3.9 |
org.apache.hive | hive-storage-api | 2.8.1 |
org.apache.hive.shims | hive-shims-0.23 | 2.3.9 |
org.apache.hive.shims | hive-shims-allmänn | 2.3.9 |
org.apache.hive.shims | hive-shims-scheduler | 2.3.9 |
org.apache.httpcomponents | httpclient | 4.5.14 |
org.apache.httpcomponents | httpcore | 4.4.16 |
org.apache.ivy | murgröna | 2.5.2 |
org.apache.logging.log4j | log4j-1.2-api | 2.22.1 |
org.apache.logging.log4j | log4j-api | 2.22.1 |
org.apache.logging.log4j | log4j-core | 2.22.1 |
org.apache.logging.log4j | log4j-layout-template-json | 2.22.1 |
org.apache.logging.log4j | log4j-slf4j2-impl | 2.22.1 |
org.apache.orc | orc-core | 1.9.2-shaded-protobuf |
org.apache.orc | orc-mapreduce | 1.9.2-shaded-protobuf |
org.apache.orc | orc-shims | 1.9.2 |
org.apache.thrift | libfb303 | 0.9.3 |
org.apache.thrift | libthrift | 0.12.0 |
org.apache.ws.xmlschema | xmlschema-core | 2.3.0 |
org.apache.xbean | xbean-asm9-shaded | 4.23 |
org.apache.yetus | åhörarkommentarer | 0.13.0 |
org.apache.zookeeper | djurvårdare | 3.9.2 |
org.apache.zookeeper | zookeeper-jute | 3.9.2 |
org.checkerframework | checker-qual | 3.31.0 |
org.codehaus.jackson | jackson-core-asl | 1.9.13 |
org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
org.codehaus.janino | commons-compiler | 3.0.16 |
org.codehaus.janino | janino | 3.0.16 |
org.datanucleus | datanucleus-api-jdo | 4.2.4 |
org.datanucleus | datanucleus-core | 4.1.17 |
org.datanucleus | datanucleus-rdbms | 4.1.19 |
org.datanucleus | javax.jdo | 3.2.0-m3 |
org.eclipse.collections | eclipse-samlingar | 11.1.0 |
org.eclipse.collections | eclipse-collections-api | 11.1.0 |
org.eclipse.jetty | jetty-client | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-fortsättning | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-http | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-io | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-jndi | 9.4.52.v20230823 |
org.eclipse.jetty | Jetty Plus | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-proxy | 9.4.52.v20230823 |
org.eclipse.jetty | Jetty-säkerhet | 9.4.52.v20230823 |
org.eclipse.jetty | Jetty-server | 9.4.52.v20230823 |
org.eclipse.jetty | Jetty-servlet | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-servlets | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-util-ajax | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-webapp | 9.4.52.v20230823 |
org.eclipse.jetty | jetty-xml | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-API | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-klient | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-common | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-server | 9.4.52.v20230823 |
org.eclipse.jetty.websocket | websocket-servlet | 9.4.52.v20230823 |
org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
org.glassfish.hk2 | hk2-api | 2.6.1 |
org.glassfish.hk2 | hk2-locator | 2.6.1 |
org.glassfish.hk2 | hk2-utils | 2.6.1 |
org.glassfish.hk2 | osgi_resource_locator | 1.0.3 |
org.glassfish.hk2.external | aopalliance-repackaged | 2.6.1 |
org.glassfish.hk2.external | jakarta.inject | 2.6.1 |
org.glassfish.jersey.containers | jersey-container-servlet | 2.40 |
org.glassfish.jersey.containers | jersey-container-servlet-core | 2.40 |
org.glassfish.jersey.core | jersey-client | 2.40 |
org.glassfish.jersey.core | jersey-common | 2.40 |
org.glassfish.jersey.core | jersey-server | 2.40 |
org.glassfish.jersey.inject | jersey-hk2 | 2.40 |
org.hibernate.validator | vilolägesverifierare | 6.1.7.Final |
org.ini4j | ini4j | 0.5.4 |
org.javassist | javassist | 3.29.2-GA |
org.jboss.logging | jboss-logging | 3.3.2.Final |
org.jdbi | jdbi | 2.63.1 |
org.jetbrains | Anteckningar | 17.0.0 |
org.joda | joda-convert | 1.7 |
org.jodd | jodd-core | 3.5.2 |
org.json4s | json4s-ast_2.12 | 3.7.0-M11 |
org.json4s | json4s-core_2.12 | 3.7.0-M11 |
org.json4s | json4s-jackson_2.12 | 3.7.0-M11 |
org.json4s | json4s-scalap_2.12 | 3.7.0-M11 |
org.lz4 | lz4-java | 1.8.0-databricks-1 |
org.mlflow | mlflow-spark_2.12 | 2.9.1 |
org.objenesis | objenesis | 2.5.1 |
org.postgresql | postgresql | 42.6.1 |
org.roaringbitmap | RoaringBitmap | 0.9.45-databricks |
org.roaringbitmap | brickor | 0.9.45-databricks |
org.rocksdb | rocksdbjni | 9.2.1 |
org.rosuda.REngine | REngine | 2.1.0 |
org.scala-lang | scala-compiler_2.12 | 2.12.15 |
org.scala-lang | scala-library_2.12 | 2.12.15 |
org.scala-lang | scala-reflect_2.12 | 2.12.15 |
org.scala-lang.modules | scala-collection-compat_2.12 | 2.11.0 |
org.scala-lang.modules | scala-java8-compat_2.12 | 0.9.1 |
org.scala-lang.modules | scala-parser-combinators_2.12 | 1.1.2 |
org.scala-lang.modules | scala-xml_2.12 | 1.2.0 |
org.scala-sbt | testgränssnitt | 1.0 |
org.scalacheck | scalacheck_2.12 | 1.14.2 |
org.scalactic | scalactic_2.12 | 3.2.16 |
org.scalanlp | breeze-macros_2.12 | 2.1.0 |
org.scalanlp | breeze_2.12 | 2.1.0 |
org.scalatest | scalatest-kompatibel | 3.2.16 |
org.scalatest | scalatest-core_2.12 | 3.2.16 |
org.scalatest | scalatest-diagrams_2.12 | 3.2.16 |
org.scalatest | scalatest-featurespec_2.12 | 3.2.16 |
org.scalatest | scalatest-flatspec_2.12 | 3.2.16 |
org.scalatest | scalatest-freespec_2.12 | 3.2.16 |
org.scalatest | scalatest-funspec_2.12 | 3.2.16 |
org.scalatest | scalatest-funsuite_2.12 | 3.2.16 |
org.scalatest | scalatest-matchers-core_2.12 | 3.2.16 |
org.scalatest | scalatest-mustmatchers_2.12 | 3.2.16 |
org.scalatest | scalatest-propspec_2.12 | 3.2.16 |
org.scalatest | scalatest-refspec_2.12 | 3.2.16 |
org.scalatest | scalatest-shouldmatchers_2.12 | 3.2.16 |
org.scalatest | scalatest-wordspec_2.12 | 3.2.16 |
org.scalatest | scalatest_2.12 | 3.2.16 |
org.slf4j | jcl-over-slf4j | 2.0.7 |
org.slf4j | jul-to-slf4j | 2.0.7 |
org.slf4j | slf4j-api | 2.0.7 |
org.slf4j | slf4j-simple | 1.7.25 |
org.threeten | threeten-extra | 1.7.1 |
org.tukaani | xz | 1.9 |
org.typelevel | algebra_2.12 | 2.0.1 |
org.typelevel | cats-kernel_2.12 | 2.1.1 |
org.typelevel | spire-macros_2.12 | 0.17.0 |
org.typelevel | spire-platform_2.12 | 0.17.0 |
org.typelevel | spire-util_2.12 | 0.17.0 |
org.typelevel | spire_2.12 | 0.17.0 |
org.wildfly.openssl | wildfly-openssl | 1.1.3.Final |
org.xerial | sqlite-jdbc | 3.42.0.0 |
org.xerial.snappy | snappy-java | 1.1.10.3 |
org.yaml | snakeyaml | 2.0 |
oro | oro | 2.0.8 |
pl.edu.icm | JLargeArrays | 1.5 |
software.amazon.cryptools | AmazonCorrettoCryptoProvider | 2.4.1-linux-x86_64 |
stax | stax-api | 1.0.1 |