Dela via

Databricks Runtime 12.0 (EoS)

  • Artikel

Kommentar

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Följande versionsinformation ger information om Databricks Runtime 12.0, som drivs av Apache Spark 3.3.1.

Databricks släppte den här versionen i december 2022.

Nya funktioner och förbättringar

Förutsägande I/O är GA

Prediktiv I/O är nu allmänt tillgänglig. Mer information finns i Vad är förutsägande I/O?.

Photon writer stöder zstd-komprimering

Photon native writer stöder nu zstd-komprimeringskodek när zstd aktiveras genom att ställa in spark.sql.parquet.compression.codec till zstd.

Stöd för aktivitetsresursprofil på stegnivå för fristående kluster

Nu kan du använda schemaläggning på stegnivå i fristående kluster när dynamisk allokering är inaktiverad. Om du vill använda den här funktionen anger du aktivitetsresurserna med ResourceProfileBuilder för varje fas.

SQL-stöd för selektiv överskrivning med REPLACE WHERE

Nu kan du selektivt skriva över data som matchar ett godtyckligt uttryck i en Delta-tabell med hjälp av följande mönster.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Se Godtycklig selektiv överskrivning med replaceWhere.

Vattenstämplar stöds nu i SQL

Nu kan du ange vattenstämplar med DLT SQL-gränssnittet och i SQL-frågor mot strömmande DataFrames. Se WATERMARK-satsen.

Minnesprofilering i PySpark

Minnesprofilering är nu aktiverat för användardefinierade PySpark-funktioner. Detta ger information om minnesökning, minnesanvändning och antal förekomster för varje kodrad i en användardefinierad funktion.

Dynamisk beskärning för DELETE och UPDATE

När du använder Photon-aktiverad beräkning använder DELETE och UPDATE nu dynamisk fil- och partitionsrensning där prestandan förbättras. Till exempel aktiveras dynamisk beskärning när en mindre källtabell används för att uppdatera eller ta bort rader i en större tabell.

Borttagningsmått på radnivå för partitionerade datamanipuleringsspråkåtgärder

Med partitionerade predikat kan användarna nu granska hur många rader som tas bort när du kör DML-åtgärder (datamanipuleringsspråk), till exempel DELETE, TRUNCATEoch replaceWhere.

Felkorrigeringar

Ett problem med JSON-parsning har åtgärdats i Auto Loader där alla kolumner lämnades som strängar. Tidigare var cloudFiles.inferColumnTypes antingen inte inställt eller inställt på false, och JSON innehöll kapslade objekt.

Biblioteksuppgraderingar

  • Uppgraderade Python-bibliotek:
    • argon2-cffi från 20.1.0 till 21.3.0
    • attrs från 21.2.0 till 21.4.0
    • backports.entry-points-selectable från 1.1.1 till 1.2.0
    • blekmedel från 4.0.0 till 4.1.0
    • boto3 från 1.21.18 till 1.21.32
    • botocore från 1.24.18 till 1.24.32
    • cffi från 1.14.6 till 1.15.0
    • klicka från 8.0.3 till 8.0.4
    • cycler från 0.10.0 till 0.11.0
    • Cython från 0.29.24 till 0.29.28
    • debugpy från 1.4.1 till 1.5.1
    • decorator från 5.1.0 till 5.1.1
    • entrypoints från 0.3 till 0.4
    • idna från 3.2 till 3.3
    • ipykernel från 6.12.1 till 6.15.3
    • ipython från 7.32.0 till 8.5.0
    • ipywidgets från 7.7.0 till 7.7.2
    • jedi från 0.18.0 till 0.18.1
    • joblib från 1.0.1 till 1.1.0
    • jsonschema från 3.2.0 till 4.4.0
    • kiwisolver från 1.3.1 till 1.3.2
    • matplotlib från 3.4.3 till 3.5.1
    • nbclient från 0.5.3 till 0.5.13
    • nbconvert från 6.1.0 till 6.4.4
    • nbformat från 5.1.3 till 5.3.0
    • nest-asyncio från 1.5.1 till 1.5.5
    • notebook-fil från 6.4.5 till 6.4.8
    • numpy från 1.20.3 till 1.21.5
    • förpackning från 21.0 till 21.3
    • pandas från 1.3.4 till 1.4.2
    • pandocfilter från 1.4.3 till 1.5.0
    • parso från 0.8.2 till 0.8.3
    • Pillow från version 8.4.0 till 9.0.1
    • platformdirs från 2.5.2 till 2.5.4
    • plotly från version 5.9.0 till 5.6.0
    • prometheus-client från 0.11.0 till 0.13.1
    • protobuf från 4.21.5 till 3.19.4
    • pycparser från 2,20 till 2,21
    • Pygments från 2.10.0 till 2.11.2
    • pyodbc från 4.0.31 till 4.0.32
    • pyzmq från 22.2.1 till 22.3.0
    • begäranden från 2.26.0 till 2.27.1
    • s3transfer från 0.5.2 till 0.5.0
    • scikit-learn från 0.24.2 till 1.0.2
    • scipy från 1.7.1 till 1.7.3
    • statsmodels från 0.12.2 till 0.13.2
    • terminado från 0.9.4 till 0.13.1
    • tomli från 2.0.1 till 1.2.2
    • traitlets från 5.1.0 till 5.1.1
    • urllib3 från 1.26.7 till 1.26.9
    • widgetsnbextension från 3.6.0 till 3.6.1
  • Uppgraderade R-bibliotek:
    • bas från 4.1.3 till 4.2.2
    • brygg från 1,0-7 till 1,0-8
    • bslib från 0.4.0 till 0.4.1
    • callr från 3.7.2 till 3.7.3
    • chron från 2.3-57 till 2.3-58
    • cli från 3.3.0 till 3.4.1
    • kluster från 2.1.3 till 2.1.4
    • commonmark från 1.8.0 till 1.8.1
    • kompilator från 4.1.3 till 4.2.2
    • cpp11 från 0.4.2 till 0.4.3
    • krita från 1.5.1 till 1.5.2
    • curl från 4.3.2 till 4.3.3
    • data.table från 1.14.2 till 1.14.4
    • datauppsättningar från 4.1.3 till 4.2.2
    • desc från 1.4.1 till 1.4.2
    • devtools från 2.4.4 till 2.4.5
    • sammanfatta från 0.6.29 till 0.6.30
    • e1071 från 1,7-11 till 1,7-12
    • utvärdera från 0,16 till 0,18
    • fontawesome från 0.3.0 till 0.4.0
    • Framtida från 1.28.0 till 1.29.0
    • future.apply från 1.9.1 till 1.10.0
    • uppdatering av gargle från version 1.2.0 till version 1.2.1
    • gert från 1.8.0 till 1.9.1
    • ggplot2 från 3.3.6 till 3.4.0
    • gh från 1.3.0 till 1.3.1
    • gitcreds från 0.1.1 till 0.1.2
    • grafik från 4.1.3 till 4.2.2
    • grEnheter från 4.1.3 till 4.2.2
    • rutnät från 4.1.3 till 4.2.2
    • httpuv från 1.6.5 till 1.6.6
    • isoband från 0.2.5 till 0.2.6
    • jsonlite från 1.8.0 till 1.8.3
    • lava från 1.6.10 till 1.7.0
    • livscykel från 1.0.1 till 1.0.3
    • lubridat från 1.8.0 till 1.9.0
    • markdown från 1.1 till 1.3
    • MASS från 7,3–56 till 7,3–58
    • Matris från 1,4-1 till 1,5-1
    • metoder från 4.1.3 till 4.2.2
    • mgcv från 1,8-40 till 1,8-41
    • nlme från 3.1-157 till 3.1-160
    • nnet från 7.3-17 till 7.3-18
    • openssl från 2.0.2 till 2.0.4
    • parallellt från 4.1.3 till 4.2.2
    • pkgload från 1.3.0 till 1.3.1
    • processx från 3.7.0 till 3.8.0
    • ps från 1.7.1 till 1.7.2
    • purrr från 0.3.4 till 0.3.5
    • ragg från 1.2.2 till 1.2.4
    • RcppEigen från 0.3.3.9.2 till 0.3.3.9.3
    • readr från 2.1.2 till 2.1.3
    • recept från 1.0.1 till 1.0.3
    • rlang från 1.0.5 till 1.0.6
    • rmarkdown från 2.16 till 2.18
    • rpart från 4.1.16 till 4.1.19
    • RSQLite från 2.2.16 till 2.2.18
    • glänsande från 1.7.2 till 1.7.3
    • SparkR från 3.3.0 till 3.3.1
    • splines från 4.1.3 till 4.2.2
    • statistik från 4.1.3 till 4.2.2
    • stats4 från 4.1.3 till 4.2.2
    • sys från 3.4 till 3.4.1
    • tcltk från 4.1.3 till 4.2.2
    • testthat från 3.1.4 till 3.1.5
    • tidyr från 1.2.0 till 1.2.1
    • tidyselect från 1.1.2 till 1.2.0
    • timeDate från 4021.104 till 4021.106
    • tinytex från 0,41 till 0,42
    • verktyg från 4.1.3 till 4.2.2
    • utils från 4.1.3 till 4.2.2
    • vctrs från 0.4.1 till 0.5.0
    • vroom från 1.5.7 till 1.6.0
    • xfun från 0,32 till 0,34
    • yaml från 2.3.5 till 2.3.6
    • zip från 2.2.0 till 2.2.2
  • Uppgraderade Java-bibliotek:
    • com.fasterxml.jackson.core.jackson-databind från 2.13.4 till 2.13.4.2
    • org.apache.parquet.parquet-column från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson från 1.12.0-databricks-0007 till 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations från 0.5.0 till 0.13.0

Apache Spark

Databricks Runtime 12.0 innehåller Apache Spark 3.3.1. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 11.3 LTS, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Återställ "[SC-113542][ss] Vänd standardvärdet för Kafka offset fetching config"
  • [SPARK-40646] [SC-116061] Revert "[SC-113379][sql] Fix returning partial results in JSON data source and JSON functions"
  • [SPARK-41195] [SC-116305][sql] Stöd PIVOT/UNPIVOT med sammanfogningsbarn
  • [SPARK-41178] [SC-116139][sql] Åtgärda regleringsföljd för parser mellan JOIN och komma
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] Lägg till felklassen STREAM_FAILED i StreamingQueryException
  • [SPARK-40921] Revert "[SC-115140][SC-114585][SQL] Lägg till WHEN NOT MATCHED BY SOURCE-klausulen till MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Utöka metadatakolumnen för att stödja radindex för Parquet-filer
  • [SPARK-41055] [SC-115582][sql] Byt namn på _LEGACY_ERROR_TEMP_2424 till GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] Stöd för meddelandeklassnamn för PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] SQL-motsvarighet för överskrivningskommando för dataram
  • [SPARK-41095] [SC-115659][sql] Konvertera olösta operatorer till interna fel
  • [SPARK-41144] [SC-115866][sql] Olöst tips bör inte orsaka frågefel
  • [SPARK-41137] [SC-115858][sql] Byt namn på LATERAL_JOIN_OF_TYPE till INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] Byt namn på felklassen _LEGACY_ERROR_TEMP_0040 till INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] Enhetstest nullkontroll för datagenerator
  • [SPARK-40769] [SC-114923][core][SQL] Migrera typkontrollfel för aggregerade uttryck till felklasser
  • [SPARK-41043] [SC-115183][sql] Byt namn på felklassen _LEGACY_ERROR_TEMP_2429 till NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobuf importstöd och flytt av felklasser.
  • [SPARK-41019] [SC-114987][sql] Ange en frågekontext för failAnalysis()
  • [SPARK-41027] [SC-115131][sql] Använd UNEXPECTED_INPUT_TYPE i stället för MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Minska omfördelningsstorleken för ALS
  • [SPARK-41134] [SC-115851][sql] Förbättra felmeddelandet om interna fel
  • [SPARK-37980] Revert " [SQL] Utöka metadatakolumnen för att stödja radindex för Parquet-filer
  • [SPARK-41109] [SC-115788][sql] Byt namn på felklassen _LEGACY_ERROR_TEMP_1216 till INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Använd NON_FOLDABLE_INPUT i stället för FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Optimera konstruktorns användning av GenericArrayData för Scala 2.13
  • [SPARK-40697] [SC-113648][sql] Lägg till teckenutfyllnad på lässidan för att täcka externa datafiler
  • [SPARK-40978] [SC-114574][sql] Migrera failAnalysis() utan att använda en kontext till felklasser
  • [SPARK-40663] [SC-114586][sql] Migrera körningsfel till felklasser: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: Stöd för körningsgruppfiltrering i kommandon på radnivå
  • [SPARK-40372] [SC-115668][sql] Migrera misslyckanden i matristypkontroller till felklasser
  • [SPARK-41038] [SC-115371][sql] Byt namn på MULTI_VALUE_SUBQUERY_ERROR till SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] Byt namn på felklassen _LEGACY_ERROR_TEMP_1208 till FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] Migrera fel vid typkontroll av villkor till felklasser
  • [SPARK-40371] [SC-114557][sql] Migrera typkontrollfel för NthValue och NTile till felklasser
  • [SPARK-41092] [SC-115547][sql] Använd inte identifierare för att matcha intervallenheter
  • [SPARK-41009] [SC-115360][sql] Byt namn på felklassen _LEGACY_ERROR_TEMP_1070 till LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Utöka metadatakolumnen för att stödja radindex för Parquet-filer
  • [SPARK-40967] [SC-114448][sql] Migrera failAnalysis() till felklasser
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] Instrumentera Python-UDF:er med SQL-metriker
  • [SPARK-41012] [SC-114873][sql] Byt namn på _LEGACY_ERROR_TEMP_1022 till ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] Byt namn på PARSE_CHAR_MISSING_LENGTH till DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] Migrera typkontrollfel av diverse uttryck till felklasser
  • [SPARK-37945] [SC-115534][sql][CORE] Använd felklasser i körningsfelen för aritmetiska ops
  • [SPARK-40374] [SC-114705][sql] Migrering av typkontrollfel från typskapare till felklasser
  • [SPARK-41056] [SC-115354][r] Åtgärda nya R_LIBS_SITE beteende som introduceras i R 4.2
  • [SPARK-41041] [SC-115357][sql] Integrera _LEGACY_ERROR_TEMP_1279 i TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] Migrera körningsfel till felklasser: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] Byt namn på felklassen _LEGACY_ERROR_TEMP_1019 till STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] Korrigera inte vikbara barn till aggregatfunktioner i RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] Förbättra felklasser och meddelanden
  • [SPARK-40798] [SC-113782][sql] Ändra partition bör verifiera att värdet följer storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][sql] Använd SparkIllegalArgumentException i stället för IllegalArgumentException i CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Lägg till NÄR INTE MATCHAS AV KÄLLAN-satsen i MERGE INTO
  • [SPARK-40360] [SC-114965] ALREADY_EXISTS och NOT_FOUND undantag
  • [SPARK-41007] [SC-115085][sql] Lägg till serialiserare som saknas för java.math.BigInteger
  • [SPARK-40751] [SC-114254][sql] Migrera typkontrollfel för högordningsfunktioner till felklasser
  • [SPARK-40248] [SC-114704][sql] Använd ett större antal bitar för att skapa Bloom-filter
  • [SPARK-41040] [SC-115145][ss] Åtgärda fel med strömmande självföreningsfråga när du använder readStream.table
  • [SPARK-32380] [SC-114966][sql] Åtgärda åtkomsten till HBase-tabellen via Hive från Spark
  • [SPARK-40749] [SC-114860][sql] Migrera typkontrollfel för generatorer till felklasser
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] Fix stateful operator late re...
  • [SPARK-40654] [SC-112783] Ta bort temporära loggradsrader
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Åtgärda Java-kompileringsvarningar relaterade till generisk typ
  • [SPARK-40657] [SC-113642][cherry-pick] Lägg till stöd för Java-klasser i Protob...
  • [SPARK-40898] [SC-113932][sql] Citatteckna funktionsnamn vid felaktiga datatypmismatchningar
  • [SPARK-40760] [SC-113750][sql] Migrera typkontrollfel för intervalluttryck till felklasser
  • [SPARK-36114] [SC-113771][sql] Stöder underfrågor med korrelerade predikater för icke-likhet
  • [SPARK-40856] [SC-113738][sql] Uppdatera felmallen för WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][sql] Migrera typkontrollfel i tidsfönstret till felklasser
  • [SPARK-40750] [SC-113812][sql] Migrera typkontrollfel för matematiska uttryck till felklasser
  • [SPARK-40756] [SC-113749][sql] Migrera typkontrollfel för stränguttryck till felklasser
  • [SPARK-40768] [SC-113640][sql] Migrera typkontrollfel för bloom_filter_agg() till felklasser
  • [SPARK-40369] [SC-113402][core][SQL] Migrera typkontrollfelen för anrop via reflektion till felklasser
  • [SPARK-39445] [SQL] Ta bort fönstret om windowExpressions är tomt i kolumnrensning
  • [SPARK-40761] [SC-113245][sql] Migrera typkontrollfel för percentiluttryck till felklasser
  • [SPARK-40361] [SC-112789][sql] Migrera fel vid aritmetisk typkontroll till klasser av fel
  • [SPARK-40714] [SC-112576][sql] Ta bort PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] Åtgärda partitionsspecifikationer i PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] Migrera misslyckanden vid kontroll av samlingstyper till felklasser
  • [SPARK-40910] [SC-114259][sql] Ersätt UnsupportedOperationException med SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] Lägg till UNPIVOT i SQL-syntax
  • [SPARK-39783] [SC-113389][sql] Quote qualifiedName för att åtgärda backticks för kolumnkandidater i felmeddelanden
  • [SPARK-40663] [SC-112520][sql] Migrera körningsfel till felklasser: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] Byt namn på felklassen _LEGACY_ERROR_TEMP_0021 till UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] Eliminera separata fält för felunderklasser
  • [SPARK-40944] [SC-114530][sql] Lätta på ordningsbegränsningen för CREATE TABLE kolumnalternativ
  • [SPARK-40815] [SC-114528][sql] Lägg till DelegateSymlinkTextInputFormat för att lösa SymlinkTextInputSplit bugg
  • [SPARK-40933] [SC-114441][sql] Reimplement df.stat. {cov, corr} med inbyggda sql-funktioner
  • [SPARK-40932] [SC-114439][core] Åtgärda felmeddelanden för allGather som skrivs över
  • [SPARK-39312] [SQL] Använd parquet-inhemskt "In" predikat för att trycka ned "in"-filter
  • [SPARK-40862] [SC-114352][sql] Stöd för icke-aggregerade underfrågor i RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][sql] Ange nullable korrekt i projekt som skapats av ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] Migrera körningsfel till felklasser: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] Lös kravet på window_time regel – tillåt flera window_time-anrop
  • [SPARK-40540] [SC-111639][sql] Migrera kompileringsfel till felklasser: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] Korrigering för Unhex när indata har ett udda antal symboler
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] Introducera funktionen window_time för att extrahera händelsetid från fönsterkolumnen
  • [SPARK-40800] [SC-113772][sql] Alltid inline-uttryck i OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Omimplementera frequentItems med dataframe-operationer
  • [SPARK-40735] [SC-114022][sc-112657] anropar konsekvent bash med /usr/bin/env bash i skript för att göra koden mer portabel
  • [SPARK-40773] [SC-113091][sql] Omstrukturera kontroll av korrelationer i underfråga
  • [SPARK-40615] [SC-113400][sql] Kontrollera datatyper som inte stöds när underfrågor dekorreleras
  • [SPARK-40660] [SC-112293][core][SQL] Växla till XORShiftRandom för att distribuera element
  • [SPARK-40540] [SC-113926][sc-111331][SQL] Migrera kompileringsfel till felklasser
  • [SPARK-40551] [SC-113135][sql] DataSource V2: Lägg till API:er för deltabaserade åtgärder på radnivå
  • [SPARK-39391] [SC-110676][core] Återanvänd Partitioner-klasser
  • [SPARK-40368] [SC-113396][sql] Migrera misslyckanden vid kontroll av bloomfiltertyp till felklasser
  • [SPARK-39146] [SC-111814][core][SQL] Introducera lokal singleton för ObjectMapper som kan återanvändas
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Migrera kontrollfel för fönstertyp till felklasser
  • [SPARK-40874] [SC-113756][python] Åtgärda sändningar i Python-UDF:er när kryptering är aktiverat
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Migrera typkontrollfel i CSV/JSON-uttryck till felklasser
  • [SPARK-40880] [SC-113764][sql] Återimplementera summary med dataframe-operationer
  • [SPARK-40877] [SC-113763][sql] Implementera om crosstab med dataframe-operationer
  • [SPARK-40382] [SC-113098][sql] Gruppera distinkta aggregeringsuttryck efter semantiskt likvärdiga komponenter i RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] Lägg till ytterligare filkontroll för kontrollpunktens namnbyte
  • [SPARK-40829] [SC-113426][sql] LAGRAT SOM serde i CREATE TABLE LIKE vy fungerar inte
  • [SPARK-40844] [SC-113542][ss] Vänd standardvärdet för Kafka offset fetching config
  • [SPARK-40488] [SC-113568][sc-111160] Omslut inte undantag som utlöses när datakällans skrivning misslyckas
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Byt namn på message till messageTemplate i STANDARD-formatet för fel
  • [SPARK-40618] [SC-113096][sql] Åtgärda bugg i MergeScalarSubqueries-regeln med kapslade underfrågor med hjälp av referensspårning
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Lägg till felrelaterade utvecklar-API:er
  • [SPARK-40806] [SC-113250][sql] Typo fix: CREATE TABLE –> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] Korrigering som returnerar partiella resultat i JSON-datakällan och JSON-funktioner
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Protobuf-stöd för Spark - från...
  • [SPARK-40753] [SC-113539][sql] Åtgärda bugg i testfall för katalogkatalogåtgärd
  • [SPARK-40765] [SC-113056][sql] Optimera redundanta fs-åtgärder i CommandUtils#calculateSingleLocationSize#getPathSize metod
  • [SPARK-40114] [ES-479282][r][11.X] Arrow 9.0.0-stöd med SparkR
  • [SPARK-40479] [SC-110935][sql] Migrera oväntat indatatypfel till en felklass
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Migrera parsningsfel till felklasser
  • [SPARK-39853] [SC-111867][core] Stöd för aktivitetsresursprofil på fasnivå för fristående kluster när dynamisk allokering är inaktiverad (backport från PR-47157)
  • [SPARK-40407] [SC-111161][sql] Åtgärda den potentiella dataförskjutning som orsakas av df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE inte behöver göra tabellsökning
  • [SPARK-40703] [SC-113242][sql] Introducera shuffle på SinglePartition för att förbättra parallelliteten
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil för att ange ursprunget för konfigurationsalternativen hadoop/hive
  • [SPARK-39062] [11.x][core] Lägg till stöd för resursschemaläggning på stegnivå för fristående kluster
  • [SPARK-33861] [SC-109877]Återställ "[SQL] Förenkla villkorsstyrd i predikat"
  • [SPARK-40667] [SC-113136][sql] Omstrukturering av alternativ för fil-datakälla
  • [SPARK-40370] [SC-110677][sql] Migreringstypkontroll misslyckas med felklasser i CAST
  • [SPARK-40611] [SC-113105][sql] Förbättra prestanda för setInterval & getInterval för UnsafeRow
  • [SPARK-40733] [SC-113126][sql] Gör innehållet i SERDEPROPERTIES i resultatet av ShowCreateTableAsSerdeCommand ha en fast ordning
  • [SPARK-40585] [SC-112180][sql] Stöd för dubbelnoterade identifierare
  • [SPARK-40772] [SC-112992][sql] Förbättra spark.sql.adaptive.skewJoin.skewedPartitionFactor för att stödja Double värden
  • [SPARK-40565] [SC-112417][sql] Skicka inte icke-deterministiska filter till V2-filkällor
  • [SPARK-8731] [SC-112784] Beeline fungerar inte med -e-alternativet när det startas i bakgrunden
  • [SPARK-35242] [SC-111398][sql] Stöd för ändring av sessionskatalogens standarddatabas
  • [SPARK-40426] [SC-110672][sql] Returnera en karta från SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] Optimera prestanda för keys.zipWithIndex.toMap kodmönster
  • [SPARK-40521] [SC-112430][sql] Returnera endast befintliga partitioner i PartitionsAlreadyExistException från Hives skapande av partitioner
  • [SPARK-40705] [SC-112567][sql] Hantera fall av att använda föränderlig matris när rad konverteras till JSON för Scala 2.13
  • [SPARK-39895] [SC-112590][sql][PYTHON] Stöd för att ta bort flera kolumner
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] Ta bort redundanta stränginterpolatoråtgärder
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Sortera felmeddelandeparametrar efter namn i JSON-format
  • [SPARK-40403] [SC-110564][sql] Beräkna osäker matrisstorlek med longs för att undvika negativ storlek i felmeddelandet
  • [SPARK-40482] [SC-110831][sql] Återställ SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Skicka felmeddelandeparametrar till undantag som kartor
  • [SPARK-40628] [SC-112414][sql] Skicka inte komplexa semijoin/antijoin-villkor genom projektet
  • [SPARK-40562] [SC-111455][sql] Lägg till spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] Lägg till PushProjectionThroughLimit för Optimizer
  • [SPARK-39200] [SC-111244][core] Gör Återställningslagring läsbart på innehåll
  • [SPARK-38717] [SC-111241][sql] Hantera Hive:s bucketspecifikationsfall som bevarar beteendet
  • [SPARK-40385] [SC-111123][sql] Korrigera tolkad sökväg för tillhörande objektkonstruktor
  • [SPARK-40216] [SC-112413][sql] Extrahera vanlig ParquetUtils.prepareWrite metod för att deduplicera kod i ParquetFileFormat och ParquetWrite
  • [SPARK-40636] [SC-112160][core] Åtgärda felaktig logg över kvarvarande shuffles i BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Åtgärda tidskontrollproblem vid hanteringen av ExecutorMetricsPollers stageTCMP-poster.
  • [SPARK-40618] [SC-112046][sql] Åtgärda bugg i MergeScalarSubqueries-regeln med kapslade underfrågor
  • [SPARK-40612] [SC-111933][core] Åtgärda det huvudkonto som används för förnyelse av delegeringstoken på resursförvaltare som inte är YARN-hanterare
  • [SPARK-40595] [SC-111662][sql] Förbättra felmeddelandet för oanvända CTE-relationer
  • [SPARK-40314] [SC-111879][sql][PYTHON] Lägg till Scala- och Python-bindningar för inline och inline_outer
  • [SPARK-40416] [SC-110945][sql] Flytta uttryck för underfrågor CheckAnalysens felmeddelandena så att de använder det nya felramverket
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() bör utlösa undantagen från dess underordnade
  • [SPARK-40509] [SC-111644][ss][PYTHON] Lägg till exempel för applyInPandasWithState
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() bör utlösa undantagen från dess underordnade
  • [SPARK-40016] [SQL] Ta bort onödiga TryEval i implementeringen av try_sum()
  • [SPARK-40527] [SC-111224][sql] Behåll strukturnamn eller kartnycklar i CreateStruct
  • [SPARK-38098] [SC-111178][python] Lägg till stöd för ArrayType för kapslad StructType till pilbaserad konvertering
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Ange frågekontext i AnalysisException
  • [SPARK-40492] [SC-111324][ss] Utför underhåll innan StateStore avlastas
  • [SPARK-40487] [SC-111124][sql] Gör defaultJoin i BroadcastNestedLoopJoinExec körs parallellt
  • [SPARK-40474] [SC-111273][sql] Korrekt CSV-schemainferens och dataparsingbeteende på kolumner med blandade datum och tidsstämplar
  • [SPARK-40508] [SC-111066][sql] Behandla okänd partitionering som UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Åtgärda konfigurationer för att kontrollera "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][ss][PYTHON] Lägg till testsviter för applyInPandasWithState i PySpark
  • [SPARK-40434] [SC-111125][ss][PYTHON] Implementera applyInPandasWithState i PySpark

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 12.0.

Systemmiljö

  • Operativsystem: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta lake: 2.2.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 svart 22.3.0 blekmedel 4.1.0
boto3 1.21.32 botocore 1.24.32 certifi 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
klicka 8.0.4 kryptografi 3.4.8 cyklist 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
dekoratör 5.1.1 defusedxml 0.7.1 distlib 0.3.6
ingångspunkter 0,4 Utförande 0.8.3 översikt över aspekter 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
ostämma 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
anteckningsbok 6.4.8 numpy 1.21.5 emballage 21,3
Pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 Patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Kudde 9.0.1 pip 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 begäranden 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
sex 1.16.0 soupsieve 2.3.1 ssh-import-id 5,10
stack-data 0.2.0 statsmodels 0.13.2 ihärdighet 8.0.1
avslutad 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 obevakade uppgraderingar 0,1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webencodings 0.5.1 hjul 0.37.0 widgetsnbextension 3.6.1

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-snapshot den 11-11-2022.

Bibliotek Version Bibliotek Version Bibliotek Version
arrow 10.0.0 askpass 1,1 säkerställ att 0.2.1
backportar 1.4.1 bas 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 blob 1.2.3
starta om 1.3-28 brygga 1.0-8 Brio 1.1.3
kvast 1.0.1 bslib 0.4.1 cachem 1.0.6
anropare 3.7.3 textmarkör 6.0-93 cellranger 1.1.0
Chron 2.3-58 klass 7.3-20 cli 3.4.1
clipr 0.8.0 klocka 0.6.1 cluster 2.1.4
codetools 0.2-18 färgrymd 2.0-3 commonmark 1.8.1
kompilator 4.2.2 config 0.3.1 cpp11 0.4.3
krita 1.5.2 Autentiseringsuppgifter 1.3.2 curl 4.3.3
datatabell 1.14.4 datauppsättningar 4.2.2 DBI 1.1.3
dbplyr 2.2.1 beskrivning 1.4.2 devtools 2.4.5
diffobj 0.3.5 sammanfattning 0.6.30 nedlyst 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
ellips 0.3.2 utvärdera 0,18 fans 1.0.3
färger 2.1.1 snabbkartläggning 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 utländsk 0.8-82
smida 0.2.0 fs 1.5.2 framtid 1.29.0
future.apply 1.10.0 gurgla 1.2.1 Generika 0.1.3
Gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globals 0.16.1
lim 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 grafik 4.2.2 grDevices 4.2.2
nät 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 skyddshjälm 1.2.0 hamn 2.5.1
högre 0,9 HMS 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
Id 1.0.1 ini 0.3.1 IPRED 0.9-13
isoband 0.2.6 Iteratorer 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1,40
Märkning 0.4.2 senare 1.3.0 Galler 0.20-45
lava 1.7.0 livscykel 1.0.3 lyssna 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
MASSA 7.3-58 Matris 1.5-1 memorera 2.0.1
metoder 4.2.2 mgcv 1.8-41 MIME 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallellt 1.32.1 pelare 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 berömma 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Förlopp 1.2.2
progressr 0.11.0 Löften 1.2.0.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recept 1.0.3
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.4.2
reproducerbart exempel 2.0.2 omforma2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 våg 1.2.1
väljare 0.4-2 sessionsinformation 1.2.2 form 1.4.6
glänsande 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 rumslig 7.3-11 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 statistik 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
överlevnad 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 textshaping 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 tidsändring 0.1.1 tidDatum 4021.106
tinytex 0.42 verktyg 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
verktyg 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
morrhår 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 Zip 2.2.2

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-bibliotek 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryotekniskt skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tingeling 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
filuppladdning på commons commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luftkompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics mått-hälsokontroller 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffert 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaktion-API 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine ättikslag 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow vektorpil 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-klient 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recept 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop Hadoop-klient-körmiljö 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy murgröna 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-kolumn 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-kodning 1.12.3-databricks-0001
org.apache.parquet parkettformatstrukturer 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus åhörarkommentarer 0.13.0
org.apache.zookeeper djurvårdare 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-fortsättning 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty Jetty Plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty Jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty brygga-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webbapplikation 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket webbsocket-klient 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Anteckningar 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap distansringar 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt testgränssnitt 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark oanvänd 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1