Delen via

Databricks Runtime 12.0 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Raadpleeg de release-opmerkingen en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 12.0, mogelijk gemaakt door Apache Spark 3.3.1.

Databricks heeft deze versie uitgebracht in december 2022.

Nieuwe functies en verbeteringen

Voorspellende I/O is algemeen beschikbaar

Voorspellende I/O is nu algemeen beschikbaar. Zie Wat is voorspellende I/O?voor meer informatie.

Photon Writer ondersteunt zstd-compressie

Photon native writer ondersteunt nu de zstd-compressiecodec wanneer zstd is ingeschakeld door in te stellen spark.sql.parquet.compression.codec op zstd.

Ondersteuning voor taakresourceprofiel op faseniveau voor zelfstandige clusters

U kunt nu planning op faseniveau gebruiken voor zelfstandige clusters wanneer dynamische toewijzing is uitgeschakeld. Als u deze functie wilt gebruiken, geeft u de taakbronnen op voor elke fase met ResourceProfileBuilder.

SQL-ondersteuning voor selectief overschrijven met REPLACE WHERE

U kunt nu selectief gegevens overschrijven die overeenkomen met een willekeurige expressie in een Delta-tabel met behulp van het volgende patroon.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Zie willekeurig selectief overschrijven met replaceWhere.

Watermerken worden nu ondersteund in SQL

U kunt nu watermerken opgeven met behulp van de DLT SQL-interface en in SQL-query's voor streaming DataFrames. Zie WATERMARK clausule.

PySpark-geheugenprofielanalyse

Geheugenprofilering is nu ingeschakeld voor door de gebruiker gedefinieerde PySpark-functies. Dit biedt informatie over geheugenverhoging, geheugengebruik en het aantal exemplaren voor elke regel code in een door de gebruiker gedefinieerde functie.

Dynamisch snoeien voor DELETE en UPDATE

Wanneer u Photon-geactiveerde berekeningen gebruikt, DELETE en UPDATE nu dynamische bestand- en partitie-pruning gebruiken, waar dat de prestaties verbetert. Dynamisch snoeien is bijvoorbeeld ingeschakeld wanneer een kleinere brontabel wordt gebruikt om rijen in een grotere tabel bij te werken of te verwijderen.

Metrische gegevens van rijniveau-verwijderingsoperaties voor gepartitioneerde gegevensmanipulatietaalbewerkingen

Met gepartitioneerde predicaten kunnen gebruikers nu controleren hoeveel rijen worden verwijderd bij het uitvoeren van DML-bewerkingen (Data Manipulat Language), zoals DELETE, TRUNCATEen replaceWhere.

Bugfixes

Er is een probleem opgelost met JSON-parsering in Auto Loader, waarbij alle kolommen werden achtergelaten als tekenreeksen. Voorheen was cloudFiles.inferColumnTypes niet ingesteld of ingesteld op false, en de JSON bevatte geneste objecten.

Bibliotheekverbeteringen

  • Bijgewerkte Python-bibliotheken:
    • argon2-cffi van 20.1.0 tot 21.3.0
    • attrs van 21.2.0 tot 21.4.0
    • backports.entry-points-selectable van 1.1.1 naar 1.2.0
    • bleach van 4.0.0 naar 4.1.0
    • boto3 van 1.21.18 tot 1.21.32
    • botocore van 1.24.18 tot 1.24.32
    • cffi van 1.14.6 tot 1.15.0
    • klik om te upgraden van 8.0.3 naar 8.0.4
    • cycler van 0.10.0 tot 0.11.0
    • Cython van 0.29.24 tot 0.29.28
    • debugpy bijwerken van 1.4.1 naar 1.5.1
    • decorator van 5.1.0 tot 5.1.1
    • invoerpunten van 0.3 tot 0.4
    • idna van versie 3.2 naar versie 3.3
    • ipykernel van 6.12.1 tot 6.15.3
    • ipython van 7.32.0 tot 8.5.0
    • ipywidgets van 7.7.0 tot 7.7.2
    • jedi van 0.18.0 tot 0.18.1
    • joblib van 1.0.1 tot 1.1.0
    • jsonschema van 3.2.0 tot 4.4.0
    • kiwisolver van 1.3.1 tot 1.3.2
    • matplotlib van 3.4.3 tot 3.5.1
    • nbclient van 0.5.3 tot 0.5.13
    • nbconvert van 6.1.0 naar 6.4.4
    • nbformat van 5.1.3 tot 5.3.0
    • nest-asyncio van 1.5.1 tot 1.5.5
    • notebook van 6.4.5 tot 6.4.8
    • numpy van 1.20.3 tot 1.21.5
    • verpakking van 21.0 tot 21.3
    • pandas van 1.3.4 tot 1.4.2
    • pandocfilters van 1.4.3 tot 1.5.0
    • parso van 0.8.2 tot 0.8.3
    • Pillow van versie 8.4.0 tot 9.0.1
    • platformdirs van 2.5.2 tot 2.5.4
    • plotly van 5.9.0 naar 5.6.0
    • prometheus-client van 0.11.0 tot 0.13.1
    • protobuf van 4.21.5 tot 3.19.4
    • pycparser van 2.20 tot 2.21
    • Pygments van 2.10.0 tot 2.11.2
    • pyodbc van 4.0.31 tot 4.0.32
    • pyzmq van 22.2.1 tot 22.3.0
    • aanvragen van 2.26.0 tot 2.27.1
    • s3transfer van 0.5.2 tot 0.5.0
    • scikit-learn van 0.24.2 tot 1.0.2
    • scipy van 1.7.1 naar 1.7.3
    • statsmodels van 0.12.2 tot 0.13.2
    • terminado van 0.9.4 tot 0.13.1
    • tomli van 2.0.1 tot 1.2.2
    • traitlets bijgewerkt van 5.1.0 naar 5.1.1
    • urllib3 van 1.26.7 tot 1.26.9
    • widgetsnbextension van 3.6.0 tot 3.6.1
  • Bijgewerkte R-bibliotheken:
    • basis van 4.1.3 tot 4.2.2
    • Brew-update van versie 1.0-7 naar 1.0-8
    • bslib van 0.4.0 tot 0.4.1
    • callr van 3.7.2 naar 3.7.3
    • chron van 2.3-57 tot 2.3-58
    • cli van 3.3.0 naar 3.4.1
    • cluster van 2.1.3 tot 2.1.4
    • commonmark tussen 1.8.0 en 1.8.1
    • compiler van 4.1.3 tot 4.2.2
    • cpp11 van 0.4.2 tot 0.4.3
    • krijt van 1.5.1 tot 1.5.2
    • curl van 4.3.2 tot 4.3.3
    • data.table van versie 1.14.2 naar versie 1.14.4
    • gegevenssets van 4.1.3 tot 4.2.2
    • beschrijving van 1.4.1 tot 1.4.2
    • devtools van 2.4.4 tot 2.4.5
    • Digest van 0.6.29 tot 0.6.30
    • e1071 van 1,7-11 tot 1,7-12
    • evalueren van 0,16 tot 0,18
    • fontawesome van 0.3.0 tot 0.4.0
    • toekomst van 1.28.0 tot 1.29.0
    • future.apply van 1.9.1 naar 1.10.0
    • gargle bijwerken van 1.2.0 naar 1.2.1
    • gert van 1.8.0 tot 1.9.1
    • ggplot2 van 3.3.6 tot 3.4.0
    • gh van 1.3.0 tot 1.3.1
    • gitcreds van 0.1.1 tot 0.1.2
    • afbeeldingen van 4.1.3 tot 4.2.2
    • grDevices van 4.1.3 tot 4.2.2
    • raster van 4.1.3 tot 4.2.2
    • httpuv van 1.6.5 tot 1.6.6
    • isoband van 0.2.5 tot 0.2.6
    • jsonlite van 1.8.0 tot 1.8.3
    • lava van 1.6.10 tot 1.7.0
    • levenscyclus van 1.0.1 tot 1.0.3
    • lubridate van 1.8.0 tot 1.9.0
    • markdown van 1.1 tot en met 1.3
    • MASSA van 7,3-56 tot 7,3-58
    • Matrix van 1,4-1 tot 1,5-1
    • methoden van 4.1.3 tot 4.2.2
    • mgcv van 1,8-40 tot 1,8-41
    • nlme van 3.1-157 tot 3.1-160
    • nnet van 7.3-17 tot 7.3-18
    • openssl van 2.0.2 tot 2.0.4
    • parallel van 4.1.3 tot 4.2.2
    • pkgload van versie 1.3.0 naar versie 1.3.1
    • processx van 3.7.0 tot 3.8.0
    • ps van 1.7.1 tot 1.7.2
    • purrr van versie 0.3.4 naar versie 0.3.5
    • ragg van 1.2.2 tot 1.2.4
    • RcppEigen van 0.3.3.9.2 tot 0.3.3.9.3
    • readr van 2.1.2 naar 2.1.3
    • recepten van 1.0.1 tot 1.0.3
    • rlang van 1.0.5 tot 1.0.6
    • rmarkdown van 2.16 naar 2.18
    • rpart van 4.1.16 tot 4.1.19
    • RSQLite van 2.2.16 tot 2.2.18
    • glanzend van 1.7.2 tot 1.7.3
    • SparkR van 3.3.0 tot 3.3.1
    • splines van 4.1.3 tot 4.2.2
    • statistieken van 4.1.3 tot 4.2.2
    • stats4 van 4.1.3 tot 4.2.2
    • sys van 3.4 naar 3.4.1
    • tcltk van 4.1.3 tot 4.2.2
    • testthat van 3.1.4 tot 3.1.5
    • tidyr van 1.2.0 naar 1.2.1
    • tidyselect van 1.1.2 tot 1.2.0
    • timeDate van 4021.104 tot 4021.106
    • tinytex van 0,41 tot 0,42
    • hulpprogramma's van 4.1.3 tot 4.2.2
    • utils van 4.1.3 naar 4.2.2
    • vctrs van 0.4.1 tot 0.5.0
    • vroom van 1.5.7 tot 1.6.0
    • xfun van 0,32 tot 0,34
    • yaml van 2.3.5 tot 2.3.6
    • zip van 2.2.0 tot 2.2.2
  • Bijgewerkte Java-bibliotheken:
    • com.fasterxml.jackson.core.jackson-databind van 2.13.4 tot 2.13.4.2
    • org.apache.parquet.parquet-column van 1.12.0-databricks-0007 tot 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common van 1.12.0-databricks-0007 tot 1.12.3-databricks-0001
    • org.apache.parquet.parquet-codering van 1.12.0-databricks-0007 tot 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures from 1.12.0-databricks-0007 to 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop van 1.12.0-databricks-0007 tot 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson van 1.12.0-databricks-0007 tot 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations van 0.5.0 tot 0.13.0

Apache Spark

Databricks Runtime 12.0 bevat Apache Spark 3.3.1. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 11.3 LTS, evenals de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Herstel “[SC-113542][ss] Verander de standaardwaarde van de Kafka-offset-ophaalconfiguratie”
  • [SPARK-40646] [SC-116061] Herstel "[SC-113379][sql] Oplossing voor het retourneren van gedeeltelijke resultaten in JSON-gegevensbron en JSON-functies"
  • [SPARK-41195] [SC-116305][sql] Ondersteuning voor PIVOT/UNPIVOT met join-kinderen
  • [SPARK-41178] [SC-116139][sql] Parser-regelprioriteit tussen JOIN en komma herstellen
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] Voeg de foutklasse STREAM_FAILED toe aan StreamingQueryException
  • [SPARK-40921] Herstel “[SC-115140][sc-114585][SQL] Voeg WANNEER NIET OVEREENKOMT MET BRON-clausule toe aan MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] De kolom METAGEGEVENS uitbreiden ter ondersteuning van rijindexen voor Parquet-bestanden
  • [SPARK-41055] [SC-115582][sql] Wijzig de naam van _LEGACY_ERROR_TEMP_2424 in GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] Message classname support for PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] SQL-equivalent voor dataframe-overschrijfopdracht
  • [SPARK-41095] [SC-115659][sql] Niet-opgeloste operators omzetten in interne fouten
  • [SPARK-41144] [SC-115866][sql] Niet-opgeloste hint mag geen queryfout veroorzaken
  • [SPARK-41137] [SC-115858][sql] Wijzig de naam van LATERAL_JOIN_OF_TYPE in INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] Wijzig de naam van de foutklasse _LEGACY_ERROR_TEMP_0040 in INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] UnitTest null-controle voor gegevensgenerator
  • [SPARK-40769] [SC-114923][core][SQL] Typecontrolefouten van aggregaatexpressies verplaatsen naar foutklassen
  • [SPARK-41043] [SC-115183][sql] Wijzig de naam van de foutklasse _LEGACY_ERROR_TEMP_2429 in NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Protobuf-importondersteuning en foutklassen verplaatsen.
  • [SPARK-41019] [SC-114987][sql] Geef een querycontext op voor failAnalysis()
  • [SPARK-41027] [SC-115131][sql] Gebruik UNEXPECTED_INPUT_TYPE in plaats van MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Verminder de shuffle-grootte van ALS
  • [SPARK-41134] [SC-115851][sql] Foutbericht van interne fouten verbeteren
  • [SPARK-37980] De kolom METAGEGEVENS uitbreiden om rijindexen voor Parquet-bestanden te ondersteunen
  • [SPARK-41109] [SC-115788][sql] Wijzig de naam van de foutklasse _LEGACY_ERROR_TEMP_1216 in INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Gebruik NON_FOLDABLE_INPUT in plaats van FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Constructorgebruik van GenericArrayData optimaliseren voor Scala 2.13
  • [SPARK-40697] [SC-113648][sql] Char padding aan de leeszijde toevoegen om externe databestanden te dekken
  • [SPARK-40978] [SC-114574][sql] Migreer failAnalysis() zonder een context naar foutklassen
  • [SPARK-40663] [SC-114586][sql] Uitvoeringsfouten migreren naar foutklassen: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: Ondersteuning voor het filteren van runtimegroepen in opdrachten op rijniveau
  • [SPARK-40372] [SC-115668][sql] Migreer fouten van matrixtypecontroles op foutklassen
  • [SPARK-41038] [SC-115371][sql] Naam van MULTI_VALUE_SUBQUERY_ERROR wijzigen in SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] Wijzig de naam van de foutklasse _LEGACY_ERROR_TEMP_1208 in FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] Typecontrolefouten van voorwaarden migreren naar foutklassen
  • [SPARK-40371] [SC-114557][sql] Typecontrolefouten van NthValue en NTile migreren naar foutklassen
  • [SPARK-41092] [SC-115547][sql] Gebruik geen id om intervaleenheden te vinden
  • [SPARK-41009] [SC-115360][sql] Wijzig de naam van de foutklasse _LEGACY_ERROR_TEMP_1070 in LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] De kolom METAGEGEVENS uitbreiden ter ondersteuning van rijindexen voor Parquet-bestanden
  • [SPARK-40967] [SC-114448][sql] failAnalysis() migreren naar foutklassen
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] Python UDF's instrumenteert met behulp van metrische SQL-gegevens
  • [SPARK-41012] [SC-114873][sql] Naam van _LEGACY_ERROR_TEMP_1022 wijzigen in ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] Naam van PARSE_CHAR_MISSING_LENGTH wijzigen in DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] Typecontrolefouten van overige expressies naar foutklassen migreren
  • [SPARK-37945] [SC-115534][sql][CORE] Gebruik foutklassen in de uitvoeringsfouten van rekenkundige bewerkingen
  • [SPARK-40374] [SC-114705][sql] Typecontrolefouten van typemakers migreren naar foutklassen
  • [SPARK-41056] [SC-115354][r] Nieuwe R_LIBS_SITE gedrag opgelost dat is geïntroduceerd in R 4.2
  • [SPARK-41041] [SC-115357][sql] Integreer _LEGACY_ERROR_TEMP_1279 in TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] Uitvoeringsfouten migreren naar foutklassen: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] Wijzig de naam van de foutklasse _LEGACY_ERROR_TEMP_1019 in STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] Pas geen opvouwbare onderliggende elementen van aggregatiefuncties aan in RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] Foutklassen en -berichten verbeteren
  • [SPARK-40798] [SC-113782][sql] Wijzig partitie moet controleren of de waarde voldoet aan storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][sql] SparkIllegalArgumentException gebruiken in plaats van IllegalArgumentException in CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Toevoegen WANNEER NIET OVEREENKOMT MET DE BRON-component aan MERGE INTO
  • [SPARK-40360] [SC-114965] uitzonderingen voor ALREADY_EXISTS en NOT_FOUND
  • [SPARK-41007] [SC-115085][sql] Ontbrekende serializer toevoegen voor java.math.BigInteger
  • [SPARK-40751] [SC-114254][sql] Typecontrolefouten van functies met hoge volgorde migreren naar foutklassen
  • [SPARK-40248] [SC-114704][sql] Gebruik een groter aantal bits om bloom-filter te bouwen
  • [SPARK-41040] [SC-115145][ss] Verhelpen van self-union streaming query failure bij gebruik van readStream.table
  • [SPARK-32380] [SC-114966][sql] Toegang van HBase-tabel herstellen via Hive vanuit Spark
  • [SPARK-40749] [SC-114860][sql] Typecontrolefouten van generatoren migreren naar foutklassen
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] Probleem met vertraagd herstel van stateful operator oplossen...
  • [SPARK-40654] [SC-112783] Tijdelijke logboeklijnen verwijderen
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Java-compilatiewaarschuwingen met betrekking tot algemeen type oplossen
  • [SPARK-40657] [SC-113642][cherry-pick] Ondersteuning voor Java-klassen toevoegen in Protob...
  • [SPARK-40898] [SC-113932][sql] Functienamen citeren in fouten bij niet-overeenkomende gegevenstypen
  • [SPARK-40760] [SC-113750][sql] Typecontrolefouten van intervalexpressies migreren naar foutklassen
  • [SPARK-36114] [SC-113771][sql] Ondersteuning voor subquery's met gecorreleerde predicaten voor niet-gelijkheid
  • [SPARK-40856] [SC-113738][sql] De foutsjabloon van WRONG_NUM_PARAMS bijwerken
  • [SPARK-40759] [SC-114251][sql] Typecontrolefouten van tijdvenster migreren naar foutklassen
  • [SPARK-40750] [SC-113812][sql] Typecontrolefouten van wiskundige expressies migreren naar foutklassen
  • [SPARK-40756] [SC-113749][sql] Typecontrolefouten van tekenreeksexpressies migreren naar foutklassen
  • [SPARK-40768] [SC-113640][sql] Typecontrolefouten van bloom_filter_agg() migreren naar foutklassen
  • [SPARK-40369] [SC-113402][core][SQL] Migreer de typecontrolefouten van aanroepen via reflectie op foutklassen
  • [SPARK-39445] [SQL] Verwijder het venster als windowExpressions leeg is tijdens kolomoptimalisatie
  • [SPARK-40761] [SC-113245][sql] Typecontrolefouten van percentielexpressies migreren naar foutklassen
  • [SPARK-40361] [SC-112789][sql] Rekenkundige typecontrolefouten migreren naar foutklassen
  • [SPARK-40714] [SC-112576][sql] Verwijder PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] Partitiespecificaties in PartitionsAlreadyExistException oplossen
  • [SPARK-40358] [SC-112631][sql] Verzamelingstype-controlefouten overzetten naar foutklassen
  • [SPARK-40910] [SC-114259][sql] Vervang UnsupportedOperationException door SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] UNPIVOT toevoegen aan SQL-syntaxis
  • [SPARK-39783] [SC-113389][sql] Citeer qualifiedName om backticks in foutberichten voor kolomkandidaten te corrigeren
  • [SPARK-40663] [SC-112520][sql] Uitvoeringsfouten migreren naar foutklassen: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] Wijzig de naam van de foutklasse _LEGACY_ERROR_TEMP_0021 in UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] Afzonderlijke velden voor foutsubklassen elimineren
  • [SPARK-40944] [SC-114530][sql] Ontspan volgorde beperking voor CREATE TABLE kolomopties
  • [SPARK-40815] [SC-114528][sql] Voeg DelegateSymlinkTextInputFormat toe als oplossing voor SymlinkTextInputSplit bug
  • [SPARK-40933] [SC-114441][sql] Reimplement df.stat. {cov, corr} met ingebouwde SQL-functies
  • [SPARK-40932] [SC-114439][core] Probleemberichten voor allGather worden overschreven
  • [SPARK-39312] [SQL] Gebruik het Parquet native In-predicaat voor filter-pushdown
  • [SPARK-40862] [SC-114352][sql] Ondersteuning voor niet-geaggregeerde subquery's in RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][sql] Stel nullable correct in het project in dat is gemaakt door ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] Uitvoeringsfouten migreren naar foutklassen: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] Versoepelt de vereiste van window_time regel - meerdere window_time-aanroepen toestaan
  • [SPARK-40540] [SC-111639][sql] Compilatiefouten migreren naar foutklassen: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] Oplossing voor Unhex voor invoer met een oneven aantal symbolen
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] Introduceer window_time functie om gebeurtenistijd op te halen uit de vensterkolom
  • [SPARK-40800] [SC-113772][sql] Altijd inline-uitdrukkingen in OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Herimplementeren frequentItems met dataframe-bewerkingen
  • [SPARK-40735] [SC-114022][sc-112657] Roep consistent bash aan met /usr/bin/env bash in scripts om code draagbaarer te maken
  • [SPARK-40773] [SC-113091][sql] CheckCorrelationsInSubquery herstructureren
  • [SPARK-40615] [SC-113400][sql] Niet-ondersteunde gegevenstypen controleren bij het inrichten van subquery's
  • [SPARK-40660] [SC-112293][core][SQL] Overschakelen naar XORShiftRandom om elementen te distribueren
  • [SPARK-40540] [SC-113926][sc-111331][SQL] Compilatiefouten migreren naar foutklassen
  • [SPARK-40551] [SC-113135][sql] DataSource V2: Het toevoegen van API's voor bewerkingen op rijniveau op basis van delta's
  • [SPARK-39391] [SC-110676][core] Partitioner-klassen opnieuw gebruiken
  • [SPARK-40368] [SC-113396][sql] Bloom-filtercontrolefouten migreren naar foutklassen
  • [SPARK-39146] [SC-111814][core][SQL] Introduceer lokale singleton voor ObjectMapper die mogelijk opnieuw wordt gebruikt
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Venstertypecontrolefouten migreren naar foutklassen
  • [SPARK-40874] [SC-113756][python] Broadcasts in Python UDF's corrigeren wanneer versleuteling is ingeschakeld
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Migreer mislukte typecontroles in CSV-/JSON-expressies naar foutenklassen
  • [SPARK-40880] [SC-113764][sql] Reimplement summary met dataframe-bewerkingen
  • [SPARK-40877] [SC-113763][sql] Reïmplementeer crosstab met dataframebewerkingen
  • [SPARK-40382] [SC-113098][sql] Unieke aggregatie-expressies groeperen op semantisch equivalente kinderen in RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] Aanvullende controle van hernoemen van controlepuntbestanden toevoegen
  • [SPARK-40829] [SC-113426][sql] OPGESLAGEN ALS serde in CREATE TABLE LIKE view werkt niet
  • [SPARK-40844] [SC-113542][ss] Standaardwaarde van Kafka-offsetconfiguratie omkeren
  • [SPARK-40488] [SC-113568][sc-111160] Geen uitzonderingen verpakken die optreden wanneer schrijven van gegevensbron mislukt
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Hernoem message naar messageTemplate in het STANDARD formaat van fouten
  • [SPARK-40618] [SC-113096][sql] Fout opgelost in de regel MergeScalarSubqueries met geneste subquery's met behulp van verwijzingstracering
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Foutgerelateerde ontwikkelaars-API's toevoegen
  • [SPARK-40806] [SC-113250][sql] Typo fix: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] Oplossing voor het retourneren van gedeeltelijke resultaten in JSON-gegevensbron- en JSON-functies
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Protobuf-ondersteuning voor Spark - uit...
  • [SPARK-40753] [SC-113539][sql] Opgeloste fout in testcase voor catalogusmapbewerking
  • [SPARK-40765] [SC-113056][sql] Redundante fs-bewerkingen optimaliseren in de CommandUtils#calculateSingleLocationSize#getPathSize-methode
  • [SPARK-40114] [ES-479282][r][11.X] Arrow 9.0.0 ondersteuning met SparkR
  • [SPARK-40479] [SC-110935][sql] Onverwachte invoertypefout migreren naar een foutklasse
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Parseringsfouten migreren naar foutklassen
  • [SPARK-39853] [SC-111867][core] Taakresourceprofiel op faseniveau voor zelfstandig cluster ondersteunen wanneer dynamische toewijzing is uitgeschakeld (backpoort van PR-47157)
  • [SPARK-40407] [SC-111161][sql] Los de mogelijke scheeftrekken van gegevens op die worden veroorzaakt door df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE geen tabelzoekactie hoeft uit te voeren
  • [SPARK-40703] [SC-113242][sql] Introduceer shuffle voor SinglePartition om parallellisme te verbeteren
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil om de oorsprong van hadoop/hive-configuratieopties in te stellen
  • [SPARK-39062] [11.x][core] Ondersteuning voor resourceplanning op faseniveau toevoegen voor zelfstandig cluster
  • [SPARK-33861] [SC-109877]Herstellen “[SQL] Vereenvoudig voorwaardelijk in predicaat”
  • [SPARK-40667] [SC-113136][sql] Bestandsgegevensbronopties herstructureren
  • [SPARK-40370] [SC-110677][sql] Migreer de typecontroles naar foutklassen in CAST
  • [SPARK-40611] [SC-113105][sql] De prestaties van setInterval & getInterval voor UnsafeRow verbeteren
  • [SPARK-40733] [SC-113126][sql] De inhoud van SERDEPROPERTIES maken in het resultaat van ShowCreateTableAsSerdeCommand een vaste volgorde hebben
  • [SPARK-40585] [SC-112180][sql] Ondersteuning van identificatoren met dubbele aanhalingstekens
  • [SPARK-40772] [SC-112992][sql] spark.sql.adaptive.skewJoin.skewedPartitionFactor verbeteren ter ondersteuning van Double waarden
  • [SPARK-40565] [SC-112417][sql] Voer geen niet-deterministische filters uit naar V2-bestandsbronnen
  • [SPARK-8731] [SC-112784] Beeline werkt niet met de optie -e wanneer deze op de achtergrond wordt gestart
  • [SPARK-35242] [SC-111398][sql] Ondersteuning voor het wijzigen van de standaarddatabase van de sessiecatalogus
  • [SPARK-40426] [SC-110672][sql] Een kaart retourneren van SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] De prestaties van keys.zipWithIndex.toMap codepatroon optimaliseren
  • [SPARK-40521] [SC-112430][sql] Geef alleen bestaande partities in PartitionsAlreadyExistException van Hive's aangemaakte partitie terug
  • [SPARK-40705] [SC-112567][sql] Handel geval van het gebruik van een wijzigbare array bij het converteren van Row naar JSON voor Scala 2.13
  • [SPARK-39895] [SC-112590][sql][PYTHON] Ondersteuning voor het verwijderen van meerdere kolommen
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] Redundante tekenreeksinterpolatorbewerkingen verwijderen
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Foutberichtparameters sorteren op namen in de JSON-indelingen
  • [SPARK-40403] [SC-110564][sql] Onveilige matrixgrootte berekenen met behulp van longen om negatieve grootte in het foutbericht te voorkomen
  • [SPARK-40482] [SC-110831][sql] SPARK-24544 Print actual failure cause when look up function failed terugdraaien
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Geef parameters van foutmeldingen door aan uitzonderingen als maps
  • [SPARK-40628] [SC-112414][sql] Duw niet complexe linker semi-/anti-joinvoorwaarden door projectie
  • [SPARK-40562] [SC-111455][sql] spark.sql.legacy.groupingIdWithAppendedUserGroupBy toevoegen
  • [SPARK-40501] [SC-1113333][sql] PushProjectionThroughLimit toevoegen voor Optimizer
  • [SPARK-39200] [SC-111244][core] Zorg ervoor dat Fallback Storage volledig kan lezen uit content
  • [SPARK-38717] [SC-111241][sql] Beheer Hive's bucketspecificatiegedrag met behoud van hoofdlettergevoeligheid
  • [SPARK-40385] [SC-111123][sql] Geïnterpreteerd pad voor companion object constructor opgelost
  • [SPARK-40216] [SC-112413][sql] Algemene ParquetUtils.prepareWrite methode extraheren om code in ParquetFileFormat en ParquetWrite te ontdubbelen
  • [SPARK-40636] [SC-112160][core] Los verkeerd gebleven shuffle-logboeken op in BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Racevoorwaarde herstellen bij de verwerking van de stageTCMP-vermeldingen van ExecutorMetricsPoller
  • [SPARK-40618] [SC-112046][sql] Fout opgelost in de MergeScalarSubqueries-regel met geneste subquery's
  • [SPARK-40612] [SC-111933][core] De hoofdgebruiker corrigeren die wordt gebruikt voor de vernieuwing van delegatietokens bij niet-YARN-resourcemanagers
  • [SPARK-40595] [SC-111662][sql] Foutbericht verbeteren voor ongebruikte CTE-relaties
  • [SPARK-40314] [SC-111879][sql][PYTHON] Scala- en Python-bindingen toevoegen voor inline en inline_outer
  • [SPARK-40416] [SC-110945][sql] Subquery-expressie CheckAnalysis-foutberichten verplaatsen om het nieuwe foutframework te gebruiken
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() zou de uitzonderingen van zijn kind moeten opwerpen
  • [SPARK-40509] [SC-111644][ss][PYTHON] Voorbeeld voor applyInPandasWithState toevoegen
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() zou de uitzonderingen van zijn kind-object moeten werpen
  • [SPARK-40016] [SQL] Verwijder onnodig TryEval in de implementatie van try_sum()
  • [SPARK-40527] [SC-1112224][sql] Veldnamen of kaartsleutels behouden in CreateStruct
  • [SPARK-38098] [SC-111178][python] Ondersteuning toevoegen voor ArrayType van geneste StructType aan op pijl gebaseerde conversie
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Query-context bieden in AnalysisException
  • [SPARK-40492] [SC-111324][ss] Onderhoud uitvoeren voordat de streamingstatusopslag wordt verwijderd
  • [SPARK-40487] [SC-111124][sql] Standaardjoin maken in BroadcastNestedLoopJoinExec parallel
  • [SPARK-40474] [SC-111273][sql] Correct CSV-schemadeductie en gegevensparseringsgedrag voor kolommen met gemengde datums en tijdstempels
  • [SPARK-40508] [SC-111066][sql] Onbekende partitionering behandelen als UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Configuraties herstellen om 'enableDateTimeParsingFallback' te beheren
  • [SPARK-40435] [SC-111214][ss][PYTHON] Testsuites toevoegen voor applyInPandasWithState in PySpark
  • [SPARK-40434] [SC-111125][ss][PYTHON] applyInPandasWithState implementeren in PySpark

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 12.0.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
argon2-cffi 21.3.0 argon2-cffi-bindingen 21.2.0 asttokens 2.0.5
attrs 21.4.0 backcall 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 zwart 22.3.0 bleekmiddel 4.1.0
boto3 1.21.32 botocore 1.24.32 certificaat 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
klikken 8.0.4 cryptografie 3.4.8 wielrijder 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
decorateur 5.1.1 defusedxml 0.7.1 distlib 0.3.6
invoerpunten 0,4 Uitvoeren 0.8.3 facettenoverzicht 1.0.0
fastjsonschema 2.16.2 bestandsvergrendeling 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
ontstemmen 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
notitieboek 6.4.8 numpy 1.21.5 verpakking 21.3
Pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 Patsy 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Kussen 9.0.1 pit 21.2.4
platformdirs 2.5.4 plotly 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 verzoeken 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Zes 1.16.0 soepzeef 2.3.1 ssh-import-id 5.10
stapelgegevens 0.2.0 statsmodels 0.13.2 vasthoudendheid 8.0.1
voltooid 0.13.1 testpath 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 upgrades zonder toezicht 0,1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
webcoderingen 0.5.1 wiel 0.37.0 widgetsnbextension 3.6.1

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-11-11.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 10.0.0 askpass 1.1 assertthat 0.2.1
terugporteringen 1.4.1 basis 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 vlek 1.2.3
opstarten 1.3-28 brouwsel 1.0-8 Brio 1.1.3
bezem 1.0.1 bslib 0.4.1 cachem 1.0.6
beller 3.7.3 caret 6.0-93 cellranger 1.1.0
Chron 2.3-58 klas 7.3-20 cli 3.4.1
Clipr 0.8.0 klok 0.6.1 cluster 2.1.4
codetools 0.2-18 kleurruimte 2.0-3 commonmark 1.8.1
compiler 4.2.2 configuratie 0.3.1 cpp11 0.4.3
krijtje 1.5.2 bevoegdheden 1.3.2 curl 4.3.3
gegevens.tabel 1.14.4 gegevenssets 4.2.2 DBI 1.1.3
dbplyr 2.2.1 Beschrijving 1.4.2 devtools 2.4.5
diffobj 0.3.5 samenvatting 0.6.30 neerwaarts verlicht 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
beletselteken 0.3.2 evalueren 0,18 fans 1.0.3
kleuren 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
voor katten 0.5.2 foreach 1.5.2 buitenlands 0.8-82
smeden 0.2.0 Fs 1.5.2 toekomst 1.29.0
future.apply 1.10.0 gorgelen 1.2.1 Generieke producten 0.1.3
Gert 1.9.1 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globale variabelen 0.16.1
lijm 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 afbeeldingen 4.2.2 grDevices 4.2.2
raster 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 veiligheidshelm 1.2.0 haven 2.5.1
hoger 0,9 HMS 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
ids 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Iterators 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1,40
etikettering 0.4.2 later 1.3.0 latwerk 0.20-45
lava 1.7.0 levenscyclus 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
MASSA 7.3-58 Matrix 1.5-1 memoise 2.0.1
methoden 4.2.2 mgcv 1.8-41 Mime 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelleur 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 parallel 4.2.2
parallel 1.32.1 pilaar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 prijzen 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Voortgang 1.2.2
progressr 0.11.0 Beloften 1.2.0.1 Proto 1.0.0
proxy 0.4-27 ps 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 recepten 1.0.3
herkansing 1.0.1 opnieuw overeenkomen2 2.1.2 Afstandsbedieningen 2.4.2
reproduceerbaar voorbeeld 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 weegschaal 1.2.1
selectr 0.4-2 sessie-informatie 1.2.2 vorm 1.4.6
glanzend 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 ruimtelijk 7.3-11 Splines 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Statistieken 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
overleving 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 tekstvormgeving 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 tijdwijziging 0.1.1 tijdDatum 4021.106
tinytex 0.42 hulpmiddelen 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.2.2 uuid 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
snor 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 ritssluiting 2.2.2

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-geschaduwd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profielmaker 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf (een compressie-algoritme) 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-bestandsupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrieken-gezondheidstests 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transactie-API 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.sneeuwvlok snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr sjabloon voor tekenreeksen 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pijlvector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-klant 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy klimop 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet parquet-kolom 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet parquet-codering 1.12.3-databricks-0001
org.apache.parquet parquet-formatstructuren 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus doelgroep-aantekeningen 0.13.0
org.apache.zookeeper dierentuinhoeder 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-vervolg 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap vulplaatjes 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark ongebruikt 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1