Delen via

Databricks Runtime 11.3 LTS

  • Artikel

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 11.3 LTS, mogelijk gemaakt door Apache Spark 3.3.0. Databricks heeft deze versie uitgebracht in oktober 2022.

Notitie

LTS betekent dat deze versie op lange termijn wordt ondersteund. Zie de levenscyclus van de Databricks Runtime LTS-versie.

Tip

Als u releaseopmerkingen voor Databricks Runtime-versies wilt zien die end-of-support (EoS) hebben bereikt, raadpleegt u de releaseopmerkingen voor Databricks Runtime. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.

Gedragswijzigingen

[Wijziging die fouten veroorzaakt] Voor de nieuwe Python-versie moet Databricks Connect V1 Python-clients worden bijgewerkt

Notitie

Een volgende update verplaatst de Python-versie in Databricks Runtime 11.3 LTS naar 3.9.21. De versie 3.9.21 introduceert geen gedragswijzigingen.

Als u vereiste beveiligingspatches wilt toepassen, wordt de Python-versie in Databricks Runtime 11.3 LTS bijgewerkt van 3.9.5 naar 3.9.19. Omdat deze wijzigingen fouten kunnen veroorzaken in clients die gebruikmaken van specifieke PySpark-functies, moeten clients die Databricks Connect V1 voor Python gebruiken met Databricks Runtime 11.3 LTS worden bijgewerkt naar Python 3.9.7 of hoger.

Nieuwe functies en verbeteringen

Python bijgewerkt van 3.9.19 naar 3.9.21

De Python-versie in Databricks Runtime 11.3 LTS wordt bijgewerkt van 3.9.19 naar 3.9.21.

Structured Streaming-trigger eenmaal is afgeschaft

De Trigger.Once instelling is afgeschaft. Databricks raadt u aan gebruik te maken Trigger.AvailableNow. Zie Triggerintervallen voor gestructureerd streamen configureren.

Bronpad voor automatisch laden wijzigen

U kunt nu de invoermap voor Auto Loader, die is geconfigureerd met de modus voor adreslijstvermelding, wijzigen zonder dat u een nieuwe controlepuntmap hoeft te kiezen. Zie Bronpad wijzigen voor Automatisch laden.

Databricks Kinesis-connector biedt nu ondersteuning voor het lezen vanuit Kinesis-gegevensstromen in de EFO-modus

U kunt nu de gestructureerde streamingbron van Databricks Kinesis in Databricks Runtime 11.3 LTS gebruiken om query's uit te voeren die worden gelezen uit Kinesis Data-stromen in de verbeterde fan-outmodus. Hierdoor is toegewezen doorvoer per shard, per consument en recordlevering mogelijk in de pushmodus.

Nieuwe georuimtelijke H3-functies en photon-ondersteuning toegevoegd voor alle H3-functies

Introductie van 4 nieuwe H3-functies, h3_maxchild, , h3_minchildh3_pointash3en h3_pointash3string. Deze functies zijn beschikbaar in SQL, Scala en Python. Alle H3-expressies worden nu ondersteund in Photon. Zie georuimtelijke H3-functies.

Nieuwe functies voor voorspellende I/O

Photon ondersteunt de bereikmodus voor het uitvoeren van frames met behulp van RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon ondersteunt ook de bereikmodus voor het groeien van frames, met behulp van RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Initiële partities verhogen om te scannen op selectieve query's

De waarde van initiële partities die moeten worden gescand, is verhoogd tot 10 voor selectieve query's met take/tail/limit in Photon-clusters en LIMIT in Databricks SQL. Met 10 partities kunt u de overhead van het starten van meerdere kleine taken en het langzaam omhoog schalen voorkomen. U kunt dit ook configureren via spark.sql.limit.selectiveInitialNumPartitions.

Visualisatie van nieuwe AQE-abonnementsversies

Introductie van AQE-abonnementsversies waarmee u uw runtimeplanupdates kunt visualiseren van adaptieve queryuitvoering (AQE).

Nieuwe asynchrone voortgangstracerings- en logboekontruimingsmodi

Inleiding tot gestructureerde streamingmodi, asynchrone voortgangstracering en asynchrone opschoning van logboeken. De Asynchrone modus voor het opschonen van logboeken verlaagt de latentie van streamingquery's door logboeken te verwijderen die worden gebruikt voor het bijhouden van voortgang op de achtergrond.

Structured Streaming in Unity Catalog ondersteunt nu display()

U kunt nu display() gebruiken wanneer u Structured Streaming gebruikt om te werken met tabellen die zijn geregistreerd in Unity Catalog.

Pijplijngebeurtenissen worden nu vastgelegd in JSON-indeling

Azure Databricks schrijft nu pijplijn gebeurtenissen naar het stuurprogrammalogboek in JSON-indeling. Hoewel elke gebeurtenis JSON-parseerbaar is, bevatten grote gebeurtenissen mogelijk niet alle velden of worden de velden mogelijk afgekapt. Elke gebeurtenis wordt vastgelegd in één regel met het voorvoegsel Event received: . Hier volgt een voorbeeld van een gebeurtenis.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Willekeurige stateful verwerking in gestructureerd streamen met Python

Introductie van de applyInPandasWithState functie die kan worden gebruikt voor het uitvoeren van willekeurige stateful verwerking in PySpark. Dit komt overeen met de flatMapGroupsWithState functie in de Java-API.

Datumdeductie in CSV-bestanden

Introductie van verbeterde deductie van datumtypekolommen in CSV-bestanden. Wanneer de datumnotatie consistent is voor de records voor een kolom, kunnen deze kolommen worden afgeleid als DateType. U kunt ook een combinatie van datumnotaties in verschillende kolommen hebben. Azure Databricks kan automatisch de datumnotatie voor elke kolom afleiden. Datumkolommen in CSV-bestanden vóór Databricks Runtime 11.3 LTS blijven staan als StringType.

Kloonondersteuning voor Apache Parquet- en Apache Iceberg-tabellen (openbare preview)

Kloon kan nu worden gebruikt om Delta-tabellen te maken en incrementeel bij te werken, die Apache Parquet- en Apache Iceberg-tabellen spiegelen. U kunt uw Parquet-brontabel bijwerken en de wijzigingen incrementeel toepassen op hun gekloonde Delta-tabel met het clone-commando. Zie Parquet- en Iceberg-tabellen incrementeel klonen naar Delta Lake.

SQL gebruiken om opslaglocaties op schema- en catalogusniveau op te geven voor beheerde Unity Catalog-tabellen

U kunt nu de MANAGED LOCATION SQL-opdracht gebruiken om een cloudopslaglocatie voor beheerde tabellen op de catalogus- en schemaniveaus op te geven. Zie CREATE CATALOG en CREATE SCHEMA.

Gedragswijzigingen

Databricks Connect 11.3.2

Databricks Connect-clientupdate 11.3.2 wordt nu ondersteund. Zie releaseopmerkingen voor Databricks Connect en Databricks Connect.

Azure Databricks Snowflake-connector bijgewerkt

De Azure Databricks Snowflake-connector is bijgewerkt naar de nieuwste versie van code vanuit de opensource-opslagplaats, Snowflake-gegevensbron voor Apache Spark. Het is nu volledig compatibel met Databricks Runtime 11.3 LTS, inclusief predicaatpushdown en interne queryplanpushdown, terwijl alle functies van de opensource-versie behouden blijven.

Hadoop-cache voor S3A is nu uitgeschakeld

De Hadoop-cache (FileSystem Apache Hadoop Main 3.3.4 API) voor S3A is nu uitgeschakeld. Dit is om uit te lijnen met andere cloudopslagconnectors. Voor workloads die afhankelijk zijn van caching van het bestandssysteem, moet u ervoor zorgen dat nieuw gemaakte bestandssystemen worden geleverd met de juiste Hadoop-configuraties, inclusief referentieproviders.

Het verzamelingsschema voor Delta Lake-statistieken komt nu overeen met de kolomvolgorde in de tabelschemadefinitie

Met deze wijziging wordt een fout in het Delta Lake-protocol opgelost waarbij statistieken niet zijn verzameld voor kolommen vanwege een onjuiste overeenkomst in DataFrame en tabelkolomvolgorde. In sommige gevallen kan de prestatievermindering van schrijfprestaties optreden vanwege het verzamelen van statistieken op eerder niet-bijgehouden velden. Zie Gegevens overslaan voor Delta Lake.

applyInPandasWithState genereert een fout als de query een willekeurige volgorde heeft na de operator

De operator applyInPandasWithState genereert een fout als de query na de operator heeft shuffle . Dit gebeurt wanneer de gebruiker na de bewerking toevoegt shuffle , of wanneer de optimizer of sink impliciet wordt toegevoegd shuffle .

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • distlib van 0.3.5 tot 0.3.6
  • Bijgewerkte R-bibliotheken:
    • bezem van 1.0.0 tot 1.0.1
    • beller van 3.7.1 tot 3.7.2
    • dplyr van 1.0.9 tot 1.0.10
    • dtplyr van 1.2.1 tot 1.2.2
    • forcats van 0.5.1 tot 0.5.2
    • toekomst van 1.27.0 tot 1.28.0
    • future.apply from 1.9.0 to 1.9.1
    • gert van 1.7.0 tot 1.8.0
    • globals van 0.16.0 tot 0.16.1
    • gtable from 0.3.0 to 0.3.1
    • haven van 2.5.0 tot 2.5.1
    • hms van 1.1.1 tot 1.1.2
    • httr van 1.4.3 tot 1.4.4
    • breisel van 1,39 tot 1,40
    • modelr van 0.1.8 tot 0.1.9
    • pijler van 1.8.0 tot 1.8.1
    • voortgang van 0.10.1 tot 0.11.0
    • readxl van 1.4.0 tot 1.4.1
    • reprex van 2.0.1 tot 2.0.2
    • rlang van 1.0.4 tot 1.0.5
    • rmarkdown van 2.14 tot 2.16
    • RSQLite van 2.2.15 tot 2.2.16
    • rstudioapi van 0.13 tot 0.14
    • rversions van 2.1.1 tot 2.1.2
    • rvest van 1.0.2 tot 1.0.3
    • schaalt van 1.2.0 naar 1.2.1
    • sparklyr van 1.7.7 tot 1.7.8
    • stringr van 1.4.0 tot 1.4.1
    • overleving van 3,2-13 tot 3,4-0
    • tinytex van 0,40 tot 0,41
    • viridisLite van 0.4.0 tot 0.4.1
  • Bijgewerkte Java-bibliotheken:
    • com.fasterxml.jackson.core.jackson-aantekeningen van 2.13.3 tot 2.13.4
    • com.fasterxml.jackson.core.jackson-core van 2.13.3 tot 2.13.4
    • com.fasterxml.jackson.core.jackson-databind van 2.13.3 tot 2.13.4
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor van 2.13.3 tot 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-joda van 2.13.3 tot 2.13.4
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 van 2.13.3 tot 2.13.4
    • com.fasterxml.jackson.module.jackson-module-paranamer van 2.13.3 tot 2.13.4
    • com.fasterxml.jackson.module.jackson-module-scala_2.12 van 2.13.3 tot 2.13.4
    • org.apache.hadoop.hadoop-client-api van 3.3.2-databricks naar 3.3.4-databricks
    • org.apache.hadoop.hadoop-client-runtime van 3.3.2 tot 3.3.4
    • org.apache.orc.orc-core van 1.7.5 tot 1.7.6
    • org.apache.orc.orc-mapreduce van 1.7.5 tot 1.7.6
    • org.apache.orc.orc-shims van 1.7.5 tot 1.7.6
    • org.apache.parquet.parquet-column van 1.12.0-databricks-0004 tot 1.12.0-databricks-0007
    • org.apache.parquet.parquet-common van 1.12.0-databricks-0004 tot 1.12.0-databricks-0007
    • org.apache.parquet.parquet-codering van 1.12.0-databricks-0004 tot 1.12.0-databricks-0007
    • org.apache.parquet.parquet-format-structures from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-hadoop van 1.12.0-databricks-0004 tot 1.12.0-databricks-0007
    • org.apache.parquet.parquet-jackson van 1.12.0-databricks-0004 tot 1.12.0-databricks-0007
    • org.glassfish.jersey.containers.jersey-container-servlet van 2.34 tot 2.36
    • org.glassfish.jersey.containers.jersey-container-servlet-core van 2.34 tot 2.36
    • org.glassfish.jersey.core.jersey-client van 2.34 tot 2.36
    • org.glassfish.jersey.core.jersey-common van 2.34 tot 2.36
    • org.glassfish.jersey.core.jersey-server van 2.34 tot 2.36
    • org.glassfish.jersey.inject.jersey-hk2 van 2.34 tot 2.36

Apache Spark

Databricks Runtime 11.3 LTS bevat Apache Spark 3.3.0. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 11.2 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-39957] [WARMFIX][sc-111425][CORE] Vertraging op onDisconnected om Driver in staat te stellen ExecutorExitCode te ontvangen.
  • [SPARK-39955] [WARMFIX][sc-111424][CORE] LaunchTask-proces verbeteren om fasefouten te voorkomen die worden veroorzaakt door launchTask-berichten die niet kunnen worden verzonden
  • [SPARK-40474] [SC-106248][cherry-pick] Corrigeer CSV-schema-inferentiegedrag voor kolommen met datums en tijden en introduceer automatische detectie voor datumvelden.
  • [SPARK-40535] [SC-111243][sql] Fout opgelost dat de buffer van AggregatingAccumulator niet wordt gemaakt als de invoerrijen leeg zijn
  • [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] De functie applyInPandasWithState implementeren in PySpark
  • [SPARK-40460] [SC-110832][ss] Streaminggegevens corrigeren bij het selecteren van _metadata
  • [SPARK-40324] [SC-109943][sql] Verstrek een querycontext voor ParseException
  • [SPARK-40466] [SC-110899][ss] Het foutbericht verbeteren wanneer DSv2 is uitgeschakeld terwijl DSv1 niet beschikbaar is
  • [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext moet goedkoop zijn om herhaaldelijk aan te roepen
  • [SPARK-40169] [SC-110772][sql] Parquet-filters niet pushdownen zonder verwijzing naar het gegevensschema
  • [SPARK-40467] [SC-110759][ss] Splits FlatMapGroupsWithState op in meerdere testsuites
  • [SPARK-40468] [SC-110813][sql] Kolomsnoeien in CSV corrigeren wanneer _corrupt_record geselecteerd is
  • [SPARK-40291] [SC-110085][sql] Het bericht voor kolom niet in GROUP BY-clausule fout verbeteren
  • [SPARK-40398] [SC-110762][core][SQL] Use Loop in plaats van Arrays.stream API
  • [SPARK-40433] [SC-110684][ss][PYTHON] Voeg toJVMRow toe in PythonSQLUtils om gepicklede PySpark-rij te converteren naar JVM-rij
  • [SPARK-40414] [SC-110568][sql][PYTHON] Meer algemeen type voor PythonArrowInput en PythonArrowOutput
  • [SPARK-40352] [SC-109945][sql] Functiealiassen toevoegen: len, datepart, dateadd, date_diff en curdate
  • [SPARK-40470] [SC-110761][sql] Behandel GetArrayStructFields en GetMapValue in de functie arrays_zip
  • [SPARK-40387] [SC-110685][sql] De implementatie van Spark Decimal verbeteren
  • [SPARK-40429] [SC-110675][sql] Alleen KeyGroupedPartitioning instellen wanneer de kolom waarnaar wordt verwezen zich in de uitvoer bevindt
  • [SPARK-40432] [SC-110716][ss][PYTHON] Introductie van GroupStateImpl en GroupStateTimeout in PySpark
  • [SPARK-39915] [SC-110496][sql] Controleren of de uitvoerpartitionering door de gebruiker is opgegeven in AQE
  • [SPARK-29260] [SQL] Ondersteuning ALTER DATABASE SET LOCATION als HMS ondersteuning biedt
  • [SPARK-40185] [SC-110056][sql] Kolomsuggesties verwijderen wanneer de lijst met kandidaten leeg is
  • [SPARK-40362] [SC-110401][sql] BinaryComparison normalisatie herstellen
  • [SPARK-40411] [SC-110381][ss] FlatMapGroupsWithStateExec herstructureren om een bovenliggende eigenschap te hebben
  • [SPARK-40293] [SC-110084][sql] Maak het V2-tabelfoutbericht duidelijker
  • [SPARK-38734] [SC-110383][sql] Verwijder de foutklasse INDEX_OUT_OF_BOUNDS
  • [SPARK-40292] [SC-110300][sql] Kolomnamen in de functie arrays_zip herstellen indien naar arrays wordt verwezen vanuit geneste structuren
  • [SPARK-40276] [SC-109674][core] Verklein de resultaatgrootte van RDD.takeOrdered
  • [SPARK-40197] [SC-109176][sql] Queryplan vervangen door context voor MULTI_VALUE_SUBQUERY_ERROR
  • [SPARK-40300] [SC-109942][sql] Migreren naar de foutklasse DATATYPE_MISMATCH
  • [SPARK-40149] [SC-110055][sql] Metagegevenskolommen doorgeven via Project
  • [SPARK-40280] [SC-110146][sql] Ondersteuning toevoegen voor parquet push down voor geannoteerde int en long
  • [SPARK-40220] [SC-110143][sc-109175][SQL] Voer de lege map van foutberichtparameters niet uit
  • [SPARK-40295] [SC-110070][sql] V2-functies met letterlijke argumenten in schrijfdistributie/volgorde toestaan
  • [SPARK-40156] [SC-109264][sql] url_decode() moet de foutklasse retourneren
  • [SPARK-39195] [SQL] Spark OutputCommitCoordinator moet de fase afbreken wanneer het vastgelegde bestand niet consistent is met de taakstatus
  • [SPARK-40260] [SC-109424][sql] Gebruik foutklassen in de compilatiefouten van GROUP BY een positie
  • [SPARK-40205] [SC-110144][sc-109082][SQL] Voorzie van een querycontext van ELEMENT_AT_BY_INDEX_ZERO
  • [SPARK-40112] [SC-109676][sql] De functie TO_BINARY() verbeteren
  • [SPARK-40209] [SC-109081][sql] Wijzig de intervalwaarde van Decimal in changePrecision() niet bij fouten
  • [SPARK-40319] [SC-109873][sql] Dubbele queryuitvoeringsfoutmethode verwijderen voor PARSE_DATETIME_BY_NEW_PARSER
  • [SPARK-40222] [SC-109209][sql] Numerieke try_add/try_divide/try_subtract/try_multiply moeten een fout van hun onderliggende elementen genereren
  • [SPARK-40183] [SC-108907][sql] Gebruik foutklasse NUMERIC_VALUE_OUT_OF_RANGE voor overloop in decimale conversie
  • [SPARK-40180] [SC-109069][sql] Foutberichten opmaken per spark-sql
  • [SPARK-40153] [SC-109165][sql] Verenig functies en tabelwaardefuncties
  • [SPARK-40308] [SC-109880][sql] Niet-vouwbare scheidingstekenargumenten toestaan voor str_to_map functie
  • [SPARK-40219] [SC-110052][sc-109663][SQL] Logische weergaveplanning moet het schema bevatten om redundante opzoekacties te voorkomen
  • [SPARK-40098] [SC-109939][sc-108693][SQL] Foutberichten opmaken in de Thrift-server
  • [SPARK-39917] [SC-109038][sql] Gebruik verschillende foutklassen voor rekenkundige overloop voor numerieke/intervalberekeningen
  • [SPARK-40033] [SC-109875][sql] Ondersteuning voor geneste schema-pruning via element_at
  • [SPARK-40194] [SC-109660][sql] De SPLIT-functie voor een lege regex moet de lege tekenreeks aan het einde afkappen.
  • [SPARK-40228] [SC-109835][sql] MultiLike niet vereenvoudigen als kind geen goedkope expressie is
  • [SPARK-40039] [SC-109896][sc-109260][SS] Introductie van een streaming checkpoint bestandsbeheerder gebaseerd op de Abortable-interface van Hadoop.
  • [SPARK-40285] [SC-109679][sql] Vereenvoudig de roundTo[Numeric] voor Spark Decimal
  • [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison moet werken wanneer het downcasten van de letterlijke In/InSet is mislukt
  • [SPARK-40040] [SC-109662][sql] Lokale limiet naar beide zijden pushen als de joinvoorwaarde leeg is
  • [SPARK-40055] [SC-109075][sql] listCatalogs moet ook spark_catalog retourneren, zelfs wanneer spark_catalog implementatie standaardSessionCatalog is
  • [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) maakt mogelijk niet N-partities aan in niet-AQE-component
  • [SPARK-40207] [SC-109401][sql] Geef de kolomnaam op wanneer het gegevenstype niet wordt ondersteund door gegevensbron
  • [SPARK-40245] [SC-109295][sql] FileScan-gelijkheidscontrole herstellen wanneer partitie- of gegevensfilterkolommen niet worden gelezen
  • [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder DataSourceV2-interface-implementaties
  • [SPARK-40211] [SC-109226][core][SQL] Het aantal initiële partities in take() toestaan
  • [SPARK-40252] [SC-109379][sql] Vervang Stream.collect(Collectors.joining) door StringJoiner API
  • [SPARK-40247] [SC-109272][sql] BitSet-gelijkheidscontrole herstellen
  • [SPARK-40067] [SQL] Gebruik Table#name() in plaats van Scan#name() om de tabelnaam in te vullen in het BatchScan-knooppunt in SparkUI
  • [SPARK-39966] [SQL] V2-filter gebruiken in SupportsDelete
  • [SPARK-39607] [SC-109268][sql][DSV2] Distributie- en bestelondersteuning V2-functie schriftelijk
  • [SPARK-40224] [SC-109271][sql] Laat ObjectHashAggregateExec geheugen snel vrijgeven wanneer er teruggevallen wordt op sorteer-gebaseerde verwerking.
  • [SPARK-40013] [SQL] DS V2-expressies moeten de standaardwaarde hebben toString
  • [SPARK-40214] [SC-109079][python][SQL] 'get' toevoegen aan functies
  • [SPARK-40192] [SC-109089][sql][ML] Overbodige groupby verwijderen
  • [SPARK-40146] [SC-108694][sql] Vereenvoudig de codegeneratie voor het ophalen van een waarde uit een map
  • [SPARK-40109] [SQL] Nieuwe SQL-functie: get()
  • [SPARK-39929] [SQL] DS V2 biedt ondersteuning voor push-down-tekenreeksfuncties (niet-ANSI)
  • [SPARK-39819] [SQL] Geaggregeerde DS V2-push omlaag kan werken met Top N of Paging (sorteren met expressies)
  • [SPARK-40213] [SC-109077][sql] Ondersteuning voor ASCII-waardeconversie voor Latijns-1-tekens
  • [SPARK-39887] [SQL] RemoveRedundantAliases moet aliassen behouden die de uitvoer van projectieknooppunten uniek maken
  • [SPARK-39764] [SQL] PhysicalOperation hetzelfde maken als ScanOperation
  • [SPARK-39964] [SQL] DS V2-pushdown moet het vertaalpad samenvoegen
  • [SPARK-39528] [SQL] V2-filter gebruiken in SupportsRuntimeFiltering
  • [SPARK-40066] [SQL] ANSI-modus: retourneer altijd null bij ongeldige toegang tot de kaartkolom
  • [SPARK-39912] [SPARK-39828][sql] CatalogImpl verfijnen
  • [SPARK-39833] [SC-108736][sql] Parquet-kolomindex uitschakelen in DSv1 om een probleem met de juistheid op te lossen in het geval van overlappende partitie- en gegevenskolommen
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS opdracht moet gekwalificeerde functienaam afdrukken, zoals v1
  • [SPARK-39767] [SQL] UnresolvedDBObjectName verwijderen en UnresolvedIdentifier toevoegen
  • [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(Kaart)
  • [SPARK-40136] [SQL] Het fragment van SQL-querycontexten herstellen
  • [SPARK-40107] [SC-108689][sql] Leeg2null-conversie verwijderen uit FileFormatWriter
  • [SPARK-40121] [PYTHON][sql] Projectie initialiseren die wordt gebruikt voor Python UDF
  • [SPARK-40128] [SQL] Zorg ervoor dat vectorizedColumnReader DELTA_LENGTH_BYTE_ARRAY herkent als een zelfstandige kolomcodering
  • [SPARK-40132] [ML] RawPredictionCol herstellen naar MultilayerPerceptronClassifier.setParams
  • [SPARK-40050] [SC-108696][sql] Verbeter EliminateSorts ter ondersteuning van het verwijderen van sorteringen via LocalLimit
  • [SPARK-39629] [SQL] Ondersteuning v2 SHOW FUNCTIONS
  • [SPARK-39925] [SC-108734][sql] Extra overload voor array_sort(kolom, comparator) toevoegen aan DataFrame-bewerkingen
  • [SPARK-40117] [PYTHON][sql] Voorwaarde omzetten naar Java in DataFrameWriterV2.overwrite
  • [SPARK-40105] [SQL] Repartition verbeteren in ReplaceCTERefWithRepartition
  • [SPARK-39503] [SQL] Sessiecatalogusnaam toevoegen voor v1-databasetabel en -functie
  • [SPARK-39889] [SQL] Verschillende foutklassen gebruiken voor numeriek/interval gedeeld door 0
  • [SPARK-39741] [SQL] Ondersteuning voor URL-codering/decoderen als ingebouwde functie en opsnijdende URL-gerelateerde functies
  • [SPARK-40102] [SQL] SparkException gebruiken in plaats van IllegalStateException in SparkPlan
  • [SPARK-40014] [SQL] Ondersteuning voor cast van decimalen naar ANSI-intervallen
  • [SPARK-39776] [SQL][volg] UT van PlanStabilitySuite bijwerken in ANSI-modus
  • [SPARK-39963] [SQL] Vereenvoudigen SimplifyCasts.isWiderCast

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 11.3.

Systeemomgeving

  • Besturingssysteem: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.21
  • R: 4.1.3
  • Delta Lake: 2.1.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
argon2-cffi 20.1.0 async-generator 1,10 attrs 21.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 zwart 22.3.0
bleken 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffiffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 klikken 8.0.3 cryptografie 3.4.8
wielrijder 0.10.0 Cython 0.29.24 dbus-python 1.2.16
foutopsporing 1.4.1 decorateur 5.1.0 defusedxml 0.7.1
distlib 0.3.6 invoerpunten 0,3 facets-overview 1.0.0
filelock 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 mistune 0.8.4 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 notebook 6.4.5 numpy 1.20.3
verpakking 21,0 Pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 pathspec 0.9.0 Patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Kussen 8.4.0
pit 21.2.4 platformdirs 2.5.2 plotly 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2,20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Zes 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
vasthoudendheid 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typen-extensies 3.10.0.2
upgrades zonder toezicht 0,1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wiel 0.37.0
widgetsnbextension 3.6.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2022-09-08. De momentopname is niet meer beschikbaar.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 opstarten 1.3-28
brouwsel 1.0-7 Brio 1.1.3 bezem 1.0.1
bslib 0.4.0 cachem 1.0.6 beller 3.7.2
caret 6.0-93 cellranger 1.1.0 Chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 configuratie 0.3.1
cpp11 0.4.2 Crayon 1.5.1 geloofsbrief 1.3.2
curl 4.3.2 data.table 1.14.2 gegevenssets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 Desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 verteren 0.6.29
downlit 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 beletselteken 0.3.2 evaluate 0,16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.2 foreach 1.5.2
buitenlands 0.8-82 smeden 0.2.0 Fs 1.5.2
toekomst 1.28.0 future.apply 1.9.1 gorgelen 1.2.0
Generics 0.1.3 Gert 1.8.0 ggplot2 3.3.6
Gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.1 lijm 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 Gower 1.0.0 afbeeldingen 4.1.3
grDevices 4.1.3 rooster 4.1.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.1 hardhat 1.2.0
haven 2.5.1 highr 0,9 Hms 1.1.2
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 Iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
breiwerk 1,40 Labeling 0.4.2 later 1.3.0
latwerk 0.20-45 lava 1.6.10 levenscyclus 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
Markdown 1.1 MASSA 7.3-56 Matrix 1.4-1
memoise 2.0.1 methoden 4.1.3 mgcv 1.8-40
Mime 0,12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modeller 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallel 1.32.1 pilaar 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
loven 1.0.0 prettyunits 1.1.1 Proc 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
Voortgang 1.2.2 progressr 0.11.0 Beloften 1.2.0.1
Proto 1.0.0 proxy 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 leesbewerking 2.1.2 readxl 1.4.1
recepten 1.0.1 Rematch 1.0.1 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.4.2 reprex 2.0.2 hervorm2 1.4.4
rlang 1.0.5 rmarkdown 2.16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0,14
rversions 2.1.2 rvest 1.0.3 Sass 0.4.2
weegschaal 1.2.1 selectr 0.4-2 sessioninfo 1.2.2
vorm 1.4.6 glanzend 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 ruimtelijk 7.3-11
Splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
Stats 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.1 overleving 3.4-0 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
tekstvorm 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0,41 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 Vroom 1.5.7 Waldo 0.4.0
snor 0,4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 ritssluiting 2.2.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.cafeïne cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.netje.netlib arpack 2.2.1
dev.netje.netlib Blas 2.2.1
dev.netje.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow pijlvector 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1,9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy klimop 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet Parquet-kolom 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-codering 1.12.0-databricks-0007
org.apache.parquet parquet-format-structuren 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-gearceerd 4.20
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-vervolg 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark ongebruikt 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1