Delen via


Databricks Runtime 16.2

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 16.2, mogelijk gemaakt door Apache Spark 3.5.2.

Databricks heeft deze versie uitgebracht in februari 2025.

Tip

Zie de releaseopmerkingen voor Databricks Runtime-versies die het einde van de ondersteuning (EoS) hebben bereikt, in de End-of-support Databricks Runtime releaseopmerkingen. De EoS Databricks Runtime-versies zijn buiten gebruik gesteld en worden mogelijk niet bijgewerkt.

Gedragswijzigingen

ANALYSEREN slaat nu kolommen met niet-ondersteunde typen over

ANALYZE TABLE resulteert niet meer in een foutbericht wanneer deze wordt uitgevoerd op een tabel met niet-ondersteunde typen, zoals ARRAY of MAP. Niet-ondersteunde kolommen worden nu automatisch overgeslagen. Gebruikers die logica hebben geïmplementeerd en verwachten dat deze fouten optreden, moeten hun code bijwerken.

In Delta Sharing is tabelgeschiedenis standaard ingeschakeld

Shares die zijn gemaakt met de SQL-opdracht ALTER SHARE <share> ADD TABLE <table> hebben nu standaard het delen van geschiedenis (WITH HISTORY) ingeschakeld. Zie ALTER SHARE.

SQL-instructies voor verificatie retourneren een fout wanneer het verificatietype niet overeenkomt.

Als met deze release het referentietype dat is opgegeven in een SQL-instructie voor referentiebeheer niet overeenkomt met het type van het referentieargument, wordt er een fout geretourneerd en wordt de instructie niet uitgevoerd. Bijvoorbeeld, voor de verklaring DROP STORAGE CREDENTIAL 'credential-name', zal de verklaring mislukken met een fout als credential-name geen opslagreferentie is.

Deze wijziging wordt aangebracht om gebruikersfouten te helpen voorkomen. Voorheen zouden deze verklaringen succesvol worden uitgevoerd, zelfs als er aanmeldgegevens werden doorgegeven die niet overeenkomen met het opgegeven type referentie. De volgende statement zou bijvoorbeeld storage-credentialverwijderen: DROP SERVICE CREDENTIAL storage-credential.

Deze wijziging is van invloed op de volgende verklaringen:

Nieuwe functies en verbeteringen

Aangepaste stateful toepassingen bouwen met transformWithState

U kunt nu transformWithState en gerelateerde API's gebruiken om aangepaste stateful toepassingen te implementeren als onderdeel van Structured Streaming-query's. Zie Een custom stateful toepassing bouwen.

Verifiëren bij cloudobjectopslag met servicereferenties

U kunt nu Databricks-servicereferenties gebruiken om te authenticeren bij de opslag van cloudobjecten met Auto Loader. Zie Wat is de meldingsmodus voor het automatisch laden van bestanden?

Toegang beheerd door Unity Catalog tot externe cloudservices met behulp van servicereferenties is nu algemeen beschikbaar.

Servicereferenties maken eenvoudige en veilige verificatie mogelijk met de services van uw cloudtenant van Azure Databricks. Met Databricks Runtime 16.2 zijn servicereferenties algemeen beschikbaar en bieden ze nu ondersteuning voor Scala SDK's, naast de Python SDK die werd ondersteund in de openbare preview. Zie Toegang tot externe cloudservices beheren met behulp van servicereferenties.

Als werkruimtebestanden worden notebooks ondersteund.

In Databricks Runtime 16.2 en hoger worden notebooks ondersteund als werkruimtebestanden. U kunt nu programmatisch communiceren met notebooks vanaf elke locatie waar het bestandssysteem van de werkruimte beschikbaar is, zoals schrijven, lezen en verwijderen van notitieblokken zoals elk ander bestand. Zie Notebooks als werkruimtebestandenvoor meer informatie.

Gebruik timestampdiff & timestampadd in gegenereerde kolomexpressies.

In Databricks Runtime 16.2 en hoger kunt u de timestampdiff- en tijdstempelpadd functies in door Delta Lake gegenereerde kolomexpressies gebruiken. Zie door Delta Lake gegenereerde kolommen.

Ondersteuning voor sql-pijplijnsyntaxis

In Databricks Runtime 16.2 en hoger kunt u SQL-pijplijnen opstellen. Een SQL-pijplijn structureert een standaardquery, zoals SELECT c2 FROM T WHERE c1 = 5, in een stapsgewijze reeks, zoals wordt weergegeven in het volgende voorbeeld:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Zie SQL Pipeline Syntaxvoor meer informatie over de ondersteunde syntaxis voor SQL-pijplijnen.

Zie voor achtergrondinformatie over deze uitbreiding voor meerdere bedrijfstakken SQL Heeft Problemen. We kunnen ze oplossen: pipelijnsyntaxis in SQL (door Google Research).

HTTP-aanvraag maken met behulp van de http_request-functie

In Databricks Runtime 16.2 en hoger kunt u HTTP-verbindingen maken en http-aanvragen maken met behulp van de http_request-functie.

Bijwerken naar DESCRIBE TABLE retourneert metagegevens als gestructureerde JSON

In Databricks Runtime 16.2 en hoger kunt u de opdracht DESCRIBE TABLE AS JSON gebruiken om metagegevens van tabellen als JSON-document te retourneren. De JSON-uitvoer is gestructureerder dan het standaard door mensen leesbare rapport en kan worden gebruikt om het schema van een tabel programmatisch te interpreteren. Zie DESCRIBE TABLE AS JSON-voor meer informatie.

Volg lege niet-gevoelige sorteringen

Databricks Runtime 16.2 voegt ondersteuning toe voor het achtervolgen van lege niet-gevoelige sorteringen, en voegt deze toe aan de sorteringsondersteuning die is toegevoegd in Databricks Runtime 16.1. Deze sorteringen behandelen bijvoorbeeld 'Hello' en 'Hello ' als gelijk. Zie RTRIM-collationvoor meer informatie.

Converteren van Iceberg-tabellen met bucketpartitionering naar Deltatabellen zonder partities

De CONVERT TO DELTA- en CREATE TABLE CLONE-instructies bieden nu ondersteuning voor het converteren van een Iceberg-tabel met bucketpartitionering naar een niet-gepartitioneerde Delta-tabel.

Berekening van de Standaardtoegangsmodus (voorheen modus voor gedeelde toegang) ondersteunt nu de Spark Scala-methoden foreach, foreachBatchen flatMapGroupsWithState

In Databricks Runtime 16.2 en hoger ondersteunt de standaardtoegangsmodus nu de Scala-methoden DataStreamWriter.foreachBatch en KeyValueGroupedDataset.flatMapGroupsWithState. In Databricks Runtime 16.1 en hoger ondersteunt de standaardtoegangsmodus nu de Scala-methode DataStreamWriter.foreach.

Probleemoplossingen

Verbeterde incrementele kloonverwerking

Deze release bevat een oplossing voor een edge-geval waarbij een incrementele CLONE bestanden die al uit een brontabel zijn gekopieerd, opnieuw kunnen kopiëren naar een doeltabel. Zie Een tabel klonen in Azure Databricks.

Bibliotheekverbeteringen

  • Bijgewerkte Python-bibliotheken:
  • Bijgewerkte R-bibliotheken:
  • Bijgewerkte Java-bibliotheken:
    • org.json4s.json4s-ast_2.12 van "3.7.0-M11" tot "4.0.7"
    • org.json4s.json4s-core_2.12 van 3.7.0-M11 tot 4.0.7
    • org.json4s.json4s-jackson_2.12 bijgewerkt van 3.7.0-M11 naar 4.0.7
    • org.json4s.json4s-scalap_2.12 van 3.7.0-M11 tot 4.0.7

Apache Spark

Databricks Runtime 16.2 bevat Apache Spark 3.5.2. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 16.1, evenals de volgende aanvullende foutoplossingen en verbeteringen in Spark:

  • [SPARK-49966] Herstel “[SC-179501][sql] Gebruik Invoke om JsonToStructs(from_json) te implementeren”
  • [SPARK-50904] [SC-186976][sql] Query-uitvoering van sorteringsexpressie oplossen
  • [SPARK-49666] [SQL] Bijsnijdtests inschakelen voor InSet-expressie
  • [SPARK-50669] [SC-184566][es-1327450][SQL] De handtekening van timestampAdd-expressie wijzigen
  • [SPARK-50795] [16.x][sc-186719][SQL] Timestamp opslaan als long type in describe LinkedHashMap
  • [SPARK-50870] [SC-186950][sql] Voeg de tijdzone toe bij het casten naar tijdstempel in V2ScanRelationPushDown
  • [SPARK-50735] [SC-186944][connect] Fout in ExecuteResponseObserver resulteert in oneindige opnieuw koppelen van aanvragen
  • [SPARK-50522] [SC-186500][sql] Ondersteuning voor onbepaalde sortering
  • [SPARK-50525] [SC-186058][sql] InsertMapSortInRepartitionExpressions Optimizer-regel definiëren
  • [SPARK-50679] [SC-184572][sql] Gedupliceerde gemeenschappelijke expressies in verschillende WITH moeten slechts één keer worden geprojecteerd
  • [SPARK-50847] [SC-186916] [SQL] Voorkomen dat ApplyCharTypePadding wordt toegepast op specifieke 'In'-expressies.
  • [SPARK-50714] [SC-186786][sql][SS] Schemaontwikkeling voor TransformWithState inschakelen wanneer Avro-codering wordt gebruikt
  • [SPARK-50795] [SC-186390][sql] Alle datums bij BESCHRIJVEN ALS JSON weergeven in ISO-8601-indeling en typen als dataType.simpleString
  • [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: Type coercion en grenscontrole verbeteren voor de UNIFORM SQL-functie
  • [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog ondersteunt builtin magic-waarde
  • [SPARK-50831] [SC-186736][sql] Trimmingsortering standaard inschakelen
  • [SPARK-50263] [SC-186793][connect] Vervang System.currentTimeMillis door System.nanoTime
  • [SPARK-48730] [SC-184926][sql] CreateSQLFunctionCommand implementeren voor SQL Scalar- en Table-functies
  • [SPARK-50830] [SC-186718] [SQL] Retourneer enkelvoudige passage resultaat als het resultaat van de dubbele analyseprocedure
  • [SPARK-50707] [SC-186098][sql] Het inschakelen van casting naar/van char/varchar
  • [SPARK-49490] [SC-182137][sql] Benchmarks toevoegen voor initCap
  • [SPARK-50529] [SC-184535][sql] Het gedrag van char/varchar binnen de spark.sql.preserveCharVarcharTypeInfo-configuratie wijzigen
  • [SPARK-49632] [SC-184179][sql] Verwijderen van de ANSI-configuratiesuggestie in CANNOT_PARSE_TIMESTAMP
  • [SPARK-50815] [SC-186487][python][SQL] Fout opgelost waarbij null-varianten in createDataFrame worden doorgegeven, waardoor deze mislukt en variantondersteuning toevoegt in createDataFrame in Spark Connect
  • [SPARK-50828] [SC-186493][python][ML][connect] Verouderd verklaren pyspark.ml.connect
  • [SPARK-50600] [SC-186057][connect][SQL] Set geanalyseerd bij analysefout
  • [SPARK-50824] [SC-186472][python] Vermijd het importeren van optionele Python-pakketten voor controle
  • [SPARK-50755] [SC-185521][sql] Mooie planweergave voor InsertIntoHiveTable
  • [SPARK-50789] [SC-186312][connect] De invoer voor getypte aggregaties moet geanalyseerd worden
  • [SPARK-50791] [SC-185867][sc-186338][SQL] Foutafhandeling van NPE in State Store oplossen
  • [SPARK-50801] [SC-186365] [SQL] Verbeteren PlanLogger.logPlanResolution zodat er alleen onopgeloste en opgeloste plannen worden weergegeven
  • [SPARK-50749] [SC-185925][sql] Ordefout opgelost in de methode CommutativeExpression.gatherCommutative
  • [SPARK-50783] [SC-186347] Canonicaliseer JVM-profilerresultaten bestandsnaam en lay-out op DFS.
  • [SPARK-50790] [SC-186354][python] JSON-parser implementeren in PySpark
  • [SPARK-50738] [SC-184856][python] Een zwarte upgrade uitvoeren naar 23.12.1
  • [SPARK-50764] [SC-185930][python] Verfijn de docstring van xpath-gerelateerde methoden
  • [SPARK-50798] [SC-186277][sql] NormalizePlan verbeteren
  • [SPARK-49883] [SC-183787][ss] Statuswinkel Controlepuntstructuur V2 Integratie met RocksDB en RocksDBFileManager
  • [SPARK-50779] [SC-186062][sql] Functievlag toevoegen voor sorteringen op objectniveau
  • [SPARK-50778] [SC-186183][python] MetadataColumn toevoegen aan PySpark DataFrame
  • [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: Automatisch gegenereerde expressie-aliasen verbeteren met pijp-SQL-operators
  • [SPARK-50541] [16.x][sc-184937] Tabel als JSON beschrijven
  • [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: Tabelaliassen behouden na SET, EXTEND, DROP-operators
  • [SPARK-50769] [SC-185919][sql] ClassCastException in HistogramNumeric herstellen
  • [SPARK-49025] [SC-174667] Delta-codeverschil met DBR synchroniseren
  • [SPARK-50752] [SC-185547][python][SQL] Introduceer configuraties voor het afstemmen van Python UDF zonder pijl
  • [SPARK-50705] [SC-185944][sql] Maak QueryPlan vergrendelingsvrij
  • [SPARK-50690] [16.x][sc-184640][SQL] Discrepantie in DESCRIBE TABLE queryuitvoerkolommen weergeven
  • [SPARK-50746] [SC-184932][sql] Vervang een van beide door VariantPathSegment.
  • [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder configureert de instellingen in batches
  • [SPARK-50480] [SC-183359][sql] CharType en VarcharType uitbreiden vanuit StringType
  • [SPARK-50675] [SC-184539][sql] Tabel- en weergaveniveausorteringen ondersteunen
  • [SPARK-50409] [SC-184516][sql] Set-instructie herstellen om ; aan het einde van SET;, SET -v; en SET key; te negeren
  • [SPARK-50743] [SC-185528][sql] CTERelationDef en CTERelationRelationRef-id's normaliseren
  • [SPARK-50693] [SC-184684][connect] De invoer voor TypedScalaUdf moet worden geanalyseerd
  • [SPARK-50744] [SC-184929][sql] Een testcase toevoegen voor prioriteit van weergave-/CTE-naamomzetting
  • [SPARK-50710] [SC-184767][connect] Voeg ondersteuning toe voor het optioneel opnieuw verbinden van de client met sessies na de vrijgave.
  • [SPARK-50703] [SC-184843][python] Verfijn de docstring van regexp_replace, regexp_substr en regexp_instr
  • [SPARK-50716] [SC-184823][core] Corrigeer de opschoonlogica voor symbolische koppelingen in JavaUtils.deleteRecursivelyUsingJavaIO methode
  • [SPARK-50630] [SC-184443][sql] GROUP BY ordinale ondersteuning voor pijp-SQL AGGREGATE-operators oplossen
  • [SPARK-50614] [SC-184729][sql] Ondersteuning voor variantshredding toevoegen voor Parquet
  • [SPARK-50661] [SASP-4936] Achterwaartse compatibiliteit toevoegen voor oude client FEB.
  • [SPARK-50676] [SC-184641][sql] Ongebruikte private lazy val mapValueContainsNull verwijderen uit ElementAt
  • [SPARK-50515] [SC-183813][core] Een alleen-lezeninterface toevoegen aan SparkConf
  • [SPARK-50697] [SC-184702][sql] Tail-recursion waar mogelijk inschakelen
  • [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Corrigeer het statusschema voor FlatMapGroupsWithState in Spark Connect wanneer er geen beginstatus is
  • [SPARK-50701] [SC-184704][python] Het plotten vereist de minimale Plotly-versie
  • [SPARK-50702] [SC-184727][python] Verfijn de docstring van regexp_count, regexp_extract en regexp_extract_all
  • [SPARK-50499] [SC-184177][python] Metrische gegevens van BasePythonRunner beschikbaar maken
  • [SPARK-50692] [SC-184705][16.x] Ondersteuning voor RPAD-pushdown toevoegen
  • [SPARK-50682] [SC-184579][sql] Inner Alias moet worden gecanoniseerd
  • [SPARK-50699] [SC-184695][python] DDL-tekenreeks parseren en genereren met een opgegeven sessie
  • [SPARK-50573] [SC-184568][ss] Het toevoegen van de statusschema-ID aan de statusrijen voor schema-evolutie
  • [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Fix Spark Connect Scala foreachBatch impl. om Dataset[T] te ondersteunen.
  • [SPARK-50689] [SC-184591][sql] Deterministische volgorde afdwingen in LCA-projectlijsten
  • [SPARK-50696] [SC-184667][python] Py4J-aanroep optimaliseren voor DDL-parseringsmethode
  • [SPARK-49670] [SC-182902][sql] Trimsortering inschakelen voor alle passthrough-expressies
  • [SPARK-50673] [SC-184565][ml] Vermijden van het twee keer doorlopen van modelcoëfficiënten in Word2VecModel constructor
  • [SPARK-50687] [SC-184588][python] Optimaliseer de logica voor het ophalen van stacktraceringen voor DataFrameQueryContext
  • [SPARK-50681] [SC-184662][python][CONNECT] Cache het geparseerde schema voor MapInXXX en ApplyInXXX
  • [SPARK-50674] [SC-184589][python] Repareer controle op bestaan van 'terminate'-methode in UDTF-evaluatie
  • [SPARK-50684] [SC-184582][python] Py4J-prestaties verbeteren in DataFrameQueryContext
  • [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Ondersteuning toevoegen voor nieuwe versie van statusmetagegevens voor TransformWithStateInPandas
  • [SPARK-50602] [SC-184439][sql] Transponeren om een correct foutbericht weer te geven wanneer ongeldige indexkolommen zijn opgegeven
  • [SPARK-50650] [SC-184532][sql] Logboekregistratie in Single Pass Analyzer verbeteren
  • [SPARK-50665] [SC-184533][sql] Vervang LocalRelation door ComparableLocalRelation in NormaliseerPlan
  • [SPARK-50644] [SC-184486][sql] Lees variantstructuur in Parquet-lezer.
  • [SPARK-49636] [SC-184089][sql] Verwijder de suggesties voor ANSI-configuraties in INVALID_ARRAY_INDEX en INVALID_ARRAY_INDEX_IN_ELEMENT_AT
  • [SPARK-50659] [SC-184514][sql] Uitvoerberekening van union herstructureren om deze opnieuw te gebruiken in single-pass Analyzer
  • [SPARK-50659] [SC-184512][sql] Union-gerelateerde fouten verplaatsen naar QueryCompilationErrors
  • [SPARK-50530] [SC-183419][sql] Ongeldige impliciete contextberekening van tekenreekstypen corrigeren
  • [SPARK-50546] [SC-183807][sql] Ondersteuning voor subquery cast toevoegen aan coercion voor sorteringstypen
  • [SPARK-50405] [SC-182889][sql] Collatietype-coercion van complexe datatypes op de juiste manier verwerken
  • [SPARK-50637] [SC-184434][sql] De codestijl voor de single-pass Analyzer herstellen
  • [SPARK-50638] [SC-184435][sql] Herstructureer de weergaveresolutie in het afzonderlijke bestand om deze opnieuw te gebruiken in single-pass Analyzer
  • [SPARK-50615] [SC-184298][sql] Push variant naar scan.
  • [SPARK-50619] [SC-184210][sql] VariantGet.cast herstructureren om de cast-argumenten in te pakken
  • [SPARK-50599] [SC-184058][sql] Maak de DataEncoder-eigenschap die Avro- en UnsafeRow-codering mogelijk maakt
  • [SPARK-50076] [SC-183809] Logboeksleutels herstellen
  • [SPARK-50597] [SC-183972][sql] Herstructureer batchconstructie in Optimizer.scala en SparkOptimizer.scala
  • [SPARK-50339] [SC-183063][spark-50360][SS] Schakel changelog in om herkomstgegevens op te slaan
  • [SPARK-50526] [SC-183811][ss] Store-coderingsindeling toevoegen aan offsetlogboek en blokkeren dat niet-ondersteunde stateful operators avro gebruiken
  • [SPARK-50540] [SC-183810][python][SS] Tekenreeksschema herstellen voor StatefulProcessorHandle
  • [SPARK-50157] [SC-183789][sql] Gebruik eerst SQLConf van SparkSession.
  • [SPARK-48898] [SC-183793][sql] Nullability juist instellen in het Variant-schema
  • [SPARK-50559] [SC-183814][sql] Sla de uitvoer van Exceptie, Intersectie en Unie op als lazy vals
  • nl-NL: [SPARK-48416] [SC-183643][sql] Ondersteuning van geneste gecorreleerde WITH-expressie
  • [SPARK-50428] [SC-183566][ss][PYTHON] Ondersteuning voor TransformWithStateInPandas in batchqueries
  • [SPARK-50063] [SC-183350][sql][CONNECT] Ondersteuning voor variant toevoegen in de Spark Connect Scala-client
  • [SPARK-50544] [SC-183569][python][CONNECT] Implementeren StructType.toDDL
  • [SPARK-50443] [SC-182590][ss] Maven-buildfouten oplossen die zijn geïntroduceerd door Guava-cache in RocksDBStateStoreProvider
  • [SPARK-50491] [SC-183434][sql] Fout opgelost waarbij lege BEGIN-END-blokken een fout veroorzaken
  • [SPARK-50536] [SC-183443][core] Log gedownloade archiefbestandsgroottes in SparkContext en Executor
  • [SPARK-45891] [SC-183439][sql] Herbouw variant binair van versnipperde gegevens.
  • [SPARK-49565] [SC-183465][sql] SQL-pijpsyntaxis toevoegen voor de FROM-operator
  • [SPARK-50497] [SC-183338][sql] Maak query's ongeldig met het juiste bericht als MultiAlias geen generatorfunctie bevat
  • [SPARK-50460] [SC-183375][python][CONNECT] Generaliseren en de verwerking van verbindingsonderzondering vereenvoudigen
  • [SPARK-50537] [SC-183452][connect][PYTHON] Fix compressieoptie die wordt overschreven in df.write.parquet
  • [SPARK-50329] [SC-183358][sql] fix InSet$toString
  • [SPARK-50524] [SC-183364][sql] Verlaag RowBasedKeyValueBatch.spill waarschuwingsbericht naar debugniveau
  • [SPARK-50528] [SC-183385][connect] InvalidCommandInput verplaatsen naar algemene module
  • [SPARK-50017] [SC-182438][ss] Ondersteuning voor Avro-codering voor TransformWithState-operator
  • [SPARK-50463] [SC-182833][sql] ConstantColumnVector met kolom naar rijconversie herstellen
  • [SPARK-50235] [SC-180786][sql] ColumnVector-resource opschonen nadat alle rijen in ColumnarToRowExec zijn verwerkt
  • [SPARK-50516] [SC-183279][ss][MINOR] Corrigeer de init-statustest voor het gebruik van StreamManualClock
  • [SPARK-50478] [SC-183188][sql] StringType-overeenkomst herstellen
  • [SPARK-50492] [SC-183177][ss] Java.util.NoSuchElementException herstellen wanneer de kolom gebeurtenistijd wordt verwijderd na dropDuplicatesWithinWatermark
  • [SPARK-49566] [SC-182589][sql] SQL-pijpsyntaxis toevoegen voor de operator SET
  • [SPARK-50449] [SC-183178][sql] SQL Scripting grammatica aanpassen om lege lichamen voor lussen, IF en CASE toe te staan
  • [SPARK-50251] [SC-180970][python] getSystemProperty toevoegen aan PySpark-SparkContext
  • [SPARK-50421] [SC-183091][core] Onjuiste geheugenconfiguratie van de uitvoerder herstellen wanneer meerdere resourceprofielen actief waren
  • [SPARK-49461] [SC-179572][ss] Permanente controlepunt-id voor het doorvoeren van logbestanden en deze weer inlezen
  • [SPARK-50343] [SC-183119][spark-50344][SQL] SQL-pijpsyntaxis toevoegen voor de DROP- en AS-operators
  • [SPARK-50481] [SC-182880][core] Verbeter SortShuffleManager.unregisterShuffle om de logica van het controlesombestand over te slaan als controlesom is uitgeschakeld
  • [SPARK-50498] [SC-183090][python] Vermijd onnodige py4j-aanroep in listFunctions
  • [SPARK-50489] [SC-183053][sql][PYTHON] Zelf-join herstellen na applyInArrow
  • [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres fix xor push-down

Ondersteuning voor Databricks ODBC-/JDBC-stuurprogramma's

Databricks ondersteunt ODBC-/JDBC-stuurprogramma's die in de afgelopen 2 jaar zijn uitgebracht. Download de onlangs uitgebrachte stuurprogramma's en upgrade (ODBC-downloaden, JDBC-downloaden).

Onderhoudsupdates

Zie onderhoudsupdates van Databricks Runtime 16.2.

Systeemomgeving

  • besturingssysteem: Ubuntu 24.04.1 LTS
  • Java: Zulu17.54+21-CA
  • Scala: 2.12.18
  • Python: 3.12.3
  • R: 4.4.0
  • Delta Lake: 3.3.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
geannoteerde typen 0.7.0 asttokens 2.0.5 astunparse 1.6.3
automatische opdracht 2.2.2 azure-core 1.31.0 Azure Storage BLOB 12.23.0
Azure Data Lake-opslag voor bestanden 12.17.0 backports.tarfile 1.2.0 zwart 24.4.2
knipperlicht 1.7.0 boto3 1.34.69 botocore 1.34.69
cachetools 5.3.3 certificaat 2024.6.2 cffi 1.16.0
chardet 4.0.0 charset-normalizer 2.0.4 klikken 8.1.7
cloudpickle 2.2.1 Communicatie 0.2.1 contourpy 1.2.0
cryptografie 42.0.5 wielrijder 0.11.0 Cython 3.0.11
databricks-sdk 0.30.0 dbus-python 1.3.2 debugpy 1.6.7
decorateur 5.1.1 Afgeschreven 1.2.14 distlib 0.3.8
docstring-to-markdown 0.11 invoerpunten 0.4 Uitvoeren 0.8.3
overzicht van facetten 1.1.1 bestandsvergrendeling 3.15.4 fonttools 4.51.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
google-auth 2.35.0 google-cloud-core 2.4.1 Google Cloud Storage 2.18.2
google-crc32c 1.6.0 google-resumable-media 2.7.2 googleapis-common-protos 1.65.0
grpcio 1.60.0 grpcio-status 1.60.0 httplib2 0.20.4
idna 3.7 importlib-metadata 6.0.0 importlib_resources 6.4.0
vervoegen 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate (ISO-datum) 0.6.1 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jedi 0.19.1 jmespath 1.0.1
joblib 1.4.2 jupyter_client 8.6.0 jupyter_core 5.7.2
kiwisolver 1.4.4 launchpadlib 1.11.0 lazr.restfulclient 0.14.6
lazr.uri 1.0.6 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mlflow-skinny 2.15.1 more-itertools 10.3.0
mypy 1.10.0 mypy-extensions 1.0.0 nest-asyncio 1.6.0
nodeenv 1.9.1 numpy 1.26.4 oauthlib 3.2.2
opentelemetry-api 1.27.0 opentelemetry-sdk 1.27.0 opentelemetry-semantische-conventies 0.48b0
verpakking 24.1 pandas 1.5.3 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.6 pexpect 4.8.0
kussen 10.3.0 pip 24.2 platformdirs 3.10.0
plotly 5.22.0 plugje 1.0.0 prompt-toolkit 3.0.43
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 15.0.2 pyasn1 0.4.8 pyasn1-modules 0.2.8
pyccolo 0.0.65 pycparser 2.21 pydantic 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 pyodbc 5.0.1
pyparsing 3.0.9 pyright 1.1.294 python-dateutil 2.9.0.post0
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 pytoolconfig 1.2.6
pytz 2024.1 PyYAML 6.0.1 pyzmq 25.1.2
Verzoeken 2.32.2 touw 1.12.0 RSA 4.9
s3transfer 0.10.2 scikit-learn 1.4.2 scipy 1.13.1
seaborn 0.13.2 setuptools 74.0.0 Zes 1.16.0
smmap 5.0.0 sqlparse 0.5.1 ssh-import-id 5.11
stapelgegevens 0.2.0 statsmodels 0.14.2 vasthoudendheid 8.2.2
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.4.1 traitlets 5.14.3 typeguard 4.3.0
types-protobuf 3.20.3 types-psutil 5.9.0 types-pytz 2023.3.1.1
types-PyYAML 6.0.0 typen verzoeken 2.31.0.0 types-setuptools 68.0.0.0
typen-zes 1.16.0 types-urllib3 1.26.25.14 typing_extensions 4.11.0
ujson 5.10.0 upgrades zonder toezicht 0.1 urllib3 1.26.16
virtualenv 20.26.2 wadllib 1.3.6 wcwidth 0.2.5
whatthepatch 1.0.2 wiel 0.43.0 omsloten 1.14.1
yapf 0.33.0 zipp 3.17.0

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Posit Package Manager CRAN-snapshot op 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
pijl 16.1.0 askpass 1.2.0 assertthat 0.2.1
backports 1.5.0 basis 4.4.0 base64enc 0.1-3
bigD 0.2.0 beetje 4.0.5 bit64 4.0.5
bitops 1.0-8 Druppel 1.2.4 boot 1.3-30
brouwen 1.0-10 Brio 1.1.5 bezem 1.0.6
bslib 0.8.0 cachem 1.1.0 beller 3.7.6
Caret 6.0-94 cellranger 1.1.0 Chron 2.3-61
klas 7.3-22 CLI 3.6.3 clipr 0.8.0
klok 0.7.1 groep 2.1.6 codetools 0.2-20
kleurruimte 2.1-1 commonmark 1.9.1 compiler 4.4.0
configuratie 0.3.2 Strijd 1.2.0 cpp11 0.4.7
krijt 1.5.3 geloofsbrief 2.0.1 curl 5.2.1
data.table 1.15.4 gegevenssets 4.4.0 DBI 1.2.3
dbplyr 2.5.0 Beschrijving 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 samenvatting 0.6.36
naar beneden gerichte verlichting 0.4.4 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 ellips 0.3.2 evalueren 0.24.0
fans 1.0.6 kleuren 2.1.2 fastmap 1.2.0
fontawesome 0.5.2 dwangarbeiders 1.0.0 foreach 1.5.2
buitenlands 0.8-86 smeden 0.2.0 fs 1.6.4
toekomst 1.34.0 future.apply 1.11.2 gorgelen 1.5.2
Generieken 0.1.3 Gert 2.1.0 ggplot2 3.5.1
Gh 1.4.1 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globale variabelen 0.16.3 lijm 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafische elementen 4.4.0 grDevices 4.4.0 raster 4.4.0
gridExtra 2.3 gsubfn 0,7 Gt 0.11.0
gtable 0.3.5 veiligheidshelm 1.4.0 toevluchtsoord/schuilplaats 2.5.4
hoger 0.11 Hms 1.1.3 htmltools 0.5.8.1
htmlwidgets 1.6.4 httpuv 1.6.15 httr 1.4.7
httr2 1.0.2 Ids 1.0.1 ini 0.3.1
ipred 0.9-15 isoband 0.2.7 iteratoren 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-22 knitr 1.48 etikettering 0.4.3
later 1.3.2 latwerk 0.22-5 lava 1.8.0
levenscyclus 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.13 MASSA 7.3-60.0.1
Matrix 1.6-5 memoise 2.0.1 Methoden 4.4.0
mgcv 1.9-1 Mime 0.12 miniUI 0.1.1.1
mlflow 2.14.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.1 nlme 3.1-165 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.2.0 evenwijdig 4.4.0
parallelle wijze 1.38.0 pilaar 1.9.0 pkgbuild 1.4.4
pkgconfig 2.0.3 pkgdown 2.1.0 pkgload 1.4.0
plogr 0.2.0 plyr 1.8.9 prijzen 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.4
prodlim 2024.06.25 profvis 0.3.8 vooruitgang 1.2.3
progressr 0.14.0 Beloften 1.3.0 Proto 1.0.0
proxy 0.4-27 PS 1.7.7 purrr 1.0.2
R6 2.5.1 ragg 1.3.2 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.13 RcppEigen 0.3.4.0.0 reactief 0.4.4
reactR 0.6.0 readr 2.1.5 readxl (een programma voor het lezen van Excel-bestanden) 1.4.3
Recepten 1.1.0 returnwedstrijd 2.0.0 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.5.0 reproduceerbaar voorbeeld 2.1.1 reshape2 1.4.4
rlang 1.1.4 rmarkdown 2.27 RODBC 1.3-23
roxygen2 7.3.2 rpart 4.1.23 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.7 rstudioapi 0.16.0
rversions 2.1.2 rvest 1.0.4 Sass 0.4.9
weegschalen 1.3.0 selectr 0.4-2 sessiegegevens 1.2.2
vorm 1.4.6.1 glanzend 1.9.1 sourcetools 0.1.7-1
sparklyr 1.8.6 ruimtelijk 7.3-17 Splines 4.4.0
sqldf 0.4-11 SQUAREM 2021.1 statistieken 4.4.0
stats4 4.4.0 strings 1.8.4 stringr 1.5.1
overleving 3.6-4 Branie 5.17.14.1 sys 3.4.2
systemfonts 1.1.0 tcltk 4.4.0 testthat 3.2.1.1
tekstvormgeving 0.4.0 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.1 tidyverse 2.0.0 tijdswijziging 0.3.0
datumtijd 4032.109 tinytex 0.52 gereedschap 4.4.0
tzdb 0.4.0 urlchecker 1.0.1 gebruik dit 3.0.0
utf8 1.2.4 hulpmiddelen 4.4.0 uuid (universeel unieke identificatie) 1.2-1
V8 4.4.2 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 snor 0.4.1
withr 3.0.1 xfun 0.46 xml2 1.3.6
xopen 1.0.1 xtable 1.8-4 yaml 2.3.10
zeloot 0.1.0 ritssluiting 2.3.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-ID Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.638
com.amazonaws aws-java-sdk-cloudformation 1.12.638
com.amazonaws aws-java-sdk-cloudfront 1.12.638
com.amazonaws aws-java-sdk-cloudhsm 1.12.638
com.amazonaws aws-java-sdk-cloudsearch 1.12.638
com.amazonaws aws-java-sdk-cloudtrail 1.12.638
com.amazonaws aws-java-sdk-cloudwatch 1.12.638
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.638
com.amazonaws aws-java-sdk-codedeploy 1.12.638
com.amazonaws aws-java-sdk-cognitoidentity 1.12.638
com.amazonaws aws-java-sdk-cognitosync 1.12.638
com.amazonaws aws-java-sdk-config 1.12.638
com.amazonaws aws-java-sdk-core 1.12.638
com.amazonaws aws-java-sdk-datapipeline 1.12.638
com.amazonaws aws-java-sdk-directconnect 1.12.638
com.amazonaws aws-java-sdk-directory 1.12.638
com.amazonaws aws-java-sdk-dynamodb 1.12.638
com.amazonaws aws-java-sdk-ec2 1.12.638
com.amazonaws aws-java-sdk-ecs 1.12.638
com.amazonaws aws-java-sdk-efs 1.12.638
com.amazonaws aws-java-sdk-elasticache 1.12.638
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.638
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.638
com.amazonaws aws-java-sdk-elastictranscoder 1.12.638
com.amazonaws aws-java-sdk-emr 1.12.638
com.amazonaws aws-java-sdk-glacier 1.12.638
com.amazonaws aws-java-sdk-glue 1.12.638
com.amazonaws aws-java-sdk-iam 1.12.638
com.amazonaws aws-java-sdk-importexport 1.12.638
com.amazonaws aws-java-sdk-kinesis 1.12.638
com.amazonaws aws-java-sdk-kms 1.12.638
com.amazonaws aws-java-sdk-lambda 1.12.638
com.amazonaws aws-java-sdk-logs 1.12.638
com.amazonaws aws-java-sdk-machinelearning 1.12.638
com.amazonaws aws-java-sdk-opsworks 1.12.638
com.amazonaws aws-java-sdk-rds 1.12.638
com.amazonaws aws-java-sdk-redshift 1.12.638
com.amazonaws aws-java-sdk-route53 1.12.638
com.amazonaws aws-java-sdk-s3 1.12.638
com.amazonaws aws-java-sdk-ses 1.12.638
com.amazonaws aws-java-sdk-simpledb 1.12.638
com.amazonaws aws-java-sdk-simpleworkflow 1.12.638
com.amazonaws aws-java-sdk-sns 1.12.638
com.amazonaws aws-java-sdk-sqs 1.12.638
com.amazonaws aws-java-sdk-ssm 1.12.638
com.amazonaws aws-java-sdk-storagegateway 1.12.638
com.amazonaws aws-java-sdk-sts 1.12.638
com.amazonaws aws-java-sdk-support 1.12.638
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.638
com.amazonaws jmespath-java 1.12.638
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.27.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware cryogeen-beschaduwd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine cafeïne 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-inheemsen
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java 1.1-inheemsen
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-inheemsen
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-inheemsen
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone foutgevoelige_annotaties 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guave 15.0
com.google.protobuf protobuf-java 3.25.1
com.helger Profiler 1.1.1
com.ibm.icu icu4j 75.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.microsoft.sqlserver mssql-jdbc 11.2.3.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
gemeenschappelijke collecties commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift luchtdrukcompressor 0.27
io.delta delta-sharing-client_2.12 1.2.2
io.dropwizard.metrics metrische notatie 4.2.19
io.dropwizard.metrics metrische gegevenskern 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics prestatie- en gezondheidscontroles 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.108.Final
io.netty netty-buffer 4.1.108.Final
io.netty netty-codec 4.1.108.Final
io.netty netty-codec-http 4.1.108.Final
io.netty netty-codec-http2 4.1.108.Final
io.netty netty-codec-sokken 4.1.108.Final
io.netty netty-common 4.1.108.Final
io.netty netty-handler 4.1.108.Final
io.netty netty-handler-proxy 4.1.108.Final
io.netty netty-resolver 4.1.108.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-db-r16-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.108.Final
io.netty netty-transport-classes-epoll 4.1.108.Final
io.netty netty-transport-classes-kqueue 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final
io.netty netty-transport-native-epoll 4.1.108.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-riscv64
io.netty netty-transport-native-epoll 4.1.108.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.108.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.108.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transactie-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pekelen 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr string-sjabloon 3.2.1
org.apache.ant mier 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow pijlnotatie 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow pijlvector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator beheerder-klant 2.13.0
org.apache.curator curatorraamwerk 2.13.0
org.apache.curator curator-recepten 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-uitvoeringsomgeving 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy klimop 2.5.2
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-layout-template-json 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus annotaties voor publiek 0.13.0
org.apache.zookeeper dierentuinverzorger 3.9.2
org.apache.zookeeper zookeeper-jute 3.9.2
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-voortzetting 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-API 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-bronzoeker 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Aantekeningen 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 4.0.7
org.json4s json4s-core_2.12 4.0.7
org.json4s json4s-jackson-core_2.12 4.0.7
org.json4s json4s-jackson_2.12 4.0.7
org.json4s json4s-scalap_2.12 4.0.7
org.lz4 lz4-java 1.8.0-databricks-1
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45-databricks
org.roaringbitmap opvulplaatjes 0.9.45-databricks
org.rocksdb rocksdbjni 9.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-java8-compat_2.12 0.9.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.16
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest-compatibel 3.2.16
org.scalatest scalatest-core_2.12 3.2.16
org.scalatest scalatest-diagrams_2.12 3.2.16
org.scalatest scalatest-featurespec_2.12 3.2.16
org.scalatest scalatest-flatspec_2.12 3.2.16
org.scalatest scalatest-freespec_2.12 3.2.16
org.scalatest scalatest-funspec_2.12 3.2.16
org.scalatest scalatest-funsuite_2.12 3.2.16
org.scalatest scalatest-matchers-core_2.12 3.2.16
org.scalatest scalatest-mustmatchers_2.12 3.2.16
org.scalatest scalatest-propspec_2.12 3.2.16
org.scalatest scalatest-refspec_2.12 3.2.16
org.scalatest scalatest-shouldmatchers_2.12 3.2.16
org.scalatest scalatest-wordspec_2.12 3.2.16
org.scalatest scalatest_2.12 3.2.16
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel katten-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 2.4.1-linux-x86_64
stax stax-api 1.0.1