Delen via

Databricks Runtime 7.5 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

Databricks heeft deze versie uitgebracht in december 2020.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 7.5, mogelijk gemaakt door Apache Spark 3.0.

Nieuwe functies

Delta Lake-functies en -verbeteringen

Deze release biedt de volgende Delta Lake-functies en -verbeteringen:

Asynchrone controlepunten elimineert pieken in microbatchduur van streaming

Delta Lake voert standaard controlepunten uit om de 10 doorvoeringen. Bij streamingworkloads kan controlepunten kleine pieken veroorzaken in de microbatchduur om de 10 doorvoeringen. Asynchrone controlepunten elimineert deze pieken.

Asynchrone controlepunten zijn standaard ingeschakeld voor alle niet-triggers zodra streamingworkloads zijn uitgevoerd. Met asynchrone controlepunten schrijven streamingschrijvers ook verbeterde controlepunten, zodat u zich niet expliciet hoeft aan te aanmelden voor verbeterde controlepunten.

Als u asynchrone controlepunten wilt uitschakelen, stelt u de SQL-configuratie in spark.databricks.delta.checkpoint.async.enabled false.

Batch-workloads blijven synchroon controlepunten schrijven en we raden u aan asynchrone controlepunten in te schakelen voor batchworkloads.

De meest recente tabelinformatie wordt nu doorgegeven aan catalogi

Delta Lake heeft nu de meest recente tabelgegevens, zoals schema- en tabeleigenschappen, doorgegeven aan catalogi zoals de Hive-metastore, op basis van best effort. Dergelijke informatie kan u helpen bij het gebruik van catalogushulpprogramma's om inzicht te hebben in het schema van uw Delta-tabellen.

Delta Lake is niet intern afhankelijk van deze informatie, maar probeert deze up-to-date te houden. Daarnaast slaat Delta Lake tabeleigenschappen zoals delta.lastUpdateVersion en delta.lastCommitTimestamp op om de versie en het tijdstempel van de commit aan te geven die als laatste een wijziging naar de metastore heeft doorgevoerd. De metastore wordt alleen bijgewerkt wanneer het schema van de tabel of de eigenschappen in de tabel niet overeenkomen. Daarom weerspiegelen de bovengenoemde tabeleigenschappen niet noodzakelijkerwijs de nieuwste versie van de tabel.

Als uw tabelgegevens en de metastoregegevens niet zijn gesynchroniseerd, kunt u een opdracht uitvoeren, zoals DESCRIBE <table> om de metastore bij te werken.

Notitie

Omdat Hive de veranderende partitiekolommen niet toestaat, maar Delta-tabellen hun partitionering kunnen wijzigen, worden Delta-tabellen niet weergegeven als gepartitioneerd in Hive.

MERGE INTO operatie ondersteunt nu de schema-evolutie van geneste kolommen

Schemaontwikkeling van geneste kolommen heeft nu dezelfde semantiek als die van kolommen op het hoogste niveau. Nieuwe geneste kolommen kunnen bijvoorbeeld automatisch worden toegevoegd aan een StructType kolom. Zie Automatische schemaontwikkeling in Samenvoegen voor meer informatie.

MERGE INTO bewerking maakt nu automatisch gebruik van geoptimaliseerde schrijfbewerkingen

geoptimaliseerde schrijfbewerkingen kunnen veel betere prestaties bieden voor MERGE INTO kant-en-klare, met name voor MERGE INTO voor gepartitioneerde tabellen. Als u geoptimaliseerde schrijfbewerkingen wilt uitschakelen, stelt u de Spark-configuratie-spark.databricks.delta.optimizeWrite.enabled in op false.

MERGE INTO- en UPDATE-bewerkingen lossen nu geneste structuurkolommen op naam op

Updatebewerkingen van de commando's UPDATE en MERGE INTO lossen nu geneste structkolommen op op basis van naam. Dat wil zeggen dat wanneer u kolommen van het type StructType vergelijkt of toewijst, de volgorde van de geneste kolommen niet uitmaakt (precies op dezelfde manier als de volgorde van kolommen op het hoogste niveau). Als u wilt terugkeren naar het toewijzen op basis van positie, stelt u de Spark-configuratie spark.databricks.delta.resolveMergeUpdateStructsByName.enabled in op false.

CLONE is beschikbaar en u kunt nu de tabeleigenschappen aanpassen

De CLONE opdracht is nu algemeen beschikbaar. Zie CREATE TABLE CLONE. Daarnaast kunt u nu onderdrukkingen van tabeleigenschappen opgeven wanneer u CLONEgebruikt. Zie Een tabel klonen in Azure Databricksvoor voorbeelden.

RESTORE is GA

De RESTORE opdracht is nu algemeen beschikbaar. Zie RESTORE.

Scala-impliciete spark-API's vereenvoudigen lees- en schrijf-API's

U kunt importeren io.delta.implicits._ om de delta methode te gebruiken met Spark-API's voor lezen en schrijven.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Streamingdoorvoer verbeteren met fetchParallelism connectoroptie

De AQS-connector ondersteunt nu een nieuwe optie fetchParallelism om de parallelle uitvoering op te geven voor het ophalen van berichten uit de wachtrijservice.

Voortgang van de stroom bijhouden met nieuwe metrische gegevens voor automatisch laden

Auto Loader rapporteert nu hoeveel bestanden er in de achterstand staan en hoe groot de achterstand na elke batch is. U kunt deze metrische gegevens gebruiken om de voortgang van de stream bij te houden. Zie Wat is Automatisch laden? voor meer informatie over het weergeven van de metrische gegevens.

Verbeteringen

Bredere ondersteuning voor notebook-scoped bibliotheken met behulp van %pip en %conda magic-opdrachten

U kunt nu notebook-bibliotheken installeren met behulp van de magic commands %pip en %conda op High Concurrency clusters waarvoor tabel-ACL's of referentiepassthrough zijn ingeschakeld.

Nauwkeurige Spark SQL-weergave DECIMAL

Het Spark SQL-DECIMAL gegevenstype wordt nu weergegeven in tabellen zonder verlies van precisie en schaal.

ADLS Gen 2-opslagconnector op basis van Hadoop 3.3 voor ABFS

Een bijgewerkte versie van de ADLS Gen 2-opslagconnector is gebaseerd op Hadoop 3.3 voor ABFS. De bijgewerkte connector bevat veel stabiliteitsverbeteringen (zie Hadoop-stabiliteit) en bevat ondersteuning voor SAS-tokenverificatie.

Andere oplossingen

De Databricks Kafka-connector voor Spark Streaming is verwijderd. Gebruik de Apache Spark-connector.

Bibliotheekupgrades

  • Bijgewerkte Python-bibliotheken:
    • koalas bijgewerkt van 1.3.0 naar 1.4.0.
  • Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.
  • OpenJDK 8-build bijgewerkt naar Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01).

Apache Spark

Databricks Runtime 7.5 bevat Apache Spark 3.0.1. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 7.4 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-33611] [UI] Vermijd codering twee keer voor de queryparameter van de herschreven proxy-URL
  • [SPARK-33587] [CORE] De uitvoerder doden bij geneste fatale fouten (7.x)
  • [SPARK-33140] [SQL] Herstel code die de meegegeven SparkSession niet gebruikt om SQLConf op te halen.
  • [SPARK-33472] [SQL] Regelvolgorde RemoveRedundantSorts aanpassen
  • [SPARK-33422] [DOC] De juiste weergave van het linkermenu-item herstellen
  • [SPARK-27421] [SQL] Corrigeer filter voor int-kolom en waardeklasse java.lang.String bij het snoeien van partitiekolom
  • [SPARK-33483] [INFRA][TESTS] Ratuitsluitingspatronen corrigeren en een LICENTIE toevoegen
  • [SPARK-33464] [INFRA] Noodzakelijke en overbodige cache toevoegen/verwijderen en GitHub Actions-yaml herstructureren
  • [SPARK-33407] [PYTHON][7.X] Vereenvoudig het uitzonderingsbericht van Python UDF's (standaard uitgeschakeld)
  • [SPARK-33435] [SQL] DSv2: REFRESHREFRESH TABLE moet caches die verwijzen naar de tabel ongeldig maken
  • [SPARK-33358] [SQL] Retourcode wanneer het opdrachtproces is mislukt
  • [SPARK-33183] [DBCONNECT] RemoveRedundantSorts.scala toevoegen aan ALLOW_LIST.txt
  • [SPARK-33290] [SQL] REFRESHREFRESH TABLE moet cache ongeldig maken, ook al is de tabel zelf mogelijk niet in de cache opgeslagen
  • [SPARK-33140] [SQL] Deltacompilatie herstellen
  • [SPARK-33316] [SQL] Eenheidstests toevoegen voor from_avro en to_avro met schemaregister en door de gebruiker opgegeven nullable Avro-schema
  • [SPARK-33404] [SQL] Onjuiste resultaten in date_trunc expressies corrigeren
  • [SPARK-33339] [PYTHON] De Pyspark-toepassing loopt vast vanwege een fout zonder uitzondering
  • [SPARK-33412] [SQL] OverwriteByExpression moet de verwijderingsvoorwaarde oplossen op basis van de tabelrelatie niet de invoerquery
  • [SPARK-33391] [SQL] element_at met CreateArray niet één gebaseerde index respecteren.
  • [SPARK-33316] [SQL] Ondersteuning voor gebruikers die een nullable Avro-schema leveren voor een niet-nullable katalysatorschema bij het schrijven in Avro.
  • [SPARK-33372] [SQL] InSet bucket verwijderen herstellen
  • [SPARK-33371] [PYTHON] Update setup.py en tests voor Python 3.9
  • [SPARK-33140] [SQL] verwijder SQLConf en SparkSession in alle subklassen van Rule[QueryPlan]
  • [SPARK-33338] [SQL] GROUP BY het gebruik van een letterlijke map mag niet mislukken
  • [SPARK-33306] [SQL] Tijdzone is nodig bij het converteren van een datum naar een tekenreeks.
  • [SPARK-33284] [WEB-UI] Op de opslag-UI-pagina zal het klikken op een veld om de tabel te sorteren ertoe leiden dat de koptekstinhoud verloren gaat
  • [SPARK-33362] [SQL] skipSchemaResolution moet nog steeds vereisen dat query's worden opgelost
  • [SPARK-32257] [SQL] rapporteert expliciete fouten voor ongeldig gebruik van SET/RESET opdracht
  • [SPARK-32406] [SQL] Zorg ervoor dat RESET syntaxis ondersteuning biedt voor het opnieuw instellen van één configuratie
  • [SPARK-32376] [SQL] Zorg ervoor dat het gedrag van null-vulling in unionByName werkt met struct-kolommen
  • [SPARK-32308] [SQL] Move by-name resolution logic of unionByName from API code to analysis phase (By-name resolution logic of unionByName van API-code verplaatsen naar analysefase)
  • [SPARK-20044] [UI] Ondersteuning voor Spark-gebruikersinterface achter omgekeerde front-endproxy met behulp van een padvoorvoegsel Proxy-URL herstellen
  • [SPARK-33268] [SQL][PYTHON] Fouten oplossen voor het casten van/naar PythonUserDefinedType
  • [SPARK-33292] [SQL] Letterlijke matrixbasedMapData-tekenreeksweergave niet eenduidig maken
  • [SPARK-33183] [SQL] Herstel de Optimizer-regel EliminateSorts en voeg een fysieke regel toe om overbodige sorts te verwijderen.
  • [SPARK-33272] [SQL] de toewijzing van kenmerken in QueryPlan.transformUpWithNewOutput verwijderen
  • [SPARK-32090] [SQL] Improve UserDefinedType.equal() to make it be symmetrical
  • [SPARK-33267] [SQL] NPE-probleem opgelost in het filter In wanneer een van de waarden null bevat
  • [SPARK-33208] [SQL] Werk het document van SparkSession#sql bij
  • [SPARK-33260] [SQL] Onjuiste resultaten van SortExec corrigeren wanneer sortOrder Stream is
  • [SPARK-33230] [SQL] Hadoop-committees om een unieke taak-ID te verkrijgen in spark.sql.sources.writeJobUUID
  • [SPARK-33197] [SQL] Wijzigingen aanbrengen in spark.sql.analyzer.maxIterations worden van kracht tijdens runtime
  • [SPARK-33228] [SQL] Maak de cachegegevens niet ongedaan wanneer u een weergave met hetzelfde logische plan vervangt
  • [SPARK-32557] [CORE] Logboekregistratie en het inslikken van de uitzondering per vermelding in de geschiedenisserver
  • [SPARK-32436] [CORE] Initialiseer numNonEmptyBlocks in HighlyCompressedMapStatus.readExternal
  • [SPARK-33131] [SQL] Groeperingssets met een HAVING-clausule kunnen geen gekwalificeerde kolomnaam oplossen
  • [SPARK-32761] [SQL] Het samenvoegen van meerdere samenvouwbare afzonderlijke expressies toestaan
  • [SPARK-33094] [SQL] Orc-indeling hadoop-configuratie van DS-opties doorgeven aan onderliggende HDFS-bestandssysteem

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 7.5.

Systeemomgeving

  • Besturingssysteem: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R versie 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffiffi 1.14.0
chardet 3.0.4 cryptografie 2.8 wielrijder 0.10.0
Cython 0.29.15 decorateur 4.4.1 docutils 0.15.2
invoerpunten 0,3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.17.2
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koala's 1.4.0
matplotlib 3.1.3 numpy 1.18.1 Pandas 1.0.1
parso 0.7.0 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pit 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 requests 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 Zes 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
upgrades zonder toezicht 0,1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wiel 0.34.2

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit de Microsoft CRAN-momentopname op 2020-11-02.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
askpass 1.1 assertthat 0.2.1 backports 1.1.10
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
opstarten 1.3-25 brouwsel 1.0-6 Brio 1.1.0
bezem 0.7.2 beller 3.5.1 caret 6.0-86
cellranger 1.1.0 Chron 2.3-56 class 7.3-17
cli 2.1.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 1.4-1 commonmark 1,7
compiler 3.6.3 configuratie 0,3 covr 3.5.1
cpp11 0.2.3 Crayon 1.3.4 Overspraak 1.1.0.1
curl 4.3 data.table 1.13.2 gegevenssets 3.6.3
DBI 1.1.0 dbplyr 1.4.4 Desc 1.2.0
devtools 2.3.2 diffobj 0.3.2 verteren 0.6.27
dplyr 0.8.5 DT 0,16 beletselteken 0.3.1
evaluate 0,14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.1
buitenlands 0.8-76 smeden 0.2.0 Fs 1.5.0
Generics 0.1.0 ggplot2 3.3.2 Gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.13.1
lijm 1.4.2 Gower 0.2.2 afbeeldingen 3.6.3
grDevices 3.6.3 rooster 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.2 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 Iterators 1.0.13
jsonlite 1.7.1 KernSmooth 2.23-18 breiwerk 1,30
Labeling 0.4.2 later 1.1.0.1 latwerk 0.20-41
lava 1.6.8 lazyeval 0.2.2 levenscyclus 0.2.0
lubridate 1.7.9 magrittr 1.5 Markdown 1.1
MASSA 7.3-53 Matrix 1.2-18 memoise 1.1.0
methoden 3.6.3 mgcv 1.8-33 Mime 0,9
ModelMetrics 1.2.2.2 modeller 0.1.8 munsell 0.5.0
nlme 3.1-150 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.3 parallel 3.6.3 pilaar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 loven 1.0.0
prettyunits 1.1.1 Proc 1.16.2 processx 3.4.4
prodlim 2019.11.13 Voortgang 1.2.2 Beloften 1.1.1
Proto 1.0.0 ps 1.4.0 purrr 0.3.4
r2d3 0.2.3 R6 2.5.0 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 leesbewerking 1.4.0 readxl 1.3.1
recepten 0.1.14 Rematch 1.0.1 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.2.0 reprex 0.3.0 hervorm2 1.4.4
Rex 1.2.0 rjson 0.2.20 rlang 0.4.8
rmarkdown 2.5 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.1 rstudioapi 0,11 rversions 2.0.2
rvest 0.3.6 weegschaal 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 vorm 1.4.4 glanzend 1.5.0
sourcetools 0.1.7 sparklyr 1.4.0 SparkR 3.0.0
ruimtelijk 7.3-11 Splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.5 Stats 3.6.3 stats4 3.6.3
stringi 1.5.3 stringr 1.4.0 overleving 3.2-7
sys 3.4 tcltk 3.6.3 TeachingDemos 2.10
testthat 3.0.0 tibble 3.0.4 tidyr 1.1.2
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0.27 tools 3.6.3 usethis 1.6.3
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.4 viridisLite 0.3.0 Waldo 0.2.2
snor 0,4 withr 2.3.0 xfun 0.19
xml2 1.3.2 xopen 1.0.0 xtable 1.8-4
yaml 2.2.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.cafeïne cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx verzamelaar 0.12.0
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 0.15.1
org.apache.arrow pijlgeheugen 0.15.1
org.apache.arrow pijlvector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy klimop 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-kolom 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-codering 1.10.1-databricks6
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity snelheid 1.5
org.apache.xbean xbean-asm7-gearceerd 4.15
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-vervolg 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark ongebruikt 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52