Delen via

Databricks Runtime 7.2 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

Databricks heeft deze versie uitgebracht in augustus 2020.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 7.2, mogelijk gemaakt door Apache Spark 3.0.

Nieuwe functies

Databricks Runtime 7.2 bevat de volgende nieuwe functies.

Automatisch laadprogramma is algemeen beschikbaar

Auto Loader is een efficiënte methode voor het incrementeel opnemen van een groot aantal bestanden in Delta Lake. Het is nu algemeen beschikbaar en voegt de volgende functies toe: adreslijstvermelding, API voor cloudresourcebeheer, optie voor snelheidsbeperking en optievalidatie.

Optie voor de modus Directory-vermelding

Auto Loader voegt naast de bestaande modus voor bestandsmeldingen een nieuwe mapweergavemodus toe om te bepalen wanneer er nieuwe bestanden zijn.

  • Modus voor adreslijstvermelding: In sommige scenario's zijn er slechts enkele bestanden waarin regelmatig moet worden gestreamd. In dergelijke gevallen is het identificeren van nieuwe bestanden door parallelle vermelding van de invoermap en het opnemen ervan redelijk efficiënt. Hiermee kunt u autoladerstreams starten zonder enige machtigingsconfiguratie. De lijstweergavemodus is de standaardmodus voor automatisch laden van Databricks Runtime 7.2 en hoger.
  • Modus voor bestandsmeldingen: u kunt zich expliciet aanmelden voor de modus voor bestandsmeldingen. Dit is beter presterend en schaalbaar voor grote invoermappen, maar vereist dat u machtigingen configureert voor de meldingsservice om u te abonneren op bestandsevenementen en .option("cloudFiles.useNotifications", "true")in te stellen. Bestaande automatische loaderstreams zijn gestart op Databricks Runtime 7.1 en hieronder kiezen automatisch voor de modus voor bestandsmeldingen wanneer ze upgraden naar Databricks Runtime 7.2.

Zie Wat is Automatisch laadprogramma? voor meer informatie.

Api voor cloudresourcebeheer

U kunt nu onze Scala-API gebruiken om cloudresources te beheren die zijn gemaakt door Auto Loader. U kunt meldingsservices weergeven en specifieke meldingsservices verwijderen met behulp van deze API. Zie Bronnen voor bestandsmeldingen handmatig configureren of beheren voor meer informatie.

Optie voor snelheidsbeperking

U kunt nu de optie cloudFiles.maxBytesPerTrigger gebruiken om de hoeveelheid gegevens te beperken die in elke microbatch wordt verwerkt. U kunt een bytetekenreeks opgeven, zoals 10g om elke microbatch te beperken tot 10 GB aan gegevens. Dit is een zacht maximum. Als u bestanden hebt die elk 3 GB zijn, verwerkt Azure Databricks 12 GB in een microbatch. Deze optie heeft geen effect wanneer deze wordt gebruikt met Trigger.Once(). Wanneer deze optie niet is opgegeven, wordt de standaardwaarde van cloudFiles.maxFilesPerTrigger 1000 bestanden gebruikt voor snelheidsbeperking. Wanneer Azure Databricks samen met cloudFiles.maxFilesPerTriggerwordt gebruikt, verbruikt Azure Databricks tot de laagste limiet van cloudFiles.maxFilesPerTrigger of cloudFiles.maxBytesPerTrigger, afhankelijk van wat het eerst wordt bereikt.

Zie Wat is Automatisch laadprogramma? voor meer informatie.

Optievalidatie

Automatisch laden valideert nu de opties die u opgeeft. Als u een onbekende optie opgeeft, retourneert automatisch laden een fout in plaats van de optie op de achtergrond te negeren. De validatie detecteert ook inconsistenties in uw opgegeven opties. Als u bijvoorbeeld cloudFiles.useNotifications instelt op false en tegelijkertijd machtigingsopties voor Azure Event Grid- en Queue Storage-services opgeeft, mislukt validation. Als u optievalidatie wilt overslaan, stelt u cloudFiles.validateOptions in op false.

Wijzigingen in standaardoptiewaarden en compatibiliteit

Het standaardgedrag van sommige opties voor automatisch laden is gewijzigd in Databricks Runtime 7.2. Om compatibiliteit te garanderen, blijft het gedrag van streams die zijn gestart op Databricks Runtime 7.1 en hieronder ongewijzigd, zelfs nadat u een upgrade hebt uitgevoerd naar het uitvoeren van dergelijke streams op een cluster waarop Databricks Runtime 7.2 of hoger wordt uitgevoerd. Zie Wat is automatisch laadprogramma?

Een Delta-tabel efficiënt kopiëren met clone (openbare preview)

U kunt nu efficiënt een ondiepe of diepe kloon van een Delta-tabel maken met een specifieke versie met de opdracht clone. Een diepe kloon is een zelfstandige kloon van een Delta-tabel die wordt gevormd door de bestanden parallel van de brontabel naar de doeltabel te kopiëren. Een ondiepe kloon is een goedkoop gemaakte kloon die geen bestanden naar de doeltabel kopieert, maar verwijst naar bestanden in de oorspronkelijke tabel. Wijzigingen in een diepe of ondiepe kloon zijn alleen van invloed op de kloon en niet op de oorspronkelijke tabel. Zie Een tabel klonen in Azure Databricks.

Verbeteringen

  • Snowflake-connector: de connector is bijgewerkt naar versie 2.8.1, met ondersteuning voor Spark 3.0.

  • PySpark-bruikbaarheid: wanneer een PySpark- of pandas UDF mislukt, wordt in Azure Databricks nu de uitzondering aan de Python-zijde weergegeven en wordt de meest recent uitgevoerde regel notebookcode (indien van toepassing) boven aan het foutbericht weergegeven.

  • Referentiepassthrough:

    • U kunt nu de LDA-transformatiefunctie gebruiken op een cluster met passthrough-functionaliteit.
    • U kunt nu de opslagcontrolepuntmap instellen op een cluster met passthrough-functionaliteit.

  • Clusterbibliotheken: Azure Databricks verwerkt nu alle clusterbibliotheken in de volgorde waarin ze op het cluster zijn geïnstalleerd. In Databricks Runtime 7.1 en lager zijn alleen Maven- en CRAN-bibliotheken verwerkt in de volgorde waarin ze op het cluster zijn geïnstalleerd. Andere bibliotheken zijn geïnstalleerd in een niet-deterministische volgorde.

  • TensorBoard:

    • TensorBoard-processen beheren met de tensorboard.notebook API.
    • U kunt meerdere TensorBoard-back-ends uitvoeren op één cluster.
    • In Python-notebooks geeft u de TensorBoard-gebruikersinterface inline weer met behulp van de %tensorboard magic-opdracht line.
    • dbutils.tensorboard is afgeschaft.

    Zie TensorBoard.

  • Bijgewerkte Python-bibliotheken:

    • jmespath bijgewerkt van 0.9.4 naar 0.10.0.
    • koalas bijgewerkt van 1.0.1 naar 1.1.0.

  • Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.

Apache Spark

Databricks Runtime 7.2 bevat Apache Spark 3.0.0. Deze release bevat alle Spark-fixes en verbeteringen die zijn opgenomen in Databricks Runtime 7.1 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-32234] [SQL] Spark SQL-opdrachten mislukken bij het selecteren van de orc-tabellen
  • [SPARK-30616] [SQL] TTL-configuratieoptie introduceren voor SQL Metadata Cache
  • [SPARK-21117] [SQL] Ingebouwde ondersteuning voor SQL-functies - WIDTH_BUCKET
  • [SPARK-32168] [SQL] Fout met de juistheid van verborgen partitionering in SQL-overschrijven oplossen
  • [SPARK-31935] Hadoop-bestandssysteemconfiguratie moet effectief zijn in opties voor gegevensbronnen
  • [SPARK-32270] [SQL] Gebruik TextFileFormat in schemadeductie van CSV met een andere codering
  • [SPARK-28481] [SQL] Meer expressies moeten NullIntolerant uitbreiden
  • [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL Hint mag het resultaat van niet-cartesische productdeelname niet wijzigen
  • [SPARK-32232] [ML][PYSPARK] Zorg ervoor dat ML dezelfde standaard oplosserwaarden heeft tussen Scala en Python
  • [SPARK-32238] [SQL] Gebruik Utils.getSimpleName om te voorkomen dat er een ongeldige klassenaam wordt bereikt in ScalaUDF
  • [SPARK-32220] [SQL] SHUFFLE_REPLICATE_NL Hint mag het resultaat van niet-cartesische productdeelname niet wijzigen
  • [SPARK-32256] [SQL] Forceren om Hadoop VersionInfo te initialiseren in HiveExternalCatalog
  • [SPARK-32159] [SQL] Integratie tussen Aggregator[Array[_], _, _] en UnresolvedMapObjects oplossen
  • [SPARK-32160] [CORE][PYSPARK] SparkContext niet maken in uitvoerders
  • [SPARK-32168] [SQL] Fout met de juistheid van verborgen partitionering in SQL-overschrijven oplossen
  • [SPARK-32024] [WEBUI] ApplicationStoreInfo.size bijwerken tijdens initialisatie van HistoryServerDiskManager
  • [SPARK-32214] [SQL] De typeconversiefunctie die wordt gegenereerd in makeFromJava voor 'ander' type gebruikt een verkeerde variabele
  • [SPARK-30703] [SQL] SqlBase.g4 ongeldige opmerking bijwerken
  • [SPARK-32163] [SQL] Geneste snoei moet zelfs met cosmetische variaties werken
  • [SPARK-32124] [CORE] Gebruik de ongeldige waarde Int.MinValue om de toewijzingsindex te vullen wanneer de gebeurtenislogboeken van de oude Spark-versie
  • [SPARK-32167] [SQL] GetArrayStructFields corrigeren om de null-waarde van het binnenste veld samen te respecteren
  • [SPARK-32130] [SQL] Tijdstempeldeductie inschakelen in JsonBenchmark
  • [SPARK-32121] [SHUFFLE] Windows-besturingssysteem in ExecutorDiskUtils ondersteunen
  • [SPARK-32130] [SQL] De JSON-optie inferTimestamp standaard uitschakelen
  • [SPARK-31935] [SQL] Hadoop-bestandssysteemconfiguratie moet effectief zijn in opties voor gegevensbronnen
  • [SPARK-32095] [SQL] Updatedocumentatie om het gebruik van bijgewerkte statistieken weer te geven
  • [SPARK-32131] [SQL] AnalysisException-berichten bij UNION/EXCEPT/MINUS-bewerkingen corrigeren
  • [SPARK-32068] [WEBUI] Probleem met correcte weergave van tijdstip van taaktart vanwege tijdzone in stadiumtabblad opgelost.
  • [SPARK-29999] [SS] Test opgelost om de werkelijke map met metagegevenslogboeken te controleren
  • [SPARK-32127] [SQL] Controleer de regels voor MERGE INTO moet mergeAction.conditition anders gebruiken dan MergeAction.children
  • [SPARK-32038] [SQL] De aliasnaam vrij maken na float/dubbele normalisatie
  • [SPARK-32126] [SS] Scope Session.active in IncrementalExecution
  • [SPARK-32115] [SQL] Subtekenreeks corrigeren voor het verwerken van gehele getallen overflows
  • [SPARK-32098] [PYTHON] iloc gebruiken voor positionele segmentering in plaats van directe segmentering in createDataFrame met Arrow
  • [SPARK-32080][SPARK-31998] [SQL] ArrowColumnVector ListArray-accessor vereenvoudigen
  • [SPARK-32028] [WEBUI] Fix app id link for multi attempts app in history summary page
  • [SPARK-31918] [R] Algemene S4-methoden onder SparkR-naamruimte negeren tijdens het opschonen van de sluiting ter ondersteuning van R 4.0.0+
  • [SPARK-32038] [SQL] NormalizeFloatingNumbers moet ook werken aan afzonderlijke statistische functies
  • [SPARK-32034] [SQL] Poort HIVE-14817: Sluit de SessionManager timeoutChecker-thread correct af bij het afsluiten
  • [SPARK-32021] [SQL] Verhoog de precisie van seconden en breuken van make_interval
  • [SPARK-31980] [SQL] Functiereeks() mislukt als het begin en einde van het bereik gelijk zijn aan datums
  • [SPARK-32020] [SQL] Beter foutbericht wanneer SPARK_HOME of spark.test.home niet is ingesteld
  • [SPARK-32011] [PYTHON][CORE] Waarschuwingen over pinthreadmodi en handleiding voor het gebruik van collectWithJobGroup verwijderen

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 7.2.

Systeemomgeving

  • Besturingssysteem: Ubuntu 18.04.4 LTS
  • Java: 1.8.0_252
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R versie 3.6.3 (2020-02-29)
  • Delta Lake 0.7.0

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffiffi 1.14.0
chardet 3.0.4 cryptografie 2.8 wielrijder 0.10.0
Cython 0.29.15 decorateur 4.4.1 docutils 0.15.2
invoerpunten 0,3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koala's 1.1.0
matplotlib 3.1.3 numpy 1.18.1 Pandas 1.0.1
parso 0.5.2 Patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pit 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 0.15.1
pycparser 2.19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 requests 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 seaborn 0.10.0
setuptools 45.2.0 Zes 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
upgrades zonder toezicht 0,1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wiel 0.34.2

Geïnstalleerde R-bibliotheken

R-bibliotheken worden geïnstalleerd vanuit Microsoft CRAN-momentopname op 2020-07-14.

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
askpass 1.1 assertthat 0.2.1 backports 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 blob 1.2.1
opstarten 1.3-25 brouwsel 1.0-6 bezem 0.7.0
beller 3.4.3 caret 6.0-86 cellranger 1.1.0
Chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1,7 compiler 3.6.3
configuratie 0,3 covr 3.5.0 Crayon 1.3.4
Overspraak 1.1.0.1 curl 4.3 data.table 1.12.8
gegevenssets 3.6.3 DBI 1.1.0 dbplyr 1.4.4
Desc 1.2.0 devtools 2.3.0 verteren 0.6.25
dplyr 0.8.5 DT 0,14 beletselteken 0.3.1
evaluate 0,14 fansi 0.4.1 farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
buitenlands 0.8-76 smeden 0.2.0 Fs 1.4.2
Generics 0.0.2 ggplot2 3.3.2 Gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.12.5
lijm 1.4.1 Gower 0.2.2 afbeeldingen 3.6.3
grDevices 3.6.3 rooster 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
highr 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 Iterators 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 breiwerk 1,29
Labeling 0,3 later 1.1.0.1 latwerk 0.20-41
lava 1.6.7 lazyeval 0.2.2 levenscyclus 0.2.0
lubridate 1.7.9 magrittr 1.5 Markdown 1.1
MASSA 7.3-51.6 Matrix 1.2-18 memoise 1.1.0
methoden 3.6.3 mgcv 1.8-31 Mime 0,9
ModelMetrics 1.2.2.2 modeller 0.1.8 munsell 0.5.0
nlme 3.1-147 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 pilaar 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 loven 1.0.0
prettyunits 1.1.1 Proc 1.16.2 processx 3.4.3
prodlim 2019.11.13 Voortgang 1.2.2 Beloften 1.1.1
Proto 1.0.0 ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 leesbewerking 1.3.1 readxl 1.3.1
recepten 0.1.13 Rematch 1.0.1 opnieuw overeenkomen2 2.1.2
Afstandsbedieningen 2.1.1 reprex 0.3.0 hervorm2 1.4.4
Rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.2
rvest 0.3.5 weegschaal 1.1.1 selectr 0.4-2
sessioninfo 1.1.1 vorm 1.4.4 glanzend 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
ruimtelijk 7.3-11 Splines 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 Stats 3.6.3 stats4 3.6.3
stringi 1.4.6 stringr 1.4.0 overleving 3.1-12
sys 3.3 tcltk 3.6.3 TeachingDemos 2.10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 timeDate 3043.102
tinytex 0,24 tools 3.6.3 usethis 1.6.1
utf8 1.1.4 utils 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 snor 0,4
withr 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.12-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stroom 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.3.4
com.fasterxml.jackson.core jackson-annotaties 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.cafeïne cafeïne 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrische gegevenskern 4.1.1
io.dropwizard.metrics metrische gegevensgrafiet 4.1.1
io.dropwizard.metrics metrische statuscontroles 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotatie jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 0.15.1
org.apache.arrow pijlgeheugen 0.15.1
org.apache.arrow pijlvector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy klimop 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet parquet-kolom 1.10.1.2-databricks4
org.apache.parquet parquet-common 1.10.1.2-databricks4
org.apache.parquet parquet-codering 1.10.1.2-databricks4
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.2-databricks4
org.apache.parquet parquet-jackson 1.10.1.2-databricks4
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity snelheid 1.5
org.apache.xbean xbean-asm7-gearceerd 4.15
org.apache.yetus aantekeningen voor doelgroepen 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-vervolg 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator sluimerstand-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap Shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark ongebruikt 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel katten-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52