Delen via

Databricks Runtime 5.3 (EoS)

  • Artikel

Notitie

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.

Databricks heeft deze versie uitgebracht in april 2019.

De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 5.3, mogelijk gemaakt door Apache Spark.

Nieuwe functies

Databricks Delta

Algemene beschikbaarheid van tijdreizen

Delta-tijdreizen zijn afgerond op algemene beschikbaarheid. Hiermee wordt de mogelijkheid toegevoegd om een query uit te voeren op een momentopname van een table met behulp van een tijdstempeltekenreeks of een versie, met behulp van SQL-syntaxis en DataFrameReader opties voor tijdstempelexpressies.

SELECT count(*) FROM events TIMESTAMP AS OF timestamp_expression
SELECT count(*) FROM events VERSION AS OF version

Tijdreizen hebben veel gebruiksvoorbeelden, waaronder:

  • Analyses, rapporten of uitvoer opnieuw maken (bijvoorbeeld de uitvoer van een machine learning-model), wat handig is voor foutopsporing of controle, met name in gereglementeerde branches.
  • Complexe tijdelijke query's schrijven.
  • Fouten in uw gegevens corrigeren.
  • Het bieden van momentopname-isolatie voor set query's van snel veranderende tables.

Delta-tijdreizen

Zie Geschiedenis van werken met Delta Lake table.

MySQL table replicatie naar de openbare preview-versie van Delta

Stream gegevens uit een MySQL-table rechtstreeks naar Delta voor downstreamverbruik in Spark-analyse- of data science-werkstromen. Door gebruik te maken van dezelfde strategie die MySQL gebruikt voor replicatie naar andere exemplaren, wordt de binlog methode gebruikt om updates te identificeren die vervolgens als volgt worden verwerkt en gestreamd naar Databricks:

  • Hiermee worden wijzigingen uit het databaselogboek gelezen.
  • Streamt de gebeurtenissen naar Databricks.
  • Schrijft in dezelfde volgorde naar Delta table.
  • Onderhoudt de status in het geval dat de verbinding met de bron wordt verbroken.

Privévoorbeeldfuncties

Deze release bevat de volgende privé-preview-functies voor Delta Lake:

  • Er is een experimentele opdracht toegevoegd waarmee Presto rechtstreeks een query kan uitvoeren op Delta tables.
  • Auto Optimize optimaliseert de bestandsindeling tijdens afzonderlijke schrijfacties naar een Delta-table en voorkomt dat kleine bestanden zich in uw Delta-tables ophopen, zodat de queryprestaties razendsnel blijven. Daarnaast kunnen schrijven en upserts in gepartitioneerde Delta-tables profiteren van grote snelheidsverbeteringen dankzij een adaptieve shuffle die is geïntroduceerd in de schrijfbewerkingen.

Neem contact op met uw Databricks-accountteam als u wilt deelnemen aan een van beide preview-versies.

Geoptimaliseerde DBFS FUSE-map voor deep learning-workloads

Azure Databricks biedt nu een geoptimaliseerde FUSE-koppeling. U kunt gegevenstoegang met hoge prestaties hebben tijdens de training en deductie zonder init-scripts toe te passen. Gegevens die onder dbfs:/ml en lokaal file:/dbfs/ml toegankelijk zijn, worden nu ondersteund door deze geoptimaliseerde FUSE-koppeling. Zie Gegevens laden voor machine learning en deep learning.

Verbeteringen

  • Notebook-scoped bibliotheken:

    • Ondersteuning voor extra's in dbutils.library.installPyPI.
    • Ondersteuning voor bibliotheekinstallatie met notebookbereik voor bibliotheken in het Azure-bestandssysteem, inclusief wasbs, adlsen abfss.
    • Verbeterde foutberichten voor notebookbibliotheken op niet-ondersteunde doelen. Bijvoorbeeld: 'Bibliotheekhulpprogramma's zijn niet beschikbaar in Databricks Runtime voor Machine Learning.'

  • Maak verbinding met Azure Data Lake Storage Gen2- (ADLS Gen2) zonder having om een accountbrede RBAC-rol Opslagblobgegevensbijdrager te grant met de service-principal.

  • Databricks Advisor bevat aanvullende hints om de prestaties van query's te verbeteren:

    • Wanneer er veel kleine bestanden per partition zijn:> converteren table naar Delta en OPTIMIZEuitvoeren.
    • Wanneer er een zeer selectief filter is :> converteren naar Delta en gebruiken ZORDER BY.
    • Wanneer metagegevens van Hive worden opgehaald, wordt dit een knelpunt:> uw table converteren naar Delta.

  • Ubuntu bijgewerkt van 16.04.5 LTS naar 16.04.6 LTS.

  • Scala 2.11 bijgewerkt van 2.11.8 naar 2.11.12.

  • Sommige geïnstalleerde Python-bibliotheken zijn bijgewerkt:

    • pip: 18.1 tot 19.0.3.
    • setuptools: 40.6.3 tot 40.8.0
    • wiel: 0.32.3 tot 0.33.1

  • R bijgewerkt van 3.4.4 naar 3.5.2.

  • Er zijn verschillende geïnstalleerde R-bibliotheken bijgewerkt. Zie Geïnstalleerde R-bibliotheken.

Afschaffing

  • De Apache Kafka 0.8-connector voor Structured Streaming wordt niet meer ondersteund. Deze is opgenomen in Databricks Runtime 5.3, maar wordt verwijderd uit een toekomstige Databricks Runtime-release.
  • Databricks ML Model Export is afgeschaft en wordt verwijderd in Databricks Runtime 6.0. Gebruik in plaats daarvan MLeap voor het importeren en exporteren van modellen.
  • Verwijderd spark.databricks.pyspark.enableExecutorFsPerms als configuratieoptie.

Bugfixes

  • Gecorrigeerde cluster-brede installatie van de Python Egg-bibliotheek voor clusters die zijn ingeschakeld voor table ACL's.
  • Verbeterde annulering van Python-opdrachten door de situatie op te lossen waarin annulering wordt aangeroepen voordat de opdracht wordt uitgevoerd.
  • Er is een fout opgelost in table ACL's: wanneer u nu objecten in een database of cataloglist, ziet u alleen de objecten waarvoor u gemachtigd bent om te zien.

Apache Spark

Databricks Runtime 5.3 bevat Apache Spark 2.4.0. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 5.2 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:

  • [SPARK-27134][SQL] werkt de array_distinct functie niet correct met columns met een array van arrays.
  • [SPARK-24669][SQL] Ongeldig maken van tables in geval van DROP DATABASE CASCADE
  • [SPARK-26572][SQL] aggregatiecodegeenresultaatevaluatie herstellen
  • [SPARK-27046][DSTREAMS] Remove spark-19185 gerelateerde verwijzingen uit documentatie
  • [SPARK-26449][PYTHON] Transformatiemethode toevoegen aan DataFrame-API
  • [SPARK-26740][SQL] Tijdstempel/datum lezen column statistieken geschreven door Spark 3.0
  • [SPARK-26909][SQL] gebruik onveiligRow.hashCode() als hash-waarde in HashAggregate
  • [SPARK-26990][SQL] FileIndex: gebruik indien mogelijk door de gebruiker opgegeven veldnamen
  • [SPARK-26851][SQL] Vergrendeling met dubbele controle in CachedRDDBuilder herstellen
  • [SPARK-26864][SQL] Query kan een onjuist resultaat retourneren wanneer Python UDF wordt gebruikt als een left-semi-voorwaarde join
  • [SPARK-26887][SQL][PYTHON] Maak datetime.date rechtstreeks in plaats van datetime64 als tussenliggende gegevens te maken.
  • [SPARK-26859][SQL] Fout in veldschrijverindex opgelost in niet-vectorized ORC deserializer
  • [SPARK-26864][SQL] Een query kan een onjuist resultaat geven wanneer een Python UDF wordt gebruikt als een join voorwaarde en de UDF maakt gebruik van kenmerken van beide delen van een left semi-join
  • [SPARK-24360][SPARK-26091][BACKPORT][SQL] Ondersteuning voor Hive 3.1-metastore
  • [SPARK-26873][SQL] Gebruik een consistent tijdstempel om Hadoop-taak-id's te bouwen.
  • [SPARK-26734][STREAMING] StackOverflowError met grote blokwachtrij herstellen
  • [SPARK-26758][CORE] Niet-actieve uitvoerders worden niet gedood na de waarde spark.dynamiAllocation.executorIdleTimeout
  • [SPARK-26751][SQL] Geheugenlek oplossen wanneer de instructie op de achtergrond wordt uitgevoerd en uitzondering genereert die niet HiveSQLException is
  • [SPARK-26806][SS] EventTimeStats.merge moet nullen correct verwerken
  • [SPARK-26745][SPARK-24959][SQL] Optimalisatie van aantal terugzetten in JSON-gegevensbron op
  • [SPARK-26757][GRAPHX] Retourneert 0 voor aantal op lege Edge-/hoekpunt-RDD's
  • [SPARK-26726] De hoeveelheid geheugen die door de broadcastvariabele wordt gebruikt synchroniseren met de weergave van de gebruikersinterface
  • [SPARK-26718][SS] Vaste overloop van gehele getallen in SS kafka rateLimit-berekening
  • [SPARK-26708][SQL] Onjuist resultaat veroorzaakt door inconsistentie tussen de RDD in de cache van een SQL-cache en het fysieke plan
  • [SPARK-26735][SQL] Planintegriteit voor speciale expressies controleren
  • [SPARK-26619][SQL] De ongebruikte serializers uit SerializeFromObject verwijderen
  • [SPARK-26379][SS] Dummy TimeZoneId gebruiken om UnresolvedException in CurrentBatchTimestamp te voorkomen
  • [SPARK-26495][SQL] De SelectedField-extractor vereenvoudigen
  • [SPARK-26379][SS] Probleem opgelost bij het toevoegen van current_timestamp/current_date aan streamingquery
  • [SPARK-26709][SQL] OptimizeMetadataOnlyQuery verwerkt geen lege records correct
  • [SPARK-26680][SQL] Invoervars graag maken terwijl voorwaarden geschikt zijn
  • [SPARK-26682][SQL] Gebruik taskAttemptID in plaats van attemptNumber voor Hadoop.
  • [SPARK-26706][SQL] Fix illegalNumericPrecedence for ByteType
  • [SPARK-26228][MLLIB] Er is een OOM-probleem opgetreden bij het berekenen van Gramian-matrix
  • [SPARK-26665][CORE] Er is een fout opgelost die BlockTransferService.fetchBlockSync voor altijd vastloopt
  • [SPARK-26549][PYSPARK] Oplossing voor hergebruik van Python-werkrollen heeft geen effect voor het parallelliseren van luie iterable bereik
  • [SPARK-26351][MLLIB] Update doc en kleine correctie in de metrische gegevens van de mllib-evaluatie
  • [SPARK-26450]Vermijd het opnieuw opbouwen van schema voor elke column binnen een projectie
  • [SPARK-26638][PYSPARK][ML] Pyspark vectorklassen retourneren altijd een fout voor unaire negatie
  • [SPARK-26633][REPL] ExecutorClassLoader.getResourceAsStream toevoegen
  • [SPARK-26629][SS] Fout opgelost met meerdere bestandsstromen in een query en opnieuw opstarten in een batch die geen gegevens voor één bestandsstroom bevat
  • [SPARK-25992][PYTHON] Document SparkContext kan niet worden gedeeld voor multiprocessing
  • [SPARK-26615][CORE] Transportserver-/clientresourcelekken in de kerneenheidstests oplossen
  • [SPARK-26350][SS] Groeps-id van de Kafka-consument toestaan
  • [SPARK-26538][SQL] Set standaardprecisie en schaal voor elementen van een postgres-numerieke matrix
  • [SPARK-26586][SS] Racevoorwaarde oplossen die ervoor zorgt dat streams worden uitgevoerd met onverwachte confs
  • [SPARK-26551][SQL] Los schema snoeifout op bij het selecteren van een complex veld en having geen null-predicaat is op een ander
  • [SPARK-26576][SQL] Broadcasthint niet toegepast op de gepartitioneerde table
  • [SPARK-26571][SQL] Update Hive Serde-toewijzing met de canonieke naam van Parquet en Orc FileFormat
  • [SPARK-26267][SS] Probeer het opnieuw bij het detecteren van onjuiste offsets van Kafka (2.4)
  • [SPARK-26559][ML][PYSPARK] Ml-installatiekopie kan niet werken met numpy-versies vóór 1.9
  • [SPARK-26078][SQL] Zelfontdubbelingjoin kenmerken voor IN-subquery's

Onderhoudsupdates

Zie onderhoudsupdates voor Databricks Runtime 5.3.

Systeemomgeving

  • Besturingssysteem: Ubuntu 16.04.6 LTS
  • Java: 1.8.0_191
  • Scala: 2.11.12
  • Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
  • R: R versie 3.5.2 (2018-12-20)
  • GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
    • Tesla bestuurder 375.66
    • CUDA 9.0
    • cuDNN 7.0

Notitie

Hoewel Scala 2.12 wordt ondersteund in Apache Spark 2.4, wordt dit niet ondersteund in Databricks Runtime 5.3.

Geïnstalleerde Python-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0,5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffiffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
cryptografie 1.5 wielrijder 0.10.0 Cython 0.24.1
decorateur 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Kussen 3.3.1
pit 19.0.3 Ply 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
requests 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 schuren 0.32 seaborn 0.7.1
setuptools 40.8.0 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Zes 1.10.0 statsmodels 0.6.1
tornado 5.1.1 traitlets 4.3.0 urllib3 1.19.1
virtualenv 16.1.0 wcwidth 0.1.7 wiel 0.33.1
wsgiref 0.1.2

Geïnstalleerde R-bibliotheken

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
abind 1.4-5 askpass 1.1 assertthat 0.2.0
backports 1.1.3 base 3.5.2 base64enc 0.1-3
BH 1.69.0-1 bit 1.1-14 bit64 0.9-7
bitops 1.0-6 blob 1.1.1 opstarten 1.3-20
brouwsel 1.0-6 beller 3.1.1 car 3.0-2
carData 3.0-2 caret 6.0-81 cellranger 1.1.0
Chron 2.3-53 class 7.3-15 cli 1.0.1
clipr 0.5.0 clisymbolen 1.2.0 cluster 2.0.7-1
codetools 0.2-16 colorspace 1.4-0 commonmark 1,7
compiler 3.5.2 configuratie 0,3 Crayon 1.3.4
curl 3.3 gegevens.table 1.12.0 gegevenssets 3.5.2
DBI 1.0.0 dbplyr 1.3.0 Desc 1.2.0
devtools 2.0.1 verteren 0.6.18 doMC 1.3.5
dplyr 0.8.0.1 beletselteken 0.1.0 fansi 0.4.0
forcats 0.4.0 foreach 1.4.4 buitenlands 0.8-71
smeden 0.2.0 Fs 1.2.6 gbm 2.1.5
Generics 0.0.2 ggplot2 3.1.0 Gh 1.0.1
git2r 0.24.0 glmnet 2.0-16 lijm 1.3.0
Gower 0.1.2 afbeeldingen 3.5.2 grDevices 3.5.2
rooster 3.5.2 gridExtra 2.3 gsubfn 0,7
gtable 0.2.0 h2o 3.22.1.1 haven 2.1.0
Hms 0.4.2 htmltools 0.3.6 htmlwidgets 1.3
httr 1.4.0 hwriter 1.3.2 hwriterPlus 1.0-3
ini 0.3.1 ipred 0.9-8 Iterators 1.0.10
jsonlite 1.6 KernSmooth 2.23-15 Labeling 0,3
latwerk 0.20-38 lava 1.6.5 lazyeval 0.2.1
Littler 0.3.6 lme4 1.1-20 lubridate 1.7.4
magrittr 1.5 mapproj 1.2.6 Kaarten 3.3.0
maptools 0.9-5 MASSA 7.3-51.1 Matrix 1.2-15
MatrixModels 0.4-1 memoise 1.1.0 methoden 3.5.2
mgcv 1.8-27 Mime 0,6 minqa 1.2.4
ModelMetrics 1.2.2 munsell 0.5.0 mvtnorm 1.0-9
nlme 3.1-137 nloptr 1.2.1 nnet 7.3-12
numDeriv 2016.8-1 openssl 1.2.2 openxlsx 4.1.0
parallel 3.5.2 pbkrtest 0.4-7 pilaar 1.3.1
pkgbuild 1.0.2 pkgconfig 2.0.2 pkgKitten 0.1.4
pkgload 1.0.2 plogr 0.2.0 plyr 1.8.4
loven 1.0.0 prettyunits 1.0.2 Proc 1.13.0
processx 3.2.1 prodlim 2018.04.18 Voortgang 1.2.0
Proto 1.0.0 ps 1.3.0 purrr 0.3.0
quantreg 5.38 R.methodsS3 1.7.1 R.oo 1.22.0
R.utils 2.8.0 r2d3 0.2.3 R6 2.4.0
randomForest 4.6-14 rappdirs 0.3.1 rcmdcheck 1.3.2
RColorBrewer 1.1-2 Rcpp 1.0.0 RcppEigen 0.3.3.5.0
RcppRoll 0.3.0 RCurl 1.95-4.11 leesbewerking 1.3.1
readxl 1.3.0 recepten 0.1.4 Rematch 1.0.1
Afstandsbedieningen 2.0.2 hervorm2 1.4.3 Rio 0.5.16
rlang 0.3.1 RODBC 1.3-15 roxygen2 6.1.1
rpart 4.1-13 rprojroot 1.3-2 Rserve 1.8-6
RSQLite 2.1.1 rstudioapi 0.9.0 weegschaal 1.0.0
sessioninfo 1.1.1 Sp 1.3-1 sparklyr 1.0.0
SparkR 2.4.2 SparseM 1.77 ruimtelijk 7.3-11
Splines 3.5.2 sqldf 0.4-11 SQUAREM 2017.10-1
statmod 1.4.30 Stats 3.5.2 stats4 3.5.2
stringi 1.3.1 stringr 1.4.0 overleving 2.43-3
sys 3,0 tcltk 3.5.2 TeachingDemos 2.10
testthat 2.0.1 tibble 2.0.1 tidyr 0.8.3
tidyselect 0.2.5 timeDate 3043.102 tools 3.5.2
usethis 1.4.0 utf8 1.1.4 utils 3.5.2
viridisLite 0.3.0 snor 0.3-2 withr 2.1.2
xml2 1.2.0 xopen 1.0.0 yaml 2.2.0
ritssluiting 2.0.0

Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)

Groeps-id Artefact-id Versie
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.8.10
com.amazonaws aws-java-sdk-autoscaling 1.11.313
com.amazonaws aws-java-sdk-cloudformation 1.11.313
com.amazonaws aws-java-sdk-cloudfront 1.11.313
com.amazonaws aws-java-sdk-cloudhsm 1.11.313
com.amazonaws aws-java-sdk-cloudsearch 1.11.313
com.amazonaws aws-java-sdk-cloudtrail 1.11.313
com.amazonaws aws-java-sdk-cloudwatch 1.11.313
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.313
com.amazonaws aws-java-sdk-codedeploy 1.11.313
com.amazonaws aws-java-sdk-cognitoidentity 1.11.313
com.amazonaws aws-java-sdk-cognitosync 1.11.313
com.amazonaws aws-java-sdk-config 1.11.313
com.amazonaws aws-java-sdk-core 1.11.313
com.amazonaws aws-java-sdk-datapipeline 1.11.313
com.amazonaws aws-java-sdk-directconnect 1.11.313
com.amazonaws aws-java-sdk-directory 1.11.313
com.amazonaws aws-java-sdk-dynamodb 1.11.313
com.amazonaws aws-java-sdk-ec2 1.11.313
com.amazonaws aws-java-sdk-ecs 1.11.313
com.amazonaws aws-java-sdk-efs 1.11.313
com.amazonaws aws-java-sdk-elasticache 1.11.313
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.313
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.313
com.amazonaws aws-java-sdk-elastictranscoder 1.11.313
com.amazonaws aws-java-sdk-emr 1.11.313
com.amazonaws aws-java-sdk-glacier 1.11.313
com.amazonaws aws-java-sdk-iam 1.11.313
com.amazonaws aws-java-sdk-importexport 1.11.313
com.amazonaws aws-java-sdk-kinesis 1.11.313
com.amazonaws aws-java-sdk-kms 1.11.313
com.amazonaws aws-java-sdk-lambda 1.11.313
com.amazonaws aws-java-sdk-logs 1.11.313
com.amazonaws aws-java-sdk-machinelearning 1.11.313
com.amazonaws aws-java-sdk-opsworks 1.11.313
com.amazonaws aws-java-sdk-rds 1.11.313
com.amazonaws aws-java-sdk-redshift 1.11.313
com.amazonaws aws-java-sdk-route53 1.11.313
com.amazonaws aws-java-sdk-s3 1.11.313
com.amazonaws aws-java-sdk-ses 1.11.313
com.amazonaws aws-java-sdk-simpledb 1.11.313
com.amazonaws aws-java-sdk-simpleworkflow 1.11.313
com.amazonaws aws-java-sdk-sns 1.11.313
com.amazonaws aws-java-sdk-sqs 1.11.313
com.amazonaws aws-java-sdk-ssm 1.11.313
com.amazonaws aws-java-sdk-storagegateway 1.11.313
com.amazonaws aws-java-sdk-sts 1.11.313
com.amazonaws aws-java-sdk-support 1.11.313
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.313
com.amazonaws jmespath-java 1.11.313
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics stroom 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.5.0-db8-spark2.4
com.databricks dbml-local_2.11-tests 0.5.0-db8-spark2.4
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-gearceerd 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasgenoot 1.0.0
com.fasterxml.jackson.core jackson-annotaties 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib kern 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guave 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.azure azure-storage 5.2.0
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0,3
com.twitter chill-java 0.9.3
com.twitter chill_2.11 0.9.3
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe configuratie 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity univocity-parsers 2.7.3
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuratie commons-configuratie 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0.10
io.dropwizard.metrics metrische gegevenskern 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrische gegevensgrafiet 3.1.5
io.dropwizard.metrics metrische statuscontroles 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx verzamelaar 0,7
javax.activation activering 1.1.1
javax.annotatie javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validatie-API 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.9.3
log4j apache-log4j-extra's 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.razorvine pyrolite 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-CSV 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.5
net.snowflake snowflake-jdbc 3.6.15
net.snowflake spark-snowflake_2.11 2.4.10-spark_2.4
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr tekenreekstemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pijlnotatie 0.10.0
org.apache.arrow pijlgeheugen 0.10.0
org.apache.arrow pijlvector 0.10.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.calcite calcite-avatica 1.2.0-incubating
org.apache.calcite calcite-core 1.2.0-incubating
org.apache.calcite calcite-linq4j 1.2.0-incubating
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recepten 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-aantekeningen 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy klimop 2.4.0
org.apache.orc orc-core-nohive 1.5.2
org.apache.orc orc-mapreduce-nohive 1.5.2
org.apache.orc orc-shims 1.5.2
org.apache.parquet parket-column 1.10.1.1-databricks3
org.apache.parquet parquet-common 1.10.1.1-databricks3
org.apache.parquet parquet-codering 1.10.1.1-databricks3
org.apache.parquet parquet-indeling 2.4.0
org.apache.parquet parquet-hadoop 1.10.1.1-databricks3
org.apache.parquet parquet-jackson 1.10.1.1-databricks3
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm6-gearceerd 4.8
org.apache.zookeeper zookeeper 3.4.6
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.10
org.codehaus.janino janino 3.0.10
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-vervolg 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 hk2-locator 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance opnieuw verpakt 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate sluimerstand-validator 5.1.1.Final
org.iq80.snappy bits 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.5.3
org.json4s json4s-core_2.11 3.5.3
org.json4s json4s-jackson_2.11 3.5.3
org.json4s json4s-scalap_2.11 3.5.3
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.12
org.scala-lang scala-library_2.11 2.11.12
org.scala-lang scala-reflect_2.11 2.11.12
org.scala-lang.modules scala-parser-combinators_2.11 1.1.0
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalactic scalactic_2.11 3.0.3
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 3.0.3
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark ongebruikt 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.5
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.1
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52