Databricks Runtime 5.4 (EoS)
Notitie
Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie de geschiedenis van einde van ondersteuning voor de einddatum van de ondersteuning. Zie de releaseversies en compatibiliteit van Databricks Runtime voor alle ondersteunde Databricks Runtime-versies.
Databricks heeft deze versie uitgebracht in juni 2019.
De volgende releaseopmerkingen bevatten informatie over Databricks Runtime 5.4, mogelijk gemaakt door Apache Spark.
Nieuwe functies
Delta Lake in Azure Databricks voegt automatisch Optimize toe (openbare preview)
Wanneer u gegevens naar cloudopslag schrijft, moet u bestanden comprimeren voor optimale I/O-prestaties. U moet zich zorgen maken over de juiste bestandsgrootte, hoe vaak de bestanden moeten worden gecomprimeerd, hoe groot een cluster moet worden, enzovoort. Om deze klasse problemen op te lossen, introduceren we graag Auto Optimize met Delta Lake in Azure Databricks. Tijdens elke schrijfbewerking naar Delta tablesvinden we automatisch de juiste bestandsgrootten en compacte bestanden, zodat u zich geen zorgen hoeft te maken over het optimaliseren van de opslagindeling. Als tijdens schrijfbewerkingen de optie auto-optimizetrueis, bepaalt Azure Databricks automatisch of een optimize vereist is en optimaliseert het de kleine bestanden.
Zie Delta Lake configureren voor het beheren van de bestandsgrootte.
Bibliotheekhulpprogramma's algemeen beschikbaar
Bibliotheekhulpprogramma's zijn nu algemeen beschikbaar. Met deze functie kunt u Python-bibliotheken bewerken vanuit het bereik van een notebooksessie. Zie bibliotheekhulpprogramma (dbutils.library) (verouderd).
Databricks Connect algemeen beschikbaar
Databricks Connect is nu algemeen beschikbaar. Deze functie is een Spark-clientbibliotheek waarmee u uw favoriete IDE (IntelliJ, Eclipse, PyCharm, RStudio), notebookserver (Zeppelin, Jupyter) en andere aangepaste toepassingen kunt verbinden met Azure Databricks-clusters en Spark-code kunt uitvoeren. Zie Databricks Connect.
Binaire bestandsgegevensbron
De binaire bestandsgegevensbron leest binaire bestanden en converteert elk bestand naar één record die de onbewerkte inhoud en metagegevens van het bestand bevat. U kunt nu efficiënt willekeurige bestanden lezen in een Spark DataFrame zonder de inhoud van de bestanden te bezoeken. Dit is vooral handig als u Spark wilt gebruiken om grote bestanden, zoals afbeeldingen, te laden voor scoren. Zie binair bestand.
Verbeteringen
Schijfcache
Schijfcache is nu vooraf geconfigureerd voor Lsv2-exemplaren. De cache is echter niet standaard ingeschakeld. Zie De schijfcache in- of uitschakelen voor informatie over hoe u deze inschakelt.
Passthrough voor Azure Data Lake Storage Gen2 Azure AD-referenties
DBFS-koppeling van azure Data Lake Storage (ADLS) Gen2-bestandssysteem met Microsoft Entra ID-referentiepassthrough wordt nu ondersteund. Zie Azure Data Lake Storage Gen2.
R bijgewerkt naar 3.6.0
R-basis wordt bijgewerkt van 3.5.2 naar 3.6.0.
Apache Spark
Databricks Runtime 5.4 bevat Apache Spark 2.4.3. Deze release bevat alle Spark-oplossingen en -verbeteringen die zijn opgenomen in Databricks Runtime 5.3 (EoS) en de volgende aanvullende bugfixes en verbeteringen in Spark:
- [SPARK-27596][SQL] De JDBC-optie 'query' werkt niet voor Oracle-database
- [SPARK-27240][PYTHON] Gebruik pandas DataFrame voor het argument structtype in Scalar pandas UDF.
- [SPARK-26745][SQL][TESTS] JsonSuite-testcase: lege regel -> 0 recordaantal
- [SPARK-25535][CORE] Het omzeilen van slechte foutafhandeling in commons-crypto.
- [SPARK-26891][YARN] Flaky test herstellen in YarnSchedulerBackendSuite
- [SPARK-27563][SQL][TEST] automatisch get de nieuwste Spark-versies in HiveExternalCatalogVersionsSuite
- [SPARK-27494][SS] Null-values niet werken in kafka-bron v2
- [SPARK-27550][TEST] Probleem opgelost test-dependencies.sh kafka-0-8-profiel niet gebruiken voor Scala-2.12
- [SPARK-26992][STS] Juiste levering van STS-scheduler-pool herstellen
- [SPARK-27544][PYTHON][TEST] Python-testscript herstellen om te werken aan scala-2.12 build
- [SPARK-27539][SQL] Onjuiste schatting van geaggregeerde outputRows oplossen met column met null-values
- [SPARK-27469][BUILD] Commons-beanutils deps op de meest recente 1.9.3
- [SPARK-27419][OPVOLGEN][DOCS] Opmerking toevoegen over het wijzigen van spark.executor.heartbeatInterval in de migratiehandleiding
- [SPARK-27496][CORE] Fatale fouten moeten ook worden teruggestuurd naar de afzender
- [SPARK-25079][PYTHON] update uitvoerbaar python3-bestand naar 3.6.x
- [SPARK-27163][PYTHON] Pandas UDF-functionaliteit opschonen en consolideren
- [SPARK-27403][SQL] Los updateTableStats op om updatetable statistieken altijd te voorzien van nieuwe statistieken of Geen
- [SPARK-27479][BUILD] API-documenten verbergen voor org.apache.spark.util.kvstore
- [SPARK-27446][R] Gebruik bestaande spark conf indien beschikbaar.
- [SPARK-27453] Pass partitionBy als opties in DataFrameWriter
- [SPARK-27454][SPARK-27454][HOT-FIX][ML][SQL] Cherrypick (Oplossing in spark-afbeeldingsgegevensbron mislukt wanneer er illegale afbeeldingen worden aantreft)
- [SPARK-27351][SQL] Verkeerde outputRows-schatting na AggregateEstimation met alleen null-waarde column
- [SPARK-27314][SQL] ExprIds ontdubbelen voor Union.
- [SPARK-27394][WEBUI] LiveEntity zo nodig leegmaken bij ontvangst van SparkListenerExecutorMetricsUpdate (backport 2.4)
- [SPARK-27406][SQL] Serialisatie van OnveiligeArrayData-onderbrekingen wanneer twee computers een andere grootte hebben
- [SPARK-27419][CORE] Vermijd het casten van heartbeatinterval tot seconden (2,4)
- [SPARK-27391][SS] Initialiseer geen luie val in ContinuousExecution-taak.
- [SPARK-27390][CORE][SQL][TEST] De pakketnaam komt niet overeen
- [SPARK-27358][UI] Update jquery naar 1.12.x om beveiligingspatches op te halen
- [SPARK-27216][CORE] Upgrade RoaringBitmap naar 0.7.45 om kryo onveilig ser/dser-probleem op te lossen
- [SPARK-27382][SQL][TEST] Update Spark 2.4.x testen in HiveExternalCatalogVersionsSuite
- [SPARK-27338][CORE] Impasse tussen UnsafeExternalSorter en TaskMemoryManager oplossen
- [SPARK-27338][CORE][FOLLOWUP] remove volgruimte
- [SPARK-27338][CORE] Impasse opgelost in OnveiligExternalSorter.SpillableIterator bij het vergrendelen van zowel UnsafeExternalSorter.SpillableIterator als TaskMemoryManager
- [SPARK-27346][SQL] Los de voorwaarde voor de nieuwe regel assertie in het veld 'voorbeelden' in ExpressionInfo los
- [SPARK-26998][CORE] Remove SSL-configuratie van uitvoerders
- [SPARK-27244][CORE][TEST][FOLLOWUP] toDebugString redacts gevoelige informatie
- [SPARK-27267][FOLLOWUP] Update hadoop-2.6-afhankelijkheidsmanifest
- [SPARK-27267][CORE] Update snappy om fout te voorkomen bij het decomprimeren van lege geserialiseerde gegevens
- [SPARK-27301][DSTREAM] Verkort de levenscyclus van het bestandssysteem in de cache naar het binnenste bereik van de opschoonmethode
- [SPARK-27244][CORE] Wachtwoorden redact while using Option logConf=true
- [SPARK-26208][SQL] kopteksten toevoegen aan lege CSV-bestanden wanneer header=true
- [SPARK-27275][CORE] Mogelijke beschadiging in EncryptedMessage.transferTo herstellen (2.4)
- [SPARK-23836][PYTHON] Ondersteuning voor StructType-retour toevoegen in Scalar pandas UDF
- [SPARK-26961][CORE] Mogelijkheid voor parallel laden van klassen inschakelen
- [SPARK-27274][DOCS] Verwijzingen naar scala 2.11 corrigeren in 2.4.1+ docs; Opmerking 2.11-ondersteuning is afgeschaft in 2.4.1+
- [SPARK-27198][CORE] Heartbeat-interval komt niet overeen in stuurprogramma en uitvoerder
- [SPARK-27094][YARN] Werk rond RackResolver die threadonderbreking doorslikt.
- [SPARK-24935][SQL] Hive UDAF herstellen met twee aggregatiebuffers
- [SPARK-27160][SQL] DecimalType herstellen bij het bouwen van orc-filters
- [SPARK-26606][CORE] Stuurprogrammaopties correct verwerken bij het verzenden naar de zelfstandige clustermodus via verouderde client
- [SPARK-27221][SQL] Het assert-foutbericht in TreeNode.parseToJson (5.x) verbeteren
- [SPARK-27102][R][PYTHON][CORE] Remove de verwijzingen naar Scala-codes van Python in de Scala-codes van R
- [SPARK-27159][SQL] update mssql server dialect ter ondersteuning van binair type
- [SPARK-27112][CORE] : Maak een resourcevolgorde tussen threads om de deadlocks op te lossen die optreden bij het beëindigen van uitvoerders vanwege dynamische toewijzing of een blokkade list
- [SPARK-27178][K8S] nss-pakket toevoegen om tests op te lossen
- [SPARK-27045][SQL] Het tabblad SQL in de gebruikersinterface toont werkelijke SQL in plaats van aanroepen in het geval van SparkSQLDriver
- [SPARK-27119][SQL] Niet schema afleiden bij het lezen van Hive serde table met systeemeigen gegevensbron
- [SPARK-27165][SPARK-27107][BUILD][SQL] Apache ORC upgraden naar 1.5.5
- [SPARK-26742][K8S] Update k8s-clientversie naar 4.1.2
- [SPARK-26927][CORE] Zorg ervoor dat de uitvoerder actief is bij het verwerken van gebeurtenissen in dynamische toewijzingsbeheer.
- [SPARK-27097][CHERRY-PICK 2.4] Vermijd het insluiten van platformafhankelijke offsets letterlijk in volledig gegenereerde code
- [SPARK-27111][SS] Een race herstellen die een continue query kan mislukken met InterruptedException (5.x)
- [SPARK-27111][SS] Een race herstellen die een continue query kan mislukken met InterruptedException
- [SPARK-27080][SQL] bug fix: mergeWithMetastoreSchema with uniform lower case comparison
- [SPARK-26604][CORE] Kanaalregistratie opschonen voor StreamManager
- [SPARK-27016][SQL][BUILD] Alle antlr-waarschuwingen behandelen als fouten tijdens het genereren van parser uit het SQL-grammaticabestand
- [SPARK-25863][SPARK-21871][SQL] Controleer of statistieken van de codegrootte leeg zijn of niet in updateAndGetCompilationStats
- [SPARK-27078][SQL] NoSuchFieldError herstellen wanneer gematerialiseerde Hive-tabellen worden gelezen views
- [SPARK-27019][SQL][WEBUI] onJobStart treedt op nadat onExecutionEnd kvstore niet mag overschrijven
- [SPARK-27065][CORE] vermijdt u meer dan één actieve taak set managers voor een fase
- [SPARK-24669][SQL] Ongeldig maken tables bij DROP DATABASE CASCADE
- [SPARK-26932][DOC] Een waarschuwing toevoegen voor probleem met Hive 2.1.1 ORC-lezer
- [SPARK-25139][SPARK-18406][CORE] Vermijd Niet-fatallen om de uitvoerder te doden in PythonRunner
Onderhoudsupdates
Zie onderhoudsupdates voor Databricks Runtime 5.4.
Systeemomgeving
- Besturingssysteem: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191
- Scala: 2.11.12
- Python: 2.7.12 voor Python 2-clusters en 3.5.2 voor Python 3-clusters.
- R: R versie 3.6.0 (2019-04-26)
-
GPU-clusters: de volgende NVIDIA GPU-bibliotheken zijn geïnstalleerd:
- Tesla bestuurder 375.66
- CUDA 9.0
- cuDNN 7.0
Notitie
Hoewel Scala 2.12 wordt ondersteund in Apache Spark 2.4, wordt dit niet ondersteund in Databricks Runtime 5.4.
Geïnstalleerde Python-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffiffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| cryptografie | 1.5 | wielrijder | 0.10.0 | Cython | 0.24.1 |
| decorateur | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Kussen | 3.3.1 |
| pit | 19.1.1 | Ply | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | schuren | 0.32 | seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | Zes | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wiel | 0.33.3 |
| wsgiref | 0.1.2 |
Geïnstalleerde R-bibliotheken
| Bibliotheek | Versie | Bibliotheek | Versie | Bibliotheek | Versie |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| backports | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | opstarten | 1.3-20 |
| brouwsel | 1.0-6 | beller | 3.2.0 | car | 3.0-2 |
| carData | 3.0-2 | caret | 6.0-82 | cellranger | 1.1.0 |
| Chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbolen | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | colorspace | 1.4-1 | commonmark | 1,7 |
| compiler | 3.6.0 | configuratie | 0,3 | Crayon | 1.3.4 |
| curl | 3.3 | gegevens.table | 1.12.0 | gegevenssets | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Desc | 1.2.0 |
| devtools | 2.0.1 | verteren | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | beletselteken | 0.1.0 | fansi | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | buitenlands | 0.8-71 |
| smeden | 0.2.0 | Fs | 1.2.7 | gbm | 2.1.5 |
| Generics | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | lijm | 1.3.1 |
| Gower | 0.2.0 | afbeeldingen | 3.6.0 | grDevices | 3.6.0 |
| rooster | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| Hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | Iterators | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | Labeling | 0,3 |
| latwerk | 0.20-38 | lava | 1.6.5 | lazyeval | 0.2.2 |
| Littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | Kaarten | 3.3.0 |
| maptools | 0.9-5 | MASSA | 7.3-51.1 | Matrix | 1.2-17 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | methoden | 3.6.0 |
| mgcv | 1.8-28 | Mime | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-139 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | pilaar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| loven | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Voortgang | 1.2.0 |
| Proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | leesbewerking | 1.3.1 |
| readxl | 1.3.1 | recepten | 0.1.5 | Rematch | 1.0.1 |
| Afstandsbedieningen | 2.0.2 | hervorm2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | weegschaal | 1.0.0 |
| sessioninfo | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.3 | SparseM | 1.77 | ruimtelijk | 7.3-11 |
| Splines | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | Stats | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | overleving | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | TeachingDemos | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | utils | 3.6.0 |
| viridisLite | 0.3.0 | snor | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| ritssluiting | 2.0.1 |
Geïnstalleerde Java- en Scala-bibliotheken (Scala 2.11-clusterversie)
| Groeps-id | Artefact-id | Versie |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | stroom | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-gearceerd | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | klasgenoot | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotaties | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | kern | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system-java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guave | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | configuratie | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuratie | commons-configuratie | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrische gegevenskern | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrische gegevensgrafiet | 3.1.5 |
| io.dropwizard.metrics | metrische statuscontroles | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | verzamelaar | 0,7 |
| javax.activation | activering | 1.1.1 |
| javax.annotatie | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validatie-API | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extra's | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-CSV | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | tekenreekstemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | pijlnotatie | 0.10.0 |
| org.apache.arrow | pijlgeheugen | 0.10.0 |
| org.apache.arrow | pijlvector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recepten | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | hadoop-aantekeningen | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | klimop | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-codering | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-indeling | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-gearceerd | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-vervolg | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance opnieuw verpakt | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | sluimerstand-validator | 5.1.1.Final |
| org.iq80.snappy | bits | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | ongebruikt | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |