Partager via

Databricks Runtime 8.4 (EoS)

  • Article

Remarque

La prise en charge de cette version databricks Runtime a pris fin. Pour connaître la date de fin de support, consultez l’historique de fin de support. Pour toutes les versions prises en charge de Databricks Runtime, consultez Notes de publication sur les versions et la compatibilité de Databricks Runtime.

Les notes de publication suivantes fournissent des informations sur Databricks Runtime 8.4 et Databricks Runtime 8.4 Photon, avec Apache Spark 3.1.2. Databricks a publié cette version en juillet 2021. Photon est en préversion publique.

Améliorations et nouvelles fonctionnalités

Améliorations et fonctionnalités de Delta Lake

Alimentation en données pour le changement de table Delta (GA)

Le flux de données de modification de table Delta est désormais mis à la disposition générale. Il représente les modifications de niveau ligne entre les différentes versions de la table. Lorsqu'il est activé, des informations supplémentaires sont enregistrées concernant les changements de niveau de ligne pour chaque opération d'écriture sur la table. Consultez Utiliser le flux des changements de données Delta Lake sur Azure Databricks.

Chargez facilement les tables delta partagées avec Databricks Runtime

Le connecteur Apache Spark pour le partage Delta 0.1.0 est maintenant en Databricks Runtime. Vous pouvez charger une table partagée à l’aide de spark.read.format("deltaSharing").load(uri) directement sans attacher le connecteur Spark de partage Delta à votre cluster.

Plus de tables bénéficient d’un nettoyage de fichiers dynamique

La fonctionnalité de nettoyage dynamique des fichiers a été paramétrée pour se déclencher sur des tables contenant moins de fichiers. Voir Élagage de fichiers dynamiques.

Meilleures performances avec le réglage automatique de la taille du fichier cible

La taille du fichier cible pour les tables delta est maintenant automatiquement ajustée en fonction de la taille de la table. Auparavant, la taille du fichier cible pour OPTIMIZE et OPTIMIZE ZORDER BY était 1 Go. Avec le réglage automatique basé sur la taille des tables, les tables delta jusqu’à 2.56 to utilisent 256 Mo comme taille cible. Les tables dont la taille est supérieure à 10 to utilisent 1 Go comme avant. Les tables entre ces tailles utilisent des tailles cibles qui se développent proportionnellement à la taille de la table. Consultez Configurer Delta Lake pour contrôler la taille du fichier de données.

Autres manières de spécifier des tables dans DeltaTable.forName

DeltaTable.forName prend désormais en charge l’utilisation de delta.`<path>` pour identifier les tables.

Écritures multitables de diffusion robuste à l’aide de foreachBatch

Les écritures de diffusion en continu Delta idempotent au sein de la commande foreachBatch() sont désormais prises en charge. Pour plus d’informations, consultez les écritures de plusieurs tables idempotent.

Amélioration des performances des requêtes de lecture dans certaines charges de travail en raison des points de contrôle analysés

Delta Lake à présent ajuste la fréquence à laquelle il fait des points de contrôle améliorés. Au lieu d’un point de contrôle à intervalle fixe, Delta ajuste désormais dynamiquement la fréquence de point de contrôle en fonction de certains déclencheurs d’événement. Cela améliore les performances des requêtes de lecture dans les charges de travail où certaines données qui ignorent l’optimisation n’ont pas pu être appliquées avant. Pour utiliser ces optimisations, mettez à niveau vos travaux qui écrivent dans Delta Lake vers Databricks Runtime 8.4. Consultez Activer les points de contrôle améliorés pour les requêtes Structured Streaming.

Créer GroupState pour tester les fonctions de streaming structurées définies par l’utilisateur

Jusqu’à présent, seul le moteur de diffusion structurée pouvait créer des instances de GroupState. Par conséquent, tous les tests unitaires de la fonction définie par l’utilisateur ont requis l’exécution d’une requête de streaming dans Apache Spark.

Vous pouvez maintenant créer des instances de GroupState à l’aide de TestGroupState.create(…). Cela vous permet de tester une fonction définie par l’utilisateur dans des tests unitaires simples qui ne requièrent pas l’exécution de Spark. ConsultezTester la fonction de mise à jour mapGroupsWithState. Plus précisément, il produit des instances de type TestGroupState qui étendent l’interface GroupState avec des méthodes supplémentaires pour inverser l’état interne après l’application de la fonction définie par l’utilisateur.

Fonctionnalités et améliorations d’Auto Loader

Configurer le remplissage pour capturer les fichiers manqués

Le chargeur automatique prend désormais en charge l’exécution de remplissages de manière asynchrone pour capturer tous les fichiers qui auraient pu être manqués avec les notifications de fichier. Les systèmes de stockage de fichiers et les systèmes de notification ne peuvent pas garantir la remise de 100% de tous les événements de fichier. Par conséquent, Databricks recommande d’activer les remplissages périodiques pour capturer toutes vos données avec le chargeur automatique. Utilisez l'option cloudFiles.backfillInterval pour planifier des remplissages réguliers sur vos données. Consultez Options courantes d’Auto Loader.

Encombrement de stockage lié pour les flux de gros volumes

Vous pouvez maintenant configurer le chargeur automatique pour qu’il expire et supprimer les entrées dans RocksDB pour lier son encombrement de stockage à l’emplacement du point de contrôle. Databricks ne vous recommande pas de l'utiliser à moins que vous n'ingériez des données de l'ordre de millions de fichiers par heure. La définition incorrecte de cette option ou la tentative de réglage de celle-ci peut entraîner de nombreux problèmes de qualité des données, tels que des fichiers non traités ignorés ou des doublons de certains fichiers au lieu d’un traitement exactement une fois. Pour plus d’informations, consultez Rétention des événements.

Configuration simplifiée avec support sans chemin

Compartiments S3

Vous pouvez désormais fournir la file d’attente SQS qui reçoit les événements de plusieurs chemins ou compartiments S3. Si vous fournissez l’URL de la file d’attente SQS, l'option path n’est pas requise pour ce cas d’usage. Le chargeur automatique construit les chemins S3 à l’aide du compartiment et de la clé à partir des événements S3. Si vous souhaitez lire les fichiers par le biais de points de montage DBFS, vous pouvez utiliser cloudFiles.pathRewrites pour modifier les préfixes de chemin d’accès en DBFS. Ce n’est pas obligatoire, sauf si vous accédez aux données de différents comptes avec AssumeRole .

Voir Options de notification de fichiers.

Conteneurs Azure Data Lake Storage Gen2

Vous pouvez désormais fournir la file d’attente Azure qui reçoit les événements de plusieurs conteneurs. Si vous fournissez le nom de la file d’attente Azure, l'option path n’est pas obligatoire. par défaut, le chargeur automatique construit Azure Data Lake Storage Gen2 chemins d’accès à l’aide du conteneur et de la clé dans les événements de fichier. Si vous souhaitez utiliser des chemins d’accès WASB ou des points de montage DBFS, vous pouvez utiliser cloudFiles.pathRewrites pour modifier les préfixes de chemin d’accès.

Voir Options de notification de fichiers.

Mises à niveau de connecteur

  • Le connecteur Spark en flocon a été mis à jour vers v 2.9.0.
  • le chiffrement KMS est désormais pris en charge dans l'instruction UNLOAD du connecteur Redshift.

Résolution des bogues

  • Correction d’un problème pour les clusters activés avec le contrôle d’accès aux tables où select * from folder peut afficher le contenu d’un dossier même si l’utilisateur n’a pas d’autorisation d’accès aux fichiers.
  • Les propriétaires de bases de données non-administrateurs peuvent désormais supprimer les tables non détenues dans les bases de données. Cela résout le problème où les propriétaires de base de données n’ont pas pu supprimer une base de données si des tables non détenues existaient dans la base de données.

Mises à niveau de la bibliothèque

  • Bibliothèques Python mises à niveau :
    • Mise à niveau de certifi de la version 2020.12.5 vers la version 2021.5.30.
    • distill mise à niveau de la version 0.3.1 vers la version 0.3.2
    • koalas mise à niveau de 1.8.0 vers 1.8.1.
    • protobuf mis à niveau de 3.17.0 vers 3.17.3
  • Bibliothèques R mises à niveau :
    • base de la version 4.0.4 vers la version 4.1.0
    • boot de 1.3-27 à 1.3-28
    • class de 7.3-18 à 7.3-19
    • cluster de 2.1.1 à 2.1.2
    • compiler de la version 4.0.4 vers la version 4.1.0
    • datasets de la version 4.0.4 vers la version 4.1.0
    • graphics de la version 4.0.4 vers la version 4.1.0
    • grDevices de la version 4.0.4 vers la version 4.1.0
    • grid de la version 4.0.4 vers la version 4.1.0
    • KernSmooth de 2.23-18 à 2.23-20
    • lattice de 0.20-41 vers 0.20-44
    • MASS de 7.3-53.1 à 7.3-54
    • Matrix de 1.3-2 à 1.3-3
    • methods de 4.0.4 à 4.1.0
    • mgcv de 1.8-33 vers 1.8-35
    • nnet de 7.3-15 à 7.3-16
    • parallel de 4.0.4 à 4.1.0
    • Rserve de 1.8-7 à 1.8-8
    • SparkR de 3.1.1 à 3.1.2
    • splines de 4.0.4 à 4.1.0
    • stas de 4.0.4 à 4.1.0
    • stats4 de 4.0.4 à 4.1.0
    • survival de 3,2-7 à 3,2-11
    • tcltk de 4.0.4 à 4.1.0
    • tools de 4.0.4 à 4.1.0
    • utils de 4.0.4 à 4.1.0
  • Bibliothèques Java mises à niveau :
    • snowflake-jdbc de 3.12.8 vers 3.13.3
    • spark-snowflake_2 .12 de 2.8.1-spark_3 0 à spark_3 2.9.0.1
    • RoaringBitmap de 0.9.0 à 0.9.14
    • shims de 0.9.0 à 0.9.14
    • rocksdbjni de 6.2.2 à 6.20.3

Apache Spark

Databricks Runtime 8.4 comprend Apache Spark 3.1.2. Cette version comprend l’ensemble des correctifs et améliorations Spark figurant dans Databricks Runtime 8.3 (EoS) ainsi que les correctifs de bogues et améliorations supplémentaires suivants apportés à Spark :

  • [SPARK-35792] [SQL] la vue ne doit pas capturer les configurations utilisées dansRelationConversions
  • [SPARK-35700][SQL] Lecture de la table orc char/varchar lorsque créée et écrite par des systèmes externes
  • [SPARK-35636] [SQL] les clés Lambda ne doivent pas être référencées en dehors de la fonction lambda
  • [Spark-35800] [sélection de cerise] amélioration de la testabilité des GroupState en introduisant TestGroupState
  • [Spark-35391] Corriger les fuites de mémoire dans ExecutorAllocationListener
  • [Spark-35799] [CherryPick] corriger la mesure de la métrique AllUpdatesTimeMs dans FlatMapGroupsWithStateExec
  • [Spark-35763] [SS] supprimer la dépendance d’énumération de la sous-classe StateStoreCustomMetric
  • [SPARK-35791 [SQL] mise en correspondance de la mise en route en cours pour une jointure ANTI-reconnaissance NULL
  • [SPARK-35695] [SQL] collecter les métriques observées à partir de sous-arbres d’exécution adaptative et mis en cache
  • [SPARK-35767] [SQL] évitez d’exécuter deux fois le plan enfant dans CoalesceExec
  • [Spark-35746] [UI] Correction de l'identifiant de la tâche dans la chronologie des événements de la page de l'étape
  • [SPARK-35673] [SQL] correction de l’indicateur défini par l’utilisateur et de l’indicateur non reconnu dans une sous-requête.
  • [SPARK-35714] [CORE] Correctif de bogue pour le blocage pendant l’arrêt de l’exécuteur
  • [SPARK-35689] [SS] Ajouter un avertissement de journal quand keyWithIndexToValue retourne une valeur null
  • [SPARK-35589] [CORE] [3.1] BlockManagerMasterEndpoint ne doit pas ignorer le fichier de lecture aléatoire d’index uniquement lors de la mise à jour
  • [SPARK-35643] [PYTHON] Correction de la référence ambiguë dans la colonne functions.py()
  • [SPARK-35652] [SQL] joinWith sur deux tables générées à partir d’une même table
  • [SPARK-35679] [SQL] instantToMicros overflow
  • [SPARK-35602] [SS] Mettre à jour le schéma d’État pour pouvoir accepter JSON de longue durée
  • [SPARK-35653] [SQL] La résolution du chemin d’accès interprété CatalystToExternalMap échoue pour le mappage avec les classes de cas comme clés ou valeurs
  • [SPARK-35296] [SQL] autorisez le jeu de données. observez le travail même si CollectMetricsExec dans une tâche gère plusieurs partitions.
  • [Spark-35659] [SS] Évitez d’écrire null dans StateStore
  • [SPARK-35665] [SQL] résoudre UnresolvedAlias dans CollectMetrics
  • [Spark-35558] Optimise pour la récupération quantile
  • [SPARK-35621] [SQL] ajouter l’élagage de l’id de règle à la règle TypeCoercion
  • [SPARK-35077] [SQL] migrer vers transformWithPruning pour les règles d’optimiseur restantes
  • [Spark-35610] [Core] Correction de la fuite de mémoire introduite par le hook Stop Shutdown de l’exécuteur
  • [SPARK-35544] [SQL] ajouter l’élagage des modèles d’arborescence aux règles de l’analyseur
  • [Spark-35566] [SS] corriger les lignes de sortie StateStoreRestoreExec
  • [SPARK-35454] [SQL] [3.1] un LogicalPlan peut correspondre à plusieurs id de jeu de données
  • [SPARK-35538] [SQL] migrer les sites d’appel transformAllExpressions pour utiliser transformAllExpressionsWithPruning
  • [SPARK-35106] [Core] [SQL] évitez l’échec du changement de nom dû au fait que le répertoire de destination n’existe pas
  • [SPARK-35287] [SQL] autorise RemoveRedundantProjects à conserver les ProjectExec qui génèrent UnsafeRow pour DataSourceV2ScanRelation
  • [Spark-35495] [R] changer le chargé de maintenance de l’Spark pour cran
  • [Spark-27991] [Core] différer la demande d’extraction sur le réseau insuffisance
  • [Spark-35171] [R] déclarer le package de démarques comme dépendance du package sparkr
  • [SPARK-35454] [SQL] un LogicalPlan peut correspondre à plusieurs id de jeu de données
  • [SPARK-35298] [SQL] migrer vers transformWithPruning pour les règles dans Optimizer.scala
  • [SPARK-35480] [SQL] rendre percentile_approx fonctionner avec un tableau croisé dynamique
  • [SPARK-35093] [SQL] AQE utilise désormais le plan newQueryStage comme clé pour rechercher les échanges mis en cache en vue de leur réutilisation
  • [SPARK-35146] [SQL] migrer vers transformWithPruning ou resolveWithPruning pour les règles dans finishAnalysis. scala
  • [SPARK-35411] [SQL] ajout d’informations essentielles lors de la sérialisation de TreeNode en json
  • [SPARK-35294] [SQL] ajouter le nettoyage de l’arborescence dans les règles avec des fichiers dédiés sous l’optimiseur
  • [SPARK-34897] [SQL] [3,1] prend en charge le rapprochement des schémas basés sur l’index après le nettoyage des colonnes imbriquées
  • [SPARK-35144] [SQL] migrer vers transformWithPruning pour les règles d’objet
  • [SPARK-35155] [SQL] ajouter l’élagage de l’id de règle aux règles de l’analyseur
  • [Spark-35382] [python] Correction des problèmes de nom de variable lambda dans les fonctions Tableau imbriquées dans les API Python.
  • [SPARK-35359] [SQL] l’insertion de données avec le type de données char/varchar échouera lorsque la longueur des données dépasse la limite de longueur
  • [Spark-35381] [R] résoudre les problèmes de nom de variable lambda dans les fonctions d’ordre supérieur imbriquées aux API R

Environnement du système

  • Système d’exploitation : Ubuntu 18.04.5 LTS
  • Java : Zulu 8.54.0.21-CA-linux64
  • Scala : 2.12.10
  • Python : 3.8.8
  • R : 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Bibliothèques Python installées

Bibliothèque Version Bibliothèque Version Bibliothèque Version
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30 cffi 1.14.3 chardet 3.0.4
chiffrement 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.2 docutils 0.15.2
entrypoints 0.3 facets-overview 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 koalas 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2.20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
requêtes 2.24.0 retrying 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 six 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wheel 0.35.1

Bibliothèques R installées

Les bibliothèques R sont installées à partir de l’instantané Microsoft CRAN du 02/11/2020.

Bibliothèque Version Bibliothèque Version Bibliothèque Version
askpass 1.1 assertthat 0.2.1 backports 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 objet BLOB 1.2.1
boot 1.3-28 brew 1.0-6 brio 1.1.0
broom 0.7.2 callr 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1.7
compiler 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 crayon 1.3.4 credentials 1.3.0
crosstalk 1.1.0.1 curl 4.3 data.table 1.13.4
jeux de données 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0.16
ellipsis 0.3.1 evaluate 0.14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 foreign 0.8-81 forge 0.2.0
fs 1.5.0 future 1.21.0 generics 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
glue 1.4.2 gower 0.2.2 graphics 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0.7 gtable 0.3.0 haven 2.3.1
highr 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 iterators 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1.30
labeling 0.4.2 later 1.1.0.1 lattice 0.20-44
lava 1.6.8.1 lazyeval 0.2.2 cycle de vie 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1.1 MASS 7.3-54 Matrice 1.3-3
memoise 1.1.0 methods 4.1.0 mgcv 1.8-35
mime 0.9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 pillar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 praise 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
progress 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recipes 0.1.15
rematch 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 scales 1.1.1
selectr 0.4-2 sessioninfo 1.1.1 shape 1.4.5
shiny 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 spatial 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
stats4 4.1.0 stringi 1.5.3 stringr 1.4.0
survival 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 whisker 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Bibliothèques Java et Scala installées (version de cluster Scala 2.12)

ID de groupe ID d’artefact Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics flux 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx collecteur 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark unused 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52