Sdílet prostřednictvím

Databricks Runtime 8.4 (EoS)

  • Článek

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.

Následující poznámky k verzi obsahují informace o Databricks Runtime 8.4 a Databricks Runtime 8.4 Photon s využitím Apache Sparku 3.1.2. Databricks vydala tuto verzi v červenci 2021. Photon je ve verzi Public Preview.

Nové funkce a vylepšení

Funkce a vylepšení Delta Lake

Delta table datový kanál se změnovým záznamem (GA)

Kanál pro změnu dat delta table je nyní obecně dostupný. Představuje změny na úrovni řádků mezi různými verzemi table. Pokud je tato možnost povolená, zaznamenávají se další informace týkající se změn na úrovni řádků pro každou operaci zápisu v table. Viz Použití datového kanálu změn Delta Lake v Azure Databricks.

Snadno načtěte sdílenou Delta tables pomocí Databricks Runtime

Konektor Apache Spark pro rozdílové sdílení 0.1.0 je teď v Databricks Runtime. Sdílený table můžete načíst přímo pomocí spark.read.format("deltaSharing").load(uri), aniž byste museli připojit konektor Delta Sharing Spark ke clusteru.

Další tables výhod dynamického vyřazení souborů

Funkce dynamického vyřezávání souborů byla vyladěna tak, aby se aktivovala na tables s menším počtem souborů. Viz Dynamické vyřezávání souborů.

Lepší výkon díky automatickému ladění velikosti cílového souboru

Cílová velikost souboru pro Delta tables je teď automaticky optimalizovaná na základě velikosti table. Dříve byla cílová velikost souboru a OPTIMIZEOPTIMIZE ZORDER BY byla 1 GB. Díky automatickému ladění na základě velikosti table bude Delta tables, až 2,56 TB, používat 256 MB jako cílovou velikost. Tables větší než 10 TB použije 1 GB jako předtím. Tables mezi těmito velikostmi budou používat cílové velikosti, které se úměrně zvětšují s velikostí table. Viz Konfigurace Delta Lake pro řízení velikosti datového souboru.

Další způsoby určení tables v DeltaTable.forName

DeltaTable.forName nyní podporuje použití delta.`<path>` k identifikaci tables.

Robustní streamování vícetable zápisů pomocí foreachBatch

Zápisy streamování Idempotentní Delta v foreachBatch() rámci příkazu se teď podporují. Podrobnosti najdete v tématu Idempotentní vícetable zápisů.

Vylepšený výkon dotazů pro čtení v určitých úlohách kvůli vyladěným kontrolním bodům

Delta Lake teď ladí, jak často se používá vylepšených kontrolních bodů. Místo vytváření kontrolních bodů v pevném intervalu teď Delta dynamicky upravuje frekvenci kontrolních bodů na základě určitých aktivačních událostí. To zlepšuje výkon dotazů na čtení v úlohách where, kde dříve nebylo možné použít některé optimalizace pro přeskočení dat. Pokud chcete tyto optimalizace použít, upgradujte úlohy, které zapisují do Delta Lake, na Databricks Runtime 8.4. Viz Povolení rozšířených kontrolních bodů pro dotazy strukturovaného streamování.

Vytvoření GroupState pro testování uživatelem definovaných funkcí strukturovaného streamování

Doposud mohl instance vytvářet pouze modul strukturovaného GroupStatestreamování . Všechny testy jednotek uživatelem definované funkce proto vyžadují spuštění streamovacího dotazu v Apache Sparku.

Nyní můžete vytvářet instance GroupState použití TestGroupState.create(…). To vám umožní otestovat uživatelem definovanou funkci v jednoduchých testech jednotek, které nevyžadují spuštění Sparku. Podívejte se na Otestujte funkci mapGroupsWithState update. Konkrétně vytváří instance typu TestGroupState , které rozšiřují rozhraní GroupState o další metody pro úvod do interního stavu po použití uživatelem definované funkce.

Funkce a vylepšení automatického zavaděče

Konfigurace backfillingu pro zachycení zmeškaných souborů

Auto Loader teď podporuje asynchronní vyplňování, aby bylo možné zachytit všechny soubory, které mohly být zmeškané s oznámeními o souborech. Systémy úložiště souborů a systémy oznámení nemohou zaručit 100% doručení všech událostí souborů. Proto Databricks doporučuje povolit pravidelné backfills zachytávat všechna data pomocí automatického zavaděče. cloudFiles.backfillInterval Pomocí této možnosti naplánujte pravidelné obnovení dat. Viz běžné možnosti automatického zavaděče.

Vázané nároky na úložiště pro velké datové proudy svazků

Teď můžete nakonfigurovat Auto Loader k vypršení platnosti a omezení položek remove ve službě RocksDB, abyste omezili prostor pro úložiště v kontrolním bodu. Databricks nedoporučuje používat, pokud neingestujete data v pořadí milionů souborů za hodinu. Pokud tuto možnost nastavíte nesprávně nebo se ji pokusíte vyladit, může to vést k mnoha problémům s kvalitou dat, jako je ignorování nezpracovaných souborů nebo duplikování některých souborů místo právě po zpracování. Podrobnosti najdete v tématu Uchovávání událostí.

Zjednodušená konfigurace s podporou bez cest

Kontejnery S3

Teď můžete zadat frontu SQS, která přijímá události z více cest nebo kontejnerů S3. Pokud zadáte adresu URL fronty SQS, path tato možnost se pro tento případ použití nevyžaduje. Auto Loader vytváří cesty S3 pomocí kontejneru a klíče z událostí S3. Pokud chcete číst soubory prostřednictvím přípojných bodů DBFS, můžete změnit cloudFiles.pathRewrites předpony cest na DBFS. To se nevyžaduje, pokud nemáte přístup k datům v různých účtech pomocí AssumeRole.

Viz Možnosti oznámení o souboru.

Kontejnery Azure Data Lake Storage Gen2

Teď můžete zadat frontu Azure, která přijímá události z více kontejnerů. Pokud zadáte název fronty Azure, path tato možnost se nevyžaduje. Auto Loader ve výchozím nastavení vytváří cesty Azure Data Lake Storage Gen2 pomocí kontejneru a klíče v událostech souboru. Pokud chcete použít cesty WASB nebo přípojné body DBFS, můžete změnit cloudFiles.pathRewrites předpony cesty.

Viz Možnosti oznámení o souboru.

Upgrady konektorů

  • Konektor Snowflake Spark byl aktualizován na verzi 2.9.0.
  • Šifrování Služby správy klíčů se teď podporuje v UNLOAD příkazu konektoru Redshift.

Opravy chyb

  • Opravili jsme problém u clusterů, které mají povolené řízení přístupu tablewhereselect * from folder a které mohou zobrazovat obsah složky, i když uživatel nemá oprávnění k přístupu k souborům.
  • Vlastníci databází, kteří nejsou správci, teď můžou v databázích vypustit tables bez vlastnictví. Tímto se opravuje problém, kdy vlastníci databáze where nemohli odstranit databázi, pokud v ní existovala databáze tables, kterou nevlastnili.

Upgrady knihoven

  • Upgradované knihovny Pythonu:
    • certifikace upgradována z roku 2020.12.5 na verzi 2021.5.30
    • lihovar byl upgradován z 0.3.1 na 0.3.2
    • koalas upgradoval z verze 1.8.0 na verzi 1.8.1
    • Protobuf upgradoval z verze 3.17.0 na verzi 3.17.3
  • Upgradované knihovny jazyka R:
    • od 4.0.4 do 4.1.0
    • boot from 1.3-27 to 1.3-28
    • třída od 7.3-18 do 7.3-19
    • cluster od 2.1.1 do 2.1.2
    • kompilátor z verze 4.0.4 do 4.1.0
    • datové sady od 4.0.4 do 4.1.0
    • grafika od 4.0.4 do 4.1.0
    • grDevices od 4.0.4 do 4.1.0
    • mřížka od 4.0.4 do 4.1.0
    • KernSmooth od 2.23-18 do 2.23-20
    • lattice od 0.20-41 do 0.20-44
    • HMOTNOST od 7.3-53.1 do 7.3-54
    • Matice od 1,3-2 do 1,3-3
    • metody od 4.0.4 do 4.1.0
    • mgcv od 1,8-33 do 1,8-35
    • nnet od 7.3-15 do 7.3-16
    • paralelní od 4.0.4 do 4.1.0
    • Rserve od 1.8-7 do 1.8-8
    • SparkR od 3.1.1 do 3.1.2
    • splines od 4.0.4 do 4.1.0
    • Statistiky od 4.0.4 do 4.1.0
    • Statistiky 4 od 4.0.4 do 4.1.0
    • přežití od 3.2-7 do 3.2-11
    • tcltk od 4.0.4 do 4.1.0
    • nástroje od 4.0.4 do 4.1.0
    • nástroje od 4.0.4 do 4.1.0
  • Upgradované knihovny Java:
    • snowflake-jdbc od 3.12.8 do 3.13.3
    • spark-snowflake_2.12 od 2.8.1-spark_3.0 do 2.9.0-spark_3.1
    • RoaringBitmap od 0.9.0 do 0.9.14
    • shims od 0.9.0 do 0.9.14
    • rocksdbjni fromm 6.2.2 až 6.20.3

Apache Spark

Databricks Runtime 8.4 zahrnuje Apache Spark 3.1.2. Tato verze zahrnuje všechny opravy a vylepšení Sparku, která jsou součástí Databricks Runtime 8.3 (EoS), a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-35792] [SQL] Zobrazení by nemělo zachytávat konfigurace použité v RelationConversions
  • [SPARK-35700] [SQL] Čtení table char/varchar orc s vytvořenými a napsanými externími systémy
  • [SPARK-35636] [SQL] Klíče lambda by neměly být odkazovány mimo funkci lambda.
  • [SPARK-35800] [Výběr třešně] Vylepšení testovatelnosti GroupState zavedením testGroupState
  • [SPARK-35391] Oprava nevracení paměti v ExecutorAllocationListener
  • [SPARK-35799] [CherryPick] Oprava měření metrik allUpdatesTimeMs v FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] Remove závislost výčtu podtřídy StateStoreCustomMetric
  • cs-CZ: [SPARK-35791 [SQL] Správně uvolnit probíhající mapování pro ANTI s podporou NULL join
  • [SPARK-35695] [SQL] Shromažďování pozorovaných metrik z mezipamětí a dílčích stromů adaptivního spouštění
  • [SPARK-35767] [SQL] Vyhněte se provádění podřízeného plánu dvakrát v CoalesceExec
  • [SPARK-35746] [UŽIVATELSKÉ ROZHRANÍ] Oprava ID úkolu na časové ose úkolu na stránce fáze
  • [SPARK-35673] [SQL] Oprava uživatelem definované nápovědy a nerozpoznané nápovědy v poddotazu
  • [SPARK-35714] [JÁDRO] Oprava chyby zablokování během vypnutí exekutoru
  • [SPARK-35689] [SS] Přidání protokolu s upozorněním, když keyWithIndexToValue vrátí hodnotu null
  • [SPARK-35589] [JÁDRO][3.1] BlockManagerMasterEndpoint by neměl při aktualizaci ignorovat soubor náhodného prohazování jen pro index.
  • [SPARK-35643] [PYTHON] Oprava nejednoznačného odkazu v functions.py column()
  • [SPARK-35652] [SQL] joinWith na dvou table vygenerovaných ze stejného jednoho
  • [SPARK-35679] [SQL] přetečení instantToMicros
  • [SPARK-35602] [SS] Update stav schema, aby bylo možné přijmout dlouhý JSON
  • [SPARK-35653] [SQL] Oprava problému s CatalystToExternalMap, kde interpretovaná cesta selže u Map se case classami jako klíči nebo values
  • [SPARK-35296] [SQL] Povolit Funkci Dataset.observe, i když funkce CollectMetricsExec v úloze zpracovává více oddílů
  • [SPARK-35659] [SS] Vyhněte se zápisu null do StateStore
  • [SPARK-35665] [SQL] Řešení unresolvedAlias v CollectMetrics
  • [SPARK-35558] Optimalizuje načítání s více quantilemi.
  • [SPARK-35621] [SQL] Přidání ID pravidla pro vyřazování do pravidla TypeCoercion
  • [SPARK-35077] [SQL] Migrace na transformaciWithPruning pro levá pravidla optimalizátoru
  • [SPARK-35610] [JÁDRO] Oprava nevracení paměti zavedeného zapínáním zarážky exekutoru
  • [SPARK-35544] [SQL] Přidání vyřezávání vzorů stromu do pravidel Analyzátoru
  • [SPARK-35566] [SS] Oprava výstupních řádků StateStoreRestoreExec
  • [SPARK-35454] [SQL][3.1] Jeden logický plán může odpovídat více ID datových sad.
  • [SPARK-35538] [SQL] Migrace transformAllExpressions volání lokalit pro použití transformAllExpressionsWithPruning
  • [SPARK-35106] [Jádro][SQL] Vyhněte se neúspěšnému přejmenování způsobenému neexistujícím cílovým adresářem
  • [SPARK-35287] [SQL] Povolit RemoveRedundantProjects zachovat ProjectExec, který generuje UnsafeRow pro DataSourceV2ScanRelation
  • [SPARK-35495] [R] Změna správce SparkR pro CRAN
  • [SPARK-27991] [JÁDRO] Odložit požadavek na načtení na netty OOM
  • [SPARK-35171] [R] Deklarujte balíček Markdown jako závislost balíčku SparkR.
  • [SPARK-35454] [SQL] Jeden logický plán může odpovídat více ID datových sad.
  • [SPARK-35298] [SQL] Migrace na transformaciWithPruning pro pravidla v Optimizer.scala
  • [SPARK-35480] [SQL] Funkce percentile_approx fungovat s pivot
  • [SPARK-35093] [SQL] AQE teď používá nový plánQueryStage jako klíč pro vyhledávání výměn uložených v mezipaměti pro opětovné použití.
  • [SPARK-35146] [SQL] Migrace na transformWithPruning nebo resolveWithPruning pro pravidla v finishAnalysis.scala
  • [SPARK-35411] [SQL] Přidání základních informací při serializaci TreeNode do formátu JSON
  • [SPARK-35294] [SQL] Přidání procházení stromu v pravidlech s vyhrazenými soubory v optimalizátoru
  • [SPARK-34897] [SQL][3.1] Podpora slaďování schémat na základě indexu po vnořeném prořezání column
  • [SPARK-35144] [SQL] Migrace na transformaciWithPruning pro pravidla objektů
  • [SPARK-35155] [SQL] Přidání ID pravidla pro vyřazení do pravidel Analyzátoru
  • [SPARK-35382] [PYTHON] Oprava problémů s názvy proměnných lambda ve vnořených funkcích datového rámce v rozhraních PYTHON API
  • [SPARK-35359] [SQL] Insert data s datovým typem char/varchar selže, pokud délka dat překročí omezení délky dat
  • [SPARK-35381] [R] Oprava problémů s názvy proměnných lambda ve vnořených funkcích vyššího pořadí v rozhraních API R

Prostředí systému

  • Operační systém: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30 cffi 1.14.3 chardet 3.0.4
kryptografie 3.1.1 cyklista 0.10.0 Cython 0.29.21
dekoratér 4.4.2 distlib 0.3.2 docutils 0.15.2
vstupní body 0.3 přehled omezujících vlastností 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
verizonsolver 1.3.0 Koaly 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
bábovka 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
jádro 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
žádosti 2.24.0 Opakování... 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 Šest 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornádo 6.0.4 vlastnosti 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
kolo 0.35.1

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2020-11-02.

Knihovna Verze Knihovna Verze Knihovna Verze
askpass 1,1 assertthat 0.2.1 backporty 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bitové 4.0.4 bit64 4.0.5 blob 1.2.1
startování 1.3-28 vařit 1.0-6 verva 1.1.0
koště 0.7.2 volající 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
Rozhraní příkazového řádku 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 barevný prostor 2.0-0 commonmark 1,7
– kompilátor 4.1.0 config 0.3 covr 3.5.1
cpp11 0.2.4 pastelka 1.3.4 credentials 1.3.0
nežádoucí signál 1.1.0.1 kudrna 4.3 data.table 1.13.4
Power BI 4.1.0 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
trávit 0.6.27 dplyr 1.0.2 DT 0,16
tři tečky 0.3.1 evaluate 0,14 fanynky 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 zahraniční 0.8-81 kovat 0.2.0
Fs 1.5.0 budoucnost 1.21.0 Generik 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globálních objektů 0.14.0
lepidlo 1.4.2 Gower 0.2.2 Grafika 4.1.0
grDevices 4.1.0 mřížka 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 útočiště 2.3.1
highr 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iterátory 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 pletení 1,30
značení 0.4.2 později 1.1.0.1 mříž 0.20-44
láva 1.6.8.1 lazyeval 0.2.2 lifecycle 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
sleva 1,1 MŠE 7.3-54 Matice 1.3-3
memoise 1.1.0 metody 4.1.0 mgcv 1.8-35
mim 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
paralelně 1.22.0 pilíř 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 chválit 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Průběh 1.2.2 sliby 1.1.1 proto 1.0.0
PS 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
Analýza rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recepty 0.1.15
odvetný zápas 1.0.1 rematch2 2.1.2 vzdálená zařízení 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 váhy 1.1.1
selektor 0.4-2 sessioninfo 1.1.1 tvar 1.4.5
lesklý 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 prostorový 7.3-11 spline křivky 4.1.0
sqldf 0.4-11 ČTVEREC 2020.5 statistické údaje 4.1.0
Statistiky 4 4.1.0 stringi 1.5.3 stringr 1.4.0
přežití 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.1.0
usethis 2.0.0 utf8 1.1.4 utils 4.1.0
Uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 vous 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws podpora aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofein kofein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib nativní native_ref javy 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib nativní native_system javy 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metriky – jádro 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriky – servlety 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx sběratel 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.kurátor kurátor-client 2.7.1
org.apache.kurátor kurátor-framework 2.7.1
org.apache.kurátor kurátor-recepty 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubační
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy břečťan 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet kódování parquet 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus cílové skupiny a poznámky 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty pokračování jetty 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core žerzejové společné 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator Hibernate-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Podložky 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark nepoužitý 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel kočky-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52