Sdílet prostřednictvím

Databricks Runtime 8.3 (EoS)

  • Článek

Poznámka:

Podpora této verze Databricks Runtime skončila. Datum ukončení podpory najdete v tématu Historie ukončení podpory. Všechny podporované verze databricks Runtime najdete v poznámkách k verzi Databricks Runtime a kompatibilitu.

Následující poznámky k verzi obsahují informace o Databricks Runtime 8.3 a Databricks Runtime 8.3 Photon s využitím Apache Sparku 3.1.1. Databricks vydala tuto verzi v červnu 2021. Photon je ve verzi Public Preview.

Nové funkce a vylepšení

Vygenerováno columns v Delta tables (Veřejná verze Preview)

Delta Lake teď podporuje vygenerované columns, což je speciální typ column, jehož values se automaticky generují na základě uživatelem zadané funkce v jiných columns v tableDelta . Většinu předdefinovaných funkcí SQL můžete použít k generatevalues těchto vygenerovaných columns. Můžete například automaticky generate datum column (pro dělení table podle data) z časového razítka column; všechny zápisy do table potřebují zadat pouze data pro časové razítko column. Delta tables můžete vytvořit s vygenerovanými columns pomocí rozhraní API SQL, Scala, Java nebo Python.

Pro více informací se podívejte na Delta Lake generovaný columns.

Funkce a vylepšení automatického zavaděče

Schema odvozování souborů CSV v automatickém zavaděče

Auto Loader teď podporuje schema odvozovat a vyvíjet soubory CSV. Auto Loader poskytuje nad stávajícím analyzátorem CSV v Apache Sparku následující funkce:

  • Schema slučování: Automatický zavaděč může ingestovat soubory CSV, které mají různé schema (různý počet columns, různé řazení columns) v souborech.
  • Záchranná data column: Můžete použít záchranná data column k záchraně neočekávaných dat, která se mohou objevit v souborech CSV. To zahrnuje data, která nelze analyzovat v očekávaném datovém typu, columns, která mají v záhlaví jiné formátování nebo hodnotu null values, nebo další columns, které nebyly součástí očekávaného schema.

Podrobnosti najdete v tématu Konfigurace schema inferencí a evoluce v Auto Loaderu.

Vylepšený čas spuštění datových proudů automatického zavaděče

Automatické streamy zavaděče teď provádějí počáteční obnovení streamu asynchronně při prvním spuštění, což vede k mnohem rychlejšímu spuštění datového proudu. To vám umožní rychle iterovat kód s produkčními daty, zejména pokud potřebujete ingestovat data z adresářů, které obsahují miliony nebo miliardy souborů.

Kromě toho se zlepšila také doba spouštění datových proudů, které se restartují, protože jsme paralelizovali stahování a nahrávání souborů RocksDB, které Auto Loader využívá k poskytování sémantiky přesně jednou.

Rychlejší výpis adresáře v automatickém zavaděče

Výrazně jsme vylepšili efektivitu výpisu adresářů v auto loaderu. Vedlejším účinkem tohoto zlepšení výkonu je, že datový proud může generovat více list požadavků na systém úložiště, pokud neexistují žádná nová data ke zpracování, což může vést k nárůstu nákladů na list žádosti. Jako obecný osvědčený postup doporučuje Databricks, abyste set rozumný interval aktivačních událostí pro kanály streamování v produkčním prostředí. Viz aspekty produkce strukturovaného streamování.

Nižší režijní náklady na úložiště pro kontrolní body automatického zavaděče

Automatické streamy zavaděče teď automaticky vyčistí zastaralé soubory v adresáři kontrolních bodů asynchronně, aby se velikost adresáře kontrolního bodu neustále zvětšila a snížila náklady na úložiště.

Automatický zavaděč obsahuje cestu k souboru v zachráněných datech column, pokud je k dispozici.

Záchranná data column automaticky poskytují cestu k souboru těchto dat, pokud je to možné, v rámci column nazvané _file_ path. To vám může pomoct zjistit původní příčinu problémů s kvalitou dat. column není zahrnuto, pokud data schema obsahují column nazvaný _file_path. K přejmenování column můžete v případě potřeby použít konfiguraci SQL spark.databricks.sql.rescuedDataColumn.filePath.name.

Automatický zavaděč podporuje přejmenování souborů v Azure Data Lake Storage Gen2 v režimu oznámení souborů.

Auto Loader teď podporuje události BlobRenamed pro Azure Data Lake Storage Gen2 při spuštění v režimu oznámení souboru. Pokud chcete zpracovat soubory nahrané do kontejneru Azure Data Lake Storage Gen2 prostřednictvím operace přejmenování s oznámeními o souborech, spusťte nový datový proud s automatickým zavaděčem pomocí Databricks Runtime 8.3. Pokud chcete zajistit, aby se soubor zpracovával přesně jednou, ujistěte se, že zdrojový adresář, ze kterého se soubor přejmenovává, není automaticky zavaděčem sledovaný.

Vytvořte Delta tables pomocí nových rozhraní API (veřejná ukázka)

Nyní můžete programově vytvářet nové Delta tables (pomocí Scala, Java a Python) bez použití rozhraní DataFrame API. Nová rozhraní API DeltaTableBuilder a DeltaColumnBuilder umožňují zadat všechny podrobnosti table, které můžete zadat pomocí sql CREATE TABLE.

Další informace najdete v tématu Vytvoření table.

Oprava výpočtu velikostí table Delta v SQL ANALYZE

Stávající logika analýzy nesprávně vypočítá velikost table pro Delta tables a aktualizuje catalog nesprávnou velikostí. Oprava spočívá v get velikosti table Delta z protokolu Delta.

Podrobné metriky výkonu RocksDB při použití úložiště RocksDBStateStore

Pokud jste nakonfigurovali dotaz strukturovaného streamování tak, aby jakoúložiště stavů používal RocksDB, můžete teď lepší přehled o výkonu RocksDB s podrobnými metrikami o latencích /put latencí, latencích komprimace, dosaženích mezipamětí atd. Tyto metriky jsou k dispozici prostřednictvím StreamingQueryProgressStreamingQueryListener rozhraní API pro monitorování streamovacího dotazu.

Další informace najdete v tématu Konfigurace úložiště stavů RocksDB v Azure Databricks.

Automatické optimalizované zápisy

Optimalizované zápisy na rozděleném Delta tables jsou nyní automaticky povoleny pro update a dotazy na odstranění obsahující poddotazy.

Povolte segmentovaná spojení, pokud je segmentovaná pouze jedna strana join.

Nová konfigurace spark.databricks.sql.minBucketsForBucketedJoin umožňuje segmentovaný join, pokud je segmentovaná pouze jedna join strana a počet segmentů není menší než tato hodnota konfigurace. Ve výchozím nastavení je tato hodnota konfigurace stejná jako výchozí číslo oddílů náhodného prohazování (200).

Vylepšené zabezpečení při definování funkcí definovaných uživatelem Sparku (Public Preview)

Funkce informací o uživatelích current_user a is_member nelze je přepsat dočasnými funkcemi, včetně Pythonu spark.udf.register nebo SQL create or replace temp function.

Omezený počet požadavků na schema registr pro dotazy s from_avro

Dotazy s from_avro s podporou registru schema už nejsou generate tolik požadavků na službu registru schema, což šetří provozní náklady.

Více výsledků v R s listResults (Public Preview)

Poznámkové bloky Databricks R teď podporují více výsledků v každé buňce. Pro každou buňku poznámkového bloku se dříve vykresloval jenom jeden výsledek. V současné době se výsledky jedné buňky v poznámkových blocích R zobrazují v následujícím pořadí:

  1. RShiny URL
  2. Vykreslit
  3. displayHTML – výstupy
  4. Tables
  5. stdout

Upgrady knihoven

  • Upgradovaná knihovna Pythonu:
    • koalas upgradoval z verze 1.7.0 na verzi 1.8.0.
    • Pandas upgradoval z verze 1.1.3 na verzi 1.1.5.
    • s3transfer byl upgradován z verze 0.3.4 na verzi 0.3.6.
  • Upgradovaná knihovna R:
    • SparkR upgradoval z verze 3.1.1 na verzi 3.1.2.
  • Upgradovaná knihovna Java:
    • mariadb-java-client od 2.1.2 do 2.2.5.
    • parquet-column od 1.10.1-databricks6 do 1.10.1-databricks9
    • parquet-common from 1.10.1-databricks6 to 1.10.1-databricks9
    • parquet-encoding from 1.10.1-databricks6 to 1.10.1-databricks9
    • parquet-hadoop od 1.10.1-databricks6 do 1.10.1-databricks9
    • parquet-jackson z 1.10.1-databricks6 na 1.10.1-databricks9

Apache Spark

Databricks Runtime 8.3 zahrnuje Apache Spark 3.1.1. Tato verze zahrnuje všechny opravy a vylepšení Sparku zahrnuté v Databricks Runtime 8.2 (EoS) a také následující další opravy chyb a vylepšení Sparku:

  • [SPARK-34614] [SQL] Režim ANSI: Přetypování řetězce na logickou hodnotu by mělo vyvolat výjimku při chybě analýzy
  • [SPARK-34246] [ZPRACOVAT] Změňte definici findTightestCommonT...
  • [SPARK-35213] [SQL] Udržujte správné pořadí vnořených struktur v řetězených operacích withField.
  • [SPARK-35096] [SQL] Spuštění schématu by mělo dodržovat spark.sql.caseSensitive config
  • [SPARK-35227] [BUILD] Update překladač pro balíčky Spark v SparkSubmit
  • [SPARK-35224] [SQL] Oprava přetečení vyrovnávací paměti v MutableProjectionSuite
  • [SPARK-34245] [JÁDRO] Ujistěte se, že hlavní server odebere exekutory, které se nepodařilo odeslat dokončený stav.
  • [SPARK-34856] [SQL] Režim ANSI: Povolit přetypování složitých typů jako typ řetězce
  • [SPARK-34946] [SQL] Blokování nepodporovaných skalárních poddotazů v agregaci
  • [SPARK-35014] Oprava vzoru Fyzické agregace, aby se nepřepsaly skládací výrazy
  • [SPARK-34769] [SQL] AnsiTypeCoercion: return nejbližší con...

Prostředí systému

  • Operační systém: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (build 1.8.0_282-b08)
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: R verze 4.0.4 (2021-02-15)
  • Delta Lake 1.0.0

Nainstalované knihovny Pythonu

Knihovna Verze Knihovna Verze Knihovna Verze
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
kryptografie 3.1.1 cyklista 0.10.0 Cython 0.29.21
dekoratér 4.4.2 distlib 0.3.1 docutils 0.15.2
vstupní body 0.3 přehled omezujících vlastností 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 Jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
verizonsolver 1.3.0 Koaly 1.8.0 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
bábovka 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
jádro 20.2.4 plotly 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
žádosti 2.24.0 Opakování... 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 Šest 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornádo 6.0.4 vlastnosti 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
kolo 0.35.1

Nainstalované knihovny jazyka R

Knihovny R se instalují ze snímku Microsoft CRAN 2020-11-02.

Knihovna Verze Knihovna Verze Knihovna Verze
askpass 1,1 assertthat 0.2.1 backporty 1.2.1
base 4.0.4 base64enc 0.1-3 BH 1.72.0-3
bitové 4.0.4 bit64 4.0.5 blob 1.2.1
startování 1.3-27 vařit 1.0-6 verva 1.1.0
koště 0.7.2 volající 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-18
Rozhraní příkazového řádku 2.2.0 clipr 0.7.1 cluster 2.1.1
codetools 0.2-18 barevný prostor 2.0-0 commonmark 1,7
– kompilátor 4.0.4 config 0.3 covr 3.5.1
cpp11 0.2.4 pastelka 1.3.4 credentials 1.3.0
nežádoucí signál 1.1.0.1 kudrna 4.3 data.table 1.13.4
Power BI 4.0.4 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
trávit 0.6.27 dplyr 1.0.2 DT 0,16
tři tečky 0.3.1 evaluate 0,14 fanynky 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 zahraniční 0.8-81 kovat 0.2.0
Fs 1.5.0 budoucnost 1.21.0 Generik 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globálních objektů 0.14.0
lepidlo 1.4.2 Gower 0.2.2 Grafika 4.0.4
grDevices 4.0.4 mřížka 4.0.4 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 útočiště 2.3.1
highr 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iterátory 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 pletení 1,30
značení 0.4.2 později 1.1.0.1 mříž 0.20-41
láva 1.6.8.1 lazyeval 0.2.2 lifecycle 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
sleva 1,1 MŠE 7.3-53.1 Matice 1.3-2
memoise 1.1.0 metody 4.0.4 mgcv 1.8-33
mim 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.4
paralelně 1.22.0 pilíř 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 chválit 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Průběh 1.2.2 sliby 1.1.1 proto 1.0.0
PS 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
Analýza rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recepty 0.1.15
odvetný zápas 1.0.1 rematch2 2.1.2 vzdálená zařízení 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 váhy 1.1.1
selektor 0.4-2 sessioninfo 1.1.1 tvar 1.4.5
lesklý 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 prostorový 7.3-11 spline křivky 4.0.4
sqldf 0.4-11 ČTVEREC 2020.5 statistické údaje 4.0.4
Statistiky 4 4.0.4 stringi 1.5.3 stringr 1.4.0
přežití 3.2-7 sys 3.4 tcltk 4.0.4
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.0.4
usethis 2.0.0 utf8 1.1.4 utils 4.0.4
Uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 vous 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Nainstalované knihovny Java a Scala (verze clusteru Scala 2.12)

ID skupiny ID artefaktu Verze
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws automatické škálování aws-java-sdk 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws podpora aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics datový proud 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware Kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml spolužák 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofein kofein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib nativní native_ref javy 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib nativní native_system javy 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metriky – jádro 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriky – kontroly stavu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriky – servlety 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx sběratel 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivace 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extra 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.kurátor kurátor-client 2.7.1
org.apache.kurátor kurátor-framework 2.7.1
org.apache.kurátor kurátor-recepty 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive Hive – společné 2.3.7
org.apache.hive Hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubační
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy břečťan 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet kódování parquet 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity rychlost 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus cílové skupiny a poznámky 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino Janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty pokračování jetty 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core žerzejové společné 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator Hibernate-validator 6.1.0.Final
org.javassist Javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Podložky 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark nepoužitý 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel kočky-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52