Megosztás a következőn keresztül:

Databricks Runtime 8.3 (EoS)

  • Cikk

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. Az összes támogatott Databricks Runtime-verziót lásd : Databricks Runtime release notes versions and compatibility.

A következő kibocsátási megjegyzések az Apache Spark 3.1.1 által működtetett Databricks Runtime 8.3-ról és a Databricks Runtime 8.3 Photon-ről nyújtanak információkat. A Databricks 2021 júniusában adta ki ezt a verziót. A Photon nyilvános előzetes verzióban érhető el.

Új funkciók és fejlesztések

Létrehozott columns a Delta tables (nyilvános előzetes verzió)

A Delta Lake mostantól támogatja a létrehozott columns, amely egy speciális column, amelynek values automatikusan létrejön egy felhasználó által megadott függvény alapján a Delta tablemás columns. A legtöbb beépített SQL-függvényt használhatod a létrehozott columnsvalues-jának generate-jára. Például automatikusan generate egy dátum column (a table dátum szerinti particionálásához) az időbélyeg column-ból származik; az table-hez szükséges írásokhoz csak meg kell adni az időbélyeg columnadatait. A Delta tables létrehozásához generált columns-et az SQL, Scala, Java vagy Python API-k használatával hozhatja létre.

További információ: Delta Lake által létrehozott columns.

Az Automatikus betöltő funkciói és fejlesztései

Schema CSV-fájlok következtetése az Automatikus betöltőben

Az Automatikus betöltő mostantól támogatja a CSV-fájlok schema következtetését és fejlődését. Az Automatikus betöltő a következő képességeket biztosítja az Apache Spark meglévő CSV-elemzőjén felül:

  • Schema összevonás: Az Automatikus Betöltő képes az olyan CSV-fájlok betöltésére, amelyek az egyes fájlok között különböző schema-t tartalmaznak (eltérő számú columns, eltérő sorrendű columns).
  • Mentett adatok column: A mentett adatok column segítségével mentheti a CSV-fájlokban esetleg megjelenő váratlan adatokat. Ide tartoznak azok az adatok, amelyek nem elemezhetők a várt adattípusban, columns, amelyek a fejlécben eltérő burkolattal vagy null values rendelkeznek, vagy olyan további columns, amelyek nem részei a várt schema.

További részletekért lásd: schema következtetésének és fejlődésének konfigurálása az Automatikus betöltő.

Továbbfejlesztett indítási idő az automatikus betöltő streamekhez

Az automatikus betöltő streamek az első indításkor aszinkron módon végzik el a stream kezdeti visszatöltését, ami sokkal gyorsabb indítási időt eredményez a streamhez. Ez lehetővé teszi a kód gyors iterálását éles adatokkal, különösen akkor, ha több millió vagy milliárd fájlt tartalmazó könyvtárakból kell adatokat betöltődnie.

Emellett az újrainduló streamek rendszerindítási ideje is javul, mivel párhuzamosítottuk a RocksDB-fájlok letöltését és feltöltését, amelyeket az Auto Loader a pontos egyszeri szemantikák biztosításához használ.

Gyorsabb címtárlista az Automatikus betöltőben

Jelentősen javítottuk a címtárak automatikus betöltőben való listázásának hatékonyságát. Ennek a teljesítménybeli javulásnak az a mellékhatása, hogy a stream több list kérést bocsáthat ki a tárolórendszernek, ha nincs feldolgozandó új adat, ami a list díjak megugrásához vezethet. Általános ajánlott eljárásként a Databricks azt javasolja, hogy set ésszerű triggerintervallumot az éles streamelési folyamatokhoz. Lásd a strukturált streamelés éles szempontjait.

Csökkentett tárterület-terhelés az automatikus betöltő ellenőrzőpontok esetében

Az automatikus betöltő streamek mostantól automatikusan törlik az elavult fájlokat az ellenőrzőpont-címtárban aszinkron módon, hogy az ellenőrzőpont-címtár mérete ne nőjön határozatlan ideig, és csökkentse a tárolási költségeket.

Az Automatikus betöltő tartalmazza a mentett adatok elérési útját, column, ha elérhető

A mentett adatok column automatikusan megadják a fájl elérési útját, amikor alkalmazható a _file_ pathnevű column-ben. Ez segíthet az adatminőségi problémák kiváltó okának nyomon követésében. A column nem szerepel, ha az schema adat tartalmaz egy _file_pathnevű column-t. Szükség esetén az SQL-konfigurációs spark.databricks.sql.rescuedDataColumn.filePath.name használatával átnevezheti a column.

Az Automatikus betöltő támogatja a fájl átnevezését az Azure Data Lake Storage Gen2-ben fájlértesítési módban

Az Automatikus betöltő mostantól támogatja az Azure Data Lake Storage Gen2 BlobRenamed eseményeit, ha fájlértesítési módban fut. Az Azure Data Lake Storage Gen2-tárolóba fájlértesítéseket tartalmazó átnevezési művelettel feltöltött fájlok feldolgozásához a Databricks Runtime 8.3 használatával indítsa el az új streamet az Automatikus betöltővel. Annak érdekében, hogy egy fájl pontosan egyszer legyen feldolgozva, győződjön meg arról, hogy az automatikus betöltő nem figyeli azt a forráskönyvtárat, amelyről a fájlt átnevezik.

Delta tables létrehozása új programozott API-kkal (nyilvános előzetes verzió)

Mostantól a DataFrame API-k használata nélkül is létrehozhat új Delta tables programozott módon (a Scala, a Java és a Python használatával). Az új DeltaTableBuilder és DeltaColumnBuilder API-k lehetővé teszik az SQL CREATE TABLEhasználatával megadható összes table adat megadását.

További információkért lásd: tablelétrehozása.

A Delta table méreteinek helyes kiszámítása az SQL ANALYZE-ben

A meglévő elemzési logika helytelenül számítja ki a Delta tablestable méretét, és helytelen mérettel frissíti a catalog. A javítás az, hogy a Delta naplóból kinyerjük a Delta-table méretét get.

A RocksDB teljesítményének részletes metrikái a RocksDBStateStore használatakor

Ha úgy konfigurálta a strukturált streamelési lekérdezést, hogy a RocksDB-t használja állapottárolóként, akkor most már jobban get a RocksDB teljesítményének jobb láthatóságát, részletes metrikákkal a get/put latencies, a tömörítési késések, a gyorsítótár-találatok stb. Ezek a metrikák a StreamingQueryProgress streamelési lekérdezésekStreamingQueryListenerAPI-kon keresztül érhetők el.

További információ: A RocksDB állapottároló konfigurálása az Azure Databricksben.

Automatikusan optimalizált írások

A update-es és az al-lekérdezéseket tartalmazó törlési lekérdezésekhez tartozó írások optimalizálása mostantól automatikusan engedélyezett a particionált Delta tables-n.

Gyűjtőbe ágyazott illesztések engedélyezése, ha csak egy join oldal van gyűjtőben

Az új spark.databricks.sql.minBucketsForBucketedJoin konfiguráció engedélyez egy vödrös join-et, ha csak egy join oldal van vödrösítve, és a vödrök száma nem kisebb, mint ez a konfigurációs érték. Alapértelmezés szerint ez a konfigurációs érték megegyezik az alapértelmezett shuffle partíciószámmal (200).

Nagyobb biztonság a Spark UDF-ek definiálásakor (nyilvános előzetes verzió)

A felhasználói információs függvények current_useris_member már nem bírálhatók felül ideiglenes függvényekkel, beleértve a Pythont spark.udf.register vagy az SQL-t create or replace temp functionis.

Az schema bejegyzési rendszer kéréseinek száma csökkent az from_avro lekérdezések esetében.

A schema beállításjegyzék-támogatással rendelkező from_avro lekérdezések már nem generate annyi kérést a schema beállításjegyzék-szolgáltatáshoz, ami működési költséget takarít meg.

Több találat az R-ben ListResults (nyilvános előzetes verzió) használatával

A Databricks R-jegyzetfüzetek mostantól több eredményt is támogatnak minden cellában. Korábban csak egyetlen eredmény lett renderelve az egyes jegyzetfüzetcellákhoz. Az R-jegyzetfüzetekben lévő egyetlen cella eredményei jelenleg az alábbi sorrendben jelennek meg:

  1. RShiny URL-címe
  2. Rajzolás
  3. displayHTML-kimenetek
  4. Tables
  5. stdout

Könyvtárfrissítések

  • Frissített Python-kódtár:
    • koalák frissítve 1.7.0-ról 1.8.0-ra.
    • a pandas 1.1.3-ról 1.1.5-re frissült.
    • Az s3transfer 0.3.4-ről 0.3.6-ra frissült.
  • Frissített R-kódtár:
    • A SparkR 3.1.1-ről 3.1.2-re frissült.
  • Frissített Java-kódtár:
    • mariadb-java-client 2.1.2 és 2.2.5 között.
    • parquet-column 1.10.1-databricks6-tól 1.10.1-databricks9-hez
    • parquet-common from 1.10.1-databricks6 to 1.10.1-databricks9
    • parquet-encoding from 1.10.1-databricks6 to 1.10.1-databricks9
    • parquet-hadoop 1.10.1-databricks6-tól 1.10.1-databricks9-hez
    • parquet-jackson 1.10.1-databricks6-1.10.1-databricks9

Apache Spark

A Databricks Runtime 8.3 tartalmazza az Apache Spark 3.1.1-et. Ez a kiadás tartalmazza a Databricks Runtime 8.2 -ben (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-34614] [SQL] ANSI mód: A sztring logikai értékre történő kiírása kivételt eredményez az elemzési hiba esetén
  • [SPARK-34246] [FOLYTATÁS] Módosítsa a "findTightestCommonT...
  • [SPARK-35213] [SQL] A beágyazott szerkezetek helyes sorrendjének megtartása aField-műveletekkel összekapcsolva
  • [SPARK-35096] [SQL] A SchemaPruningnak meg kell felelnie a spark.sql.caseSensitive konfigurációnak
  • [SPARK-35227] [BUILD] Update a Spark-csomagok értelmezőjét a SparkSubmitben
  • [SPARK-35224] [SQL] Puffer túlcsordulásának javítása MutableProjectionSuite
  • [SPARK-34245] [CORE] Győződjön meg arról, hogy a főkiszolgáló eltávolítja azokat a végrehajtókat, amelyek nem küldték el a kész állapotot
  • [SPARK-34856] [SQL] ANSI mód: Összetett típusok sztringtípusként való leadása engedélyezése
  • [SPARK-34946] [SQL] Nem támogatott korrelált skaláris részlekérdezés letiltása összesítésben
  • [SPARK-35014] Javítsa ki a PhysicalAggregation mintát, hogy ne írja újra az összehajtható kifejezéseket
  • [SPARK-34769] [SQL] AnsiTypeCoercion: a legközelebbi...

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (1.8.0_282-b08-es build)
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: R 4.0.4-es verzió (2021-02-15)
  • Delta Lake 1.0.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
minősítés 2020.12.5 cffi 1.14.3 karakterkészlet 3.0.4
kriptográfia 3.1.1 biciklista 0.10.0 Cython 0.29.21
lakberendező 4.4.2 distlib 0.3.1 docutils 0.15.2
belépési pontok 0.3 aspektusok áttekintése 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koalák 1.8.0 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
mag 20.2.4 ábrázolás 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
kérelmek 2.24.0 Újrapróbálkozás… 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 tengeri 0.10.0
setuptools 50.3.1 Hat 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornádó 6.0.4 árulók 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
kerék 0.35.1

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2020.11.02-én.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 backports 1.2.1
alap 4.0.4 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
indítás 1.3-27 főz 1.0-6 Brio 1.1.0
seprű 0.7.2 hívó 3.5.1 kalap 6.0-86
cellranger 1.1.0 chron 2.3-56 osztály 7.3-18
Cli 2.2.0 clipr 0.7.1 fürt 2.1.1
kódtoolok 0.2-18 színtér 2.0-0 commonmark 1,7
fordítóprogram 4.0.4 config 0.3 covr 3.5.1
cpp11 0.2.4 zsírkréta 1.3.4 credentials 1.3.0
Ellenvélemények 1.1.0.1 csavarodik 4.3 adat.table 1.13.4
adatkészletek 4.0.4 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
emészt 0.6.27 dplyr 1.0.2 DT 0,16
három pont 0.3.1 evaluate 0,14 fani 0.4.1
farver 2.0.3 gyorstérkép 1.0.1 forcats 0.5.0
foreach 1.5.1 külföldi 0.8-81 kovácsol 0.2.0
Fs 1.5.0 jövő 1.21.0 Generikus 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globális 0.14.0
ragasztó 1.4.2 Gower 0.2.2 grafika 4.0.4
grDevices 4.0.4 rács 4.0.4 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 kikötő 2.3.1
highr 0,8 Hms 0.5.3 htmltoolok 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 izoband 0.2.3 iterátorok 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1,30
címkézés 0.4.2 később 1.1.0.1 rács 0.20-41
láva 1.6.8.1 lazyeval 0.2.2 életciklus 0.2.0
figyelő 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1,1 TÖMEG 7.3-53.1 Mátrix 1.3-2
memoise 1.1.0 metódusok 4.0.4 mgcv 1.8-33
MIME 0,9 ModelMetrics 1.2.2.2 modellező 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.4
párhuzamosan 1.22.0 pillér 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
rétegelt 1.8.6 dicséret 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
haladás 1.2.2 Ígér 1.1.1 Proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
olvasó 1.4.0 readxl 1.3.1 receptek 0.1.15
Visszavágót 1.0.1 visszavágó2 2.1.2 Távirányító 2.2.0
reprex 0.3.0 újraformázás2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 mérleg 1.1.1
választó 0.4-2 sessioninfo 1.1.1 alak 1.4.5
Fényes 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 térbeli 7.3-11 splines 4.0.4
sqldf 0.4-11 NÉGYZET 2020.5 statisztika 4.0.4
statisztikák4 4.0.4 stringi 1.5.3 sztring 1.4.0
túlélés 3.2-7 sys 3.4 tcltk 4.0.4
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 eszközök 4.0.4
usethis 2.0.0 utf8 1.1.4 eszközök 4.0.4
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 bajusz 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 fütyülés 2.1.1

Telepített Java- és Scala-kódtárak (Scala 2.12-fürtverzió)

Csoportazonosító Összetevő azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natívok 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava gujávafa 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrikamag 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-fák hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow nyíl-memóriamag 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyíl-vektor 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.7.1
org.apache.curator kurátor-keretrendszer 2.7.1
org.apache.curator kurátor-receptek 2.7.1
org.apache.derby keménykalap 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy borostyán 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-kódolás 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity sebesség 1,5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus célközönség-széljegyzetek 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty móló-folytatás 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty móló plusz 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Végleges
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Alátéteket 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework rugós teszt 4.1.4.RELEASE
org.threeten három-extra 1.5.0
org.tukaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52