Megosztás a következőn keresztül:

Databricks Runtime 8.4 (EoS)

  • Cikk

Feljegyzés

A Databricks Runtime-verzió támogatása véget ért. A támogatás megszűnésének dátumáról lásd a támogatási előzményeket. A támogatott összes Databricks Runtime-verzió megtekintéséhez lásd: Databricks Runtime release notes versions and compatibility.

Az alábbi kibocsátási megjegyzések az Apache Spark 3.1.2 által működtetett Databricks Runtime 8.4-ről és a Databricks Runtime 8.4 Photon-ről nyújtanak információkat. A Databricks 2021 júliusában adta ki ezt a verziót. A Photon nyilvános előzetes verzióban érhető el.

Új funkciók és fejlesztések

A Delta Lake funkciói és fejlesztései

Delta tábla változásadat-áramlás (GA)

A Delta-tábla változási adatcsatornája már általánosan elérhető. Ez a táblázat különböző verziói közötti sorszintű változásokat jelöli. Ha engedélyezve van, a rendszer további információkat rögzít a tábla minden írási műveletének sorszintű változásairól. Lásd: Delta Lake változási adatfolyam használata az Azure Databricks platformon.

Megosztott Delta-táblák betöltése egyszerűen a Databricks Runtime használatával

Az Apache Spark Connector for Delta Sharing 0.1.0 már a Databricks Runtime-ban található. Egy megosztott táblát spark.read.format("deltaSharing").load(uri) közvetlenül betölthet anélkül, hogy a Delta Sharing Spark-összekötőt a fürthöz csatolná.

Több tábla is kihasználhatja a dinamikus fájllemetszést

A dinamikus fájlmetsző funkció úgy lett hangolva, hogy kevesebb fájllal rendelkező táblákon aktiválja azokat. Lásd Dinamikus fájlvágás.

Jobb teljesítmény automatikus célfájlméret finomhangolásával

A Delta-táblák célfájlmérete mostantól automatikusan be van hangolva a táblázat mérete alapján. Korábban a célfájl mérete OPTIMIZEOPTIMIZE ZORDER BY 1 GB volt. A táblázatméreten alapuló automatikustuning esetén a legfeljebb 2,56 TB-os Delta-táblák célméretként 256 MB-ot fognak használni. A 10 TB-nál nagyobb táblák a korábbiakhoz hasonlóan 1 GB-ot fognak használni. Az ilyen méretek közötti táblák a táblázat méretével arányosan növekvő célméreteket használnak. Lásd: A Delta Lake konfigurálása az adatfájlok méretének szabályozásához.

Táblák megadásának további módjai a következőben: DeltaTable.forName

DeltaTable.forName Mostantól támogatja delta.`<path>` a táblák azonosítását.

Robusztus streamelési többtáblás írások használata foreachBatch

Az idempotens Delta-streamelési írásokat a foreachBatch() parancson belül mostantól támogatjuk. További részletekért lásd: Idempotens többtáblás írások.

Javított olvasási lekérdezési teljesítmény bizonyos munkaterhelésekben az optimalizált ellenőrzőpontok miatt

A Delta Lake mostantól hangolja, hogy milyen gyakran végez továbbfejlesztett ellenőrzőpontokat. Az ellenőrzőpont-ellenőrzés helyett a Delta mostantól dinamikusan módosítja az ellenőrzőpont gyakoriságát bizonyos eseményindítók alapján. Ez javítja az olvasási lekérdezés teljesítményét olyan számítási feladatokban, ahol bizonyos adatkihagyási optimalizálást korábban nem lehetett alkalmazni. Az optimalizálások használatához frissítse a Delta Lake-be írt feladatokat a Databricks Runtime 8.4-re. Lásd: Továbbfejlesztett ellenőrzőpontok engedélyezése strukturált streamelési lekérdezésekhez.

Hozzon létre GroupState a felhasználó által definiált strukturált adatfolyam-függvények teszteléséhez

Eddig csak a strukturált streamelési motor tudott GroupState példányokat létrehozni. Ezért a felhasználó által definiált függvény egységtesztjeihez streamlekérdezést kellett futtatni az Apache Sparkban.

Most már létrehozhat példányokat a GroupState a TestGroupState.create(…) segítségével. Ez lehetővé teszi egy felhasználó által definiált függvény tesztelését olyan egyszerű egységteszteken, amelyekhez nem szükséges a Spark futtatása. Lásd: A mapGroupsWithState frissítési függvény tesztelése. Pontosabban olyan típusú TestGroupState példányokat hoz létre, amelyek a felhasználói függvény alkalmazása után további metódusokkal bővítik a felületet GroupState a belső állapot introspektálására.

Az Automatikus betöltő funkciói és fejlesztései

A kihagyott fájlok rögzítéséhez konfigurálja a visszatöltést

Az automatikus betöltő mostantól támogatja a háttérbetöltések aszinkron végrehajtását a fájlértesítésekkel kihagyott fájlok rögzítéséhez. A fájlrendszerek és az értesítési rendszerek nem garantálják az összes fájlesemény 100%-os kézbesítését. Ezért a Databricks azt javasolja, hogy engedélyezze a rendszeres visszatöltéseket az összes adat automatikus betöltővel való rögzítéséhez. Ezzel a cloudFiles.backfillInterval beállítással rendszeres visszatöltéseket ütemezhet adataira. Lásd: Gyakori automatikus betöltőbeállítások.

Korlátozott tárterület-méret nagy mennyiségű adatfolyamokhoz

Most már lehetősége van az Auto Loader konfigurálására, hogy a RocksDB-ben lévő bejegyzések lejárjanak és eltávolításra kerüljenek, így kötött tárterületet biztosítson az ellenőrzőpont helyén. A Databricks nem javasolja a használatát, hacsak nem óránként több millió fájl adatainak betöltésére van szükség. Ha helytelenül állítja be ezt a beállítást, vagy megpróbálja finomhangolni, számos adatminőségi problémát okozhat, például a feldolgozatlan fájlokat figyelmen kívül hagyhatja, vagy egyes fájlok duplikálhatók ahelyett, hogy pontosan egyszer dolgozzák fel őket. További részletekért lásd az eseménymegőrzést.

Egyszerűsített konfiguráció út nélküli támogatással

S3 tárolók

Most már megadhatja azt az SQS-üzenetsort, amely több útvonalról vagy S3-gyűjtőhelyről fogad eseményeket. Ha megadja az SQS-üzenetsor URL-címét, a path beállítás nem szükséges ehhez a használati esethez. Az Auto Loader az S3-eseményekből származó tároló és kulcs felhasználásával hoz létre S3 útvonalakat. Ha a fájlokat a DBFS csatlakoztatási pontjain keresztül szeretné olvasni, az cloudFiles.pathRewrites elérési út előtagjait a DBFS-re módosíthatja. Ez csak akkor szükséges, ha különböző fiókokban AssumeRolelévő adatokat ér el.

Lásd: Fájlértesítési beállítások.

Azure Data Lake Storage-tárolók

Most már megadhatja azt az Azure-üzenetsort, amely több tárolóból fogad eseményeket. Ha megadja az Azure-üzenetsor nevét, a path beállítás nem szükséges. Az Automatikus betöltő alapértelmezés szerint az Azure Data Lake Storage-útvonalakat a tároló és a kulcs használatával hozza létre a fájleseményekben. Ha WASB-elérési utakat vagy DBFS-csatlakoztatási pontokat szeretne használni, módosíthatja cloudFiles.pathRewrites az elérési út előtagjait.

Lásd: Fájlértesítési beállítások.

Csatlakozók fejlesztései

  • A Snowflake Spark-összekötő a 2.9.0-s verzióra lett frissítve.
  • A KMS-titkosítás mostantól támogatott a UNLOAD Redshift-összekötő utasításában.

Hibajavítások

  • A táblahozzáférés-vezérléssel rendelkező fürtök esetében kijavítottunk egy hibát, amely miatt select * from folder akkor is megjeleníthette a mappa tartalmát, ha a felhasználó nem rendelkezett fájlhozzáférési engedéllyel.
  • A nem rendszergazdai adatbázis-tulajdonosok mostantól képesek a nem saját tulajdonú táblákat az adatbázisokba dobni. Ez kijavítja azt a hibát, amely miatt az adatbázistulajdonosok nem tudtak elvetni egy adatbázist, ha nem saját táblák voltak az adatbázisban.

Könyvtárfrissítések

  • Frissített Python-kódtárak:
    • 2020.12.5-ről 2021.5.30-ra frissített tanúsítvány
    • A distill frissítve lett 0.3.1-ről 0.3.2-re
    • A koalák 1.8.0-ról 1.8.1-re lettek frissítve.
    • a protobuf 3.17.0-ról 3.17.3-ra frissült
  • Frissített R-kódtárak:
    • bázis: 4.0.4-ről 4.1.0-ra
    • verziófrissítés 1.3-27-ről 1.3-28-ra
    • osztály 7.3-18-tól -19-ig
    • fürt 2.1.1-ről 2.1.2-re
    • fordító a 4.0.4-től a 4.1.0-sig
    • 4.0.4 és 4.1.0 közötti adatkészletek
    • 4.0.4 és 4.1.0 közötti grafikus elemek
    • grDevices 4.0.4-től 4.1.0-ra
    • grid 4.0.4-ről 4.1.0-ra
    • KernSmooth 2.23-18-tól 2.23-20-ra
    • Rács 0,20-41-ről 0,20-44-re
    • TÖMEG 7,3-53,1-7,3-54 között
    • Mátrix 1,3-2 és 1,3-3 között
    • metódusok a 4.0.4-től a 4.1.0-sig
    • mgcv 1,8-33 és 1,8-35 között
    • nnet 7.3-15-től 7.3-16-ig
    • verziófrissítés 4.0.4-ről 4.1.0-ra
    • Rserve 1,8-7-től 1,8-8-ig
    • SparkR 3.1.1 és 3.1.2 között
    • spline-ok 4.0.4-ról 4.1.0-ra
    • 4.0.4 és 4.1.0 közötti statisztikák
    • stats4 4.0.4-ról 4.1.0-ra
    • túlélés 3,2-7-ről 3,2-11-re
    • tcltk 4.0.4 és 4.1.0 között
    • 4.0.4 és 4.1.0 közötti eszközök
    • eszközök 4.0.4-ről 4.1.0-ra
  • Frissített Java-kódtárak:
    • snowflake-jdbc 3.12.8-tól 3.13.3-ig
    • spark-snowflake_2.12 2.8.1-spark_3.0-tól 2.9.0-spark_3.1-ig
    • RoaringBitmap 0.9.0 és 0.9.14 között
    • 0.9.0 és 0.9.14 közötti alátétek
    • rocksdbjni a 6.2.2-től a 6.20.3-hoz

Apache Spark

A Databricks Runtime 8.4 tartalmazza az Apache Spark 3.1.2-t. Ez a kiadás tartalmazza a Databricks Runtime 8.3 -ban (EoS) található összes Spark-javítást és -fejlesztést, valamint a Spark következő további hibajavításait és fejlesztéseit:

  • [SPARK-35792] [SQL] A nézet nem rögzítheti a következőben használt konfigurációkat: RelationConversions
  • [SPARK-35700] [SQL] Char/varchar orc tábla olvasása külső rendszerek által létrehozott és írt szöveggel
  • [SPARK-35636] [SQL] A Lambda-kulcsok nem hivatkozhatók a lambda függvényen kívül
  • [SPARK-35800] [Cseresznye pick] A GroupState tesztelhetőségének javítása a TestGroupState bevezetésével
  • [SPARK-35391] Memóriaszivárgás javítása a ExecutorAllocationListenerben
  • [SPARK-35799] [CherryPick] Az allUpdatesTimeMs metrika javítása a FlatMapGroupsWithStateExecben
  • [SPARK-35763] [SS] A StateStoreCustomMetric alosztály enumerálási függőségének eltávolítása
  • [c0]SPARK-35791[/c0] [SQL] NULL-érzékeny ANTI illesztés megfelelő folyamatábrájának kezelése
  • [SPARK-35695] [SQL] Megfigyelt metrikák gyűjtése gyorsítótárazott és adaptív végrehajtási al-fastruktúrákból
  • [SPARK-35767] [SQL] Kerülje a gyermekterv kétszeri végrehajtását a CoalesceExecben
  • [SPARK-35746] [Felhasználói felület] Feladatazonosító javítása a szakaszlap tevékenységesemény-ütemtervében
  • [SPARK-35673] [SQL] Javítsa ki a felhasználó által definiált tippet és a nem felismert emlékeztetőt az albekérdezésben.
  • [SPARK-35714] [CORE] A végrehajtó leállítása során a holtpont hibajavítása
  • [SPARK-35689] [SS] Napló figyelmeztetés hozzáadása, ha a keyWithIndexToValue null értéket ad vissza
  • [SPARK-35589] [CORE][3.1] A BlockManagerMasterEndpoint nem hagyhatja figyelmen kívül az index-only shuffle fájlt a frissítés során
  • [SPARK-35643] [PYTHON] Az functions.py oszlop() nem egyértelmű hivatkozásának javítása
  • [SPARK-35652] [SQL] két táblára vonatkozó joinWith, amelyek ugyanabból a táblából generálódtak
  • [SPARK-35679] [SQL] instantToMicros túlcsordulás
  • [SPARK-35602] [SS] Az állapotséma frissítése a hosszú JSON elfogadásához
  • [SPARK-35653] [SQL] A CatalystToExternalMap értelmezett útvonalának javítása meghiúsul, ha térképen esetosztályok vannak kulcsként vagy értékként használva.
  • [SPARK-35296] [SQL] Az Dataset.observe használatának engedélyezése akkor is, ha a CollectMetricsExec egy feladatban több partíciót kezel.
  • [SPARK-35659] [SS] Ne írjon null értéket a StateStore-ba
  • [SPARK-35665] [SQL] Feloldatlan Alias feloldása a CollectMetrics funkcióban
  • [SPARK-35558] Többkvantilis lekérésre optimalizált
  • [SPARK-35621] [SQL] Szabályazonosító-metszés hozzáadása a TypeCoercion szabályhoz
  • [SPARK-35077] [SQL] Migrálás a transformWithPruning szolgáltatásba a maradék optimalizálási szabályokhoz
  • [SPARK-35610] [CORE] Javítsa ki a végrehajtó leállási horogja által bevezetett memóriaszivárgást
  • [SPARK-35544] [SQL] Fa mintázati metszés hozzáadása az Analyzer szabályaihoz
  • [SPARK-35566] [SS] StateStoreRestoreExec kimeneti sorok javítása
  • [SPARK-35454] [SQL][3.1] Egy Logikai terv több adathalmaz-azonosítóval is megfeleltethető
  • [SPARK-35538] [SQL] TransformAllExpressions hívási webhelyek migrálása a transformAllExpressionsWithPruning használatához
  • [SPARK-35106] [Core][sql] Kerülje el a sikertelen átnevezést, amelyet a célkönyvtár hiánya okoz
  • [SPARK-35287] [SQL] Engedje meg a RemoveRedundantProjects számára, hogy megőrizze a ProjectExec-et, amely UnsafeRow-t generál a DataSourceV2ScanRelation-hoz.
  • [SPARK-35495] [R] SparkR-karbantartó cseréje a CRAN számára
  • [SPARK-27991] [CORE] A lekérési kérelem elhalasztása a Netty OOM-on
  • [SPARK-35171] [R] Deklarálja a Markdown-csomagot a SparkR-csomag függőségeként
  • [SPARK-35454] [SQL] Egy Logikai terv több adathalmaz-azonosítóval is megfeleltethető
  • [SPARK-35298] [SQL] Áttérés a transformWithPruning módszerre az Optimizer.scala szabályaihoz
  • [SPARK-35480] [SQL] Tegye a percentile_approx-t működőképessé a kimutatással együtt
  • [SPARK-35093] [SQL] Az AQE mostantól a newQueryStage tervet használja kulcsként a gyorsítótárazott adatcserék újrahasználatához
  • [SPARK-35146] [SQL] A finishAnalysis.scala-ban található szabályok transformWithPruning vagy resolveWithPruning módszerrel történő migrálása.
  • [SPARK-35411] [SQL] Alapvető információk hozzáadása a TreeNode json-ra való szerializálása során
  • [SPARK-35294] [SQL] Fa bejárási metszés hozzáadása szabályokhoz dedikált fájlokkal az optimalizáló alatt
  • [SPARK-34897] [SQL][3.1] A sémák összehangolásának támogatása index alapján az összetett beágyazott oszlopkivágás után
  • [SPARK-35144] [SQL] Migrálás a transformWithPruning objektumszabályokhoz
  • [SPARK-35155] [SQL] Szabályazonosító-metszés hozzáadása az Analyzer-szabályokhoz
  • [SPARK-35382] [PYTHON] Kijavíthatja a lambda változónévvel kapcsolatos problémákat a beágyazott DataFrame-függvényekben a Python API-kban.
  • [SPARK-35359] [SQL] A karakter/varchar adattípusú adatok beszúrása sikertelen lesz, ha az adathossz túllépi a hosszkorlátozást
  • [SPARK-35381] [R] Lambda változónévvel kapcsolatos problémák megoldása beágyazott magasabbrendű függvényekben az R API-kban

Rendszerkörnyezet

  • Operációs rendszer: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Telepített Python-kódtárak

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
appdirs 1.4.4 asn1crypto 1.4.0 visszahívás 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
tanúsítvány 2021.5.30 cffi 1.14.3 chardet 3.0.4
kriptográfia 3.1.1 biciklista 0.10.0 Cython 0.29.21
lakberendező 4.4.2 distlib 0.3.2 docutils 0.15.2
belépési pontok 0.3 aspektusok áttekintése 1.0.0 fájlzár 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koalák 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pont 20.2.4 ábrázolás 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
kérelmek 2.24.0 Újrapróbálkozás… 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 tengeri 0.10.0
setuptools 50.3.1 hat 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornádó 6.0.4 árulók 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
kerék 0.35.1

Telepített R-kódtárak

Az R-kódtárak a Microsoft CRAN-pillanatképből vannak telepítve 2020.11.02-én.

Könyvtár Verzió Könyvtár Verzió Könyvtár Verzió
askpass 1,1 assertthat 0.2.1 visszaportolások 1.2.1
alap 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit 64 4.0.5 blob 1.2.1
indítás 1.3-28 sörfőzés 1.0-6 Brio 1.1.0
seprű 0.7.2 hívó 3.5.1 karet 6.0-86
cellranger 1.1.0 chron 2.3-56 osztály 7.3-19
Cli 2.2.0 clipr 0.7.1 klaszter 2.1.2
kódeszközök 0.2-18 színtér 2.0-0 commonmark 1,7
fordítóprogram 4.1.0 konfiguráció 0.3 covr 3.5.1
cpp11 0.2.4 zsírkréta 1.3.4 hitelesítő adatok 1.3.0
Ellenvélemények 1.1.0.1 csavarodik 4.3 adat.táblázat 1.13.4
adatkészletek 4.1.0 DBI 1.1.0 dbplyr 2.0.0
leírás 1.2.0 devtools 2.3.2 diffobj 0.3.2
összefoglaló 0.6.27 dplyr 1.0.2 DT 0,16
három pont 0.3.1 értékel 0,14 rajongók 0.4.1
színek 2.0.3 gyorstérkép 1.0.1 macskák 0.5.0
foreach 1.5.1 külföldi 0.8-81 kovácsol 0.2.0
fs 1.5.0 jövő 1.21.0 Generikus 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globális 0.14.0
ragasztó 1.4.2 Gower 0.2.2 grafika 4.1.0
grDevices 4.1.0 rács 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 kikötő 2.3.1
magasabb 0,8 Hms 0.5.3 html eszközök 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 izoband 0.2.3 iterátorok 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 knitr 1,30
címkézés 0.4.2 később 1.1.0.1 rács 0.20-44
láva 1.6.8.1 lazyeval 0.2.2 életciklus 0.2.0
figyelő 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
markdown 1,1 TÖMEG 7.3-54 Mátrix 1.3-3
memoise 1.1.0 módszerek 4.1.0 mgcv 1.8-35
pantomim 0,9 ModelMetrics 1.2.2.2 modellező 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
párhuzamosan 1.22.0 pillér 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
lejátszó 1.8.6 dicséret 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
haladás 1.2.2 ígéretek 1.1.1 Proto 1.0.0
Ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest (véletlen erdő) 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
olvasó 1.4.0 readxl 1.3.1 receptek 0.1.15
Visszavágó 1.0.1 visszavágó2 2.1.2 Távirányítók 2.2.0
reprex ( újrafuttatható példa) 0.3.0 újraformázás2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 mérleg 1.1.1
választó 0.4-2 munkamenet adatok 1.1.1 forma 1.4.5
Fényes 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 térbeli 7.3-11 splines 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 statisztika 4.1.0
statisztikák4 4.1.0 stringi 1.5.3 stringr 1.4.0
túlélés 3.2-11 sys 3.4 tcltk 4.1.0
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
időDátum 3043.102 tinytex 0,28 eszközök 4.1.0
használd ezt 2.0.0 utf8 1.1.4 segédprogramok 4.1.0
Univerzálisan Egyedi Azonosító (UUID) 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 bajusz 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip fájl 2.1.1

Telepített Java- és Scala-könyvtárak (Scala 2.12-es fürtverzió)

Csoportazonosító Artefaktum azonosítója Verzió
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-támogatás 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics patak 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kriogén árnyékolás 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml osztálytárs 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib natív rendszer-java 1.1
com.github.fommil.netlib native_rendszer-java-natívok 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives (natív rendszer Linux x86_64) 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guáva 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profilozó 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfiguráció 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1,2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fájlfeltöltés commons-fájl feltöltés 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-naplózás commons-naplózás 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift légkompresszor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrikai magrész 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrikák és állapotellenőrzések 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrikák-szervletek 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx gyűjtő 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktiválás 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
Maven-fastruktúrák hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-szoftverfejlesztőkészlet (SDK) 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow nyílformátum 2.0.0
org.apache.arrow nyíl-memóriamag 2.0.0
org.apache.arrow nyíl-memória-netty 2.0.0
org.apache.arrow nyíl-vektor 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurátor-ügyfél 2.7.1
org.apache.curator kurátor-keretrendszer 2.7.1
org.apache.curator összeválogatott receptek 2.7.1
org.apache.derby derbi 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-jegyzékek 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop Hadoop MapReduce kliensalkalmazás 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-tároló-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubálás
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy borostyánkúszó 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc távtartók 1.5.12
org.apache.parquet parquet-oszlop 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-kódolás 1.10.1-databricks9
org.apache.parquet parquet formátum 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus közönség-megjegyzések 0.5.0
org.apache.zookeeper állatkerti gondozó 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-kiegészítés 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webalkalmazás 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-lokátor 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator Hibernate validátor 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Hézagoló lemezek 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt teszt-interfész 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark Használatlan 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework rugós teszt 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1,5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel gépműszerész_2.12 0.6.8
org.typelevel makró-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52