Dela via

Databricks Runtime 8.0 (EoS)

  • Artikel

Kommentar

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i Historik över supportens slut. Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Databricks släppte den här versionen i mars 2021.

Följande viktig information innehåller information om Databricks Runtime 8.0, som drivs av Apache Spark 3.1.1.

Nya funktioner

Databricks Runtime 8.0 innehåller Apache Spark 3.1.1. Mer information finns i Apache Spark.

Förbättringar

Delta är nu standardformatet när inget format har angetts

Databricks Runtime 8.0 ändrar standardformatet så att delta det blir enklare att skapa en Delta-tabell. När du skapar en tabell med SQL-kommandon eller {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} API:er och du inte anger något format är deltastandardformatet .

Med Delta Lake får du bättre prestanda jämfört med Parquet, bättre datatillförlitlighet med omfattande schemavalidering, kvalitetsbegränsningar och transaktionsgarantier. Med Delta Lake kan du förenkla dina datapipelines med enhetlig strukturerad strömning och batchbearbetning på en enda datakälla.

Databricks rekommenderar att du använder Delta Lake för att lagra dina data, men du kan ha äldre arbetsflöden som kräver migrering till Delta Lake. Information om hur du migrerar befintliga arbetsflöden finns i Vad är Delta Lake?.

Nytt standardutlösarintervall för strukturerad direktuppspelning minskar kostnaderna

Om du inte anger ett utlösarintervall som använder Trigger.ProcessingTime i strömningsfrågan är intervallet inställt på 500 ms. Tidigare var standardintervallet 0 ms. Den här ändringen bör minska antalet tomma utlösare och minska kostnaderna för molnlagring, till exempel lista.

Använda LDA-transformeringsfunktionen med genomströmning av autentiseringsuppgifter (offentlig förhandsversion)

Nu kan du använda funktionen för LDA-transformering i ett kluster som konfigurerats för att använda genomströmning av autentiseringsuppgifter för autentisering.

Kluster med en användare som konfigurerats med genomströmning av autentiseringsuppgifter kräver inte längre betrodda filsystem (offentlig förhandsversion)

Du behöver inte längre konfigurera lokala filsystem som betrodda filsystem när du använder ett standard- eller jobbkluster som konfigurerats för genomströmning av autentiseringsuppgifter med en enda användare. Den här ändringen tar bort onödiga filsystembegränsningar när jobb körs i ett kluster med en enda användare.

Biblioteksuppgraderingar

Apache Spark

Databricks Runtime 8.0 innehåller Apache Spark 3.1.1.

I detta avsnitt:

Core och Spark SQL

Markera

Förbättringar av ANSI SQL-kompatibilitet

  • Stöd för datatypen char/varchar (SPARK-33480)
  • ANSI-läge: körningsfel i stället för att returnera null (SPARK-33275)
  • ANSI-läge: nya explicita regler för gjuten syntax (SPARK-33354)
  • Lägg till SQL-standardkommando SET TIME ZONE (SPARK-32272)
  • Förena SQL-syntax för skapa tabell (SPARK-31257)
  • Förena beteende för temporär vy och permanent vy (SPARK-33138)
  • Stödkolumnlista i INSERT -instruktion (SPARK-32976)
  • Stöd för ANSI-kapslade kommentarer (SPARK-28880)

Prestandaförbättringar

  • Värdens lokala shuffle-dataläsning utan shuffle-tjänsten (SPARK-32077)
  • Ta bort redundanta sorteringssorter före partitioneringsnoder (SPARK-32276)
  • Tryck delvis ned predikat (SPARK-32302, SPARK-32352)
  • Tryck ned filter genom att expandera (SPARK-33302)
  • Skicka fler möjliga predikat via Join via CNF-konvertering (SPARK-31705)
  • Ta bort shuffle genom att bevara utdatapartitionering av sändningshashkoppling (SPARK-31869)
  • Ta bort shuffle genom att förbättra ordningen på kopplingsnycklarna (SPARK-32282)
  • Ta bort shuffle genom att normalisera utdatapartitionering och sortering (SPARK-33399)
  • Förbättring av blandad hashkoppling (SPARK-32461)
    • Bevara partitionering på build-sidan för blandad hashkoppling (SPARK-32330)
    • Behåll hashkoppling (BHJ och SHJ) ordning på strömsidan (SPARK-32383)
    • Sammanslagning av bucketade tabeller för sorteringskoppling (SPARK-32286)
    • Lägg till code-gen för blandad hashkoppling (SPARK-32421)
    • Stöd för fullständig yttre koppling i blandad hashkoppling (SPARK-32399)
  • Stöd för underuttryckseliminering i projekt med hela steg-codegen (SPARK-33092)
  • Stöd för underuttryckseliminering i villkorsuttryck (SPARK-33337)
  • Stöd för underuttryckseliminering för utvärdering av tolkade uttryck (SPARK-33427)
  • Stöd för underuttryckseliminering för tolkat predikat (SPARK-33540)
  • Andra regler för optimerare
    • Regel ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Regel EliminateNullAwareAntiJoin (SPARK-32573)
    • Regel EliminateAggregateFilter (SPARK-32540)
    • Regel UnwrapCastInBinaryComparison (SPARK-32858)
    • Regel DisableUnnecessaryBucketedScan (SPARK-32859)
    • Regel CoalesceBucketsInJoin (SPARK-31350)
    • Rensa onödiga kapslade fält från generera utan projekt (SPARK-29721)
    • Rensa onödiga kapslade fält från aggregering och expandera (SPARK-27217)
    • Rensa onödiga kapslade fält från repartition-by-expression och join (SPARK-31736)
    • Beskär onödiga kapslade fält över kosmetiska variationer (SPARK-32163)
    • Rensa onödiga kapslade fält från fönster och sortering (SPARK-32059)
    • Optimera storleken på CreateArray/CreateMap så att den är storleken på dess underordnade (SPARK-33544)

Förbättringar av utökningsbarhet

  • Lägga till SupportsPartitions API:er på DataSourceV2 (SPARK-31694)
  • Lägg till SupportsMetadataColumns API på DataSourceV2 (SPARK-31255)
  • Gör SQL Cache-serialisering pluggbar (SPARK-32274)
  • Introducera alternativet purge i TableCatalog.dropTable för v2-katalogen (SPARK-33364)

Förbättringar av anslutningsappen

  • Hive Metastore partition filter pushdown improvement (SPARK-33537)
  • Parkettgolv
    • Tillåt komplex typ i kartans nyckeltyp i Parquet (SPARK-32639)
    • Tillåt att INT96 sparas och läses in i Parquet utan återbasering (SPARK-33160)
  • ORCH
  • CSV
    • Utnyttja SQL-textdatakälla under CSV-schemainferens (SPARK-32270)
  • JSON
    • Stödfilter för pushdown i JSON-datakälla (SPARK-30648)
  • JDBC
  • Avro
    • Stöd för filter-pushdown i Avro-datakälla (SPARK-32346)

Funktionsförbättringar

Andra viktiga ändringar

  • Ange sökfunktion på Spark-dokumentwebbplatsen (SPARK-33166)
  • Uppgradera Apache Arrow till 2.0.0 (SPARK-33213)
  • Aktivera Java 8-tids-API på sparsam server (SPARK-31910)
  • Aktivera Java 8-tids-API i UDF:er (SPARK-32154)
  • Spillkontroll för aggregerad summa med decimaler (SPARK-28067)
  • Åtgärda incheckningskollision i dynamisk partitionsöverskrivningsläge (SPARK-27194, SPARK-29302)
  • Referenser till slav, svartlista och vitlista (SPARK-32004, SPARK-32036, SPARK-32037) har tagits bort
  • Ta bort aktivitetsresultatstorlekskontroll för shuffle map stage (SPARK-32470)
  • Generalisera ExecutorSource för att exponera användarspecifika filsystemscheman (SPARK-33476)
  • Lägg till StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Exponera körminnesmått i webbgränssnittet för utförare (SPARK-23432)
  • Exponera körminnesmått på stegnivå på fliken Faser (SPARK-26341)
  • Åtgärda explicit uppsättning spark.ui.port i YARN-klusterläge (SPARK-29465)
  • Lägg till spark.submit.waitForCompletion konfiguration för att styra spark-submit-avslut i fristående klusterläge (SPARK-31486)
  • Konfigurera yarn.Client för att skriva ut direktlänkar till drivrutins stdout/stderr (SPARK-33185)
  • Åtgärda minnesläcka när det inte går att lagra sändningsdelar (SPARK-32715)
  • Gör BlockManagerMaster timeout för drivrutinsslag konfigurerbar (SPARK-34278)
  • Enhetliga och fullständiga cachebeteenden (SPARK-33507)

PySpark

Project Zen

  • Project Zen: Förbättra Python-användbarheten (SPARK-32082)
  • Stöd för tips av PySpark-typ (SPARK-32681)
  • Designa om PySpark-dokumentationen (SPARK-31851)
  • Migrera till NumPy-dokumentationsformat (SPARK-32085)
  • Installationsalternativ för PyPI-användare (SPARK-32017)
  • Ta bort inaktuell slutsatsdragning av DataFrame-schema från listan över diktamen (SPARK-32686)
  • Förenkla undantagsmeddelandet från Python-UDF:er (SPARK-33407)

Andra viktiga ändringar

  • Deduplicera deterministiska PythonUDF-anrop (SPARK-33303)
  • Stöd för högre ordningsfunktioner i PySpark-funktioner (SPARK-30681)
  • Stöd för api:er för v2x-skrivning av datakälla (SPARK-29157)
  • Stöd percentile_approx i PySpark-funktioner(SPARK-30569)
  • Stöd inputFiles i PySpark DataFrame (SPARK-31763)
  • Stöd withField i PySpark Column (SPARK-32835)
  • Stöd dropFields i PySpark Column (SPARK-32511)
  • Stöd nth_value i PySpark-funktioner (SPARK-33020)
  • Support acoshoch asinhatanh (SPARK-33563)
  • Supportmetod getCheckpointDir i PySpark SparkContext (SPARK-33017)
  • Stöd för att fylla null-värden för saknade kolumner i unionByName (SPARK-32798)
  • Uppdatera cloudpickle till v1.5.0 (SPARK-32094)
  • Lägg till MapType stöd för PySpark med pil (SPARK-24554)
  • DataStreamReader.table och DataStreamWriter.toTable (SPARK-33836)

Strukturerad direktuppspelning

Prestandaförbättringar

  • Cachelagrad lista över filer utöver maxFilesPerTrigger som oläst fil (SPARK-30866)
  • Effektivisera logiken för käll- och mottagarmetadataloggen för filströmmen (SPARK-30462)
  • Undvik att läsa kompakta metadataloggar två gånger om frågan startas om från kompakt batch (SPARK-30900)

Funktionsförbättringar

  • Lägg till DataStreamReader.table API (SPARK-32885)
  • Lägg till DataStreamWriter.toTable API (SPARK-32896)
  • Vänster halvströmströmskoppling (SPARK-32862)
  • Fullständig yttre strömströmskoppling (SPARK-32863)
  • Ange ett nytt alternativ för kvarhållning av utdatafiler (SPARK-27188)
  • Lägg till Stöd för Spark Structured Streaming History Server (SPARK-31953)
  • Introducera tillståndsschemavalidering mellan omstart av frågor (SPARK-27237)

Andra viktiga ändringar

  • Introducera schemavalidering för lagring av strömningstillstånd (SPARK-31894)
  • Stöd för att använda en annan komprimeringskod i tillståndsarkivet (SPARK-33263)
  • Oändlig väntan på Kafka-anslutningsprogram eftersom metadata aldrig har uppdaterats (SPARK-28367)
  • Uppgradera Kafka till 2.6.0 (SPARK-32568)
  • Sidnumreringsstöd för UI-sidor för strukturerad direktuppspelning (SPARK-31642, SPARK-30119)
  • Tillståndsinformation i gränssnittet för strukturerad direktuppspelning (SPARK-33223)
  • Information om vattenstämplar i gränssnittet för strukturerad direktuppspelning (SPARK-33224)
  • Exponera information om tillståndsanpassade mått i SS-användargränssnittet (SPARK-33287)
  • Lägg till ett nytt mått för antalet rader som är senare än vattenstämpeln (SPARK-24634)

MLlib

Höjdpunkter

  • LinjärASVC-blockifiera indatavektorer (SPARK-30642)
  • LogisticRegression blockify input vectors (SPARK-30659)
  • LinearRegression blockify input vectors (SPARK-30660)
  • AFT-blockifiera indatavektorer (SPARK-31656)
  • Lägga till stöd för associationsregler i ML (SPARK-19939)
  • Lägg till träningssammanfattning för LinearSVCModel (SPARK-20249)
  • Lägg till sammanfattning i RandomForestClassificationModel (SPARK-23631)
  • Lägg till träningssammanfattning i FMClassificationModel (SPARK-32140)
  • Lägg till sammanfattning i MultilayerPerceptronClassificationModel (SPARK-32449)
  • Lägg till FMClassifier i SparkR (SPARK-30820)
  • Lägg till SparkR LinearRegression wrapper (SPARK-30818)
  • Lägg till FMRegressor wrapper i SparkR (SPARK-30819)
  • Lägg till SparkR-omslutning för vector_to_array (SPARK-33040)
  • anpassningsbart blockera instanser – LinjärSVC (SPARK-32907)
  • göra CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer har stöd för Python-serverdelsestimator/utvärderare (SPARK-33520)
  • Förbättra prestanda för ML ALS rekommenderarForAll by GEMV (SPARK-33518)
  • Lägg till UnivariateFeatureSelector (SPARK-34080)

Andra anmärkningsvärda ändringar

  • GMM-beräkningssammanfattning och uppdateringsdistributioner i ett jobb (SPARK-31032)
  • Ta bort ChiSqSelector-beroendet för mllib. ChiSqSelectorModel (SPARK-31077)
  • Platta ut resultatdataramen för tester i testChiSquare (SPARK-31301)
  • MinHash keyDistance-optimering (SPARK-31436)
  • KMeans-optimering baserat på triangel-ojämlikhet (SPARK-31007)
  • Lägg till viktstöd i ClusteringEvaluator (SPARK-31734)
  • Lägg till getMetrics i Utvärderare (SPARK-31768)
  • Lägg till stöd för instansvikt i LinearRegressionSummary (SPARK-31944)
  • Lägg till användardefinerad vikkolumn i CrossValidator (SPARK-31777)
  • ML-params standardvärdeparitet i funktion och justering (SPARK-32310)
  • Åtgärda dubbel cachelagring i KMeans/BiKMeans (SPARK-32676)
  • optimering av aktertransformering (SPARK-33111)
  • FeatureHasher transformeringsoptimering (SPARK-32974)
  • Lägg till array_to_vector funktion för dataramkolumnen (SPARK-33556)
  • ML-params standardvärdeparitet i klassificering, regression, klustring och fpm (SPARK-32310)
  • Summary.totalIterations större än maxIters (SPARK-31925)
  • förutsägelseoptimering för trädmodeller (SPARK-32298)

SparkR

  • Lägg till SparkR-gränssnitt för funktioner med högre ordning (SPARK-30682)
  • Stöd för att fylla null-värden för saknade kolumner i unionByName (SPARK-32798)
  • Stöd medColumn i SparkR-funktioner (SPARK-32946)
  • Stöd timestamp_seconds i SparkR-funktioner (SPARK-32949)
  • Stöd nth_value i SparkR-funktioner (SPARK-33030)
  • Lägsta pilversion upp till 1.0.0 (SPARK-32452)
  • Stöd array_to_vector i SparkR-funktioner (SPARK-33622)
  • Stöd för acosh, asinh och atanh (SPARK-33563)
  • Stöd för from_avro och to_avro (SPARK-33304)

Underhållsuppdateringar

Se Underhållsuppdateringar för Databricks Runtime 8.0.

Systemmiljö

  • Operativsystem: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-linux64 (version 1.8.0_275-b01)
  • Scala: 2.12.10
  • Python: 3.8.8 (uppdaterad från 3.8.6 i underhållsuppdateringen 26 maj 2021)
  • R: R version 4.0.3 (2020-10-10)
  • Delta Lake 0.8.0

Installerade Python-bibliotek

Bibliotek Version Bibliotek Version Bibliotek Version
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
kryptografi 3.1.1 cyklist 0.10.0 Cython 0.29.21
dekoratör 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0,3 filelock 3.0.12 idna 2.10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
Koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
Pandas 1.1.3 parso 0.7.0 Patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
begäranden 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 seaborn 0.10.0 setuptools 50.3.1
sex 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tromb 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 hjul 0.35.1

Installerade R-bibliotek

R-bibliotek installeras från Microsoft CRAN-ögonblicksbilden 2020-11-02.

Bibliotek Version Bibliotek Version Bibliotek Version
askpass 1,1 assertthat 0.2.1 backportar 1.2.1
bas 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 blob 1.2.1
start 1.3-25 brygga 1.0-6 Brio 1.1.0
kvast 0.7.2 anropare 3.5.1 textmarkör 6.0-86
cellranger 1.1.0 Chron 2.3-56 klass 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 färgområde 2.0-0 commonmark 1,7
kompilator 4.0.3 config 0,3 covr 3.5.1
cpp11 0.2.4 krita 1.3.4 autentiseringsuppgifter 1.3.0
Överhörning 1.1.0.1 hårlock 4.3 data.table 1.13.4
datauppsättningar 4.0.3 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
smälta 0.6.27 dplyr 1.0.2 DT 0,16
ellips 0.3.1 evaluate (utvärdera) 0,14 fansi 0.4.1
farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 främmande 0.8-79 smida 0.2.0
Fs 1.5.0 framtid 1.21.0 Generika 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
lim 1.4.2 Gower 0.2.2 grafik 4.0.3
grDevices 4.0.3 gitter 4.0.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 hamn 2.3.1
highr 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteratorer 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 stickning 1,30
Märkning 0.4.2 senare 1.1.0.1 Galler 0.20-41
lava 1.6.8.1 lazyeval 0.2.2 livscykel 0.2.0
lyssna 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1,1 MASSA 7.3-53 Matris 1.2-18
pmise 1.1.0 metoder 4.0.3 mgcv 1.8-33
MIME 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallellt 1.22.0 pelare 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 berömma 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Förlopp 1.2.2 Löften 1.1.1 Proto 1.0.0
PS 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 recept 0.1.15
Returmatch 1.0.1 rematch2 2.1.2 Fjärrkontroller 2.2.0
reprex 0.3.0 omforma2 1.4.4 Rex 1.2.0
rlang 0.4.9 rmarkdown 2,6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversioner 2.0.2 rvest 0.3.6 våg 1.1.1
väljare 0.4-2 sessioninfo 1.1.1 form 1.4.5
skinande 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 rumslig 7.3-11 Splines 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 statistik 4.0.3
stats4 4.0.3 stringi 1.5.3 stringr 1.4.0
överlevnad 3.2-7 sys 3.4 tcltk 4.0.3
TeachingDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 avmarkera 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 verktyg 4.0.3
usethis 2.0.0 utf8 1.1.4 verktyg 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 morrhår 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 Zip 2.1.1

Installerade Java- och Scala-bibliotek (Scala 2.12-klusterversion)

Grupp-ID Artefakt-ID Version
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics ström 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-skuggad 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml klasskamrat 1.3.4
com.fasterxml.jackson.core jackson-anteckningar 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.koffein koffein 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib kärna 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger profilerare 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2,6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx samlare 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktivering 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolit 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant Ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow pilformat 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow pilvektor 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recept 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop hadoop-anteckningar 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metaarkiv 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-inkubering
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy murgröna 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-kodning 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity hastighet 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus åhörarkommentarer 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-fortsättning 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty brygga-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty brygga plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty brygga-server 9.4.34.v20201102
org.eclipse.jetty brygga-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty brygga-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator vilolägesverifierare 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark oanvänd 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1,24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52