Udostępnij za pośrednictwem

Databricks Runtime 4.0 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Usługa Databricks wydała tę wersję w marcu 2018 roku.

Ważne

Ta wersja została uznana za przestarzałą 1 listopada 2018 r. Aby uzyskać więcej informacji na temat zasad i harmonogramu wycofywania środowiska Databricks Runtime, zobacz Cykle życia pomocy technicznej usługi Databricks.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 4.0 obsługiwanym przez platformę Apache Spark.

Zmiany i ulepszenia

  • Źródło danych JSON próbuje teraz automatycznie wykrywać kodowanie zamiast zakładać, że ma on być utF-8. W przypadkach, gdy automatyczne wykrywanie nie powiedzie się, użytkownicy mogą określić opcję zestawu znaków, aby wymusić określone kodowanie. Zobacz Automatyczne wykrywanie zestawu znaków.
  • Ocenianie i przewidywanie przy użyciu potoków MLlib platformy Spark w strumieniu ze strukturą jest w pełni obsługiwane.
  • Eksportowanie modeli uczenia maszynowego w usłudze Databricks jest w pełni obsługiwane. Dzięki tej funkcji możesz wytrenować model MLlib platformy Spark w usłudze Databricks, wyeksportować go za pomocą wywołania funkcji i użyć biblioteki usługi Databricks w wybranym systemie, aby zaimportować model i ocenić nowe dane.
  • Nowa implementacja źródła danych Platformy Spark oferuje skalowalny dostęp do odczytu/zapisu w usłudze Azure Synapse Analytics. Zobacz Spark — Łącznik usługi Synapse Analytics.
  • Schemat from_json funkcji jest teraz zawsze konwertowany na wartość null. Innymi słowy, wszystkie pola, w tym zagnieżdżone, są dopuszczane do wartości null. Dzięki temu dane są zgodne ze schematem, uniemożliwiając uszkodzenie po zapisaniu danych do parquet, gdy brakuje pola w danych, a schemat dostarczony przez użytkownika deklaruje pole jako niepuste.
  • Uaktualniono niektóre zainstalowane biblioteki języka Python:
    • futures: od 3.1.1 do 3.2.0
    • pandas: od 0.18.1 do 0.19.2
    • pyarrow: od 0.4.1 do 0.8.0
    • setuptools: od 38.2.3 do 38.5.1
    • tornado: od 4.5.2 do 4.5.3
  • Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.
  • Uaktualniono zestaw AWS Java SDK z wersji 1.11.126 do wersji 1.11.253.
  • Uaktualniono sterownik JDBC programu SQL Server z wersji 6.1.0.jre8 do 6.2.2.jre8.
  • Uaktualniono sterownik PostgreSQL JDBC z wersji 9.4-1204-jdbc41 do wersji 42.1.4.

Apache Spark

Środowisko Databricks Runtime 4.0 obejmuje platformę Apache Spark 2.3.0.

Core, PySpark i Spark SQL

Główne funkcje

  • Wektoryzowany czytnik ORC: [SPARK-16060]: Dodaje obsługę nowego czytnika ORC, który znacznie poprawia przepływność skanowania ORC poprzez wektoryzacja (2–5x). Aby włączyć czytelnika, użytkownicy mogą ustawić wartość spark.sql.orc.implnative.
  • Serwer historii platformy Spark w wersji 2: [SPARK-18085]: nowy serwer historii platformy Spark (SHS), który zapewnia lepszą skalowalność dla aplikacji na dużą skalę z bardziej wydajnym mechanizmem przechowywania zdarzeń.
  • Interfejs API źródła danych w wersji 2: [SPARK-15689][SPARK-22386]: eksperymentalny interfejs API umożliwiający podłączanie nowych źródeł danych na platformie Spark. Nowy interfejs API próbuje rozwiązać kilka ograniczeń interfejsu API w wersji 1 i ma na celu ułatwienie tworzenia wysoce wydajnych, łatwych w obsłudze i rozszerzalnych zewnętrznych źródeł danych. Ten interfejs API jest nadal w trakcie aktywnego opracowywania i należy oczekiwać zmian powodujących niezgodność.
  • Ulepszenia wydajności PySpark: [SPARK-22216][SPARK-21187]: Znaczne ulepszenia wydajności i współdziałania języka Python dzięki szybkiej serializacji danych i wektoryzacji wykonywania.

Wydajność i stabilność

Inne istotne zmiany

Przesyłanie strumieniowe ze strukturą

Ciągłe przetwarzanie

  • Nowy aparat wykonywania, który może wykonywać zapytania przesyłane strumieniowo z opóźnieniem końcowym w milisekundach, zmieniając tylko jeden wiersz kodu użytkownika. Aby dowiedzieć się więcej, zobacz przewodnik programowania.

Sprzężenia strumienia strumienia

  • Możliwość łączenia dwóch strumieni danych, buforowania wierszy do momentu nadejścia pasujących krotki do drugiego strumienia. Predykaty mogą być używane w kolumnach czasu zdarzenia w celu ograniczenia ilości stanu, który należy zachować.

Interfejs API przesyłania strumieniowego w wersji 2

  • Eksperymentalny interfejs API do podłączania nowych źródeł i ujść, które działają na potrzeby przetwarzania wsadowego, mikrosadowego i ciągłego wykonywania. Ten interfejs API jest nadal w trakcie aktywnego opracowywania, a zmiany powodujące niezgodność powinny być oczekiwane.

MLlib

Podkreśla

  • Przewidywanie uczenia maszynowego działa teraz z przesyłaniem strumieniowym ze strukturą przy użyciu zaktualizowanych interfejsów API. Szczegółowe informacje są następujące.

Nowe i ulepszone interfejsy API

  • [SPARK-21866]: Wbudowana obsługa odczytywania obrazów w ramce danych (Scala/Java/Python).
  • [SPARK-19634]: Funkcje ramki danych dla opisowych statystyk podsumowania dla kolumn wektorów (Scala/Java).
  • [SPARK-14516]: ClusteringEvaluator dostrajania algorytmów klastrowania, obsługujące sylwetkę Cosine i kwadratowe metryki sylwetki Euklidesa (Scala/Java/Python).
  • [SPARK-3181]: Niezawodna regresja liniowa z utratą hubera (Scala/Java/Python).
  • [SPARK-13969]: FeatureHasher transformer (Scala/Java/Python).
  • Obsługa wielu kolumn dla kilku transformatorów funkcji:
  • [SPARK-21633] i SPARK-21542]: Ulepszona obsługa niestandardowych składników potoku w języku Python.

Nowe funkcje

  • [SPARK-21087]: CrossValidator i TrainValidationSplit może zbierać wszystkie modele podczas dopasowywania (Scala/Java). Dzięki temu można sprawdzić lub zapisać wszystkie dopasowane modele.
  • [SPARK-19357]: Meta-algorithms , CrossValidatorTrainValidationSplit , obsługuje param równoległości do dopasowywania wielu modeli podrzędnych w równoległych zadaniach platformy OneVsRestSpark.
  • [SPARK-17139]: Podsumowanie modelu dla regresji logistycznej wielomianowej (Scala/Java/Python)
  • [SPARK-18710]: Dodaj przesunięcie w GLM.
  • [SPARK-20199]: Dodano featureSubsetStrategy parametr do GBTClassifier i GBTRegressor. Użycie tej funkcji do podample może znacznie poprawić szybkość trenowania; Ta opcja była kluczową siłą .xgboost

Inne istotne zmiany

  • [SPARK-22156]: Stałe Word2Vec skalowanie szybkości nauki przy użyciu num iteracji. Nowy wskaźnik uczenia jest zgodny z oryginalnym Word2Vec kodem języka C i powinien zapewnić lepsze wyniki z trenowania.
  • [SPARK-22289]: Dodano JSON obsługę parametrów macierzy (usunięto usterkę trwałości uczenia maszynowego LogisticRegressionModel z użyciem granic współczynników).
  • [SPARK-22700]: Bucketizer.transform niepoprawnie porzuca wiersz zawierający NaN. Gdy parametr handleInvalid został ustawiony na wartość "skip" Bucketizer , upuść wiersz z prawidłową wartością NaN w kolumnie wejściowej, jeśli inna kolumna (bez znaczenia) miała wartość.
  • [SPARK-22446]: Optymalizator katalizatora czasami spowodował StringIndexerModel zgłoszenie nieprawidłowego wyjątku "Niezaświetlona etykieta", gdy handleInvalid ustawiono wartość "błąd". Może się to zdarzyć w przypadku przefiltrowanych danych z powodu wypychania predykatu, co powoduje błędy nawet po odfiltrowyniu nieprawidłowych wierszy z wejściowego zestawu danych.
  • [SPARK-21681]: Naprawiono usterkę przypadku krawędzi w regresji logistycznej wielomianowej, która spowodowała nieprawidłowe współczynniki, gdy niektóre funkcje miały zero wariancji.
  • Główne optymalizacje:
    • [SPARK-22707]: Zmniejszone zużycie pamięci dla programu CrossValidator.
    • [SPARK-22949]: Zmniejszone zużycie pamięci dla programu TrainValidationSplit.
    • [SPARK-21690]: Imputer powinien trenować przy użyciu pojedynczego przekazywania danych.
    • [SPARK-14371]: OnlineLDAOptimizer unika zbierania statystyk do sterownika dla każdej minisady.

SparkR

Głównym celem platformy SparkR w wersji 2.3.0 była poprawa stabilności funkcji zdefiniowanych przez użytkownika i dodanie kilku nowych otoek platformy SparkR wokół istniejących interfejsów API:

Główne funkcje

GraphX

Optymalizacje

  • [SPARK-5484]: Punkty kontrolne pregel są okresowo unikać StackOverflowErrors.
  • [SPARK-21491]: Niewielka poprawa wydajności w kilku miejscach.

Przestarzałe elementy

Python

  • [SPARK-23122]: Przestarzałe register* funkcje UDF w systemach UDF i SQLContextCatalog w PySpark

MLlib

  • [SPARK-13030]: OneHotEncoder został przestarzały i zostanie usunięty w wersji 3.0. Został on zastąpiony przez nowy OneHotEncoderEstimatorelement . OneHotEncoderEstimator nazwa zostanie zmieniona na OneHotEncoder w wersji 3.0 (ale OneHotEncoderEstimator będzie przechowywana jako alias).

Zmiany zachowania

SparkSQL

  • [SPARK-22036]: Domyślnie operacje arytmetyczne między liczbami dziesiętnym zwracają zaokrąglone wartości, jeśli dokładna reprezentacja nie jest możliwa (zamiast zwracać NULL w poprzednich wersjach)
  • [SPARK-22937]: Gdy wszystkie dane wejściowe są binarne, program SQL elt() zwraca dane wyjściowe jako binarne. W przeciwnym razie zwraca wartość jako ciąg. W poprzednich wersjach zawsze zwracany był jako ciąg niezależnie od typów danych wejściowych.
  • [SPARK-22895]: predykaty deterministyczne sprzężenia/filtru, które są po pierwszych predykatach niedeterministycznych, są również wypychane/przez operatory podrzędne, jeśli to możliwe. W poprzednich wersjach te filtry nie kwalifikowały się do wypychania predykatu.
  • [SPARK-22771]: Gdy wszystkie dane wejściowe są binarne, functions.concat() zwraca dane wyjściowe jako binarne. W przeciwnym razie zwraca wartość jako ciąg. W poprzednich wersjach zawsze zwracany był jako ciąg niezależnie od typów danych wejściowych.
  • [SPARK-22489]: Jeśli któraś ze stron sprzężenia jest emitowana, wolimy rozgłaszać tabelę, która jest jawnie określona w wskazówce emisji.
  • [SPARK-22165]: Wnioskowanie kolumn partycji wcześniej znaleziono niepoprawny typ typ dla różnych typów wnioskowanych. Na przykład wcześniej został on wpisany double jako typ typ i double typdate. Teraz znajduje prawidłowy typ typ dla takich konfliktów. Aby uzyskać szczegółowe informacje, zobacz przewodnik po migracji.
  • [SPARK-22100]: Funkcja wcześniej zaakceptowała percentile_approxnumeric dane wejściowe typu i wyniki typu wyjściowego double . Teraz obsługuje date typ, timestamp typ i numeric typy jako typy wejściowe. Typ wyniku jest również zmieniany tak samo jak typ danych wejściowych, co jest bardziej uzasadnione dla percentyli.
  • [SPARK-21610]: zapytania z nieprzetworzonych plików JSON/CSV są niedozwolone, gdy przywoływanych kolumnach zawierają tylko wewnętrzną uszkodzoną kolumnę rekordu (nazwaną _corrupt_record domyślnie). Zamiast tego możesz buforować lub zapisywać przeanalizowane wyniki, a następnie wysyłać to samo zapytanie.
  • [SPARK-23421]: Od platformy Spark 2.2.1 i 2.3.0 schemat jest zawsze wnioskowany w czasie wykonywania, gdy tabele źródła danych mają kolumny istniejące zarówno w schemacie partycji, jak i schemacie danych. Wywnioskowany schemat nie zawiera kolumn podzielonych na partycje. Podczas odczytywania tabeli platforma Spark uwzględnia wartości partycji tych nakładających się kolumn zamiast wartości przechowywanych w plikach źródła danych. W wersji 2.2.0 i 2.1.x wnioskowany schemat jest partycjonowany, ale dane tabeli są niewidoczne dla użytkowników (tj. zestaw wyników jest pusty).

PySpark

  • [SPARK-19732]: na.fill() lub fillna akceptuje wartość logiczną i zastępuje wartości null wartością logiczną. W poprzednich wersjach platformy Spark narzędzie PySpark po prostu je ignoruje i zwraca oryginalny zestaw danych/ramkę danych.
  • [SPARK-22395]: biblioteka pandas 0.19.2 lub górna jest wymagana do korzystania z funkcji związanych z biblioteką pandas, takich jak toPandas, createDataFrame z ramki danych biblioteki pandas itp.
  • [SPARK-22395]: Zachowanie wartości znacznika czasu dla funkcji związanych z biblioteką pandas zostało zmienione w celu poszanowania strefy czasowej sesji, która jest ignorowana w poprzednich wersjach.
  • [SPARK-23328]: df.replace nie pozwala pominąć value , gdy to_replace nie jest słownikiem. value Wcześniej można pominąć w innych przypadkach i domyślnieNone, co jest sprzeczne z intuicyjną i podatną na błędy.

MLlib

  • Istotne zmiany interfejsu API: zmieniono hierarchię klas i cech dla podsumowań modelu regresji logistycznej, aby były czystsze i lepiej uwzględniały dodanie podsumowania wieloklasowego. Jest to zmiana powodująca niezgodność dla kodu użytkownika, który rzutuje element LogisticRegressionTrainingSummary na BinaryLogisticRegressionTrainingSummarywartość . Użytkownicy powinni zamiast tego użyć model.binarySummary metody . Zobacz [SPARK-17139]: aby uzyskać więcej szczegółów (zwróć uwagę, że jest @Experimental to interfejs API). Nie ma to wpływu na metodę podsumowania języka Python, która nadal będzie działać poprawnie zarówno w przypadku przypadków wielomianowych, jak i binarnych.
  • [SPARK-21806]: BinaryClassificationMetrics.pr(): pierwszy punkt (0.0, 1.0) jest mylący i został zastąpiony przez (0,0, p), gdzie precyzja p pasuje do najniższego punktu kompletności.
  • [SPARK-16957]: Drzewa decyzyjne używają teraz ważonych punktów środkowych podczas wybierania wartości podzielonych. Może to spowodować zmianę wyników trenowania modelu.
  • [SPARK-14657]: RFormula bez przechwycenia teraz wyprowadza kategorię referencyjną podczas kodowania terminów ciągu w celu dopasowania do natywnego zachowania języka R. Może to spowodować zmianę wyników trenowania modelu.
  • [SPARK-21027]: Domyślny równoległość używana w programie OneVsRest jest teraz ustawiona na 1 (tj. szeregową). W wersji 2.2 i starszych poziom równoległości został ustawiony na domyślny rozmiar puli wątków w języku Scala. Może to zmienić wydajność.
  • [SPARK-21523]: Uaktualniono bryzę do .0.13.2 Obejmowało to ważną poprawkę błędu w silnym wyszukiwaniu linii Wolfe L-BFGS.
  • [SPARK-15526]: Zależność JPMML jest teraz cieniowana.
  • Zobacz również sekcję "Poprawki błędów", aby uzyskać informacje o zmianach zachowania wynikających z naprawiania usterek.

Znane problemy

  • [SPARK-23523][SQL]: Nieprawidłowy wynik spowodowany przez regułę OptimizeMetadataOnlyQuery.
  • [SPARK-23406]: Usterki w sprzężeniach przesyłania strumieniowego strumienia.

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 4.0.

Środowisko systemu

  • System operacyjny: Ubuntu 16.04.4 LTS
  • Java: 1.8.0_151
  • Scala: 2.11.8
  • Python: 2.7.12 (lub 3.5.2, jeśli używasz języka Python 3)
  • R: R w wersji 3.4.3 (2017-11-30)
  • Klastry procesora GPU: zainstalowane są następujące biblioteki procesora GPU FIRMY NVIDIA:
    • Kierowca Tesla 375.66
    • CUDA 8.0
    • CUDNN 6.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
ansi2html 1.1.1 argparse 1.2.1 backports-abc 0.5
boto 2.42.0 boto3 1.4.1 botocore 1.4.70
brewer2mpl 1.4.1 certifi 2016.2.28 cffi 1.7.0
chardet 2.3.0 colorama 0.3.7 configobj 5.0.6
kryptografia 1.5 rowerzysta 0.10.0 Cython 0.24.1
dekorator 4.0.10 docutils 0,14 enum34 1.1.6
et-xmlfile 1.0.1 freetype-py 1.0.2 funcsigs 1.0.2
fusepy 2.0.4 Futures 3.2.0 ggplot 0.6.8
html5lib 0,999 idna 2.1 ipaddress 1.0.16
ipython 2.2.0 ipython-genutils 0.1.0 jdcal 1.2
Jinja2 2.8 jmespath 0.9.0 llvmlite 0.13.0
lxml 3.6.4 MarkupSafe 0.23 matplotlib 1.5.3
mpld3 0,2 msgpack-python 0.4.7 ndg-httpsclient 0.3.3
numba 0.28.1 numpy 1.11.1 openpyxl 2.3.2
Pandas 0.19.2 pathlib2 2.1.0 Patsy 0.4.1
pexpect 4.0.1 pickleshare 0.7.4 Poduszka 3.3.1
pip 9.0.1 warstwa 3.9 prompt-toolkit 1.0.7
psycopg2 2.6.2 ptyprocess 0.5.1 py4j 0.10.3
pyarrow 0.8.0 pyasn1 0.1.9 pycparser 2.14
Pygments 2.1.3 PyGObject 3.20.0 pyOpenSSL 16.0.0
pyparsing 2.2.0 pypng 0.0.18 Python 2.7.12
python-dateutil 2.5.3 python-geohash 0.8.5 pytz 2016.6.1
żądania 2.11.1 s3transfer 0.1.9 scikit-learn 0.18.1
scipy 0.18.1 Przeszukać 0.32 seaborn 0.7.1
setuptools 38.5.1 simplejson 3.8.2 simples3 1.0
singledispatch 3.4.0.3 Sześć 1.10.0 statsmodels 0.6.1
tornado 4.5.3 traitlety 4.3.0 urllib3 1.19.1
virtualenv 15.0.1 wcwidth 0.1.7 koło 0.30.0
wsgiref 0.1.2

Zainstalowane biblioteki języka R

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
abind 1.4-5 assertthat 0.2.0 backports (backports) 1.1.1
base 3.4.3 BH 1.65.0-1 bindr 0.1
bindrcpp 0,2 bitowe 1.1-12 bit64 0.9-7
bitops 1.0-6 blob 1.1.0 rozruch 1.3-20
warzyć 1.0-6 miotła 0.4.3 samochód 2.1-6
caret 6.0-77 chron 2.3-51 class 7.3-14
cluster 2.0.6 codetools 0.2-15 przestrzeń kolorów 1.3-2
commonmark 1.4 — kompilator 3.4.3 kredka 1.3.4
lok 3.0 CVST 0.2-1 data.table 1.10.4-3
usługi Power BI 3.4.3 DBI 0,7 ddalpha 1.3.1
DEoptimR 1.0-8 Desc 1.1.1 devtools 1.13.4
dichromat 2.0-0 trawić 0.6.12 dimRed 0.1.0
DoMC 1.3.4 dplyr 0.7.4 Odzyskiwanie po awarii 0.0.2
foreach 1.4.3 zagraniczny 0.8-69 Gbm 2.1.3
ggplot2 2.2.1 git2r 0.19.0 glmnet 2.0-13
klej 1.2.0 Gower 0.1.2 grafika 3.4.3
grDevices 3.4.3 siatka 3.4.3 gsubfn 0.6-6
gtable 0.2.0 h2o 3.16.0.1 httr 1.3.1
hwriter 1.3.2 hwriterPlus 1.0-3 ipred 0.9-6
Iteratory 1.0.8 jsonlite 1.5 kernlab 0.9-25
KernSmooth 2.23-15 Etykietowania 0.3 krata 0.20-35
lawa 1.5.1 opóźnienie 0.2.1 littler 0.3.2
lme4 1.1-14 lubridate 1.7.1 magrittr 1.5
mapproj 1.2-5 Mapy 3.2.0 MASA 7.3-48
Macierz 1.2-11 MatrixModels 0.4-1 zapamiętywanie 1.1.0
metody 3.4.3 mgcv 1.8-23 mim 0.5
minqa 1.2.4 mnormt 1.5-5 Metryki modelu 1.1.0
munsell 0.4.3 mvtnorm 1.0-6 nlme 3.1-131
nloptr 1.0.4 nnet 7.3-12 numDeriv 2016.8-1
openssl 0.9.9 parallel 3.4.3 pbkrtest 0.4-7
pkgconfig 2.0.1 pkgKitten 0.1.4 plogr 0.1-1
plyr 1.8.4 pochwała 1.0.0 Proc 1.10.0
prodlim 1.6.1 Proto 1.0.0 Psych 1.7.8
purrr 0.2.4 quantreg 5.34 R.methodsS3 1.7.1
R.oo 1.21.0 R.utils 2.6.0 R6 2.2.2
randomForest 4.6-12 RColorBrewer 1.1-2 Rcpp 0.12.14
RcppEigen 0.3.3.3.1 RcppRoll 0.2.2 RCurl 1.95-4.8
przepisy 0.1.1 zmień kształt2 1.4.2 rlang 0.1.4
robustbase 0.92-8 RODBC 1.3-15 roxygen2 6.0.1
rpart 4.1-12 rprojroot 1.2 Rserve 1.7-3
RSQLite 2.0 rstudioapi 0,7 waga 0.5.0
sfsmisc 1.1-1 Sp 1.2-5 SparkR 2.3.0
Rozrzednia 1.77 przestrzenny 7.3-11 Splajnów 3.4.3
sqldf 0.4-11 statmod 1.4.30 Statystyki 3.4.3
stats4 3.4.3 stringi 1.1.6 stringr 1.2.0
przetrwanie 2.41-3 tcltk 3.4.3 NauczanieDemos 2.10
testthat 1.0.2 tibble 1.3.4 tidyr 0.7.2
tidyselect 0.2.3 timeDate 3042.101 tools 3.4.3
narzędzia 3.4.3 viridisLite 0.2.0 wąs 0.3-2
withr 2.1.0 xml2 1.1.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.7.3
com.amazonaws aws-java-sdk-autoscaling 1.11.253
com.amazonaws aws-java-sdk-cloudformation 1.11.253
com.amazonaws aws-java-sdk-cloudfront 1.11.253
com.amazonaws aws-java-sdk-cloudhsm 1.11.253
com.amazonaws aws-java-sdk-cloudsearch 1.11.253
com.amazonaws aws-java-sdk-cloudtrail 1.11.253
com.amazonaws aws-java-sdk-cloudwatch 1.11.253
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.253
com.amazonaws aws-java-sdk-codedeploy 1.11.253
com.amazonaws aws-java-sdk-cognitoidentity 1.11.253
com.amazonaws aws-java-sdk-cognitosync 1.11.253
com.amazonaws aws-java-sdk-config 1.11.253
com.amazonaws aws-java-sdk-core 1.11.253
com.amazonaws aws-java-sdk-datapipeline 1.11.253
com.amazonaws aws-java-sdk-directconnect 1.11.253
com.amazonaws aws-java-sdk-directory 1.11.253
com.amazonaws aws-java-sdk-dynamodb 1.11.253
com.amazonaws aws-java-sdk-ec2 1.11.253
com.amazonaws aws-java-sdk-ecs 1.11.253
com.amazonaws aws-java-sdk-efs 1.11.253
com.amazonaws aws-java-sdk-elasticache 1.11.253
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.253
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.253
com.amazonaws aws-java-sdk-elastictranscoder 1.11.253
com.amazonaws aws-java-sdk-emr 1.11.253
com.amazonaws aws-java-sdk-glacier 1.11.253
com.amazonaws aws-java-sdk-iam 1.11.253
com.amazonaws aws-java-sdk-importexport 1.11.253
com.amazonaws aws-java-sdk-kinesis 1.11.253
com.amazonaws aws-java-sdk-kms 1.11.253
com.amazonaws aws-java-sdk-lambda 1.11.253
com.amazonaws aws-java-sdk-logs 1.11.253
com.amazonaws aws-java-sdk-machinelearning 1.11.253
com.amazonaws aws-java-sdk-opsworks 1.11.253
com.amazonaws aws-java-sdk-rds 1.11.253
com.amazonaws aws-java-sdk-redshift 1.11.253
com.amazonaws aws-java-sdk-route53 1.11.253
com.amazonaws aws-java-sdk-s3 1.11.253
com.amazonaws aws-java-sdk-ses 1.11.253
com.amazonaws aws-java-sdk-simpledb 1.11.253
com.amazonaws aws-java-sdk-simpleworkflow 1.11.253
com.amazonaws aws-java-sdk-sns 1.11.253
com.amazonaws aws-java-sdk-sqs 1.11.253
com.amazonaws aws-java-sdk-ssm 1.11.253
com.amazonaws aws-java-sdk-storagegateway 1.11.253
com.amazonaws aws-java-sdk-sts 1.11.253
com.amazonaws aws-java-sdk-support 1.11.253
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.253
com.amazonaws jmespath-java 1.11.253
com.carrotsearch hppc 0.7.2
com.chuusai shapeless_2.11 2.3.2
com.clearspring.analytics strumień 2.7.0
com.databricks Rserve 1.8-3
com.databricks dbml-local_2.11 0.3.0-db1-spark2.3
com.databricks dbml-local_2.11-tests 0.3.0-db1-spark2.3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.11 0.4.15-9
com.databricks.scalapb scalapb-runtime_2.11 0.4.15-9
com.esotericsoftware kryo-cieniowane 3.0.3
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.0.0
com.fasterxml.jackson.core adnotacje jackson 2.6.7
com.fasterxml.jackson.core jackson-core 2.6.7
com.fasterxml.jackson.core jackson-databind 2.6.7.1
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.6.7
com.fasterxml.jackson.datatype jackson-datatype-joda 2.6.7
com.fasterxml.jackson.module jackson-module-paranamer 2.6.7
com.fasterxml.jackson.module jackson-module-scala_2.11 2.6.7.1
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.3.2-2
com.github.rwl jtransforms 2.4.0
com.google.code.findbugs jsr305 2.0.1
com.google.code.gson gson 2.2.4
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.googlecode.javaewah JavaEWAH 0.3.2
com.h2database h2 1.3.174
com.jamesmurty.utils java-xmlbuilder 1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.mchange c3p0 0.9.5.1
com.mchange mchange-commons-java 0.2.10
com.microsoft.azure azure-data-lake-store-sdk 2.0.11
com.microsoft.sqlserver mssql-jdbc 6.2.2.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.11 0.3
com.twitter chill-java 0.8.4
com.twitter chill_2.11 0.8.4
com.twitter parquet-hadoop-bundle 1.6.0
com.twitter util-app_2.11 6.23.0
com.twitter util-core_2.11 6.23.0
com.twitter util-jvm_2.11 6.23.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging-api_2.11 2.1.2
com.typesafe.scala-logging scala-logging-slf4j_2.11 2.1.2
com.univocity parsery jednowołciowości 2.5.9
com.vlkan flatbuffers 1.2.0-3f79e055
com.zaxxer HikariCP 2.4.1
commons-beanutils commons-beanutils 1.7.0
commons-beanutils commons-beanutils-core 1.8.0
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 2,2
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.7
io.airlift aircompressor 0,8
io.dropwizard.metrics metryki —rdzeń 3.1.5
io.dropwizard.metrics metrics-ganglia 3.1.5
io.dropwizard.metrics metrics-graphite 3.1.5
io.dropwizard.metrics metrics-healthchecks 3.1.5
io.dropwizard.metrics metrics-jetty9 3.1.5
io.dropwizard.metrics metrics-json 3.1.5
io.dropwizard.metrics metrics-jvm 3.1.5
io.dropwizard.metrics metrics-log4j 3.1.5
io.dropwizard.metrics serwlety metrics-servlets 3.1.5
io.netty netty 3.9.9.Final
io.netty netty-all 4.1.17.Final
io.prometheus simpleclient 0.0.16
io.prometheus simpleclient_common 0.0.16
io.prometheus simpleclient_dropwizard 0.0.16
io.prometheus simpleclient_servlet 0.0.16
io.prometheus.jmx kolekcjoner 0,7
javax.activation aktywacja 1.1.1
javax.annotation javax.annotation-api 1.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.validation validation-api 1.1.0.Final
javax.ws.rs javax.ws.rs-api 2.0.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2,11
joda-time joda-time 2.9.3
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.hydromatic eigenbase-properties 1.1.5
net.iharder base64 2.3.8
net.java.dev.jets3t jets3t 0.9.4
net.razorvine pirolit 4.13
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt oncrpc 1.0.7
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.4
org.antlr antlr4-runtime 4.7
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 0.8.0
org.apache.arrow strzałka w pamięci 0.8.0
org.apache.arrow wektor strzałki 0.8.0
org.apache.avro avro 1.7.7
org.apache.avro avro-ipc 1.7.7
org.apache.avro avro-ipc-tests 1.7.7
org.apache.avro avro-mapred-hadoop2 1.7.7
org.apache.calcite calcite-avatica 1.2.0 inkubacja
org.apache.calcite calcite-core 1.2.0 inkubacja
org.apache.calcite calcite-linq4j 1.2.0 inkubacja
org.apache.commons commons-compress 1.4.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3.5
org.apache.commons commons-math3 3.4.1
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.3
org.apache.hadoop hadoop-auth 2.7.3
org.apache.hadoop hadoop-client 2.7.3
org.apache.hadoop hadoop-common 2.7.3
org.apache.hadoop hadoop-hdfs 2.7.3
org.apache.hadoop hadoop-mapreduce-client-app 2.7.3
org.apache.hadoop hadoop-mapreduce-client-common 2.7.3
org.apache.hadoop hadoop-mapreduce-client-core 2.7.3
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.3
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.3
org.apache.hadoop hadoop-yarn-api 2.7.3
org.apache.hadoop hadoop-yarn-client 2.7.3
org.apache.hadoop hadoop-yarn-common 2.7.3
org.apache.hadoop hadoop-yarn-server-common 2.7.3
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.4
org.apache.httpcomponents httpcore 4.4.8
org.apache.ivy bluszcz 2.4.0
org.apache.orc orc-core-nohive 1.4.1
org.apache.orc orc-mapreduce-nohive 1.4.1
org.apache.parquet parquet-column 1.8.2-databricks1
org.apache.parquet parquet-common 1.8.2-databricks1
org.apache.parquet kodowanie parquet 1.8.2-databricks1
org.apache.parquet format parquet 2.3.1
org.apache.parquet parquet-hadoop 1.8.2-databricks1
org.apache.parquet parquet-jackson 1.8.2-databricks1
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.9.3
org.apache.xbean xbean-asm5-cieniowany 4.4
org.apache.zookeeper zookeeper 3.4.6
org.bouncycastle bcprov-jdk15on 1.58
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.8
org.codehaus.janino janino 3.0.8
org.datanucleus datanucleus-api-jdo 3.2.6
org.datanucleus datanucleus-core 3.2.10
org.datanucleus datanucleus-rdbms 3.2.9
org.eclipse.jetty jetty-client 9.3.20.v20170531
org.eclipse.jetty jetty-kontynuacja 9.3.20.v20170531
org.eclipse.jetty jetty-http 9.3.20.v20170531
org.eclipse.jetty jetty-io 9.3.20.v20170531
org.eclipse.jetty jetty-jndi 9.3.20.v20170531
org.eclipse.jetty jetty-plus 9.3.20.v20170531
org.eclipse.jetty jetty-proxy 9.3.20.v20170531
org.eclipse.jetty jetty-security 9.3.20.v20170531
org.eclipse.jetty jetty-server 9.3.20.v20170531
org.eclipse.jetty jetty-servlet 9.3.20.v20170531
org.eclipse.jetty jetty-servlets 9.3.20.v20170531
org.eclipse.jetty jetty-util 9.3.20.v20170531
org.eclipse.jetty jetty-webapp 9.3.20.v20170531
org.eclipse.jetty jetty-xml 9.3.20.v20170531
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.4.0-b34
org.glassfish.hk2 lokalizator hk2 2.4.0-b34
org.glassfish.hk2 hk2-utils 2.4.0-b34
org.glassfish.hk2 osgi-resource-locator 1.0.1
org.glassfish.hk2.external aopalliance-repackaged 2.4.0-b34
org.glassfish.hk2.external javax.inject 2.4.0-b34
org.glassfish.jersey.bundles.repackaged jersey-guava 2.22.2
org.glassfish.jersey.containers jersey-container-servlet 2.22.2
org.glassfish.jersey.containers jersey-container-servlet-core 2.22.2
org.glassfish.jersey.core jersey-client 2.22.2
org.glassfish.jersey.core jersey-common 2.22.2
org.glassfish.jersey.core jersey-server 2.22.2
org.glassfish.jersey.media jersey-media-jaxb 2.22.2
org.hibernate moduł sprawdzania poprawności hibernacji 5.1.1.Final
org.iq80.snappy Żwawy 0,2
org.javassist javassist 3.18.1-GA
org.jboss.logging jboss-logging 3.1.3.GA
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.11 3.2.11
org.json4s json4s-core_2.11 3.2.11
org.json4s json4s-jackson_2.11 3.2.11
org.lz4 lz4-java 1.4.0
org.mariadb.jdbc mariadb-java-client 2.1.2
org.mockito mockito-all 1.9.5
org.objenesis objenesis 2.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.5.11
org.rocksdb rocksdbjni 5.2.1
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.11 2.11.8
org.scala-lang scala-library_2.11 2.11.8
org.scala-lang scala-reflect_2.11 2.11.8
org.scala-lang scalap_2.11 2.11.8
org.scala-lang.modules scala-parser-combinators_2.11 1.0.2
org.scala-lang.modules scala-xml_2.11 1.0.5
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.11 1.12.5
org.scalanlp breeze-macros_2.11 0.13.2
org.scalanlp breeze_2.11 0.13.2
org.scalatest scalatest_2.11 2.2.6
org.slf4j jcl-over-slf4j 1.7.16
org.slf4j jul-to-slf4j 1.7.16
org.slf4j slf4j-api 1.7.16
org.slf4j slf4j-log4j12 1.7.16
org.spark-project.hive hive-beeline 1.2.1.spark2
org.spark-project.hive hive-cli 1.2.1.spark2
org.spark-project.hive hive-exec 1.2.1.spark2
org.spark-project.hive hive-jdbc 1.2.1.spark2
org.spark-project.hive hive-metastore 1.2.1.spark2
org.spark-project.spark.spark Nieużywane 1.0.0
org.spire-math spire-macros_2.11 0.13.0
org.spire-math spire_2.11 0.13.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.tukaani xz 1.0
org.typelevel machinist_2.11 0.6.1
org.typelevel macro-compat_2.11 1.1.1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.2.6
org.yaml snakeyaml 1.16
oro oro 2.0.8
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52