Databricks Runtime 5.5 LTS (EoS)
Uwaga
Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).
Usługa Databricks wydała tę wersję w lipcu 2019 r. W sierpniu 2019 r. została zadeklarowana długoterminowa pomoc techniczna (LTS). Wsparcie zakończyło się 27 lipca 2021 r. Wsparcie dodatkowe dla środowiska Databricks Runtime 5.5 (EoS) zostało wydane 8 lipca 2021 r. i przedłużono 5,5 wsparcia do grudnia 2021 r. Używa systemu Ubuntu 18.04.5 LTS zamiast przestarzałej dystrybucji Ubuntu 16.04.6 LTS używanej w oryginalnym środowisku Databricks Runtime 5.5 LTS. Wsparcie systemu Ubuntu 16.04.6 LTS zakończyło się 1 kwietnia 2021 r.
Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 5.5 obsługiwanym przez platformę Apache Spark.
Nowe funkcje
Automatyczna optymalizacja Delta Lake na Azure Databricks
Obecnie podczas zapisywania danych w magazynie w chmurze należy skompaktować pliki w celu uzyskania optymalnej wydajności operacji we/wy. Musisz martwić się o odpowiedni rozmiar pliku, jak często kompaktować pliki, jak duży klaster do użycia itd. Aby rozwiązać ten problem, z przyjemnością ogłaszamy ogólną dostępność rozwiązania Auto Optimize with Delta Lake on Azure Databricks (Automatyczna optymalizacja za pomocą usługi Delta Lake w usłudze Azure Databricks). Podczas każdego zapisu w tabelach Delta automatycznie ustalamy odpowiednie rozmiary plików i dokonujemy kompaktowania plików, dzięki czemu nie musisz się martwić o optymalizację układu pamięci masowej. Podczas zapisu, jeśli opcja auto-optimize jest true, usługa Azure Databricks automatycznie określa, czy jest wymagana optymalizacja i optymalizuje małe pliki. Aby uzyskać szczegółowe informacje, zobacz Konfigurowanie usługi Delta Lake w celu kontrolowania rozmiaru pliku danych.
Usługa Delta Lake w usłudze Azure Databricks poprawiła wydajność zapytań agregacji min, maksimum i liczby
Wydajność zapytań agregacji min, maksimum i liczby dla usługi Delta Lake w usłudze Azure Databricks została znacznie zwiększona przez zmniejszenie ilości odczytywanych danych. Te zapytania są teraz uruchamiane przy użyciu statystyk i wartości partycji w metadanych, a nie skanowania danych.
Szybsze potoki wnioskowania modelu dzięki ulepszonemu źródle danych plików binarnych i funkcji zdefiniowanej przez użytkownika iteratora skalarnego biblioteki pandas (publiczna wersja zapoznawcza)
Zadania uczenia maszynowego, szczególnie w domenie obrazu i wideo, często muszą działać na dużej liczbie plików. W środowisku Databricks Runtime 5.4 wprowadziliśmy źródło danych dla plików binarnych, aby ułatwić przetwarzanie ETL dowolnych plików, takich jak obrazy, do tabel platformy Spark. W środowisku Databricks Runtime 5.5 dodaliśmy opcję , recursiveFileLookupaby ładować pliki cyklicznie z zagnieżdżonych katalogów wejściowych. Zobacz Plik binarny.
Źródło danych pliku binarnego umożliwia równoległe wykonywanie zadań wnioskowania modelu z tabel Spark za pomocą skalarnej funkcji pandas UDF. Jednak może być konieczne zainicjowanie modelu dla każdej partii rekordów, co wprowadza obciążenie. W środowisku Databricks Runtime 5.5 przywróciliśmy nowy typ UDF biblioteki pandas o nazwie "iterator skalarny" z wzorca platformy Apache Spark. Za jego pomocą można zainicjować model tylko raz i zastosować model do wielu partii wejściowych, co może spowodować przyspieszenie 2–3x dla modeli, takich jak ResNet50. Zobacz Serie do skalarnych funkcji zdefiniowanej przez użytkownika.
Interfejs API wpisów tajnych w notesach języka R
Interfejs API wpisów tajnych umożliwia wstrzykiwanie wpisów tajnych do notesów bez ich trwałego kodowania. Ten interfejs API jest teraz dostępny w notesach języka R oprócz istniejącej obsługi notesów Języka Python i Scala. Funkcja służy do uzyskiwania dbutils.secrets.get wpisów tajnych. Wpisy tajne są redagowane przed drukowaniem do komórki notesu.
Ulepszenia
- Obsługa uruchamiania operacji SQL usługi Delta Lake w języku Python
foreachBatch: usunęliśmy znane ograniczenie braku możliwości zapisywania w tabelach delty z poziomuforeachBatchzapytania przesyłania strumieniowego ze strukturą zdefiniowanego w języku Python. Jest to przydatne w typowych obciążeniach przesyłania strumieniowego języka Python; na przykład Zapisywanie agregacji przesyłania strumieniowego w trybie aktualizacji przy użyciu funkcji MERGE i foreachBatch. - Wydajność tabel delty przechowywanych w usłudze Azure Data Lake Gen2: sprawdzanie najnowszej wersji tabeli delty w usłudze ADLS Gen2 sprawdza teraz tylko koniec dziennika transakcji, zamiast wyświetlać listę wszystkich dostępnych wersji. Ta optymalizacja sprawia, że
UPDATEstała operacja czasu znacznie poprawia opóźnienie. - Skalowalność optymalizacji
ZORDER BY: Porządkowanie Z w bardzo dużych tabelach Delta teraz używa mniejszych jednostek pracy, które podlegają zaawansowanej kontroli dopuszczania. Ta funkcja poprawia stabilność tej operacji bez poświęcania wykorzystania klastra. - Zwiększona wydajność poleceń DML w tabelach z dużą liczbą kolumn: Teraz przeprowadzamy lepsze oczyszczanie kolumn podczas skanowania pod kątem pasujących danych w
UPDATE,DELETEiMERGEpoleceniach. - Obsługa konfiguracji VNet i punktów końcowych usługi na platformie Spark — łącznik usługi Synapse Analytics: dodaliśmy ścieżki usługi ADL Gen2 do listy dozwolonych jako lokalizacje danych tymczasowych (
.option("tempDir", "abfss://...") oraz dodaliśmy nową opcję o nazwieuseAzureMSI, która ma być używana zamiastforward_spark_azure_storage_credentialsw przypadku skonfigurowania usługi Synapse Analytics do uwierzytelniania za pośrednictwem tożsamości zarządzanych na koncie magazynu V2. - Automatyczne unieważnienie buforowania dysku: buforowanie dysku automatycznie wykrywa pliki, które zostały zmodyfikowane lub zastąpione po buforowaniu. Wszystkie nieaktualne wpisy są automatycznie unieważniane i eksmitowane z pamięci podręcznej. Zobacz Optymalizowanie wydajności za pomocą buforowania w usłudze Azure Databricks.
- Uaktualniono koło biblioteki języka Python z wersji 0.33.3 do 0.33.4.
- Uaktualniono bibliotekę języka R nlme z wersji 3.1-139 do 3.1-140.
Poprawki błędów
- Naprawiono anulowanie poleceń języka R, które nie uruchamiają zadań platformy Spark. Wcześniej polecenia języka R, które nie uruchamiają zadań platformy Spark, można anulować, ale stan notesów zostanie utracony; Polecenia można teraz anulować bez utraty stanu notesu.
- Usuwanie lub przenoszenie zarządzanej tabeli powoduje teraz unieważnienie buforowanego dziennika usługi Delta Lake.
- Usunięto usterkę powodującą niepowodzenie zapisywania punktu kontrolnego usługi Delta Lake z powodu błędu
FileAlreadyExistsException. - Język Scala REPL ustawia teraz właściwą
-target:jvm-1.8flagę do obsługi wywoływania metod Języka Java korzystających z funkcji języka Java 8.
Apache Spark
Środowisko Databricks Runtime 5.5 obejmuje platformę Apache Spark 2.4.3. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 5.4 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:
- [SPARK-24695] Zezwalaj funkcji zdefiniowanych przez użytkownika na zwracanie wartości CalendarInterval
- [SPARK-28056] add docstring/doctest for SCALAR_ITER pandas UDF
- [SPARK-28185] Zamyka generator, gdy funkcje zdefiniowane przez użytkownika języka Python przestaną być wcześnie
- [SPARK-24703] Obsługa mnożenia interwałów
- [SPARK-27018][CORE] Naprawianie nieprawidłowego usunięcia pliku z punktem kontrolnym w programie PeriodicCheckpointer
- [SPARK-28127][SQL] Optymalizacja mikro w metodzie mapChildren w węźle TreeNode
- [SPARK-26038] Liczba dziesiętna doScalaBigInt/toJavaBigInteger dla miejsc dziesiętnych, które nie pasują do długich
- [SPARK-26555][SQL] zabezpieczanie wątku sprawdzania podtypu scalaReflection
- [SPARK-28081][ML] Obsługa dużych liczb wywołań w word2vec
- [SPARK-21882][CORE] OutputMetrics nie zlicza poprawnie zapisanych bajtów w funkcji saveAsHadoopDataset
- [SPARK-28030] konwertowanie elementu filePath na identyfikator URI w źródle danych pliku binarnego
- [SPARK-27803][SQL][PYTHON] Naprawa przycinania kolumn dla funkcji Pythona zdefiniowanej przez użytkownika
- [SPARK-27917][SQL] kanoniczna forma obiektu CaseWhen jest niepoprawna
- [SPARK-27798][SQL] from_avro nie powinna wytwarzać tej samej wartości podczas konwersji na relację lokalną
- [SPARK-27873][SQL] columnNameOfCorruptRecord nie należy porównywać z nazwami kolumn w nagłówku CSV podczas wyłączania egzekwowania schematu
- [SPARK-27907][SQL] HiveUDAF powinna zwracać wartość NULL w przypadku 0 wierszy
- [SPARK-27699][SQL] Częściowo odepchnij odsunięcie wskazane w Parquet/ORC
- [SPARK-27868][CORE] Lepsza wartość domyślna i dokumentacja listy prac serwera gniazd.
- [SPARK-27869][CORE] Redact poufne informacje we właściwościach systemu z interfejsu użytkownika
- [SPARK-27863][SQL][BACKPORT-2.4] Pliki metadanych i pliki tymczasowe nie powinny być liczone jako pliki danych
- [SPARK-27657][ML] Napraw format dziennika ml.util.Instrumentation.logFai...
- [SPARK-27858][SQL] Poprawka dotycząca deserializacji Avro w typach unii z wieloma typami innych niż null
- [SPARK-27711][CORE] Usuń zaznaczenie elementu InputFileBlockHolder na końcu zadań
- [SPARK-27351][SQL] Nieprawidłowe oszacowanie liczby wierszy wyjściowych po oszacowaniu zagregowanego dla kolumny zawierającej tylko wartości null
- [SPARK-27539][SQL] Naprawianie niedokładnych danych wyjściowych agregacji Szacowanie wartości z kolumną zawierającą wartości null"
- [SPARK-27800][SQL] Naprawianie nieprawidłowej odpowiedzi w przypadku przypadków testowych bitwiseXor
- [SPARK-27639][SQL] InMemoryTableScan wyświetla nazwę tabeli w interfejsie użytkownika, jeśli to możliwe
- [SPARK-27726][CORE] Poprawiono wydajność usuwania elementuTrackingStore podczas korzystania z magazynu InMemoryStore pod dużym obciążeniem
- [SPARK-27771][SQL] Dodawanie opisu SQL dla funkcji grupowania (moduł, pakiet zbiorczy, grupowanie i grouping_id)
- [SPARK-27735][SS] Ciąg interwału analizowania powinien być niewrażliwy na wielkość liter w usłudze SS
- [SPARK-26856][PYSPARK] Obsługa języka Python dla interfejsów API from_avro i to_avro
- [SPARK-26870][SQL] Przenieś to_avro/from_avro do obiektu funkcji ze względu na zgodność języka Java
- [SPARK-26812][SQL] Zgłaszanie poprawnej wartości null dla złożonych typów danych w unii
- [SPARK-27671][SQL] Naprawianie błędu podczas rzutowania z zagnieżdżonej wartości null w struktury
-
[SPARK-27673][SQL] Dodawanie
sinceinformacji do wyrażeń losowych, regularnych i null -
[SPARK-27672][SQL] Dodawanie
sinceinformacji do wyrażeń ciągów - [SPARK-25139][SPARK-18406][CORE] Unikanie niekrytycznych w celu zabicia funkcji wykonawczej w programie PythonRunner
- [SPARK-27624][CORE] Napraw calenderInterval, aby poprawnie pokazać pusty interwał
- [SPARK-27577][MLLIB] Poprawne progi w dół w pliku BinaryClassificationMetrics
- [SPARK-27621][ML] Regresja liniowa — weryfikowanie parametrów związanych z trenowaniem, takich jak utrata tylko podczas fazy dopasowania
- [SPARK-26048][SPARK-24530] Cherrypick wszystkie brakujące zatwierdzenia do skryptu wydania 2.4
- [SPARK-24935][SQL] obsługa INIT —>UPDATE —> MERGE —> FINISH w adapterze UDAF Hive
Aktualizacje konserwacyjne
Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 5.5.
Środowisko systemu
- System operacyjny: Ubuntu 16.04.6 LTS
- Java: 1.8.0_252
- Scala: 2.11.12
- Python: 2.7.12 dla klastrów języka Python 2 i 3.5.2 dla klastrów języka Python 3.
- R: R w wersji 3.6.0 (2019-04-26)
-
Klastry procesora GPU: zainstalowane są następujące biblioteki procesora GPU FIRMY NVIDIA:
- Kierowca Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Uwaga
Mimo że język Scala 2.12 jest obsługiwany w systemie Apache Spark 2.4, nie jest obsługiwany w środowisku Databricks Runtime 5.5.
W tej sekcji:
- Zainstalowane biblioteki języka Python
- Zainstalowane biblioteki języka R
- Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)
Zainstalowane biblioteki języka Python
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0.5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| kryptografia | 1.5 | rowerzysta | 0.10.0 | Cython | 0.24.1 |
| dekorator | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | Futures | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0.23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| Pandas | 0.19.2 | pathlib2 | 2.1.0 | Patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Poduszka | 3.3.1 |
| pip | 19.1.1 | warstwa | 3.9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2.14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| żądania | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | Przeszukać | 0.32 | seaborn | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | Sześć | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlety | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | koło | 0.33.4 |
| wsgiref | 0.1.2 |
Zainstalowane biblioteki języka R
| Biblioteka | Wersja | Biblioteka | Wersja | Biblioteka | Wersja |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1.1 | assertthat | 0.2.1 |
| backports (backports) | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bitowe | 1.1-14 | bit64 | 0.9-7 |
| bitops | 1.0-6 | blob | 1.1.1 | rozruch | 1.3-20 |
| warzyć | 1.0-6 | obiekt wywołujący | 3.2.0 | samochód | 3.0-2 |
| carData | 3.0-2 | caret | 6.0-82 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | przestrzeń kolorów | 1.4-1 | commonmark | 1,7 |
| — kompilator | 3.6.0 | config | 0.3 | kredka | 1.3.4 |
| lok | 3.3 | tabela danych | 1.12.0 | usługi Power BI | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | Desc | 1.2.0 |
| devtools | 2.0.1 | trawić | 0.6.18 | DoMC | 1.3.5 |
| dplyr | 0.8.0.1 | wielokropek | 0.1.0 | fani | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | zagraniczny | 0.8-71 |
| kuźnia | 0.2.0 | Fs | 1.2.7 | Gbm | 2.1.5 |
| Generyczne | 0.0.2 | ggplot2 | 3.1.0 | Gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | klej | 1.3.1 |
| Gower | 0.2.0 | grafika | 3.6.0 | grDevices | 3.6.0 |
| siatka | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | przystań | 2.1.0 |
| Hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1.3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | Iteratory | 1.0.10 |
| jsonlite | 1.6 | KernSmooth | 2.23-15 | Etykietowania | 0.3 |
| krata | 0.20-38 | lawa | 1.6.5 | opóźnienie | 0.2.2 |
| littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | Mapy | 3.3.0 |
| maptools | 0.9-5 | MASA | 7.3-51.1 | Macierz | 1.2-17 |
| MatrixModels | 0.4-1 | zapamiętywanie | 1.1.0 | metody | 3.6.0 |
| mgcv | 1.8-28 | mim | 0,6 | minqa | 1.2.4 |
| Metryki modelu | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-140 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1.3 | openxlsxx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | filar | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| pochwała | 1.0.0 | prettyunits | 1.0.2 | Proc | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Postęp | 1.2.0 |
| Proto | 1.0.0 | PS | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5.38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | przepisy | 0.1.5 | rewanż | 1.0.1 |
| Piloty | 2.0.2 | zmień kształt2 | 1.4.3 | Rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | waga | 1.0.0 |
| sessioninfo | 1.1.1 | Sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.4 | Rozrzednia | 1.77 | przestrzenny | 7.3-11 |
| Splajnów | 3.6.0 | sqldf | 0.4-11 | KWADRAT | 2017.10-1 |
| statmod | 1.4.30 | Statystyki | 3.6.0 | stats4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | przetrwanie | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | NauczanieDemos | 2.10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | timeDate | 3043.102 | tools | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | narzędzia | 3.6.0 |
| viridisLite | 0.3.0 | wąs | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zamek | 2.0.1 |
Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)
| Identyfikator grupy | Identyfikator artefaktu | Wersja |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-klej | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-biblioteka-biblioteka | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | strumień | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1-0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15-9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15-9 |
| com.esotericsoftware | kryo-cieniowane | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | kolega z klasy | 1.0.0 |
| com.fasterxml.jackson.core | adnotacje jackson | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1.1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1.1 |
| com.github.fommil.netlib | native_ref-java-natives | 1.1 |
| com.github.fommil.netlib | native_system java | 1.1 |
| com.github.fommil.netlib | native_system-java-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1.1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1.1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guawa | 15.0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | azure-storage | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0.3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | parsery jednowołciowości | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.9.3 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1.10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1.6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2,4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metryki —rdzeń | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | serwlety metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| javax.activation | aktywacja | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1.1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0-2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| drzewa maven | hive-exec-with-klej | hive-12679-patch_deploy |
| drzewa maven | hive-exec-with-klej | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pirolit | 4.13 |
| net.sf.jpam | jpam | 1.1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0.1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3.4 |
| org.antlr | antlr4-runtime | 4.7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | tat | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | format strzałki | 0.10.0 |
| org.apache.arrow | strzałka w pamięci | 0.10.0 |
| org.apache.arrow | wektor strzałki | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0 inkubacja |
| org.apache.calcite | calcite-core | 1.2.0 inkubacja |
| org.apache.calcite | calcite-linq4j | 1.2.0 inkubacja |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | kurator-klient | 2.7.1 |
| org.apache.curator | struktura kuratora | 2.7.1 |
| org.apache.curator | przepisy kuratora | 2.7.1 |
| org.apache.derby | Derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0-M20 |
| org.apache.directory.api | api-util | 1.0.0-M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0-M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0-M15 |
| org.apache.hadoop | adnotacje hadoop | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0 inkubacja |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | bluszcz | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | podkładki orc-shim | 1.5.2 |
| org.apache.parquet | parquet-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | kodowanie parquet | 1.10.1.1-databricks3 |
| org.apache.parquet | format parquet | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-cieniowany | 4.8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-kontynuacja | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | lokalizator hk2 | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | moduł sprawdzania poprawności hibernacji | 5.1.1.Final |
| org.iq80.snappy | Żwawy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | Podkładki | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | interfejs testowy | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark.spark | Nieużywane | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1.16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0.52 |