Udostępnij za pośrednictwem

Databricks Runtime 8.3 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Poniższe informacje o wersji zawierają informacje o środowiskach Databricks Runtime 8.3 i Databricks Runtime 8.3 Photon obsługiwanych przez platformę Apache Spark 3.1.1. Usługa Databricks wydała tę wersję w czerwcu 2021 roku. Photon jest w publicznej wersji zapoznawczej.

Nowe funkcje i ulepszenia

Wygenerowane kolumny w tabelach delty (publiczna wersja zapoznawcza)

Delta Lake obsługuje teraz kolumny generowane automatycznie, które są specjalnym typem kolumny, których wartości są automatycznie generowane na podstawie funkcji określonej przez użytkownika względem innych kolumn w tabeli Delta. Większość wbudowanych funkcji SQL umożliwia generowanie wartości tych wygenerowanych kolumn. Na przykład możesz automatycznie wygenerować kolumnę daty (na potrzeby partycjonowania tabeli według daty) z kolumny znacznika czasu; wszystkie operacje zapisu w tabeli wymagają tylko określenia danych dla kolumny sygnatury czasowej. Tabele delty można tworzyć z wygenerowanymi kolumnami przy użyciu interfejsów API SQL, Scala, Java lub Python.

Aby uzyskać więcej informacji, zobacz kolumny generowane przez Delta Lake.

Funkcje i ulepszenia automatycznego modułu ładującego

Wnioskowanie schematu dla plików CSV w narzędziu do automatycznego ładowania

Funkcja automatycznego ładowania obsługuje teraz wnioskowanie schematu i ewolucję w plikach CSV. Moduł automatycznego ładowania zapewnia następujące możliwości w oparciu o istniejący analizator CSV na platformie Apache Spark:

  • Scalanie schematów: Automatyczny ładownik może pozyskiwać pliki CSV, które mają różne schematy (różna liczba kolumn, różna kolejność kolumn) w różnych plikach.
  • Uratowana kolumna danych: możesz użyć uratowanych kolumn danych, aby uratować nieoczekiwane dane, które mogą pojawić się w plikach CSV. Obejmuje to dane, których nie można przeanalizować w oczekiwanym typie danych, kolumny o innej wielkości liter lub z wartościami null w nagłówku, lub dodatkowe kolumny, które nie były częścią oczekiwanego schematu.

Aby uzyskać szczegółowe informacje, zobacz Konfigurowanie wnioskowania schematu i ewolucji w Auto Loader.

Ulepszony czas uruchamiania strumieni automatycznego modułu ładującego

Strumienie automatycznego modułu ładującego wykonują teraz wstępne wypełnianie strumienia asynchronicznie podczas uruchamiania po raz pierwszy, co prowadzi do znacznie szybszego uruchamiania strumienia. Może to umożliwić szybkie iterowanie kodu przy użyciu danych produkcyjnych, szczególnie w przypadku konieczności pozyskiwania danych z katalogów zawierających miliony lub miliardy plików.

Ponadto czas uruchamiania strumieni, które są uruchamiane ponownie, są również ulepszone, ponieważ zrównaliśmy pobieranie i przekazywanie plików RocksDB, które automatycznie ładujący wykorzystuje do zapewnienia dokładnie raz semantyki.

Szybsze wyświetlanie listy katalogów w narzędziu do automatycznego ładowania

Znacznie poprawiliśmy wydajność wyświetlania listy katalogów w narzędziu automatycznego ładowania. Efektem ubocznym tej poprawy wydajności jest to, że strumień może wystosowywać więcej żądań na listę do systemu przechowywania, gdy nie ma nowych danych do przetworzenia, co może prowadzić do wzrostu opłat za te żądania. Ogólnie rzecz biorąc, firma Databricks zaleca określenie rozsądnego interwału wyzwalania dla potoków przesyłania strumieniowego w środowisku produkcyjnym. Zobacz Zagadnienia dotyczące produkcji przesyłania strumieniowego ze strukturą.

Mniejsze obciążenie magazynu dla punktów kontrolnych automatycznego modułu ładującego

Strumienie automatycznego modułu ładującego automatycznie czyszczą nieaktualne pliki w katalogu punktu kontrolnego asynchronicznie, aby zachować rozmiar katalogu punktu kontrolnego przed wzrostem na czas nieokreślony i zmniejszyć koszty magazynowania.

Funkcja automatycznego ładowania zawiera ścieżkę pliku w uratowanych kolumnach danych, jeśli są dostępne

Uratowana kolumna danych automatycznie udostępnia ścieżkę pliku uratowanych danych, jeśli ma zastosowanie w kolumnie o nazwie _file_ path. Może to pomóc w śledzeniu głównej przyczyny problemów z jakością danych. Kolumna nie jest uwzględniana, jeśli schemat danych zawiera kolumnę o nazwie _file_path. W razie potrzeby możesz użyć spark.databricks.sql.rescuedDataColumn.filePath.name konfiguracji SQL, aby zmienić nazwę kolumny.

Funkcja automatycznego ładowania obsługuje zmiany nazw plików w usłudze Azure Data Lake Storage Gen2 w trybie powiadamiania o plikach

Funkcja automatycznego ładowania obsługuje teraz zdarzenia BlobRenamed dla usługi Azure Data Lake Storage Gen2 podczas uruchamiania w trybie powiadomień plików. Aby przetworzyć pliki przekazane do kontenera usługi Azure Data Lake Storage Gen2 za pomocą operacji zmiany nazwy z powiadomieniami o plikach, uruchom nowy strumień z automatycznym modułem ładujący przy użyciu środowiska Databricks Runtime 8.3. Aby upewnić się, że plik jest przetwarzany dokładnie raz, upewnij się, że katalog źródłowy, z którego jest zmieniany plik, nie jest obserwowany przez moduł automatycznego ładowania.

Utwórz tabele Delta za pomocą nowych programowalnych interfejsów API (publiczna wersja zapoznawcza)

Teraz można programowo tworzyć nowe tabele delty (przy użyciu języków Scala, Java i Python) bez używania interfejsów API ramki danych. Nowe interfejsy API DeltaTableBuilder i DeltaColumnBuilder umożliwiają określenie wszystkich szczegółów tabeli, które można określić przy użyciu CREATE TABLESQL.

Aby uzyskać więcej informacji, zobacz Tworzenie tabeli.

Poprawne obliczanie rozmiarów tabel delty w usłudze SQL ANALYZE

Istniejąca logika analizy niepoprawnie oblicza rozmiar tabeli dla tabel delty i aktualizuje wykaz o nieprawidłowym rozmiarze. Poprawka polega na pobraniu rozmiaru tabeli Delta z logu Delta.

Szczegółowe metryki wydajności bazy danych RocksDB podczas korzystania z bazy danych RocksDBStateStore

Jeśli skonfigurowano zapytanie przesyłania strumieniowego ze strukturą do używania RocksDB jako magazynu stanów, możesz teraz uzyskać lepszy wgląd w wydajność bazy danych RocksDB z szczegółowymi metrykami na temat opóźnień pobierania/umieszczania, opóźnień kompaktowania, trafień pamięci podręcznej itd. Te metryki są dostępne za pośrednictwem StreamingQueryProgress interfejsów API i StreamingQueryListener do monitorowania zapytania przesyłania strumieniowego.

Aby uzyskać więcej informacji, zobacz Configure RocksDB state store on Azure Databricks (Konfigurowanie magazynu stanów bazy danych RocksDB w usłudze Azure Databricks).

Automatyczne zoptymalizowane zapisy

Zoptymalizowane zapisy w partycjonowanych tabelach delty są teraz automatycznie włączone na potrzeby aktualizacji i usuwania zapytań zawierających podzapytania.

Włącz sprzężenia zasobnikowe, jeśli tylko jedna strona sprzężenia jest zasobnikowa

Nowa konfiguracja spark.databricks.sql.minBucketsForBucketedJoin umożliwia sprzężenia zasobnikowego, jeśli tylko jedna strona sprzężenia jest zasobnikowana, a liczba zasobników nie jest mniejsza niż ta wartość konfiguracji. Domyślnie ta wartość konfiguracji jest taka sama jak domyślna liczba partycji mieszania (200).

Ulepszone zabezpieczenia podczas definiowania funkcji zdefiniowanych przez użytkownika platformy Spark (publiczna wersja zapoznawcza)

Funkcje current_user informacji o użytkowniku i is_member nie mogą być już zastępowane przez funkcje tymczasowe, w tym Python spark.udf.register lub SQL create or replace temp function.

Zmniejszona liczba żądań do rejestru schematów dla zapytań przy użyciu from_avro

Zapytania z from_avro z obsługą rejestru schematów nie generują już tyle samo żądań do tej usługi, co pozwala zaoszczędzić koszty operacyjne.

Wiele wyników w języku R z listąResults (publiczna wersja zapoznawcza)

Notesy języka R usługi Databricks obsługują teraz wiele wyników w każdej komórce. Wcześniej tylko jeden wynik został renderowany dla każdej komórki notesu. Obecnie wyniki pojedynczej komórki w notesach języka R są wyświetlane w następującej kolejności:

  1. RShiny URL
  2. Wykreślić
  3. dane wyjściowe displayHTML
  4. Tabele
  5. stdout

Uaktualnienia biblioteki

  • Uaktualniona biblioteka języka Python:
    • Program koalas został uaktualniony z wersji 1.7.0 do wersji 1.8.0.
    • Biblioteka pandas została uaktualniona z wersji 1.1.3 do wersji 1.1.5.
    • s3transfer uaktualniony z wersji 0.3.4 do 0.3.6.
  • Uaktualniona biblioteka języka R:
    • Usługa SparkR została uaktualniona z wersji 3.1.1 do wersji 3.1.2.
  • Uaktualniona biblioteka Języka Java:
    • mariadb-java-client z wersji 2.1.2 do 2.2.5.
    • parquet-column z 1.10.1-databricks6 do 1.10.1-databricks9
    • parquet-common from 1.10.1-databricks6 to 1.10.1-databricks9
    • kodowanie parquet z 1.10.1-databricks6 do 1.10.1-databricks9
    • parquet-hadoop z wersji 1.10.1-databricks6 do 1.10.1-databricks9
    • parquet-jackson z 1.10.1-databricks6 do 1.10.1-databricks9

Apache Spark

Środowisko Databricks Runtime 8.3 obejmuje platformę Apache Spark 3.1.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 8.2 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-34614] [SQL] Tryb ANSI: Rzutowanie ciągu do wartości logicznej powinno zgłaszać wyjątek podczas analizowania błędu
  • [SPARK-34246] [KONTYNUACJA] Zmień definicję "findTightestCommonT...
  • [SPARK-35213] [SQL] Zachowaj poprawną kolejność zagnieżdżonych struktur w operacjach w łańcuchu za pomocą operacjiField
  • [SPARK-35096] [SQL] SchematPruning powinien być zgodny z konfiguracją spark.sql.caseSensitive
  • [SPARK-35227] [BUILD] Aktualizacja resolvera dla pakietów spark w usłudze SparkSubmit
  • [SPARK-35224] [SQL] Naprawianie przepełnienia buforu w MutableProjectionSuite
  • [SPARK-34245] [CORE] Upewnij się, że wzorzec usuwa funkcje wykonawcze, których nie można wysłać stanu zakończenia
  • [SPARK-34856] [SQL] Tryb ANSI: zezwalaj na rzutowanie złożonych typów jako typu ciągu
  • [SPARK-34946] [SQL] Blokuj nieobsługiwane skorelowane podzapytywanie skalarne w agregacji
  • [SPARK-35014] Naprawiono wzorzec physicalAggregation, aby nie przepisać wyrażeń składanych
  • [SPARK-34769] [SQL] AnsiTypeCoercion: zwróć najbliższy con...

Środowisko systemu

  • System operacyjny: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.52.0.23-CA-linux64 (kompilacja 1.8.0_282-b08)
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: R w wersji 4.0.4 (2021-02-15)
  • Usługa Delta Lake 1.0.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
kryptografia 3.1.1 rowerzysta 0.10.0 Cython 0.29.21
dekorator 4.4.2 distlib 0.3.1 docutils 0.15.2
punkty wejścia 0.3 aspekty — omówienie 1.0.0 filelock 3.0.12
idna 2.10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 Koale 1.8.0 matplotlib 3.2.2
numpy 1.19.2 Pandas 1.1.5 parso 0.7.0
Patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 kreślenie 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.0 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
żądania 2.24.0 Ponawianie... 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 seaborn 0.10.0
setuptools 50.3.1 Sześć 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlety 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
koło 0.35.1

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w dniach 2020-11-02.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
askpass 1.1 assertthat 0.2.1 backports (backports) 1.2.1
base 4.0.4 base64enc 0.1-3 BH 1.72.0-3
bitowe 4.0.4 bit64 4.0.5 blob 1.2.1
rozruch 1.3-27 warzyć 1.0-6 Brio 1.1.0
miotła 0.7.2 obiekt wywołujący 3.5.1 caret 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-18
cli 2.2.0 clipr 0.7.1 cluster 2.1.1
codetools 0.2-18 przestrzeń kolorów 2.0-0 commonmark 1,7
— kompilator 4.0.4 config 0.3 covr 3.5.1
cpp11 0.2.4 kredka 1.3.4 Poświadczenia 1.3.0
Crosstalk 1.1.0.1 lok 4.3 data.table 1.13.4
usługi Power BI 4.0.4 DBI 1.1.0 dbplyr 2.0.0
Desc 1.2.0 devtools 2.3.2 diffobj 0.3.2
trawić 0.6.27 dplyr 1.0.2 DT 0.16
wielokropek 0.3.1 evaluate 0,14 fani 0.4.1
farver 2.0.3 szybka mapa 1.0.1 forcats 0.5.0
foreach 1.5.1 zagraniczny 0.8-81 kuźnia 0.2.0
Fs 1.5.0 przyszłość 1.21.0 Generyczne 0.1.0
Gert 1.0.2 ggplot2 3.3.2 Gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globalna 0.14.0
klej 1.4.2 Gower 0.2.2 grafika 4.0.4
grDevices 4.0.4 siatka 4.0.4 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 przystań 2.3.1
wysoki 0,8 Hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Iteratory 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 knitr 1,30
Etykietowania 0.4.2 później 1.1.0.1 krata 0.20-41
lawa 1.6.8.1 opóźnienie 0.2.2 cykl życia 0.2.0
nasłuchiwanie 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1.1 MASA 7.3-53.1 Macierz 1.3-2
zapamiętywanie 1.1.0 metody 4.0.4 mgcv 1.8-33
mim 0,9 Metryki modelu 1.2.2.2 modeler 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-15
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.4
równolegle 1.22.0 filar 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 pochwała 1.0.0 prettyunits 1.1.1
Proc 1.16.2 processx 3.4.5 prodlim 2019.11.13
Postęp 1.2.2 Obietnice 1.1.1 Proto 1.0.0
PS 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 przepisy 0.1.15
rewanż 1.0.1 rewanż2 2.1.2 Piloty 2.2.0
reprex 0.3.0 zmień kształt2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions (rversions) 2.0.2 rvest 0.3.6 waga 1.1.1
selektor 0.4-2 sessioninfo 1.1.1 kształt 1.4.5
błyszczący 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.2 przestrzenny 7.3-11 Splajnów 4.0.4
sqldf 0.4-11 KWADRAT 2020.5 Statystyki 4.0.4
stats4 4.0.4 stringi 1.5.3 stringr 1.4.0
przetrwanie 3.2-7 sys 3.4 tcltk 4.0.4
NauczanieDemos 2.10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
timeDate 3043.102 tinytex 0,28 tools 4.0.4
usethis 2.0.0 utf8 1.1.4 narzędzia 4.0.4
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
Waldo 0.2.3 wąs 0,4 withr 2.3.0
xfun 0.19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zamek 2.1.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1.10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1.6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2,4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
drzewa maven hive-2.3__hadoop-2.7 liball_deps_2.12
net.razorvine pirolit 4.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 2.0.0
org.apache.arrow strzałka-pamięć-rdzeń 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow wektor strzałki 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1.6
org.apache.curator kurator-klient 2.7.1
org.apache.curator struktura kuratora 2.7.1
org.apache.curator przepisy kuratora 2.7.1
org.apache.derby Derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0-M20
org.apache.directory.api api-util 1.0.0-M20
org.apache.directory.server apacheds-i18n 2.0.0-M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0-M15
org.apache.hadoop adnotacje hadoop 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive podkładki hive 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0 inkubacja
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy bluszcz 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc podkładki orc-shim 1.5.12
org.apache.parquet parquet-kolumna 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet kodowanie parquet 1.10.1-databricks9
org.apache.parquet format parquet 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity prędkość 1.5
org.apache.xbean xbean-asm7-cieniowany 4.15
org.apache.yetus adnotacje odbiorców 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-kontynuacja 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.30
org.glassfish.jersey.containers jersey-container-servlet-core 2.30
org.glassfish.jersey.core jersey-client 2.30
org.glassfish.jersey.core jersey-common 2.30
org.glassfish.jersey.core jersey-server 2.30
org.glassfish.jersey.inject jersey-hk2 2.30
org.glassfish.jersey.media jersey-media-jaxb 2.30
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap Podkładki 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark.spark Nieużywane 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten trzydostępne dodatkowe 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0.52