Udostępnij za pośrednictwem

Databricks Runtime 12.0 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje Databricks Runtime można znaleźć w notatkach o wersji i kompatybilności środowiska Databricks Runtime.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 12.0 obsługiwanym przez platformę Apache Spark 3.3.1.

Usługa Databricks wydała tę wersję w grudniu 2022 roku.

Nowe funkcje i ulepszenia

Predykcyjne wejścia/wyjścia są ogólnie dostępne

Predyktywne wejście/wyjście jest teraz ogólnie dostępne. Aby uzyskać więcej informacji, zobacz Co to jest predykcyjne wejście/wyjście?

Writer Photon obsługuje kompresję zstd

Moduł zapisywania natywnego photon obsługuje teraz kodek kompresji zstd, gdy zstd jest włączony przez ustawienie spark.sql.parquet.compression.codec na zstd.

Obsługa profilu zasobu zadania na poziomie etapu dla klastrów autonomicznych

Teraz można używać planowania na poziomie etapu w autonomicznych klastrach, gdy alokacja dynamiczna jest wyłączona. Aby użyć tej funkcji, określ zasoby dla zadań z ResourceProfileBuilder dla każdego etapu.

Obsługa języka SQL dla selektywnego nadpisywania przy użyciu REPLACE WHERE

Teraz można selektywnie zastąpić dane pasujące do dowolnego wyrażenia w tabeli delty przy użyciu następującego wzorca.

INSERT INTO table_name REPLACE WHERE predicate append_relation

Zobacz dowolne selektywne zastępowanie za pomocą replaceWhere.

Znaki wodne są teraz obsługiwane w języku SQL

Teraz można określić znaki wodne przy użyciu interfejsu DLT SQL oraz w zapytaniach SQL względem strumieniowanych DataFrames. Zobacz klauzulę WATERMARK.

Profilowanie pamięci PySpark

Profilowanie pamięci jest teraz włączone dla funkcji zdefiniowanych przez użytkownika PySpark. Zapewnia to informacje na temat przyrostu pamięci, użycia pamięci i liczby wystąpień dla każdego wiersza kodu w funkcji zdefiniowanej przez użytkownika.

Dynamiczne przycinanie dla DELETE i UPDATE

W przypadku korzystania z obliczeń z włączoną usługą Photon, DELETE i UPDATE wykorzystują teraz dynamiczne oczyszczanie plików i partycji, gdzie poprawia to wydajność. Na przykład dynamiczne oczyszczanie jest włączone, gdy mniejsza tabela źródłowa służy do aktualizowania lub usuwania wierszy w większej tabeli.

Metryki usuwania na poziomie wiersza dla operacji języka manipulowania partycjonowaną danymi

W przypadku partycjonowanych predykatów użytkownicy mogą teraz przeprowadzać inspekcję liczby wierszy usuniętych podczas uruchamiania operacji języka manipulowania danymi (DML), takich jak DELETE, TRUNCATEi replaceWhere.

Poprawki błędów

Rozwiązano problem z analizowaniem kodu JSON w narzędziu do automatycznego ładowania, który polegał na tym, że wszystkie kolumny były pozostawione jako ciągi. Wcześniej cloudFiles.inferColumnTypes nie było ustawione lub było ustawione na false, a plik JSON zawierał zagnieżdżone obiekty.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • argon2-cffi od 20.1.0 do 21.3.0
    • attrs z 21.2.0 do 21.4.0
    • backports.entry-points-selectable z 1.1.1 do 1.2.0
    • bleach z wersji 4.0.0 do 4.1.0
    • boto3 z 1.21.18 do 1.21.32
    • botocore z wersji 1.24.18 do 1.24.32
    • cffi z 1.14.6 do 1.15.0
    • Przejdź z wersji 8.0.3 na 8.0.4
    • cycler z 0.10.0 do 0.11.0
    • Cython z 0.29.24 do 0.29.28
    • debugpy z wersji 1.4.1 do 1.5.1
    • dekorator z wersji 5.1.0 do 5.1.1
    • punkty wejścia z zakresu od 0.3 do 0.4
    • idna z 3.2 do 3.3
    • ipykernel z wersji 6.12.1 do 6.15.3
    • ipython z 7.32.0 do 8.5.0
    • ipywidgets z 7.7.0 do 7.7.2
    • jedi z 0.18.0 do 0.18.1
    • joblib z wersji 1.0.1 do 1.1.0
    • jsonschema z wersji 3.2.0 do wersji 4.4.0
    • kiwisolver z 1.3.1 do 1.3.2
    • matplotlib z wersji 3.4.3 do 3.5.1
    • nbclient z wersji 0.5.3 do 0.5.13
    • nbconvert z 6.1.0 do 6.4.4
    • nbformat z wersji 5.1.3 do 5.3.0
    • nest-asyncio z wersji 1.5.1 do 1.5.5
    • notatnik od wersji 6.4.5 do 6.4.8
    • numpy z wersji 1.20.3 do 1.21.5
    • opakowania od 21.0 do 21.3
    • biblioteka pandas z wersji 1.3.4 do 1.4.2
    • Aktualizacja pandocfilters z wersji 1.4.3 do 1.5.0
    • parso z 0.8.2 do 0.8.3
    • Pillow z 8.4.0 do 9.0.1
    • platformdirs z wersji 2.5.2 do 2.5.4
    • wykres z 5.9.0 do 5.6.0
    • prometheus-client z wersji 0.11.0 do 0.13.1
    • protobuf z wersji 4.21.5 na 3.19.4
    • pycparser z wersji 2.20 do 2.21
    • Pygments z 2.10.0 do 2.11.2
    • pyodbc z wersji 4.0.31 do 4.0.32
    • pyzmq z 22.2.1 do 22.3.0
    • Prośby z wersji 2.26.0 do wersji 2.27.1
    • s3transfer z 0.5.2 do 0.5.0
    • scikit-learn z wersji 0.24.2 do 1.0.2
    • scipy z 1.7.1 do 1.7.3
    • statsmodels z wersji 0.12.2 do wersji 0.13.2
    • terminado z 0.9.4 do 0.13.1
    • tomli z wersji 2.0.1 do 1.2.2
    • cechy od 5.1.0 do 5.1.1
    • urllib3 z 1.26.7 do 1.26.9
    • widgetsnbextension z wersji 3.6.0 do 3.6.1
  • Uaktualnione biblioteki języka R:
    • baza od 4.1.3 do 4.2.2
    • zaktualizować brew z wersji 1.0-7 do 1.0-8
    • bslib z 0.4.0 do 0.4.1
    • Pakiet callr z wersji 3.7.2 do 3.7.3
    • chron od wersji 2.3-57 do wersji 2.3-58
    • CLI z wersji 3.3.0 do 3.4.1
    • klaster z wersji 2.1.3 do 2.1.4
    • commonmark z wersji 1.8.0 do 1.8.1
    • kompilator z wersji 4.1.3 do 4.2.2
    • cpp11 z 0.4.2 do 0.4.3
    • crayon z 1.5.1 do 1.5.2
    • curl z 4.3.2 do 4.3.3
    • data.table z wersji 1.14.2 do 1.14.4
    • zestawy danych z wersji 4.1.3 do 4.2.2
    • desc z 1.4.1 do 1.4.2
    • devtools z wersji 2.4.4 do 2.4.5
    • zmiana wersji z 0.6.29 do 0.6.30
    • e1071 z 1.7-11 do 1.7-12
    • ocena z zakresu od 0,16 do 0,18
    • fontawesome z 0.3.0 do 0.4.0
    • przyszłość od 1.28.0 do 1.29.0
    • future.apply aktualizacja z wersji 1.9.1 do 1.10.0
    • gargle z wersji 1.2.0 do wersji 1.2.1
    • gert z 1.8.0 do 1.9.1
    • ggplot2 z wersji 3.3.6 do 3.4.0
    • gh z 1.3.0 do 1.3.1
    • gitcreds z wersji 0.1.1 do 0.1.2
    • grafika z wersji 4.1.3 do 4.2.2
    • grDevices z wersji 4.1.3 do 4.2.2
    • siatka z 4.1.3 do 4.2.2
    • httpuv z wersji 1.6.5 do 1.6.6
    • isoband od 0.2.5 do 0.2.6
    • jsonlite z wersji 1.8.0 do 1.8.3
    • lava od wersji 1.6.10 do 1.7.0
    • cykl życia wersji od 1.0.1 do 1.0.3
    • Zmiana lubridate z wersji 1.8.0 na 1.9.0
    • markdown z 1.1 do 1.3
    • MASA od 7.3-56 do 7.3-58
    • Macierz od 1.4-1 do 1.5-1
    • metody z zakresu od 4.1.3 do 4.2.2
    • mgcv z 1.8-40 do 1.8-41
    • nlme z 3.1-157 do 3.1-160
    • nnet z wersji 7.3-17 do wersji 7.3-18
    • openssl z 2.0.2 do 2.0.4
    • równolegle od wersji 4.1.3 do 4.2.2
    • Aktualizacja pkgload z wersji 1.3.0 do 1.3.1
    • processx z wersji 3.7.0 do 3.8.0
    • ps z 1.7.1 do 1.7.2
    • purrr z 0.3.4 do 0.3.5
    • ragg z wersji 1.2.2 do wersji 1.2.4
    • RcppEigen z 0.3.3.9.2 do 0.3.3.9.3
    • readr z wersji 2.1.2 do 2.1.3
    • przepisy od 1.0.1 do 1.0.3
    • rlang z 1.0.5 do 1.0.6
    • rmarkdown z 2.16 do 2.18
    • rpart z 4.1.16 do 4.1.19
    • RSQLite z wersji 2.2.16 do 2.2.18
    • błyszczące z wersji 1.7.2 do 1.7.3
    • SparkR z wersji 3.3.0 do 3.3.1
    • Spliny od 4.1.3 do 4.2.2
    • statystyki z 4.1.3 do 4.2.2
    • stats4 z 4.1.3 do 4.2.2
    • system z wersji 3.4 do 3.4.1
    • tcltk z wersji 4.1.3 do 4.2.2
    • testthat z 3.1.4 do 3.1.5
    • "tidyr od 1.2.0 do 1.2.1"
    • tidyselect z wersji 1.1.2 do 1.2.0
    • timeDate z 4021.104 do 4021.106
    • tinytex z 0.41 do 0.42
    • narzędzia z wersji 4.1.3 do 4.2.2
    • Narzędzia z wersji 4.1.3 do 4.2.2
    • vctrs z 0.4.1 do 0.5.0
    • vroom od 1.5.7 do 1.6.0
    • xfun od 0.32 do 0.34
    • yaml z wersji 2.3.5 do 2.3.6
    • zip z wersji 2.2.0 do 2.2.2
  • Uaktualnione biblioteki Java:
    • com.fasterxml.jackson.core.jackson-databind z wersji 2.13.4 do 2.13.4.2
    • org.apache.parquet.parquet-column from 1.12.0-databricks-0007 to 1.12.3-databricks-0001
    • org.apache.parquet.parquet-common from 1.12.0-databricks-0007 do 1.12.3-databricks-0001
    • org.apache.parquet.parquet-encoding z 1.12.0-databricks-0007 na 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures od 1.12.0-databricks-0007 do 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop z 1.12.0-databricks-0007 do 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson z 1.12.0-databricks-0007 do 1.12.3-databricks-0001
    • org.apache.yetus.audience-adnotacje od 0.5.0 do 0.13.0

Apache Spark

Środowisko Databricks Runtime 12.0 obejmuje platformę Apache Spark 3.3.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 11.3 LTS, a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Przywróć "[SC-113542][ss] Zmień domyślną wartość konfiguracji pobierania przesunięcia Kafka"
  • [SPARK-40646] [SC-116061] Cofnięcie “[SC-113379][sql] Poprawki dotyczącej zwracania częściowych wyników w źródle danych JSON i funkcjach JSON”
  • [SPARK-41195] [SC-116305][sql] Support PIVOT/UNPIVOT z połączonymi podrzędnymi
  • [SPARK-41178] [SC-116139][sql] Poprawiono priorytet reguły parsera między JOIN a przecinkiem
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] Dodaj klasę błędów STREAM_FAILED do StreamingQueryException
  • [SPARK-40921] Przywróć "[SC-115140][sc-114585][SQL] Dodaj klauzulę WHEN NOT MATCHED BY SOURCE do MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Rozszerzanie kolumny METADATA w celu obsługi indeksów wierszy dla plików Parquet
  • [SPARK-41055] [SC-115582][sql] Zmień nazwę _LEGACY_ERROR_TEMP_2424 na GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] Obsługa nazwy klasy komunikatów dla PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] Odpowiednik SQL dla polecenia przepisywania ramki danych
  • [SPARK-41095] [SC-115659][sql] Konwertowanie nierozwiązanych operatorów na błędy wewnętrzne
  • [SPARK-41144] [SC-115866][sql] Nierozwiązana wskazówka nie powinna powodować błędu zapytania
  • [SPARK-41137] [SC-115858][sql] Zmień nazwę LATERAL_JOIN_OF_TYPE na INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] Zmień nazwę klasy błędów _LEGACY_ERROR_TEMP_0040 na INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] UnitTest — sprawdzanie wartości null generatora danych
  • [SPARK-40769] [SC-114923][core][SQL] Migrowanie błędów sprawdzania typów wyrażeń agregowanych na klasy błędów
  • [SPARK-41043] [SC-115183][sql] Zmień nazwę klasy błędów _LEGACY_ERROR_TEMP_2429 na NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Obsługa importu Protobuf i przeniesienie klas błędów.
  • [SPARK-41019] [SC-114987][sql] Podaj kontekst zapytania do failAnalysis()
  • [SPARK-41027] [SC-115131][sql] Użyj UNEXPECTED_INPUT_TYPE zamiast MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Zmniejsz rozmiar przetasowania ALS
  • [SPARK-41134] [SC-115851][sql] Ulepszenie komunikatu o błędach wewnętrznych
  • [SPARK-37980] Przywracanie kolumny metadanych [SQL] w celu obsługi indeksów wierszy dla plików Parquet
  • [SPARK-41109] [SC-115788][sql] Zmień nazwę klasy błędów _LEGACY_ERROR_TEMP_1216 na INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Użyj NON_FOLDABLE_INPUT zamiast FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Optymalizowanie użycia konstruktora GenericArrayData dla języka Scala 2.13
  • [SPARK-40697] [SC-113648][sql] Dodaj wypełnienie znaków po stronie odczytu, aby pokryć zewnętrzne pliki danych
  • [SPARK-40978] [SC-114574][sql] Migracja failAnalysis() bez kontekstu na klasy błędów
  • [SPARK-40663] [SC-114586][sql] Migrowanie błędów do klas błędów: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: Obsługa filtrowania grup środowiska uruchomieniowego w poleceniach na poziomie wiersza
  • [SPARK-40372] [SC-115668][sql] Migracja niepowodzeń w sprawdzaniu typów tablic do klas błędów
  • [SPARK-41038] [SC-115371][sql] Zmień nazwę MULTI_VALUE_SUBQUERY_ERROR na SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] Zmień nazwę klasy błędów _LEGACY_ERROR_TEMP_1208 na FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] Migracja błędów sprawdzania typów do klas błędów
  • [SPARK-40371] [SC-114557][sql] Migracja błędów sprawdzania typów dla NthValue i NTile do klas błędów
  • [SPARK-41092] [SC-115547][sql] Nie używaj identyfikatora do dopasowywania jednostek interwału
  • [SPARK-41009] [SC-115360][sql] Zmień nazwę klasy błędów _LEGACY_ERROR_TEMP_1070 na LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Rozszerzanie kolumny METADATA w celu obsługi indeksów wierszy dla plików Parquet
  • [SPARK-40967] [SC-114448][sql] Zmigrój failAnalysis() na klasy błędów
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] Instrumentowanie UDF-ów Pythona przy użyciu metryk SQL
  • [SPARK-41012] [SC-114873][sql] Zmień nazwę _LEGACY_ERROR_TEMP_1022 na ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] Zmień nazwę PARSE_CHAR_MISSING_LENGTH na DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] Przenieść błędy sprawdzania typów wyrażeń dodatkowych do klas błędów
  • [SPARK-37945] [SC-115534][sql][CORE] Użyj klas błędów w błędach wykonywania operacji arytmetycznych
  • [SPARK-40374] [SC-114705][sql] Migracja błędów sprawdzania typów utworzonych przez twórców na klasy błędów
  • [SPARK-41056] [SC-115354][r] Poprawka nowego zachowania R_LIBS_SITE wprowadzonego w wersji R 4.2
  • [SPARK-41041] [SC-115357][sql] Integracja _LEGACY_ERROR_TEMP_1279 z TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] Zmigrować błędy wykonania do klas błędów: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] Zmień nazwę klasy błędów _LEGACY_ERROR_TEMP_1019 na STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] Nie poprawiaj składanych elementów podrzędnych funkcji agregujących w RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] Ulepszanie klas błędów i komunikatów
  • [SPARK-40798] [SC-113782][sql] Zmiana partycji powinna zweryfikować, czy wartość jest zgodna z storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][sql] Użyj wartości SparkIllegalArgumentException zamiast IllegalArgumentException w obszarze CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Dodaj klauzulę WHEN NOT MATCHED BY SOURCE do MERGE INTO
  • [SPARK-40360] [SC-114965] wyjątki ALREADY_EXISTS i NOT_FOUND
  • [SPARK-41007] [SC-115085][sql] Dodaj brakujący serializator dla java.math.BigInteger
  • [SPARK-40751] [SC-114254][sql] Migracja błędów sprawdzania typów funkcji wyższego rzędu do klas błędów
  • [SPARK-40248] [SC-114704][sql] Użyj większej liczby bitów do utworzenia filtru Bloom
  • [SPARK-41040] [SC-115145][ss] Naprawa błędu zapytania o samodzielną unifikację strumieniową podczas korzystania z readStream.table
  • [SPARK-32380] [SC-114966][sql] Naprawianie dostępu do tabeli HBase za pośrednictwem programu Hive z platformy Spark
  • [SPARK-40749] [SC-114860][sql] Przenieść błędy sprawdzania typów generatorów do klas błędów
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] Napraw operator stanowy dotyczący opóźnionych zgłoszeń...
  • [SPARK-40654] [SC-112783] Usuwanie tymczasowych wierszy dziennika
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Naprawianie ostrzeżeń kompilacji Języka Java związanych z typem ogólnym
  • [SPARK-40657] [SC-113642][cherry-pick] Dodaj obsługę klas Języka Java w narzędziu Protob...
  • [SPARK-40898] [SC-113932][sql] Cytowanie nazw funkcji w błędach niezgodności typów danych
  • [SPARK-40760] [SC-113750][sql] Przeniesienie niepowodzeń kontroli typów w wyrażeniach interwałów do klas błędów
  • [SPARK-36114] [SC-113771][sql] Obsługa podzapytań z korelowanymi predykatami nierówności
  • [SPARK-40856] [SC-113738][sql] Aktualizowanie szablonu błędu WRONG_NUM_PARAMS
  • [SPARK-40759] [SC-114251][sql] Migruj błędy sprawdzania typów dla okien czasowych do klas błędów
  • [SPARK-40750] [SC-113812][sql] Migrowanie błędów sprawdzania typów wyrażeń matematycznych na klasy błędów
  • [SPARK-40756] [SC-113749][sql] Przeniesienie niepowodzeń sprawdzenia typów wyrażeń ciągów na klasy błędów
  • [SPARK-40768] [SC-113640][sql] Migracja błędów sprawdzania typów funkcji bloom_filter_agg() do klas błędów
  • [SPARK-40369] [SC-113402][core][SQL] Migrowanie błędów związanych ze sprawdzaniem typów wywołań za pośrednictwem refleksji do klasyfikacji błędów
  • [SPARK-39445] [SQL] Usuń okno, jeśli funkcja windowExpressions jest pusta w przycinaniu kolumn
  • [SPARK-40761] [SC-113245][sql] Migracja niepowodzeń sprawdzania typów wyrażeń percentylowych do klas błędów
  • [SPARK-40361] [SC-112789][sql] Przenoszenie błędów weryfikacji typów arytmetycznych do klas błędów
  • [SPARK-40714] [SC-112576][sql] Usuń PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] Poprawiono specyfikacje partycji w PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] Migracja błędów sprawdzania typów kolekcji do klas błędów
  • [SPARK-40910] [SC-114259][sql] Zastąp wyjątek UnsupportedOperationException wyjątkiem SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] Dodawanie UNPIVOT do składni SQL
  • [SPARK-39783] [SC-113389][sql] Quote qualifiedName, aby naprawić backticks dla kandydatów na kolumny w komunikatach o błędach
  • [SPARK-40663] [SC-112520][sql] Migracja błędów do klas błędów: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] Zmień nazwę klasy błędów _LEGACY_ERROR_TEMP_0021 na UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] Eliminowanie oddzielnych pól klas podrzędnych błędów
  • [SPARK-40944] [SC-114530][sql] Ograniczenie zrelaksowania dla opcji kolumn CREATE TABLE
  • [SPARK-40815] [SC-114528][sql] Dodaj DelegateSymlinkTextInputFormat w celu obejścia błędu SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441][sql] Ponowne wdrożenie df.stat. {cov, corr} z wbudowanymi funkcjami sql
  • [SPARK-40932] [SC-114439][core] Napraw problem z komunikatami dla allGather, które są zastępowane
  • [SPARK-39312] [SQL] Użyj natywnego predykatu parquet dla mechanizmu push down filtrów
  • [SPARK-40862] [SC-114352][sql] Obsługa nieagregowanych podzapytania w RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][sql] Poprawnie ustaw wartość null w projekcie utworzonym przez ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] Migracja błędów wykonania do klas błędów: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] Luźne wymaganie reguły window_time — zezwalaj na wiele wywołań window_time
  • [SPARK-40540] [SC-111639][sql] Migracja błędów kompilacji do klas błędów: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] Poprawka funkcji Unhex, gdy dane wejściowe mają nieparzystą liczbę symboli
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] Wprowadzenie window_time funkcji wyodrębniania czasu zdarzenia z kolumny okna
  • [SPARK-40800] [SC-113772][sql] Zawsze wstawiaj wyrażenia w OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Ponowne wdrożenie frequentItems za pomocą operacji ramki danych
  • [SPARK-40735] [SC-114022][sc-112657] Regularnie używaj bash z /usr/bin/env bash w skryptach, aby uczynić kod bardziej przenośnym.
  • [SPARK-40773] [SC-113091][sql] Refaktoryzacja checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][sql] Sprawdzanie nieobsługiwanych typów danych podczas dekorelacji podzapytań
  • [SPARK-40660] [SC-112293][core][SQL] Przełącz na XORShiftRandom do rozdzielania elementów
  • [SPARK-40540] [SC-113926][sc-111331][SQL] Migrowanie błędów kompilacji do klas błędów
  • [SPARK-40551] [SC-113135][sql] DataSource V2: Dodać interfejsy API dla operacji na poziomie wiersza opartych na delta
  • [SPARK-39391] [SC-110676][core] Ponowne użycie klas partycjonera
  • [SPARK-40368] [SC-113396][sql] Migrowanie błędów sprawdzania typu filtra Bloom do klas błędów
  • [SPARK-39146] [SC-111814][core][SQL] Wprowadzenie lokalnego singletonu dla ObjectMapper, który może być używany ponownie
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Przenieść błędy sprawdzania typów okien do klas błędów
  • [SPARK-40874] [SC-113756][python] Poprawka rozgłaszań w funkcji UDF języka Python po włączeniu szyfrowania
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Migracja nieudanych sprawdzeń typu w wyrażeniach CSV/JSON do klas błędów
  • [SPARK-40880] [SC-113764][sql] Ponowne wdrożenie summary za pomocą operacji ramki danych
  • [SPARK-40877] [SC-113763][sql] Ponowne wdrożenie crosstab przy użyciu operacji ramek danych
  • [SPARK-40382] [SC-113098][sql] Grupowanie odrębnych wyrażeń agregujących według semantycznie równoważnych elementów podrzędnych w RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] Dodanie dodatkowego sprawdzania zmiany nazwy pliku punktu kontrolnego
  • [SPARK-40829] [SC-113426][sql] PRZECHOWYWANE jako serde w widoku CREATE TABLE LIKE nie działa
  • [SPARK-40844] [SC-113542][ss] Zmiana wartości domyślnej konfiguracji pobierania przesunięć dla platformy Kafka
  • [SPARK-40488] [SC-113568][sc-111160] Nie opakowuj wyjątków zgłaszanych w przypadku niepowodzenia zapisu źródła danych
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Zamień message na messageTemplate w formacie błędów STANDARD
  • [SPARK-40618] [SC-113096][sql] Poprawka błędu w regule MergeScalarSubqueries z zagnieżdżonymi podzapytaniami z użyciem śledzenia odniesień
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Dodawanie interfejsów API deweloperów związanych z błędami
  • [SPARK-40806] [SC-113250][sql] Poprawka typo: CREATE TABLE —> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] Naprawa zwracania częściowych wyników w źródle danych JSON i funkcjach JSON
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Obsługa protobuf dla platformy Spark — od…
  • [SPARK-40753] [SC-113539][sql] Poprawka błędu w scenariuszu testowym operacji katalogu
  • [SPARK-40765] [SC-113056][sql] Optymalizowanie nadmiarowej operacji fs w metodzie CommandUtils#calculateSingleLocationSize#getPathSize
  • [SPARK-40114] [ES-479282][r][11.X] Obsługa Apache Arrow 9.0.0 w SparkR
  • [SPARK-40479] [SC-110935][sql] Migrowanie nieoczekiwanego błędu typu danych wejściowych do klasy błędów
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Migrowanie błędów analizowania na klasy błędów
  • [SPARK-39853] [SC-111867][core] Obsługa profilu zasobów zadań na poziomie etapu dla klastra autonomicznego, przy wyłączonej alokacji dynamicznej (portowanie wsteczne z PR-47157)
  • [SPARK-40407] [SC-111161][sql] Naprawienie potencjalnego przesunięcia danych spowodowanej przez df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE nie musi wykonywać wyszukiwania tabel
  • [SPARK-40703] [SC-113242][sql] Wprowadzenie mieszania na SinglePartition, aby poprawić równoległość
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil do ustawiania pochodzenia opcji konfiguracji hadoop/hive
  • [SPARK-39062] [11.x][core] Dodać wsparcie etapowego planowania zasobów dla klastra autonomicznego
  • [SPARK-33861] [SC-109877]Przywracanie "[SQL] Upraszczanie warunkowego w predykacie"
  • [SPARK-40667] [SC-113136][sql] Refaktoryzacja opcji źródła danych pliku
  • [SPARK-40370] [SC-110677][sql] Migracja sprawdzania typów do klas błędów w funkcji CAST
  • [SPARK-40611] [SC-113105][sql] Zwiększanie wydajności setInterval & getInterval dla UnsafeRow
  • [SPARK-40733] [SC-113126][sql] Spraw, aby zawartość SERDEPROPERTIES w wyniku ShowCreateTableAsSerdeCommand miała stałą kolejność
  • [SPARK-40585] [SC-112180][sql] Obsługa identyfikatorów w podwójnym cudzysłowie
  • [SPARK-40772] [SC-112992][sql] Ulepsz spark.sql.adaptive.skewJoin.skewedPartitionFactor, aby obsługiwał wartości Double
  • [SPARK-40565] [SC-112417][sql] Nie wypychaj niedeterministycznych filtrów do źródeł plików w wersji 2
  • [SPARK-8731] [SC-112784] Usługa Beeline nie działa z opcją -e po uruchomieniu w tle
  • [SPARK-35242] [SC-111398][sql] Obsługa zmiany domyślnej bazy danych wykazu sesji
  • [SPARK-40426] [SC-110672][sql] Zwróć mapę z SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][mllib] Optymalizowanie wydajności wzorca kodu keys.zipWithIndex.toMap
  • [SPARK-40521] [SC-112430][sql] Zwracaj tylko istniejące partycje w PartitionsAlreadyExistException z polecenia tworzenia partycji programu Hive
  • [SPARK-40705] [SC-112567][sql] Obsługa przypadku użycia zmiennej tablicy przy konwersji Wiersza (Row) na JSON dla Scala 2.13
  • [SPARK-39895] [SC-112590][sql][PYTHON] Obsługa wielokrotnego upuszczania kolumn
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] Usuwanie nadmiarowych operacji interpolatora ciągów
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Sortuj parametry komunikatu o błędzie według nazw w formatach JSON
  • [SPARK-40403] [SC-110564][sql] Obliczanie niebezpiecznego rozmiaru tablicy przy użyciu długich długości, aby uniknąć negatywnego rozmiaru w komunikacie o błędzie
  • [SPARK-40482] [SC-110831][sql] Przywracanie SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Przekazywanie parametrów komunikatu o błędzie do wyjątków jako mapy
  • [SPARK-40628] [SC-112414][sql] Nie wypychaj złożonego warunku półsprzężenia lewego/antysprzężenia za pośrednictwem projektu
  • [SPARK-40562] [SC-111455][sql] Dodaj spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-111333][sql] Dodaj PushProjectionThroughLimit do Optymalizatora
  • [SPARK-39200] [SC-111244][core] Pełne odczytanie z zapasowej pamięci na zawartości
  • [SPARK-38717] [SC-111241][sql] Obsługa przypadku specyfikacji zasobnika programu Hive zachowującego zachowanie
  • [SPARK-40385] [SC-111123][sql] Poprawka interpretowanej ścieżki konstruktora obiektu towarzyszącego
  • [SPARK-40216] [SC-112413][sql] Wyodrębnij wspólną metodę ParquetUtils.prepareWrite w celu deduplikacji kodu w ParquetFileFormat i ParquetWrite
  • [SPARK-40636] [SC-112160][core] Naprawiono błąd podczas mieszania dziennika blockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Rozwiąż problem warunku wyścigu przy obsłudze wpisów ExecutorMetricsPollera w stageTCMP.
  • [SPARK-40618] [SC-112046][sql] Poprawka błędu w regule MergeScalarSubqueries z zagnieżdżonymi podzapytaniami
  • [SPARK-40612] [SC-111933][core] Naprawa tożsamości używanej do odnawiania tokenu delegowania dla menedżerów zasobów innych niż YARN
  • [SPARK-40595] [SC-111662][sql] Ulepszanie komunikatu o błędzie dla nieużywanych relacji CTE
  • [SPARK-40314] [SC-111879][sql][PYTHON] Dodanie powiązań dla Scala i Python dla funkcji inline i inline_outer
  • [SPARK-40416] [SC-110945][sql] Przenieść komunikaty o błędach wyrażenia podzapytania CheckAnalysis do korzystania z nowej struktury błędów
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() powinno zgłaszać wyjątki pochodzące od swojego elementu podrzędnego
  • [SPARK-40509] [SC-111644][ss][PYTHON] Dodać przykład dla applyInPandasWithState
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() powinno zgłaszać wyjątki pochodzące od jego elementu podrzędnego
  • [SPARK-40016] [SQL] Usuń niepotrzebne narzędzie TryEval we wdrożeniu try_sum()
  • [SPARK-40527] [SC-111224][sql] Zachowaj nazwy pól struktury lub klucze mapy w narzędziu CreateStruct
  • [SPARK-38098] [SC-111178][python] Dodawanie obsługi arrayType zagnieżdżonego typu struktury do konwersji opartej na strzałkach
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Podaj kontekst zapytania w AnalysisException
  • [SPARK-40492] [SC-111324][ss] Wykonaj konserwację przed rozładowaniem magazynu stanów podczas przesyłania strumieniowego
  • [SPARK-40487] [SC-111124][sql] Umożliw równoległe uruchamianie defaultJoin w BroadcastNestedLoopJoinExec
  • [SPARK-40474] [SC-111273][sql] Poprawne wnioskowanie schematu CSV i zachowanie podczas parsowania danych w kolumnach z mieszanymi datami i znacznikami czasu
  • [SPARK-40508] [SC-111066][sql] Traktuj nieznane partycjonowanie jako UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Napraw konfiguracje umożliwiające kontrolowanie "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][ss][PYTHON] Dodaj zestawy testów do funkcji applyInPandasWithState w PySpark
  • [SPARK-40434] [SC-111125][ss][PYTHON] Implementacja applyInPandasWithState w ramach PySpark

Aktualizacje konserwacyjne

Zobacz Aktualizacje serwisowe środowiska Databricks Runtime 12.0.

Środowisko systemu

  • System operacyjny: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
attrs 21.4.0 Oddzwonienie 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 czarny 22.3.0 wybielacz 4.1.0
boto3 1.21.32 botocore 1.24.32 certyfikat 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
kliknij 8.0.4 kryptografia 3.4.8 rowerzysta 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
dekorator 5.1.1 defusedxml 0.7.1 distlib 0.3.6
punkty wejścia 0,4 Wykonywanie 0.8.3 aspekty — omówienie 1.0.0
fastjsonschema 2.16.2 filelock 3.8.0 fonttools 4.25.0
idna 3.3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 jedi 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
rozstroić 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
notatnik 6.4.8 numpy 1.21.5 opakowanie 21,3
Pandas 1.4.2 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.9.0 frajer 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 Poduszka 9.0.1 pip 21.2.4
platformdirs 2.5.4 kreślenie 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 Protobuf (w skrócie od Protocol Buffers) 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 żądania 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
Sześć 1.16.0 sito do zup 2.3.1 ssh-import-id 5.10
stos danych 0.2.0 statsmodels 0.13.2 Wytrzymałość 8.0.1
zakończony 0.13.1 ścieżka testowa 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlety 5.1.1 typing_extensions 4.1.1 nienadzorowane uaktualnienia 0.1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
kodowania sieciowe 0.5.1 koło 0.37.0 widgetsnbextension 3.6.1

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki Microsoft CRAN z dnia 2022-11-11.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzałka 10.0.0 askpass 1.1 assertthat 0.2.1
przenoszenia wstecz (backports) 1.4.1 baza 4.2.2 base64enc 0.1-3
bit 4.0.4 bit64 4.0.5 plama 1.2.3
uruchamianie 1.3-28 warzyć 1.0-8 Brio 1.1.3
miotła 1.0.1 bslib 0.4.1 cachem 1.0.6
obiekt wywołujący 3.7.3 caret 6.0-93 cellranger 1.1.0
chron 2.3-58 klasa 7.3-20 cli 3.4.1
clipr 0.8.0 zegar 0.6.1 klaster 2.1.4
codetools 0.2-18 przestrzeń kolorów 2.0-3 commonmark 1.8.1
— kompilator 4.2.2 konfiguracja 0.3.1 cpp11 0.4.3
kredka 1.5.2 Poświadczenia 1.3.2 skręt 4.3.3
tabela danych 1.14.4 zestawy danych 4.2.2 DBI 1.1.3
dbplyr 2.2.1 opis 1.4.2 devtools 2.4.5
diffobj 0.3.5 trawić/przyswajać 0.6.30 downlight (światło skierowane w dół) 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
wielokropek 0.3.2 ocenić 0.18 fani 1.0.3
kolory 2.1.1 szybka mapa 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 zagraniczny 0.8-82
kuźnia 0.2.0 Fs 1.5.2 przyszłość 1.29.0
future.apply 1.10.0 płukać gardło 1.2.1 Generyczne 0.1.3
Gert 1.9.1 ggplot2 3.4.0 Gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 globalna 0.16.1
klej 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Gower 1.0.0 grafika 4.2.2 grDevices 4.2.2
sieć 4.2.2 gridExtra 2.3 gsubfn 0,7
gtabela 0.3.1 hardhat 1.2.0 przystań 2.5.1
wyższy 0,9 Hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
Identyfikatory 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Iteratory 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1,40
etykietowanie 0.4.2 później 1.3.0 krata 0.20-45
lawa 1.7.0 cykl życia 1.0.3 nasłuchiwanie 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1.3
MASA 7.3-58 Macierz 1.5-1 zapamiętywanie 2.0.1
metody 4.2.2 mgcv 1.8-41 mim 0,12
miniUI (interfejs użytkownika) 0.1.1.1 Metryki modelowe 1.2.2.2 modeler 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 równoległy 4.2.2
równolegle 1.32.1 filar 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 pochwała 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Postęp 1.2.2
progressr 0.11.0 Obietnice 1.2.0.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
czytnik 2.1.3 readxl 1.4.1 przepisy 1.0.3
rewanż 1.0.1 rewanż 2 2.1.2 Zdalne sterowanie 2.4.2
reprex 2.0.2 zmień kształt2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 Sass 0.4.2 wagi 1.2.1
selektor 0.4-2 informacje o sesji 1.2.2 kształt 1.4.6
błyszczący 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 przestrzenny 7.3-11 splajnów 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 Statystyki 4.2.2
stats4 4.2.2 stringi 1.7.8 stringr 1.4.1
przetrwanie 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 kształtowanie tekstu 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 zmiana czasu 0.1.1 timeDate 4021.106
tinytex 0.42 narzędzia 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 użyj tego 2.1.6 utf8 1.2.2
narzędzia programowe 4.2.2 uniwersalny unikalny identyfikator (UUID) 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 Vroom 1.6.0 Waldo 0.4.0
wąs 0,4 withr 2.5.0 xfun 0.34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 zip 2.2.2

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws pakiet sdk-java-machinelearning firmy AWS 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-biblioteki 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kriogeniczne cieniowanie 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core Adnotacje Jackson 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.kofeina kofeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib rdzeń 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profilator 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe konfiguracja 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift sprężarka powietrza 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metryki —rdzeń 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metryki-sprawdzanie stanu 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics serwlety metrics 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine kiszony ogórek 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant mrówka 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow format strzałki 7.0.0
org.apache.arrow strzałka-pamięć-rdzeń 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow wektor strzałki 7.0.0
org.apache.avro avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator kuratorowane przepisy 2.13.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime (środowisko wykonawcze klienta Hadoop) 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy bluszcz 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc podkładki orc-shims 1.7.6
org.apache.parquet parquet-kolumna 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet kodowanie parquet 1.12.3-databricks-0001
org.apache.parquet struktury formatu Parquet 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus adnotacje dla publiczności 0.13.0
org.apache.zookeeper opiekun zwierząt 3.6.2
org.apache.zookeeper jute ZooKeepera 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-kontynuacja 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty serwer pośredniczący Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty serwer Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-klient 9.4.46.v20220331
org.eclipse.jetty.websocket websocket —wspólne 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-serwer 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 Lokalizator zasobów OSGi 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap Podkładki 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark Nieużywane 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1