Udostępnij za pośrednictwem

Databricks Runtime 15.0 (EoS)

  • Artykuł

Uwaga

Obsługa tej wersji środowiska Databricks Runtime została zakończona. Aby uzyskać datę zakończenia pomocy technicznej, zobacz Historia zakończenia pomocy technicznej. Wszystkie obsługiwane wersje środowiska Databricks Runtime można znaleźć w temacie Databricks Runtime release notes versions and compatibility (Wersje i zgodność środowiska Databricks Runtime).

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 15.0 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks wydała tę wersję w marcu 2024 r.

Zmiany powodujące niezgodność

Funkcja PySpark spark.sql() kończy się teraz niepowodzeniem dla nieprawidłowych typów argumentów

W środowisku Databricks Runtime 15.0 lub nowszym parametr args dla parametrów nazwanych lub pozycyjnych przekazywanych do funkcji spark.sql() musi być słownikiem lub listą. Jeśli zostanie przekazany jakikolwiek inny typ obiektu, zostanie zgłoszony następujący błąd: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>.

Przechowywanie bibliotek w katalogu głównym systemu plików DBFS jest domyślnie przestarzałe i wyłączone

Aby zwiększyć bezpieczeństwo bibliotek w obszarze roboczym usługi Azure Databricks, przechowywanie plików bibliotek w katalogu głównym systemu plików DBFS jest domyślnie przestarzałe i wyłączone, począwszy od środowiska Databricks Runtime 15.0. Usługa Databricks zaleca przekazywanie wszystkich bibliotek, w tym bibliotek języka Python, plików JAR i łączników platformy Spark, do plików obszaru roboczego, woluminów Unity Catalog lub repozytorium pakietów. Zobacz Zalecenia dotyczące przekazywania bibliotek.

Aby ponownie włączyć przechowywanie bibliotek w katalogu głównym systemu plików DBFS, ustaw następujący parametr konfiguracji platformy Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Domyślna wersja języka Python jest uaktualniana z wersji 3.10 do wersji 3.11

W przypadku środowiska Databricks Runtime 15.0 domyślna wersja języka Python to 3.11.0. Aby uzyskać listę uaktualnionych bibliotek języka Python, zobacz Uaktualnienia biblioteki.

Usunięto JDK 11

Jak wcześniej ogłoszono, zestaw JDK 11 zostanie usunięty z środowiska Databricks Runtime 15.0 lub nowszego. Usługa Databricks zaleca uaktualnienie do zestawu JDK 17 podczas uaktualniania do środowiska Databricks Runtime 15.0 lub nowszego. Zobacz Zestaw SDK usługi Databricks dla języka Java.

Środowisko REPL języka Python kończy się teraz bezpiecznie

W środowisku Databricks Runtime 15.0 proces REPL notesu kończy się teraz bezpiecznie po zakończeniu pracy. Powoduje to, że wszelkie haki atexit być honorowane. Na przykład w przepływie pracy z wieloma zadaniami notesu języka Python elementy atexit hooks zarejestrowane w pierwszym wykonaniu zadania podrzędnego przed uruchomieniem drugiego zadania notesu języka Python.

Nowe funkcje i ulepszenia

Klauzula * (gwiazdka) jest teraz obsługiwana w klauzuli WHERE

Teraz możesz użyć klauzuli star (*) w klauzuli WHERE, aby odwołać się do wszystkich kolumn z listy SELECT. Na przykład SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Konfiguracja spark.sql.json.enablePartialResults jest teraz domyślnie włączona

Konfiguracja spark.sql.json.enablePartialResults platformy Spark jest teraz domyślnie włączona, umożliwiając analizatorowi JSON poprawne obsługę błędów analizowania dla typów złożonych, takich jak struktura, mapa i tablica, bez porzucania pozostałych pól. Ta zmiana rozwiązuje problem ze spójnością źródeł danych JSON przy użyciu oczyszczania kolumn.

Biblioteki klastra obsługują teraz pliki requirements.txt

Biblioteki klastra można teraz zainstalować przy użyciu pliku requirements.txt przechowywanego w pliku obszaru roboczego lub woluminie Unity Catalog. W klastrach trybu pojedynczego użytkownika i requirements.txt plik może odwoływać się do innych plików. W przypadku klastrów trybu dostępu współdzielonego bez izolacji obsługiwane są tylko pakiety PyPI. Zobacz Biblioteki klastrów.

Interfejs wiersza polecenia usługi Databricks jest teraz dostępny w terminalu internetowym

Teraz możesz użyć interfejsu wiersza polecenia usługi Databricks z poziomu terminalu internetowego w notesie. Notes musi być dołączony do klastra w trybie dostępu współużytkowanego pojedynczego użytkownika lub Bez izolacji. Aby uzyskać szczegółowe informacje, zobacz Używanie terminalu internetowego i interfejsu wiersza polecenia usługi Databricks.

Dodawanie domyślnych repozytoriów języka Python do konfiguracji klastra

W Databricks Runtime 15.0 i nowszym można skonfigurować globalne parametry pip index-url i extra-index-url dla instalacji bibliotek przypisanych do klastrów i notatników podczas konfigurowania klastra lub definiowania polityki klastrów. W tym celu ustaw zmienne środowiskowe DATABRICKS_PIP_INDEX_URL i DATABRICKS_PIP_EXTRA_INDEX_URL.

Uaktualnienia biblioteki

  • Uaktualnione biblioteki języka Python:
    • od 22.6.0 do 23.3.0
    • boto3 z 1.24.28 do 1.34.39
    • botocore z wersji 1.27.96 do 1.34.39
    • certifi od 2022.12.7 do 2023.7.22
    • Kryptografia z wersji 39.0.1 do 41.0.3
    • databricks-sdk z wersji 0.1.6 do 0.20.0
    • distlib z 0.3.7 do 0.3.8
    • googleapis-common-protos z 1.62.0 do 1.63.0
    • grpcio z 1.48.2 do 1.60.0
    • stan grpcio z 1.48.1 do 1.60.0
    • importlib-metadata z wersji 4.6.4 do 6.0.0
    • ipykernel z 6.25.0 do 6.25.1
    • ipython z 8.14.0 do 8.15.0
    • ipywidgets z 7.7.2 do 8.0.4
    • jupyter_core z wersji 5.2.0 do 5.3.0
    • jupyterlab-widgets z wersji 1.0.0 do 3.0.5
    • matplotlib z wersji 3.7.0 do 3.7.2
    • biblioteka pandas z wersji 1.5.3 do 2.0.3
    • z 22.3.1 do 23.2.1
    • platformdirs z wersji 2.5.2 do 3.10.0
    • protobuf z 4.24.0 do 4.24.1
    • pyarrow z 8.0.0 do 14.0.1
    • Pygments z 2.11.2 do 2.15.1
    • pyodbc z wersji 4.0.32 do 4.0.38
    • żądania z wersji 2.28.1 do 2.31.0
    • s3transfer z 0.6.2 do 0.10.0
    • scikit-learn z wersji 1.1.1 do 1.3.0
    • scipy z 1.10.0 do 1.11.1
    • setuptools z 65.6.3 do 68.0.0
    • statsmodels z 0.13.5 do 0.14.0
    • wytrwałość z zakresu od 8.1.0 do 8.2.2
    • tornado z 6.1 do 6.3.2
    • typing_extensions z wersji 4.4.0 do 4.7.1
    • urllib3 z 1.26.14 do 1.26.16
    • virtualenv z wersji 20.16.7 do 20.24.2
    • widgetsnbextension z 3.6.1 do 4.0.5
    • zipp z 1.0.0 do 3.11.0
  • Uaktualnione biblioteki języka R:
    • strzałka z 12.0.1 do 14.0.0.2
    • askpass z 1.1 do 1.2.0
    • od 4.3.1 do 4.3.2
    • warzenie od 1.0-8 do 1.0-10
    • brio z 1.1.3 do 1.1.4
    • bslib z 0.5.0 do 0.6.1
    • interfejs wiersza polecenia z wersji 3.6.1 do 3.6.2
    • commonmark od 1.9.0 do 1.9.1
    • kompilator z wersji 4.3.1 do 4.3.2
    • konfiguracja z wersji 0.3.1 do 0.3.2
    • cpp11 z 0.4.4 do 0.4.7
    • poświadczenia z wersji 1.3.2 do 2.0.1
    • curl z 5.0.1 do 5.2.0
    • data.table od wersji 1.14.8 do 1.15.0
    • zestawy danych z wersji 4.3.1 do 4.3.2
    • DbI z wersji 1.1.3 do 1.2.1
    • dbplyr z wersji 2.3.3 do 2.4.0
    • desc z 1.4.2 do 1.4.3
    • skrót z 0.6.33 do 0.6.34
    • dplyr z wersji 1.1.2 do 1.1.4
    • e1071 z 1.7-13 do 1.7-14
    • ocena z zakresu od 0,21 do 0,23
    • fani od 1.0.4 do 1.0.6
    • fontawesome z 0.5.1 do 0.5.2
    • fs z 1.6.2 do 1.6.3
    • przyszłość z wersji 1.33.0 do 1.33.1
    • future.apply z wersji 1.11.0 do 1.11.1
    • gargle z 1.5.1 do 1.5.2
    • gert z 1.9.2 do 2.0.1
    • ggplot2 z wersji 3.4.2 do 3.4.4
    • glmnet z 4.1-7 do 4.1-8
    • klej z 1.6.2 do 1.7.0
    • grafika z wersji 4.3.1 do 4.3.2
    • grDevices z wersji 4.3.1 do 4.3.2
    • siatka z 4.3.1 do 4.3.2
    • z wersji 0.3.3 do 0.3.4
    • hardhat z 1.3.0 do 1.3.1
    • przystanek od 2.5.3 do 2.5.4
    • htmltools z 0.5.5 do 0.5.7
    • htmlwidgets z wersji 1.6.2 do 1.6.4
    • httpuv z wersji 1.6.11 do 1.6.14
    • httr z 1.4.6 do 1.4.7
    • httr2 z 0.2.3 do 1.0.0
    • jsonlite z wersji 1.8.7 do 1.8.8
    • knitr z 1.43 do 1.45
    • etykietowanie z wersji 0.4.2 do 0.4.3
    • nowsze z wersji 1.3.1 do 1.3.2
    • lawa z 1.7.2.1 do 1.7.3
    • cykl życia od 1.0.3 do 1.0.4
    • od 0.9.0 do 0.9.1
    • lubridate from 1.9.2 to 1.9.3 (lubridate from 1.9.2 to 1.9.3)
    • markdown od 1.7 do 1.12
    • metody z wersji 4.3.1 do 4.3.2
    • openssl z 2.0.6 do 2.1.1
    • równoległe z wersji 4.3.1 do 4.3.2
    • pkgbuild z 1.4.2 do 1.4.3
    • pkgload z wersji 1.3.2.1 do 1.3.4
    • plyr od 1.8.8 do 1.8.9
    • prettyunits z 1.1.1 do 1.2.0
    • pROC z 1.18.4 do 1.18.5
    • processx z wersji 3.8.2 do 3.8.3
    • prodlim od 2023.03.31 do 2023.08.28
    • postęp z wersji 1.2.2 do 1.2.3
    • progressr z 0.13.0 do 0.14.0
    • obietnice z 1.2.0.1 do 1.2.1
    • ps z 1.7.5 do 1.7.6
    • purrr z wersji 1.0.1 do 1.0.2
    • ragg z 1.2.5 do 1.2.7
    • Program Rcpp z wersji 1.0.11 do 1.0.12
    • RcppEigen z 0.3.3.9.3 do 0.3.3.9.4
    • readr z wersji 2.1.4 do 2.1.5
    • przepisy od 1.0.6 do 1.0.9
    • rewanż z 1.0.1 do 2.0.0
    • zdalne z wersji 2.4.2 do 2.4.2.1
    • reprex z 2.0.2 do 2.1.0
    • rlang z wersji 1.1.1 do 1.1.3
    • rmarkdown z 2.23 do 2.25
    • RODBC od 1.3-20 do 1.3-23
    • roxygen2 z 7.2.3 do 7.3.1
    • rprojroot z wersji 2.0.3 do 2.0.4
    • Rserve z 1.8-11 do 1.8-13
    • RSQLite z wersji 2.3.1 do 2.3.5
    • sygnatury dostępu współdzielonego z wersji 0.4.6 do 0.4.8
    • skaluje z wersji 1.2.1 do 1.3.0
    • błyszczące z wersji 1.7.4.1 do 1.8.0
    • sparklyr z 1.8.1 do 1.8.4
    • linie od 4.3.1 do 4.3.2
    • statystyki z 4.3.1 do 4.3.2
    • stats4 z 4.3.1 do 4.3.2
    • stringi z wersji 1.7.12 do 1.8.3
    • stringr z wersji 1.5.0 do 1.5.1
    • systemfonts z 1.0.4 do 1.0.5
    • tcltk z wersji 4.3.1 do 4.3.2
    • testthat z 3.1.10 do 3.2.1
    • textshaping z 0.3.6 do 0.3.7
    • od 1.3.0 do 1.3.1
    • timechange z 0.2.0 do 0.3.0
    • timeDate z 4022.108 do 4032.109
    • tinytex z 0.45 do 0.49
    • narzędzia z wersji 4.3.1 do 4.3.2
    • utf8 z wersji 1.2.3 do 1.2.4
    • Narzędzia z wersji 4.3.1 do 4.3.2
    • uuid z 1.1-0 do 1.2-0
    • vctrs z 0.6.3 do 0.6.5
    • vroom od 1.6.3 do 1.6.5
    • waldo od 0.5.1 do 0.5.2
    • withr z 2.5.0 do 3.0.0
    • xfun od 0.39 do 0.41
    • xml2 z 1.3.5 do 1.3.6
    • yaml z wersji 2.3.7 do 2.3.8
    • zip z wersji 2.3.0 do 2.3.1
  • Uaktualnione biblioteki Java:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 z wersji 2.15.1 do 2.16.0
    • com.google.flatbuffers.flatbuffers-java z wersji 1.12.0 do 23.5.26
    • com.typesafe.config z wersji 1.2.1 do 1.4.3
    • org.apache.ant.ant od 1.9.16 do 1.10.11
    • org.apache.ant.ant-jsch z wersji 1.9.16 do 1.10.11
    • org.apache.ant.ant-launcher z wersji 1.9.16 do 1.10.11
    • org.apache.arrow.arrow-format z zakresu od 12.0.1 do 15.0.0
    • org.apache.arrow.arrow-memory-core z 12.0.1 do 15.0.0
    • org.apache.arrow.arrow-memory-netty od 12.0.1 do 15.0.0
    • org.apache.arrow.arrow-vector z 12.0.1 do 15.0.0
    • org.apache.avro.avro z wersji 1.11.2 do 1.11.3
    • org.apache.avro.avro-ipc z wersji 1.11.2 do 1.11.3
    • org.apache.avro.avro-mapred z wersji 1.11.2 do 1.11.3
    • org.apache.logging.log4j.log4j-1.2-api z wersji 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-api z wersji 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-core z wersji 2.20.0 do 2.22.1
    • org.apache.logging.log4j.log4j-slf4j2-impl z wersji 2.20.0 do 2.22.1
    • org.postgresql.postgresql z 42.6.0 do 42.6.1

Apache Spark

Środowisko Databricks Runtime 15.0 obejmuje platformę Apache Spark 3.5.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 14.3 LTS, a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

  • [SPARK-45527] [DBRRM-805][ES-1073714] Przywróć "[SC-151626][CORE] Użyj ułamka do obliczenia zasobu"
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] Dodawanie flagi COLLATION_ENABLED konfiguracji
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] Pomiń wyszukiwanie tabeli w wersji 2, gdy tabela znajduje się w pamięci podręcznej tabeli w wersji 1
  • [SPARK-46808] [SC-154113][PYTHON] Uściślij klasy błędów w języku Python za pomocą funkcji automatycznego sortowania
  • [SPARK-47251] [SC-158291][PYTHON] Blokuj nieprawidłowe typy z argumentu args dla sql polecenia
  • [SPARK-47251] [SC-158121][PYTHON] Blokuj nieprawidłowe typy z argumentu args dla sql polecenia
  • [SPARK-47108] [SC-157204][CORE] Ustaw derby.connection.requireAuthentication na false jawnie w interfejsach linii poleceń.
  • [SPARK-45599] [SC-157537][CORE] Używanie równości obiektów w programie OpenHashSet
  • [SPARK-47099] [SC-157352][SQL] Użyj ordinalNumber, aby równomiernie ustawić wartość paramIndex dla UNEXPECTED_INPUT_TYPE klasy błędów
  • [SPARK-46558] [SC-151363][CONNECT] Wyodrębnianie funkcji pomocniczej w celu wyeliminowania zduplikowanego kodu pobieranego MessageParameters z ErrorParams elementu w GrpcExceptionConverter
  • [SPARK-43117] [SC-156177][CONNECT] Tworzenie ProtoUtils.abbreviate obsługi powtarzających się pól
  • [SPARK-46342] [SC-150283][SQL] Zastąp IllegalStateException element w SparkException.internalError języku sql
  • [SPARK-47123] [SC-157412][CORE] JDBCRDD nie obsługuje poprawnie błędów w getQueryOutputSchema
  • [SPARK-47189] [SC-157667][SQL] Skoryguj nazwy błędów kolumn i tekstu
  • [SPARK-45789] [SC-157101][SQL] Obsługa DESCRIBE TABLE dla kolumn klastrowania
  • [SPARK-43256] [SC-157699][SQL] Usuwanie klasy błędów _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][PYTHON][CONNECT] sameSemantics sprawdza typy danych wejściowych
  • [SPARK-47183] [SC-157660][PYTHON] Naprawianie klasy błędów dla elementu sameSemantics
  • [SPARK-47179] [SC-157663][SQL] Ulepszanie komunikatu o błędzie z poziomu aplikacji SparkThrowableSuite w celu uzyskania lepszej możliwości debugowania
  • [SPARK-46965] [SC-155791][CORE] Zaewidencjonuj logTypeUtils.getLog
  • [SPARK-46832] [SC-156774][SQL] Wprowadzenie do wyrażeń sortowania i sortowania
  • [SPARK-46946] [SC-155721][SQL] Obsługa emisji wielu kluczy filtrowania w funkcji DynamicPruning
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT] Dodawanie informacji o typie wariantu do programu PySpark
  • [SPARK-47101] [SC-157360][SQL] Zezwalaj na używanie przecinka w nazwach kolumn najwyższego poziomu i usuń sprawdzanie zagnieżdżonej definicji typu w HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][SS][Interfejs użytkownika] Naprawianie literówki w objaśnieniu interfejsu użytkownika przesyłania strumieniowego
  • [SPARK-47113] [SC-157348][CORE] Przywracanie logiki naprawy punktu końcowego S3A platformy SPARK-35878
  • [SPARK-47130] [SC-157462][CORE] Użyj funkcji listStatus, aby obejść informacje o lokalizacji bloku podczas czyszczenia dzienników sterowników
  • [SPARK-43259] [SC-157368][SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec powinna zainicjować niebezpieczną projekcję
  • [SPARK-47137] [SC-157463][PYTHON][CONNECT] Dodawanie funkcji getAll do pliku spark.conf w celu uzyskania parzystości funkcji za pomocą języka Scala
  • [SPARK-46924] [SC-154905][CORE] Przycisk Napraw Load New w interfejsie Master/HistoryServer użytkownika dziennika
  • [SPARK-47069] [SC-157370][PYTHON][CONNECT] Wprowadzenie spark.profile.show/dump do profilowania opartego na platformie SparkSession
  • [SPARK-46812] [SC-157075][SQL][PYTHON] Tworzenie mapInPandas/mapInArrow obsługi elementu ResourceProfile
  • [SPARK-46833] [SC-155866][SQL] Sortowania — wprowadzenie do funkcji CollationFactory, która zapewnia porównanie i reguły tworzenia skrótów dla obsługiwanych sortowania
  • [SPARK-47057] [SC-157036][PYTHON] Reeanble MyPy data test
  • [SPARK-46934] [SC-157084][SQL] Odczyt/zapis dwukierunkowy dla typu struktury ze znakami specjalnymi z HMS
  • [SPARK-46727] [SC-153472][SQL] Port classifyException() w dialektach JDBC w klasach błędów
  • [SPARK-46964] [SC-155740][SQL] Zmień sygnaturę błędu wykonywania zapytania hllInvalidLgK, aby podjąć liczbę całkowitą jako 4 argument
  • [SPARK-46949] [SC-155719][SQL] Obsługa funkcji CHAR/VARCHAR za pomocą funkcji ResolveDefaultColumns
  • [SPARK-46972] [SC-155888][SQL] Naprawiono asymetryczne zastąpienie char/varchar w pliku V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][PYTHON][CONNECT] Implementowanie metod dumpPerfProfiles i dumpMemoryProfile platformy SparkSession
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT] Obsługa profilowania w wersji 2 w grupie/grupie applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][CONNECT] Zezwalaj na oczekiwanie skryptu programu Spark Connect Server
  • [SPARK-46688] [SC-156113][SPARK-46691][PYTHON][CONNECT] Obsługa profilowania w wersji 2 w agregacji zdefiniowanych przez użytkownika biblioteki Pandas
  • [SPARK-47004] [SC-156499][CONNECT] Dodano więcej testów do clientStreamingQuerySuite w celu zwiększenia pokrycia testu klienta Scala
  • [SPARK-46994] [SC-156169][PYTHON] Refaktoryzacja języka PythonWrite w celu przygotowania do obsługi zapisu strumieniowego źródła danych języka Python
  • [SPARK-46979] [SC-156587][SS] Dodaj obsługę określania kodera kluczy i wartości oddzielnie, a także dla każdej rodziny kolumn w dostawcy magazynu stanów bazy danych RocksDB
  • [SPARK-46960] [SC-155940][SS] Testowanie wielu strumieni wejściowych za pomocą operatora TransformWithState
  • [SPARK-46966] [SC-156112][Python] Dodawanie interfejsu API UDTF dla metody "analyze" w celu wskazania podzbioru kolumn tabeli wejściowej do wybrania
  • [SPARK-46895] [SC-155950][CORE] Zastępowanie czasomierza zaplanowaną funkcją wykonawcy z jednym wątkiem
  • [SPARK-46967] [SC-155815][CORE][Interfejs użytkownika] Ukrywanie Thread DumpHeap Histogram funkcji wykonawczych i Dead w interfejsie Executors użytkownika
  • [SPARK-46512] [SC-155826][CORE] Optymalizowanie odczytywania podczas sortowania i łączenia.
  • [SPARK-46958] [SC-155942][SQL] Dodawanie brakującej strefy czasowej do wartości domyślnych
  • [SPARK-46754] [SC-153830][SQL][AVRO] Naprawianie rozpoznawania kodu kompresji w definicjach tabeli avro i opcjach zapisu
  • [SPARK-46728] [SC-154207][PYTHON] Sprawdź prawidłową instalację biblioteki Pandas
  • [SPARK-43403] [SC-154216][Interfejs użytkownika] Upewnij się, że stary interfejs SparkUI na serwerze HistoryServer został odłączony przed załadowaniem nowego
  • [SPARK-39910] [SC-156203][SQL] Delegowanie kwalifikacji ścieżki do systemu plików podczas tworzenia globbing ścieżki pliku źródła danych
  • [SPARK-47000] [SC-156123] Przywróć "[SC-156123][CORE] Użyj getTotalMemorySize...
  • [SPARK-46819] [SC-154560][CORE] Przenoszenie kategorii błędów i stanów do formatu JSON
  • [SPARK-46997] [SC-156175][CORE] Włącz spark.worker.cleanup.enabled domyślnie
  • [SPARK-46865] [SC-156168][SS] Dodawanie obsługi usługi Batch dla operatora TransformWithState
  • [SPARK-46987] [SC-156040][CONNECT] ProtoUtils.abbreviate unikaj niepotrzebnej setField operacji
  • [SPARK-46970] [SC-155816][CORE] Ponowne zapisywanie OpenHashSet#hasher za pomocą polecenia pattern matching
  • [SPARK-46984] [SC-156024][PYTHON] Usuń pyspark.copy_func
  • [SPARK-47000] [SC-156123][CORE] Użyj getTotalMemorySize w WorkerArguments
  • [SPARK-46980] [SC-155914][SQL][DROBNE] Unikaj używania wewnętrznych interfejsów API w testach kompleksowej ramki danych
  • [SPARK-46931] Przywróć "[SC-155661][PS] Implement {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][SQL] Ulepszanie komunikatów o błędach dla błędu DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][SQL] Uruchamianie optymalizatora dla wartości domyślnych kolumn CREATE TABLE
  • [SPARK-46911] [SC-155724][SS] Dodawanie operatora deleteIfExists do elementu StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Obsługa lz4raw kodera kompresji dla parquet
  • [SPARK-47002] [SC-156223][Python] Zwraca lepszy komunikat o błędzie, jeśli metoda 'analyze' z polem 'orderBy' w UDTF przypadkowo zwraca listę ciągów znaków.
  • [SPARK-46890] [SC-155802][SQL] Poprawka błędu analizowania plików CSV z wartościami domyślnymi dla istniejących pól i przycinaniem kolumn
  • [SPARK-46977] [SC-155892][CORE] Żądanie uzyskania tokenu z jednego węzła NameNode nie powinno pomijać kolejnych żądań tokenu
  • [SPARK-46608] [SC-151806][SQL] Przywracanie zgodności z poprzednimi wersjami JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][SQL] Obsługa klauzuli z gwiazdką w klauzuli WHERE
  • [SPARK-46908] [SC-155702][SQL] Obsługa klauzuli z gwiazdką w klauzuli WHERE
  • [SPARK-46852] [SC-155665][SS] Usuwanie użycia kodera jawnego klucza i przekazywanie go niejawnie do operatora dla operatora transformWithState
  • [SPARK-46864] [SC-155669][SS] Dołączanie dowolnego stanu 2 do nowej struktury klas błędów
  • [SPARK-45807] [SC-155706][SQL] Widok powrotny po wywołaniu metody replaceView(.).
  • [SPARK-46899] [SC-154651][CORE] Usuwanie interfejsów API POST z MasterWebUI, gdy spark.ui.killEnabled jest false
  • [SPARK-46868] [SC-154539][CORE] Obsługa interfejsu użytkownika dziennika procesu roboczego platformy Spark
  • [SPARK-46931] [SC-155661][PS] Narzędzie {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] Usuń nieużywane updateSparkConfigFromProperties i isAbsoluteURI w o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][CORE][CONNECT][SS] Zamykanie pul wątków za pomocą narzędzia ThreadUtils.shutdown
  • [SPARK-46400] [SC-155658][CORE][SQL] Jeśli w lokalnym repozytorium maven są uszkodzone pliki, pomiń tę pamięć podręczną i spróbuj ponownie
  • [SPARK-46932] [SC-155655] Czyszczenie importu w programie pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Pisanie generatora podzapytania, który generuje permutacje podzapytania w celu zwiększenia pokrycia testowania
  • [SPARK-46914] [SC-154776][UI] Skróć nazwę aplikacji w tabeli podsumowania na stronie historii
  • [SPARK-46831] [SC-154699][SQL] Sortowania — rozszerzanie parametrów StringType i PhysicalStringType za pomocą pola collationId
  • [SPARK-46816] [SC-154415][SS] Dodaj podstawową obsługę nowego dowolnego operatora zarządzania stanem, typu pojedynczego valueState, wielu zmiennych stanu i podstawowej obsługi rodzin kolumn dla RocksDBStateStoreProvider z/bez punktów kontrolnych dziennika zmian
  • [SPARK-46925] [SC-154890][PYTHON][CONNECT] Dodaj ostrzeżenie informujące o zainstalowaniu memory_profiler na potrzeby profilowania pamięci
  • [SPARK-46927] [SC-154904][PYTHON] Prawidłowe assertDataFrameEqual działanie bez PyArrow
  • [SPARK-46021] [SC-148987][CORE] Obsługa anulowania przyszłych zadań należących do grupy zadań
  • [SPARK-46747] [SC-154789][SQL] Unikaj skanowania w getTableExistsQuery dla dialektów JDBC
  • [SPARK-46904] [SC-154704][Interfejs użytkownika] Rozwiązano problem z wyświetlaniem podsumowania interfejsu użytkownika historii
  • [SPARK-46870] [SC-154541][CORE] Obsługa interfejsu użytkownika dziennika głównego platformy Spark
  • [SPARK-46893] [SC-154780][UI] Usuwanie skryptów wbudowanych z opisów interfejsu użytkownika
  • [SPARK-46910] [SC-154760][PYTHON] Eliminowanie wymagania zestawu JDK w instalacji PySpark
  • [SPARK-46907] [SC-154736][CORE] Pokaż lokalizację dziennika sterowników na serwerze historii platformy Spark
  • [SPARK-46902] [SC-154661][Interfejs użytkownika] Naprawianie interfejsu użytkownika serwera historii platformy Spark do używania nie wyeksportowanego zestawuAppLimit
  • [SPARK-46687] [SC-154725][PYTHON][CONNECT] Podstawowa obsługa profilera pamięci opartego na usłudze SparkSession
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] Zastąp element SimpleDateFormat kontrolką DateTimeFormatter
  • [SPARK-46875] [SC-154627][SQL] Jeśli parametr mode ma wartość null, NullPointException element powinien not zostać zgłoszony
  • [SPARK-46872] [SC-154543][CORE] Odzyskiwanie log-view.js w celu braku modułu
  • [SPARK-46883] [SC-154629][CORE] Interfejs API pomocy technicznej /json/clusterutilization
  • [SPARK-46886] [SC-154630][CORE] Włącz spark.ui.prometheus.enabled domyślnie
  • [SPARK-46873] [SC-154638][SS] Nie należy ponownie utworzyć nowego elementu StreamingQueryManager dla tej samej sesji platformy Spark
  • [SPARK-46829] [SC-154419][CORE] Usuń element createExecutorEnv z platformy SparkEnv
  • [SPARK-46827] [SC-154280][CORE] Utwórz RocksDBPersistenceEngine , aby obsługiwać łącze symboliczne
  • [SPARK-46903] [SC-154662][CORE] Obsługa interfejsu użytkownika dziennika serwera historii platformy Spark
  • [SPARK-46874] [SC-154646][PYTHON] Usuwanie zależności pyspark.pandas z assertDataFrameEqual
  • [SPARK-46889] [SC-154639][CORE] Sprawdzanie poprawności spark.master.ui.decommission.allow.mode ustawienia
  • [SPARK-46850] [SC-154443][SQL] Konwertowanie _LEGACY_ERROR_TEMP_2102 na UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][CORE][UI] Poprawka MasterPage sortowania tabeli Running Drivers według kolumny Duration
  • [SPARK-46796] [SC-154279][SS] Upewnij się, że poprawne pliki zdalne (wymienione w metadata.zip) są używane podczas ładowania wersji bazy danych RocksDB
  • [SPARK-46888] [SC-154636][CORE] Poprawka Master dotycząca odrzucania /workers/kill/ żądań, jeśli likwiduj jest wyłączona
  • [SPARK-46818] [SC-154422][SQL] Ulepszanie komunikatów o błędach dla zakresu przy użyciu nieskładanych danych wejściowych
  • [SPARK-46898] [SC-154649][CONNECT] Uproszczenie przekształcania funkcji protobuf w narzędziu Planner
  • [SPARK-46828] [SC-154413][SQL] Usunięcie nieprawidłowego twierdzenia trybu zdalnego dla powłoki SQL platformy Spark
  • [SPARK-46733] [SC-154274][CORE] Uproszczenie elementu BlockManager przez operację zakończenia zależy tylko od wątku przerwania.
  • [SPARK-46777] [SC-154016][SS] Refaktoryzować StreamingDataSourceV2Relation strukturę katalizatora, aby być bardziej na równi z wersją wsadową
  • [SPARK-46515] [SC-151716] Dodawanie funkcji MONTHNAME
  • [SPARK-46823] [SC-154276][CONNECT][PYTHON] LocalDataToArrowConversion powinna sprawdzić wartość null
  • [SPARK-46787] [SC-154404][CONNECT] bloomFilter funkcja powinna zgłaszać AnalysisException nieprawidłowe dane wejściowe
  • [SPARK-46779] [SC-154045][SQL] InMemoryRelation wystąpienia tego samego buforowanego planu powinny być semantycznie równoważne
  • [SPARK-45827] [SC-153973] Nie zezwalaj na partycjonowanie w kolumnie Wariant
  • [SPARK-46797] [SC-154085][CORE] Zmień nazwę spark.deploy.spreadOut na spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Obsługa profilowania funkcji wykonawczej JVM
  • [SPARK-46746] [SC-153557][SQL][AVRO] Dołączanie rozszerzenia codec do plików źródła danych avro
  • [SPARK-46698] [SC-153288][CORE] Zastąp element Timer zaplanowaną funkcją wykonawcą pojedynczego wątku dla elementu ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Poprawka dotycząca niezbierania wartości null i komentarza typu STRUCT
  • [SPARK-46750] [SC-153772][CONNECT][PYTHON] Czyszczenie kodu interfejsów API ramki danych
  • [SPARK-46769] [SC-153979][SQL] Uściślij wnioskowanie powiązane ze schematem sygnatury czasowej
  • [SPARK-46765] [SC-153904][PYTHON][CONNECT] Określ shuffle typ danych seed
  • [SPARK-46579] [SC-151481][SQL] Redact JDBC url w błędach i dziennikach
  • [SPARK-46686] [SC-153875][PYTHON][CONNECT] Podstawowa obsługa profilera UDF opartego na usłudze SparkSession
  • [SPARK-46748] Przywróć “[SC-153800][CORE] Usuń *sla***.sh scri…
  • [SPARK-46707] [SC-153833][SQL] Dodano pole dopuszczane do wyrażeń w celu ulepszenia wypychania predykatu
  • [SPARK-46519] [SC-151278][SQL] Wyczyść nieużywane klasy błędów z error-classes.json pliku
  • [SPARK-46677] [SC-153426][SQL][CONNECT] Rozwiązywanie problemów dataframe["*"]
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] Dopasowywanie drobnych dopasowań zachowań w usłudze SparkSession z pełnym pokryciem testu
  • [SPARK-46748] [SC-153800][CORE] Usuwanie skryptów *sla***.sh
  • [SPARK-46663] [SC-153490][PYTHON] Wyłączanie profilera pamięci dla funkcji zdefiniowanych przez użytkownika biblioteki pandas za pomocą iteratorów
  • [SPARK-46410] [SC-150776][SQL] Przypisywanie klas błędów/podklas do klasy JdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][PYTHON] Weryfikowanie adresów URL uruchamiania przy użyciu ustawianej konfiguracji
  • [SPARK-46612] [SC-153536][SQL] Nie konwertuj ciągu typu tablicy pobranego ze sterownika jdbc
  • [SPARK-46254] [SC-149788][PYTHON] Usuń przestarzałe sprawdzanie wersji języka Python 3.8/3.7
  • [SPARK-46490] [SC-151335][SQL] Wymaganie klas błędów w SparkThrowable klasach podrzędnych
  • [SPARK-46383] [SC-153274][SC-147443][WARMFIX] Zmniejszanie użycia stert sterowników przez zmniejszenie cyklu życia TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] Napraw ambiwalentne odwołanie do kolumny w łączeniu własnym
  • [SPARK-46381] [SC-150495][SQL] Migrowanie podrzędnych klas klasy AnalysisException do klas błędów
  • [SPARK-46351] [SC-150335][SQL] Wymagaj klasy błędów w pliku AnalysisException
  • [SPARK-46220] [SC-149689][SQL] Ogranicz zestawy znaków w decode()
  • [SPARK-46369] [SC-150340][CORE] Usuń łącze kill ze sterowników RELAUNCHING w MasterPage
  • [SPARK-46052] [SC-153284][CORE] Usuń funkcję TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][SQL] Wsparcie GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][SQL] Usuń nieużywane wywnioskowywanie Timestamp NTZ w ParquetReadSupport
  • [SPARK-46717] [SC-153423][CORE] Uproszczenie ReloadingX509TrustManager operacji zakończenia zależy tylko od wątku przerwania.
  • [SPARK-46722] [SC-153438][CONNECT] Dodaj test dotyczący sprawdzania zgodności z poprzednimi wersjami dla elementu StreamingQueryListener w programie Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Dopasowywanie implementacji kodu i innej niż codegen StringDecode
  • [SPARK-46258] [SC-149799][CORE] Dodawać RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE] Ulepszanie FileSystemPersistenceEngine obsługi kompresji
  • [SPARK-46189] [SC-149567][PS][SQL] Wykonywanie porównań i arytmetycznych między tymi samymi typami w różnych funkcjach agregujących biblioteki Pandas, aby uniknąć błędów trybu interpretowanego
  • [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB] Zmniejsz głębokość stosu, zastępując element Option.isDefined opcją.isEmpty
  • [SPARK-46700] [SC-153329][CORE] Zlicz ostatnie rozlanie dla metryki rozlania dysku rozlewającego się bajty
  • [SPARK-45642] [SC-150286][CORE][SQL] Naprawiać FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL] Naprawiono element RemoveRedundantAlias, wykluczając atrybuty podzapytania
  • [SPARK-46681] [SC-153287][CORE] Refaktoryzacja ExecutorFailureTracker#maxNumExecutorFailures w celu uniknięcia obliczania defaultMaxNumExecutorFailures , gdy MAX_EXECUTOR_FAILURES jest skonfigurowana
  • [SPARK-46695] [SC-153289][SQL][HIVE] Zawsze ustawiaj parametr hive.execution.engine na mr
  • [SPARK-46325] [SC-150228][CONNECT] Usuń niepotrzebne funkcje nadpisujące podczas konstruowania WrappedCloseableIterator w ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PYTHON] Przeprowadź migrację wszystkich pozostałych wartości ValueError do struktury błędów PySpark.
  • [SPARK-46547] [SC-153174][SS] Połykanie wyjątku niekrytycznego w zadaniu konserwacji, aby uniknąć zakleszczenia między wątkiem konserwacji a operatorem agregacji przesyłania strumieniowego
  • [SPARK-46169] [SC-149373][PS] Przypisz odpowiednie numery JIRA dla brakujących parametrów z interfejsu API DataFrame.
  • [SPARK-45857] [SC-148096][SQL] Wymuszanie klas błędów w podklasie AnalysisException

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 15.0.

Środowisko systemu

  • System operacyjny: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Zainstalowane biblioteki języka Python

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black (czarny) 23.3.0 kierunkowskaz 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
kliknięcie 8.0.4 cloudpickle 2.2.1 Comm 0.1.2
konturowy 1.0.5 kryptografia 41.0.3 rowerzysta 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 dekorator 5.1.1 distlib 0.3.8
punkty wejścia 0,4 Wykonywanie 0.8.3 aspekty — omówienie 1.1.1
filelock 3.13.1 fonttools 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
stan obiektu grpcio 1.60.0 httplib2 0.20.2 idna 3.4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 Jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 keyring 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 biblioteka matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
więcej itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 opakowanie 23.2
Pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Poduszka 9.4.0 pip 23.2.1 platformdirs 3.10.0
kreślenie 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6.0 pyzmq 23.2.0 żądania 2.31.0
rsa 4.9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 seaborn 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 Sześć 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 stack-data 0.2.0
statsmodels 0.14.0 Wytrzymałość 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlety 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
nienadzorowane uaktualnienia 0.1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 koło 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN posit Menedżer pakietów 2023-02-10.

Biblioteka Wersja Biblioteka Wersja Biblioteka Wersja
strzałkę 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
backports (backports) 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bitowe 4.0.5 bit64 4.0.5
bitops 1.0-7 blob 1.2.4 rozruch 1.3-28
warzyć 1.0-10 Brio 1.1.4 miotła 1.0.5
bslib 0.6.1 cachem 1.0.8 obiekt wywołujący 3.7.3
caret 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
zegar 0.7.0 cluster 2.1.4 codetools 0.2-19
przestrzeń kolorów 2.1-0 commonmark 1.9.1 — kompilator 4.3.2
config 0.3.2 Konflikt 1.2.0 cpp11 0.4.7
kredka 1.5.2 Poświadczenia 2.0.1 lok 5.2.0
data.table 1.15.0 usługi Power BI 4.3.2 DBI 1.2.1
dbplyr 2.4.0 Desc 1.4.3 devtools 2.4.5
diagram 1.6.5 diffobj 0.3.5 trawić 0.6.34
downlit (wyłączony) 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 wielokropek 0.3.2 evaluate 0.23
fani 1.0.6 farver 2.1.1 szybka mapa 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
zagraniczny 0.8-85 kuźnia 0.2.0 Fs 1.6.3
przyszłość 1.33.1 future.apply 1.11.1 płukać gardło 1.5.2
Generyczne 0.1.3 Gert 2.0.1 ggplot2 3.4.4
Gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globalna 0.16.2 klej 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Gower 1.0.1
grafika 4.3.2 grDevices 4.3.2 siatka 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 przystań 2.5.4
wysoki 0.10 Hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 Identyfikatory 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Iteratory 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 soicyjuice 0.1.0
KernSmooth 2.23-21 knitr 1.45 Etykietowania 0.4.3
później 1.3.2 krata 0.21-8 lawa 1.7.3
cykl życia 1.0.4 nasłuchiwanie 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 MASA 7.3-60
Macierz 1.5-4.1 zapamiętywanie 2.0.1 metody 4.3.2
mgcv 1.8-42 mim 0,12 miniUI 0.1.1.1
mlflow 2.10.0 Metryki modelu 1.2.2.2 modeler 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
równolegle 1.36.0 filar 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 pochwała 1.0.0
prettyunits 1.2.0 Proc 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Postęp 1.2.3
progressr 0.14.0 Obietnice 1.2.1 Proto 1.0.0
proxy 0.4-27 PS 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 z możliwością reagowania 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
przepisy 1.0.9 rewanż 2.0.0 rewanż2 2.1.2
Piloty 2.4.2.1 reprex 2.1.0 zmień kształt2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions (rversions) 2.1.2 rvest 1.0.3 Sass 0.4.8
waga 1.3.0 selektor 0.4-2 sessioninfo 1.2.2
kształt 1.4.6 błyszczący 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 przestrzenny 7.3-15 Splajnów 4.3.2
sqldf 0.4-11 KWADRAT 2021.1 Statystyki 4.3.2
stats4 4.3.2 stringi 1.8.3 stringr 1.5.1
przetrwanie 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 zmiana czasu 0.3.0
timeDate 4032.109 tinytex 0,49 tools 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 narzędzia 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
Vroom 1.6.5 Waldo 0.5.2 wąs 0.4.1
withr 3.0.0 xfun 0.41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
gorliwość 0.1.0 zamek 2.3.1

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)

Identyfikator grupy Identyfikator artefaktu Wersja
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-klej 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-biblioteka-biblioteka 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics strumień 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-cieniowane 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml kolega z klasy 1.3.4
com.fasterxml.jackson.core adnotacje jackson 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.kofeina kofeina 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system java 1.1
com.github.fommil.netlib native_system java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink Tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guawa 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity parsery jednowołciowości 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib Blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics adnotacja metryk 4.2.19
io.dropwizard.metrics metryki —rdzeń 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics serwlety metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty transport netto 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx kolekcjoner 0.12.0
jakarta.adnotacja jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation aktywacja 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine Pickle 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant tat 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow format strzałki 15.0.0
org.apache.arrow strzałka-pamięć-rdzeń 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow wektor strzałki 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator kurator-klient 2.13.0
org.apache.curator struktura kuratora 2.13.0
org.apache.curator przepisy kuratora 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby Derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive podkładki hive 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy bluszcz 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-shaded-protobuf
org.apache.orc orc-mapreduce 1.9.2-shaded-protobuf
org.apache.orc podkładki orc-shim 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-cieniowane 4.23
org.apache.yetus adnotacje odbiorców 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper jute dozorców 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections kolekcje eclipse 11.1.0
org.eclipse.collections eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-kontynuacja 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket —wspólne 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 lokalizator hk2 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator moduł sprawdzania poprawności hibernacji 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains Adnotacje 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap Podkładki 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfejs testowy 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest zgodny ze standardem scalatest 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten trzydostępne dodatkowe 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1