Databricks Runtime 14.0 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 14.0 obsługiwanym przez platformę Apache Spark 3.5.0.

Usługa Databricks wydała tę wersję we wrześniu 2023 r.

Nowe funkcje i ulepszenia

• Śledzenie wierszy jest ogólnie dostępne
• Predykcyjne I/O dla aktualizacji jest ogólnie dostępne
• Wektory usuwania są ogólnie dostępne
• Platforma Spark 3.5.0 jest ogólnie dostępna
• Publiczna wersja zapoznawcza funkcji tabel zdefiniowanych przez użytkownika dla języka Python
• Publiczna wersja zapoznawcza współbieżności na poziomie wiersza
• Domyślny bieżący katalog roboczy został zmieniony
• Znany problem z interfejsem sparklyr
• Wprowadzenie Spark Connect w udostępnionej architekturze klastra
• Lista dostępnych aktualizacji interfejsu API wersji platformy Spark

Śledzenie wierszy jest ogólnie dostępne

Śledzenie rekordów w Delta Lake jest teraz ogólnie dostępne. Zobacz Używanie śledzenia wierszy dla tabel delty.

Predykcyjne wejścia/wyjścia dla aktualizacji to wersja ogólnodostępna.

Funkcja predykcyjnego I/O dla aktualizacji jest teraz powszechnie dostępna. Zobacz Co to jest predykcyjne wejście/wyjście?

Wektory usuwania są GA

Wektory usuwania są teraz ogólnie dostępne. Zobacz Co to są wektory usuwania?.

Spark 3.5.0 jest ogólnie dostępny

Platforma Apache Spark 3.5.0 jest teraz ogólnie dostępna. Zobacz Spark Release 3.5.0.

Publiczna wersja zapoznawcza funkcji tabel zdefiniowanych przez użytkownika dla języka Python

Funkcje tabeli zdefiniowane przez użytkownika (UDTFs) umożliwiają rejestrowanie funkcji, które zwracają tabele zamiast wartości skalarnych. Zobacz Funkcje tabeli zdefiniowane przez użytkownika w języku Python (UDTFs).

Publiczna wersja próbna dla współbieżności na poziomie wiersza

Współbieżność na poziomie wiersza zmniejsza konflikty między współbieżnych operacji zapisu, wykrywając zmiany na poziomie wiersza i automatycznie rozwiązując konkurencyjne zmiany w współbieżnych zapisach, które aktualizują lub usuwają różne wiersze w tym samym pliku danych. Zobacz Konflikty zapisu ze współbieżnością na poziomie wiersza.

Domyślny bieżący katalog roboczy został zmieniony

Domyślny bieżący katalog roboczy (CWD) dla kodu wykonywanego lokalnie to teraz katalog zawierający notes lub skrypt, który jest uruchamiany. Obejmuje to kod, taki jak %sh, oraz kod w Pythonie lub R, który nie korzysta z platformy Spark. Zobacz Co to jest domyślny bieżący katalog roboczy?.

Znany problem z sparklyr

Zainstalowana wersja sparklyr pakietu (wersja 1.8.1) nie jest zgodna z środowiskiem Databricks Runtime 14.0. Aby użyć sparklyrprogramu , zainstaluj wersję 1.8.3 lub nowszą.

Wprowadzenie Spark Connect w architekturze wspólnego klastra

W przypadku środowiska Databricks Runtime 14.0 lub nowszego udostępnione klastry domyślnie używają programu Spark Connect ze sterownikiem Spark ze środowiska REPL języka Python. Wewnętrzne interfejsy API platformy Spark nie są już dostępne z poziomu kodu użytkownika.

Program Spark Connect współdziała teraz ze sterownikiem Spark z wersji REPL zamiast starszej integracji REPL.

Lista dostępnych aktualizacji interfejsu API wersji platformy Spark

Włącz Photon, ustawiając runtime_engine = PHOTON, a funkcję aarch64 włącz, wybierając typ instancji graviton. Usługa Azure Databricks ustawia poprawną wersję środowiska Databricks Runtime. Wcześniej interfejs API wersji platformy Spark zwracał środowiska uruchomieniowe zależne od implementacji dla każdej wersji. Zobacz GET /api/2.0/clusters/spark-versions w dokumentacji API REST.

Zmiany łamiące zgodność

W środowisku Databricks Runtime 14.0 lub nowszym klastry ze standardowym trybem dostępu (dawniej tryb dostępu współdzielonego) używają programu Spark Connect do komunikacji między klientem a serwerem. Obejmuje to następujące zmiany.

Aby uzyskać więcej informacji na temat ograniczeń trybu dostępu standardowego, zobacz Ograniczenia trybu dostępu komputerowego dla katalogu Unity.

Język Python w klastrach ze standardowym trybem dostępu (dawniej trybem dostępu współdzielonego)

• sqlContext jest niedostępny. Usługa Azure Databricks zaleca używanie zmiennej sparkSparkSession dla wystąpienia.
• Kontekst Spark (sc) nie jest już dostępny w notesach ani podczas korzystania z Databricks Connect na klastrze ze standardowym trybem dostępu. Następujące sc funkcje nie są już dostępne:
  • emptyRDD, range, init_batched_serializerparallelizepickleFiletextFilewholeTextFilesbinaryFilesbinaryRecordssequenceFilenewAPIHadoopFilenewAPIHadoopRDDhadoopFilehadoopRDDunionrunJobsetSystemPropertyuiWebUrlstopsetJobGroupsetLocalPropertygetConf
• Funkcja Informacje o zestawie danych nie jest już obsługiwana.
• Nie istnieje już zależność od JVM podczas wykonywania zapytań w Apache Spark, i w związku z tym wewnętrzne interfejsy API związane z JVM, takie jak _jsc, _jconf, _jvm, _jsparkSession, _jreader, _jc, _jseq, _jdf, _jmap i _jcols, nie są już obsługiwane.
• Podczas uzyskiwania dostępu do wartości konfiguracji za pomocą spark.conf dostępne są jedynie dynamiczne wartości konfiguracji środowiska uruchomieniowego.
• Polecenia analizy DLT nie są jeszcze obsługiwane w udostępnionych klastrach.

Funkcja delta w klastrach ze standardowym trybem dostępu (dawniej trybem dostępu współdzielonego)

• W języku Python nie istnieje już zależność od maszyny wirtualnej JVM podczas wykonywania zapytań dotyczących platformy Apache Spark. Wewnętrzne interfejsy API związane z maszyną wirtualną JVM, takie jak DeltaTable._jdt, DeltaTableBuilder._jbuilder, DeltaMergeBuilder._jbuilderi DeltaOptimizeBuilder._jbuilder nie są już obsługiwane.

Sql w klastrach ze standardowym trybem dostępu (dawniej trybem dostępu współdzielonego)

• DBCACHE i DBUNCACHE komendy nie są już obsługiwane.
• Rzadkie przypadki użycia, takie jak cache table db as show databases , nie są już obsługiwane.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • asttokens z 2.2.1 do 2.0.5
  • attrs z 21.4.0 do 22.1.0
  • botocore z wersji 1.27.28 do 1.27.96
  • certifi od 2022-09-14 do 2022-12-07
  • Kryptografia z wersji 37.0.1 do 39.0.1
  • debugpy z wersji 1.6.0 do 1.6.7
  • docstring-to-markdown z 0.12 do 0.11
  • wykonywanie z wersji 1.2.0 do 0.8.3
  • przegląd-faset od 1.0.3 do 1.1.1
  • googleapis-common-protos z 1.56.4 do 1.60.0
  • grpcio z 1.48.1 do 1.48.2
  • idna od 3.3 do 3.4
  • ipykernel z wersji 6.17.1 do 6.25.0
  • ipython z 8.10.0 do 8.14.0
  • Jinja2 z wersji 2.11.3 do 3.1.2
  • jsonschema z wersji 4.16.0 do 4.17.3
  • jupyter_core z wersji 4.11.2 do 5.2.0
  • kiwisolver z 1.4.2 do 1.4.4
  • MarkupSafe od 2.0.1 do 2.1.1
  • matplotlib z wersji 3.5.2 do 3.7.0
  • nbconvert z 6.4.4 do 6.5.4
  • nbformat z wersji 5.5.0 do 5.7.0
  • nest-asyncio z wersji 1.5.5 do 1.5.6
  • notatnik z wersji 6.4.12 do 6.5.2
  • numpy z wersji 1.21.5 do 1.23.5
  • opakowania od 21.3 do 22.0
  • pandas z wersji 1.4.4 do 1.5.3
  • pathspec z 0.9.0 do 0.10.3
  • patsy z 0.5.2 do 0.5.3
  • Pillow od wersji 9.2.0 do 9.4.0
  • z 22.2.2 do 22.3.1
  • protobuf z wersji 3.19.4 do 4.24.0
  • pytoolconfig z wersji 1.2.2 do 1.2.5
  • pytz od 2022.1 do 2022.7
  • s3transfer z 0.6.0 do 0.6.1
  • seaborn od 0.11.2 do 0.12.2
  • setuptools z 63.4.1 do 65.6.3
  • soupsieve od 2.3.1 do 2.3.2.post1
  • stack-data z wersji 0.6.2 do 0.2.0
  • statsmodels z 0.13.2 do 0.13.5
  • terminado z 0.13.1 do 0.17.1
  • traitlets z wersji 5.1.1 do 5.7.1
  • typing_extensions z wersji 4.3.0 do 4.4.0
  • urllib3 z 1.26.11 do 1.26.14
  • virtualenv z wersji 20.16.3 do wersji 20.16.7
  • pakiet wheel od wersji 0.37.1 do 0.38.4
• Uaktualnione biblioteki języka R:
  • strzałka od 10.0.1 do 12.0.1
  • od 4.2.2 do 4.3.1
  • Przejście obiektu blob z wersji 1.2.3 do 1.2.4
  • aktualizacja broom z wersji 1.0.3 do 1.0.5
  • bslib z 0.4.2 do 0.5.0
  • cachem z wersji 1.0.6 do 1.0.8
  • caret od 6.0-93 do 6.0-94
  • chron z 2.3-59 do 2.3-61
  • zajęcia od 7.3-21 do 7.3-22
  • Interfejs CLI z wersji 3.6.0 do 3.6.1
  • zegar od 0.6.1 do 0.7.0
  • commonmark z wersji 1.8.1 do 1.9.0
  • kompilator z wersji 4.2.2 do 4.3.1
  • cpp11 z 0.4.3 do 0.4.4
  • curl z 5.0.0 do 5.0.1
  • data.table z wersji 1.14.6 do 1.14.8
  • zestawy danych z wersji 4.2.2 do 4.3.1
  • dbplyr z wersji 2.3.0 do 2.3.3
  • przegląd wersji z 0.6.31 do 0.6.33
  • Downlit z 0.4.2 do 0.4.3
  • dplyr z wersji 1.1.0 do 1.1.2
  • dtplyr z wersji 1.2.2 do 1.3.1
  • ocena z zakresu od 0,20 do 0,21
  • fastmap z wersji 1.1.0 do 1.1.1
  • fontawesome z 0.5.0 do 0.5.1
  • fs z 1.6.1 do 1.6.2
  • przyszłości od 1.31.0 do 1.33.0
  • future.apply z wersji 1.10.0 do 1.11.0
  • gargle z 1.3.0 do 1.5.1
  • ggplot2 z 3.4.0 do 3.4.2
  • gh z 1.3.1 do 1.4.0
  • glmnet z 4.1-6 do 4.1-7
  • googledrive z wersji 2.0.0 do 2.1.1
  • googlesheets4 z 1.0.1 do 1.1.1
  • grafika z wersji 4.2.2 do 4.3.1
  • grDevices z wersji 4.2.2 do 4.3.1
  • siatka z 4.2.2 do 4.3.1
  • zmiana gtable z wersji 0.3.1 do 0.3.3
  • hardhat z 1.2.0 do 1.3.0
  • haven z wersji 2.5.1 do 2.5.3
  • hms od 1.1.2 do 1.1.3
  • Aktualizacja htmltools z wersji 0.5.4 do 0.5.5
  • htmlwidgets z wersji 1.6.1 do 1.6.2
  • httpuv z wersji 1.6.8 do 1.6.11
  • httr z 1.4.4 do 1.4.6
  • ipred z 0.9-13 do 0.9-14
  • jsonlite z wersji 1.8.4 do 1.8.7
  • KernSmooth z 2.23-20 do 2.23-21
  • knitr z 1.42 do 1.43
  • później z 1.3.0 do 1.3.1
  • lattice z 0.20-45 do 0.21-8
  • lawa z 1.7.1 do 1.7.2.1
  • lubridate z wersji 1.9.1 do 1.9.2
  • markdown od 1.5 do 1.7
  • Masa od 7,3-58,2 do 7,3-60
  • Macierz z zakresu od 1,5-1 do 1,5-4,1
  • metody z wersji 4.2.2 do 4.3.1
  • mgcv z 1.8-41 do 1.8-42
  • modelr z wersji 0.1.10 do 0.1.11
  • wersja nnet z 7.3-18 do 7.3-19
  • openssl z 2.0.5 do 2.0.6
  • przejście z wersji 4.2.2 do 4.3.1
  • równolegle od wersji 1.34.0 do 1.36.0
  • filar od 1.8.1 do 1.9.0
  • pkgbuild z 1.4.0 do 1.4.2
  • pkgload z wersji 1.3.2 do 1.3.2.1
  • pROC z 1.18.0 do 1.18.4
  • processx z wersji 3.8.0 do 3.8.2
  • prodlim od 2019.11.13 do 2023.03.31
  • profvis z wersji 0.3.7 do 0.3.8
  • ps z 1.7.2 do 1.7.5
  • Program Rcpp z wersji 1.0.10 do 1.0.11
  • readr z wersji 2.1.3 do 2.1.4
  • readxl z wersji 1.4.2 do 1.4.3
  • przepisy od 1.0.4 do 1.0.6
  • rlang z wersji 1.0.6 do 1.1.1
  • rmarkdown z 2.20 do 2.23
  • Rserve z 1.8-12 do 1.8-11
  • RSQLite z wersji 2.2.20 do 2.3.1
  • rstudioapi z 0.14 do 0.15.0
  • sass z wersji 0.4.5 do 0.4.6
  • błyszczące z 1.7.4 do 1.7.4.1
  • sparklyr z 1.7.9 do 1.8.1
  • SparkR z wersji 3.4.1 do 3.5.0
  • spline'y od 4.2.2 do 4.3.1
  • statystyki z 4.2.2 do 4.3.1
  • stats4 z 4.2.2 do 4.3.1
  • wskaźnik przeżycia z 3,5-3 do 3,5-5
  • system z wersji 3.4.1 do 3.4.2
  • tcltk z wersji 4.2.2 do 4.3.1
  • testthat z 3.1.6 do 3.1.10
  • tibble z 3.1.8 do 3.2.1
  • tidyverse z 1.3.2 do 2.0.0
  • tinytex z 0.44 do 0.45
  • narzędzia z wersji 4.2.2 do 4.3.1
  • tzdb z 0.3.0 do 0.4.0
  • usethis z 2.1.6 do 2.2.2
  • Narzędzia z wersji 4.2.2 do 4.3.1
  • vctrs z 0.5.2 do 0.6.3
  • viridisLite z wersji 0.4.1 do 0.4.2
  • vroom od 1.6.1 do 1.6.3
  • waldo od 0.4.0 do 0.5.1
  • xfun od 0.37 do 0.39
  • xml2 z wersji 1.3.3 do 1.3.5
  • zip z wersji 2.2.2 do 2.3.0
• Uaktualnione biblioteki Java:
  • com.fasterxml.jackson.core.jackson-annotations z wersji 2.14.2 do 2.15.2
  • com.fasterxml.jackson.core.jackson-core z wersji 2.14.2 do 2.15.2
  • com.fasterxml.jackson.core.jackson-databind z 2.14.2 do 2.15.2
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor z wersji 2.14.2 do 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-joda z wersji 2.14.2 do 2.15.2
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 z wersji 2.13.4 do 2.15.1
  • com.fasterxml.jackson.module.jackson-module-paranamer od 2.14.2 do 2.15.2
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 z wersji 2.14.2 do 2.15.2
  • com.github.luben.zstd-jni z 1.5.2-5 do 1.5.5-4
  • com.google.code.gson.gson z 2.8.9 do 2.10.1
  • com.google.crypto.tink.tink z 1.7.0 do 1.9.0
  • commons-codec.commons-codec z wersji 1.15 do 1.16.0
  • commons-io.commons-io z wersji 2.11.0 do 2.13.0
  • io.airlift.aircompressor od 0.21 do 0.24
  • io.dropwizard.metrics.metrics-core z wersji 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-graphite z wersji 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-healthchecks z wersji 4.2.10 do 4.2.19
  • Aktualizacja io.dropwizard.metrics.metrics-jetty9 z wersji 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-jmx z wersji 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-json zaktualizowano z wersji 4.2.10 do 4.2.19
  • io.dropwizard.metrics.metrics-jvm z 4.2.10 na 4.2.19
  • io.dropwizard.metrics.metrics-servlets z wersji 4.2.10 do 4.2.19
  • io.netty.netty-all z 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-buffer z 4.1.87.Final na 4.1.93.Final
  • io.netty.netty-codec z wersji 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-codec-http z 4.1.87.Final na 4.1.93.Final
  • io.netty.netty-codec-http2 z wersji 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-codec-socks z wersji 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-common z 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-handler from 4.1.87.Final to 4.1.93.Final
  • io.netty.netty-handler-proxy z wersji 4.1.87.Final do 4.1.93.Final
  • Aktualizacja io.netty.netty-resolver z wersji 4.1.87.Final do wersji 4.1.93.Final
  • io.netty.netty-transport z wersji 4.1.87.Final do wersji 4.1.93.Final
  • io.netty.netty-transport-classes-epoll from 4.1.87.Final to 4.1.93.Final
  • io.netty.netty-transport-classes-kqueue od 4.1.87.Final do 4.1.93.Final
  • io.netty.netty-transport-native-epoll from 4.1.87.Final-linux-x86_64 to 4.1.93.Final-linux-x86_64
  • io.netty.netty-transport-native-kqueue from 4.1.87.Final-osx-x86_64 to 4.1.93.Final-osx-x86_64
  • io.netty.netty-transport-native-unix-common z 4.1.87.Final do 4.1.93.Final
  • org.apache.arrow.arrow-format od wersji 11.0.0 do 12.0.1
  • org.apache.arrow.arrow-memory-core z 11.0.0 do 12.0.1
  • org.apache.arrow.arrow-memory-netty od 11.0.0 do 12.0.1
  • org.apache.arrow.arrow-vector z 11.0.0 do 12.0.1
  • org.apache.avro.avro z wersji 1.11.1 do 1.11.2
  • org.apache.avro.avro-ipc z wersji 1.11.1 do 1.11.2
  • org.apache.avro.avro-mapred z wersji 1.11.1 do 1.11.2
  • org.apache.commons.commons-compress od wersji 1.21 do wersji 1.23.0
  • org.apache.hadoop.hadoop-client-runtime z wersji 3.3.4 do 3.3.6
  • org.apache.logging.log4j.log4j-1.2-api z wersji 2.19.0 do 2.20.0
  • org.apache.logging.log4j.log4j-api z wersji 2.19.0 do 2.20.0
  • org.apache.logging.log4j.log4j-core z wersji 2.19.0 do 2.20.0
  • org.apache.logging.log4j.log4j-slf4j2-impl z wersji 2.19.0 do 2.20.0
  • org.apache.orc.orc-core z wersji 1.8.4-shaded-protobuf do wersji 1.9.0-shaded-protobuf
  • org.apache.orc.orc-mapreduce z 1.8.4-shaded-protobuf na 1.9.0-shaded-protobuf
  • org.apache.orc.orc-shims z wersji 1.8.4 do 1.9.0
  • org.apache.xbean.xbean-asm9-shaded z 4.22 do 4.23
  • org.checkerframework.checker-qual od 3.19.0 do 3.31.0
  • org.glassfish.jersey.containers.jersey-container-servlet z 2.36 do 2.40
  • org.glassfish.jersey.containers.jersey-container-servlet-core od 2.36 do 2.40
  • org.glassfish.jersey.core.jersey-client od 2.36 do 2.40
  • org.glassfish.jersey.core.jersey-common od 2.36 do 2.40
  • org.glassfish.jersey.core.jersey-server od 2.36 do 2.40
  • org.glassfish.jersey.inject.jersey-hk2 z 2.36 do 2.40
  • org.javassist.javassist z wersji 3.25.0-GA do 3.29.2-GA
  • org.mariadb.jdbc.mariadb-java-client z wersji 2.7.4 do 2.7.9
  • org.postgresql.postgresql z wersji 42.3.8 do 42.6.0
  • org.roaringbitmap.RoaringBitmap z 0.9.39 do 0.9.45
  • org.roaringbitmap.shims od 0.9.39 do 0.9.45
  • org.rocksdb.rocksdbjni z wersji 7.8.3 do 8.3.2
  • org.scala-lang.modules.scala-collection-compat_2.12 z wersji 2.4.3 do 2.9.0
  • org.slf4j.jcl-over-slf4j od 2.0.6 do 2.0.7
  • org.slf4j.jul-to-slf4j od 2.0.6 do 2.0.7
  • org.slf4j.slf4j-api od 2.0.6 do 2.0.7
  • org.xerial.snappy.snappy-java z wersji 1.1.10.1 do 1.1.10.3
  • org.yaml.snakeyaml z 1.33 do 2.0

Apache Spark

Databricks Runtime 14.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 13.3 LTS, a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Poprawki funkcji aes_decrypt i ln w programie Connect
• [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] Poprawka dziedziczona nazwanych elementów do pracy w createDataFrame
• [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] Pamięć podręczna CodeGenerator powinna być specyficzna dla ładowarki klas
• [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
• [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] Umożliwienie działania zapytań przesyłania strumieniowego z zarządzaniem artefaktami programu Connect
• [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] Działanie narzędzia ArrowDeserializer z wygenerowanymi klasami REPL
• [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Naprawa zoptymalizowanej na bazie Arrow funkcji UDF w Pythonie na Spark Connect
• [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Obsługa funkcji protobuf języka Python dla programu Spark Connect
• [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] Usuń funkcję uuid/random/chr z PySpark
• [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][follow] Poprawa wartości metadanych dla artefaktów
• [SPARK-44822] [DBRRM-464][python][SQL] Domyślne funkcje UDF języka Python niedeterministyczne
• [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Refactor Arrow Python UDTF
• [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] Dodawanie brakujących metadanych klienta do wywołań
• [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: obiekt NoneType nie ma atrybutu "message"
• [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager do śledzenia wszystkich procesów
• [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Wyłącz optymalizację strzałek domyślnie dla funkcji UDF języka Python
• [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] Uruchom ExecuteGrpcResponseSender w reattachable execute w nowym wątku, aby naprawić sterowanie przepływem
• [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] Uczyń wszystkie iteratory zamykalnymi iteratorami (CloseableIterators)
• [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] Ponownie wykonaj ExecutePlan w przypadku, gdy początkowe żądanie nie dotarło do serwera w kliencie języka Python
• [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] Ponów próbę wykonania planu w przypadku, gdy początkowe żądanie nie dotarło do serwera
• [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] Błędy przeniesione do sq/api powinny również używać funkcji AnalysisException
• [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] Dodawanie obiektu koderów
• [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Nadzór nad zakończeniem zapytań przesyłania strumieniowego po przekroczeniu limitu czasu sesji klienta dla programu Spark Connect
• [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] ReleaseExecute in ExecutePlanResponseReattachableIterator po wystąpieniu błędu z serwera
• [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Usuń zależność Catalyst dla klienta Connect
• [SPARK-44664] [DBRRM-396][python][CONNECT] Zwolnij wykonanie podczas zamykania iteratora w kliencie języka Python
• [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] Usuń katalog oparty na sesji, gdy eksmitowana jest izolowana pamięć podręczna sesji
• [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
• [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] Nie pozostawiaj wiszących iteratorów
• [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Klient języka Python do ponownego połączenia się z istniejącym procesem wykonawczym w Spark Connect
• [SPARK-44637] [SC-138571] Synchronizowanie dostępu do serwera ExecuteResponseObserver
• [SPARK-44538] [SC-138178][connect][SQL] Przywrócenie funkcji Row.jsonValue i podobnych funkcji
• [SPARK-44421] [SC-138434][spark-44423][CONNECT] Ponowne łączenie w Spark Connect
• [SPARK-44418] [SC-136807][python][CONNECT] Uaktualnianie protobufu z wersji 3.19.5 do 3.20.3
• [SPARK-44587] [SC-138315][sql][CONNECT] Zwiększenie limitu rekursji protobuf marshaller
• [SPARK-44591] [SC-138292][connect][SQL] Add jobTags to SparkListenerSQLExecutionStart
• [SPARK-44610] [SC-138368][sql] DeduplikatorRelacji powinien zachowywać metadane Alias podczas tworzenia nowego wystąpienia
• [SPARK-44542] [SC-138323][core] Chętne ładowanie klasy SparkExitCode w procedurze obsługi wyjątków
• [SPARK-44264] [SC-138143][python]Testowanie E2E na potrzeby deepspeed
• [SPARK-43997] [SC-138347][connect] Dodawanie obsługi funkcji UDF języka Java
• [SPARK-44507] [SQL][connect][14.x][14.0] Przenieś AnalysisException do sql/api
• [SPARK-44453] [SC-137013][python] Użyj biblioteki difflib do wyświetlania błędów w assertDataFrameEqual
• [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Dodawanie strony interfejsu użytkownika platformy Spark dla programu Spark Connect
• [SPARK-44611] [SC-138415][connect] Nie wykluczaj scala-xml
• [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] Przenieś wnioskowanie kodera do sql/api
• [SPARK-43744] [SC-138289][connect][14.x][14.0] Rozwiązać problem z ładowaniem klas...
• [SPARK-44590] [SC-138296][sql][CONNECT] Usuń limit rekordów wsadowych strzałek dla polecenia SqlCommandResult
• [SPARK-43968] [SC-138115][python] Ulepszanie komunikatów o błędach dla funkcji UDF języka Python z nieprawidłową liczbą danych wyjściowych
• [SPARK-44432] [SC-138293][ss][CONNECT] Kończenie zapytań przesyłania strumieniowego po upływie limitu czasu sesji w programie Spark Connect
• [SPARK-44584] [SC-138295][connect] Ustaw informacje o typie klienta dla AddArtifactsRequest i ArtifactStatusesRequest w kliencie Scala
• [SPARK-44552] [14.0][sc-138176][SQL] Usuwanie definicji private object ParseState z IntervalUtils
• [SPARK-43660] [SC-136183][connect][PS] Włączanie resample za pomocą programu Spark Connect
• [SPARK-44287] [SC-136223][sql] Użyj interfejsu API PartitionEvaluator w operatorach SQL RowToColumnarExec & ColumnarToRowExec.
• [SPARK-39634] [SC-137566][sql] Zezwalaj na dzielenie plików w połączeniu z generowaniem indeksu wierszy
• [SPARK-44533] [SC-138058][python] Dodaj obsługę akumulatorów, transmisji i plików Spark w analizie języka Python UDTF
• [SPARK-44479] [SC-138146][python] Poprawka ArrowStreamPandasUDFSerializer w celu zaakceptowania pandas DataFrame bez kolumn
• [SPARK-44425] [SC-138177][connect] Sprawdź, czy podany przez użytkownika identyfikator sessionId jest identyfikatorem UUID
• [SPARK-44535] [SC-138038][connect][SQL] Przenieś wymaganą API Streaming do sql/api
• [SPARK-44264] [SC-136523][ml][PYTHON] Napisz klasę Deepspeed do rozproszonego uczenia DeepspeedTorchDistributor
• [SPARK-42098] [SC-138164][sql] Fix ResolveInlineTables nie może obsłużyć wyrażenia RuntimeReplaceable
• [SPARK-44060] [SC-135693][sql] Generowanie kodu dla zewnętrznego mieszającego sprzężenia skrótu po stronie budowy
• [SPARK-44496] [SC-137682][sql][CONNECT] Przenoszenie interfejsów wymaganych przez scSC do sql/api
• [SPARK-44532] [SC-137893][connect][SQL] Move ArrowUtils to sql/api
• [SPARK-44413] [SC-137019][python] Wyjaśnienie błędu dla nieobsługiwanego typu danych arg w assertDataFrameEqual
• [SPARK-44530] [SC-138036][core][CONNECT] Move SparkBuildInfo to common/util
• [SPARK-36612] [SC-133071][sql] Obsługa lewej kompilacji sprzężenia zewnętrznego lub prawej kompilacji sprzężenia zewnętrznego w mieszanym sprzężeniu skrótu
• [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils wygenerowało nieprawidłowe parametry dla plików jar
• [SPARK-44449] [SC-137818][connect] Podnoszenie typu dla bezpośredniej deserializacji Arrow
• [SPARK-44131] [SC-136346][sql] Dodawanie call_function i oznaczanie call_udf dla interfejsu API języka Scala
• [SPARK-44541] [SQL] Usuń bezużyteczną funkcję hasRangeExprAgainstEventTimeCol z UnsupportedOperationChecker
• [SPARK-44523] [SC-137859][sql] Wartość maxRows/maxRowsPerPartition filtru wynosi 0, jeśli warunek to FalseLiteral
• [SPARK-44540] [SC-137873][ui] Usuń nieużywany arkusz stylów i pliki javascript jsonFormatter
• [SPARK-44466] [SC-137856][sql] Wykluczanie konfiguracji rozpoczynających się od SPARK_DRIVER_PREFIX i SPARK_EXECUTOR_PREFIX z zmodyfikowanych konfiguracji
• [SPARK-44477] [SC-137508][sql] Traktuj TYPE_CHECK_FAILURE_WITH_HINT jako podklasę błędów
• [SPARK-44509] [SC-137855][python][CONNECT] Dodanie funkcji anulowania zadań w kliencie Spark Connect dla języka Python
• [SPARK-44059] [SC-137023] Dodawanie obsługi nazwanych argumentów analizatora dla wbudowanych funkcji
• [SPARK-38476] [SC-136448][core] Użyj klasy błędów w org.apache.spark.storage
• [SPARK-44486] [SC-137817][python][CONNECT] Implementowanie funkcji self_destruct PyArrow dla toPandas
• [SPARK-44361] [SC-137200][sql] Używanie PartitionEvaluator API w MapInBatchExec
• [SPARK-44510] [SC-137652][ui] Aktualizowanie tabel danych do wersji 1.13.5 i usuwanie niektórych nieochwyconych plików PNG
• [SPARK-44503] [SC-137808][sql] Dodaj gramatykę SQL dla klauzuli PARTITION BY i ORDER BY po argumentach TABLE dla wywołań TVF
• [SPARK-38477] [SC-136319][core] Użyj klasy błędów w org.apache.spark.shuffle
• [SPARK-44299] [SC-136088][sql] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_227[4-6,8]
• [SPARK-44422] [SC-137567][connect] Precyzyjne przerywanie połączenia Spark Connect
• [SPARK-44380] [SC-137415][sql][PYTHON] Obsługa funkcji UDTF języka Python do analizowania w języku Python
• [SPARK-43923] [SC-137020][connect] Publikuj zdarzenia listenerBus podczas…
• [SPARK-44303] [SC-136108][sql] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2320-2324]
• [SPARK-44294] [SC-135885][ui] Poprawka kolumny HeapHistogramu jest nieoczekiwanie wyświetlana z polem wyboru „zaznacz wszystko”
• [SPARK-44409] [SC-136975][sql] Obsługuj char/varchar w Dataset.to, aby zachować spójność z resztą
• pl-PL: [SPARK-44334] [SC-136576][sql][UI] Status w odpowiedzi interfejsu API REST dla nieudanego polecenia DDL/DML bez uruchomionych zadań powinien mieć wartość FAILED zamiast UKOŃCZONO.
• [SPARK-42309] [SC-136703][sql] Wprowadzenie INCOMPATIBLE_DATA_TO_TABLE i jej klas podrzędnych.
• [SPARK-44367] [SC-137418][sql][interfejs użytkownika] Pokaż komunikat o błędzie w interfejsie użytkownika dla każdego zapytania, które zakończyło się niepowodzeniem
• [SPARK-44474] [SC-137195][connect] Ponowne włączenie "Test obserwuj odpowiedź" w SparkConnectServiceSuite
• [SPARK-44320] [SC-136446][sql] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[1067,1150,1220,1265,1277]
• [SPARK-44310] [SC-136055][connect] Dziennik uruchamiania programu Connect Server powinien wyświetlić nazwę hosta i port
• [SPARK-44309] [SC-136193][ui] Wyświetlanie czasu dodawania/usuwania executorów na karcie Executorów
• [SPARK-42898] [SC-137556][sql] Oznacz, że konwersje napisów i dat nie potrzebują identyfikatora strefy czasowej
• [SPARK-44475] [SC-137422][sql][CONNECT] Przeniesienie obiektu DataType i analizatora do sql/api
• [SPARK-44484] [SC-137562][ss]Dodawanie batchDuration do metody json StreamingQueryProgress
• [SPARK-43966] [SC-137559][sql][PYTHON] Obsługa funkcji niedeterministycznych wartości tabeli
• [SPARK-44439] [SC-136973][connect][SS]Naprawiono listListeners, aby wysyłać identyfikatory tylko z powrotem do klienta
• [SPARK-44341] [SC-137054][sql][PYTHON] Definiowanie logiki obliczeniowej poprzez API PartitionEvaluator i używanie go w modułach WindowExec i WindowInPandasExec
• [SPARK-43839] [SC-132680][sql] Konwertowanie _LEGACY_ERROR_TEMP_1337 na UNSUPPORTED_FEATURE.TIME_TRAVEL
• [SPARK-44244] [SC-135703][sql] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2305-2309]
• [SPARK-44201] [SC-136778][connect][SS]Dodaj wsparcie dla nasłuchiwacza przesyłania strumieniowego w języku Scala dla Spark Connect
• [SPARK-44260] [SC-135618][sql] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[1215-1245-2329] & Użyj checkError(), aby sprawdzić wyjątek w _CharVarchar_Suite
• [SPARK-42454] [SC-136913][sql] SPJ: hermetyzowanie wszystkich parametrów związanych z SPJ w BatchScanExec
• [SPARK-44292] [SC-135844][sql] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2315-2319]
• [SPARK-44396] [SC-137221][connect] Deserializacja strzałek bezpośrednich
• [SPARK-44324] [SC-137172][sql][CONNECT] Przenieś CaseInsensitiveMap do sql/api
• [SPARK-44395] [SC-136744][sql] Dodawanie testu z powrotem do aplikacji StreamingTableSuite
• [SPARK-44481] [SC-137401][connect][PYTHON] Uczyń pyspark.sql.is_remote API
• [SPARK-44278] [SC-137400][connect] Zaimplementować interceptor serwera GRPC, który czyści właściwości lokalne wątku
• [SPARK-44264] [SC-137211][ml][PYTHON] Obsługa rozproszonego trenowania funkcji przy użyciu DeepSpeed
• [SPARK-44430] [SC-136970][sql] Dodaj przyczynę AnalysisException, gdy opcja jest nieprawidłowa
• [SPARK-44264] [SC-137167][ml][PYTHON] Dołączanie elementu FunctionPickler do TorchDistributor
• [SPARK-44216] [SC-137046] [PYTHON] Udostępnij interfejs API assertSchemaEqual publicznie
• [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
• [SPARK-43203] [SC-134528][sql] Przenieś wszystkie przypadki usuwania tabel do DataSource w wersji 2
• [SPARK-43755] [SC-137171][connect][MINOR] Otwórz AdaptiveSparkPlanHelper.allChildren zamiast używać kopii w MetricGenerator
• [SPARK-44264] [SC-137187][ml][PYTHON] Refaktoryzacja TorchDistributor, aby umożliwić niestandardowy wskaźnik funkcji "run_training_on_file"
• [SPARK-43755] [SC-136838][connect] Przenieś wykonywanie ze SparkExecutePlanStreamHandler do innego wątku
• [SPARK-44411] [SC-137198][sql] Użycie interfejsu API PartitionEvaluator w ArrowEvalPythonExec i BatchEvalPythonExec
• [SPARK-44375] [SC-137197][sql] Używanie interfejsu API PartitionEvaluator w DebugExec
• [SPARK-43967] [SC-137057][python] Obsługa zwykłych funkcji UDF języka Python z pustymi wartościami zwracanymi
• [SPARK-43915] [SC-134766][sql] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2438-2445]
• [SPARK-43965] [SC-136929][python][CONNECT] Obsługa funkcji UDTF języka Python w programie Spark Connect
• [SPARK-44154] [SC-137050][sql] Dodano więcej testów jednostkowych do aplikacji BitmapExpressionUtilsSuite i wprowadzono drobne ulepszenia w wyrażeniach agregacji mapy bitowej
• [SPARK-44169] [SC-135497][sql] Przypisywanie nazw do klasy błędów LEGACY_ERROR_TEMP[2300-2304]
• [SPARK-44353] [SC-136578][connect][SQL] Usuń StructType.toAttributes
• [SPARK-43964] [SC-136676][sql][PYTHON] Obsługa zoptymalizowanych pod kątem strzałek funkcji UDTFs języka Python
• [SPARK-44321] [SC-136308][connect] Oddzielić ParseException od AnalysisException
• [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] Ponowne włączenie test_artifact z odpowiednimi zmianami
• [SPARK-44145] [SC-136698][sql] Wywołanie zwrotne, gdy będzie gotowe do wykonania
• [SPARK-43983] [SC-136404][python][ML][connect] Włącz test estymatora walidatora krzyżowego
• [SPARK-44399] [SC-136669][python][CONNECT] Importuj SparkSession w Python UDF tylko wtedy, gdy useArrow jest równy None
• [SPARK-43631] [SC-135300][connect][PS] Umożliwić Series.interpolate z Spark Connect
• [SPARK-44374] [SC-136544][python][ML] Dodawanie przykładowego kodu rozproszonego uczenia maszynowego na potrzeby połączenia spark
• [SPARK-44282] [SC-135948][connect] Przygotowywanie analizy typu danych do użycia w kliencie Spark Connect Scala
• [SPARK-44052] [SC-134469][connect][PS] Dodaj narzędzie, aby uzyskać odpowiednią klasę Kolumna lub Ramka danych dla programu Spark Connect.
• [SPARK-43983] [SC-136404][python][ML][connect] Implementacja estymatora walidacji krzyżowej
• [SPARK-44290] [SC-136300][connect] Pliki i archiwa oparte na sesji w programie Spark Connect
• [SPARK-43710] [SC-134860][ps][CONNECT] Obsługa functions.date_part dla programu Spark Connect
• [SPARK-44036] [SC-134036][connect][PS] Oczyszczanie & skonsolidowano zgłoszenia, aby uprościć zadania.
• [SPARK-44150] [SC-135790][python][CONNECT] Jawne rzutowanie Arrow dla niedopasowanego typu zwracanego w funkcji UDF Pythona w Arrow
• [SPARK-43903] [SC-134754][python][CONNECT] Ulepsz obsługę danych wejściowych ArrayType w funkcji Python UDF w technologii Arrow
• [SPARK-44250] [SC-135819][ml][PYTHON][connect] Implementowanie ewaluatora klasyfikacji
• [SPARK-44255] [SC-135704][sql] Przeniesienie elementu StorageLevel do common/utils
• [SPARK-42169] [SC-135735] [SQL] Implementowanie generowania kodu dla funkcji to_csv (StructsToCsv)
• [SPARK-44249] [SC-135719][sql][PYTHON] Refaktoryzacja PythonUDTFRunner w celu oddzielnego wysyłania typu zwracanego.
• [SPARK-43353] [SC-132734][python] Migrowanie pozostałych błędów sesji do klasy błędów
• [SPARK-44133] [SC-134795][python] Aktualizacja MyPy z wersji 0.920 do 0.982
• [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener — Serde zdarzeń w formacie JSON
• [SPARK-43353] przywróć "[SC-132734][es-729763][PYTHON] Migrowanie pozostałych błędów sesji do klasy błędów"
• [SPARK-44100] [SC-134576][ml][CONNECT][python] Przenoszenie przestrzeni nazw z pyspark.mlv2 do pyspark.ml.connect
• [SPARK-44220] [SC-135484][sql] Move StringConcat do SQL/API
• [SPARK-43992] [SC-133645][sql][PYTHON][connect] Dodaj opcjonalny wzorzec dla Catalog.listFunctions
• [SPARK-43982] [SC-134529][ml][PYTHON][connect] Wdrożenie oszacowującego elementu rurociągu dla ML na Spark Connect
• [SPARK-43888] [SC-132893][core] Przeniesienie logowania do wspólne/utils
• [SPARK-42941] Przywróć “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener — Serde zdarzeń w formacie JSON”
• [SPARK-43624] [SC-134557][ps][CONNECT] Dodaj EWM do sparkConnectPlanner.
• [SPARK-43981] [SC-134137][python][ML] Podstawowa implementacja zapisywania/ładowania uczenia maszynowego na platformie Spark Connect
• [SPARK-43205] [SC-133371][sql] naprawa SQLQueryTestSuite
• [SPARK-43376] Revert “[SC-130433][sql] Poprawa ponownego używania podzapytania za pomocą pamięci podręcznej tabel”
• [SPARK-44040] [SC-134366][sql] Naprawić statystyki obliczeniowe, gdy węzeł AggregateExec jest powyżej węzła QueryStageExec
• [SPARK-43919] [SC-133374][sql] Wyodrębnianie funkcji JSON z wiersza
• [SPARK-42618] [SC-134433][python][PS] Ostrzeżenie o zmianach zachowania związanych z biblioteką pandas w następnej wersji głównej
• [SPARK-43893] [SC-133381][python][CONNECT] Obsługa nieatomowego typu danych w Arrow-optymalizowanej funkcji UDF języka Python
• [SPARK-43627] [SC-134290][spark-43626][PS][connect] Włącz pyspark.pandas.spark.functions.{kurt, skew} w Spark Connect.
• [SPARK-43798] [SC-133990][sql][PYTHON] Obsługa funkcji tabel zdefiniowanych przez użytkownika języka Python
• [SPARK-43616] [SC-133849][ps][CONNECT] Włączanie pyspark.pandas.spark.functions.mode w programie Spark Connect
• [SPARK-43133] [SC-133728] Obsługa programu Scala Client DataStreamWriter Foreach
• [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Poprawka (NullOps|NumOps).(eq|ne) dla programu Spark Connect.
• [SPARK-43645] [SC-134151][spark-43622][PS][connect] Włącz pyspark.pandas.spark.functions.{var, stddev} w Spark Connect
• [SPARK-43617] [SC-133893][ps][CONNECT] Włączanie pyspark.pandas.spark.functions.product w programie Spark Connect
• [SPARK-43610] [SC-133832][connect][PS] Włączanie InternalFrame.attach_distributed_column w programie Spark Connect.
• [SPARK-43621] [SC-133852][ps][CONNECT] Włączanie pyspark.pandas.spark.functions.repeat w programie Spark Connect
• [SPARK-43921] [SC-133461][protobuf] Generowanie plików deskryptora Protobuf w czasie kompilacji
• [SPARK-43613] [SC-133727][ps][CONNECT] Włączanie pyspark.pandas.spark.functions.covar w programie Spark Connect
• [SPARK-43376] [SC-130433][sql] Ulepszanie ponownego używania podzapytania za pomocą pamięci podręcznej tabel
• [SPARK-43612] [SC-132011][connect][PYTHON] Implement SparkSession.addArtifact(s) w kliencie języka Python
• [SPARK-43920] [SC-133611][sql][CONNECT] Tworzenie modułu sql/api
• [SPARK-43097] [SC-133372][ml] Nowe narzędzie pyspark ML do regresji logistycznej zaimplementowane na dystrybutorze
• [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Spraw, aby MLv2 (ML w spark connect) wspierał bibliotekę pandas >= 2.0
• [SPARK-43024] [SC-132716][python] Uaktualnianie biblioteki pandas do wersji 2.0.0
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Dodaj opcjonalny wzorzec dla Catalog.listDatabases
• [SPARK-39281] [SC-131422][sql] Przyspieszenie ustalania typu znacznika czasu przy użyciu starszego formatu w źródle danych JSON/CSV
• [SPARK-43792] [SC-132887][sql][PYTHON][connect] Dodanie opcjonalnego wzorca dla Catalog.listCatalogs
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43545] [SC-132378][sql][PYTHON] Obsługa typu zagnieżdżonego znacznika czasu
• [SPARK-43353] [SC-132734][python] Migrowanie pozostałych błędów sesji do klasy błędów
• [SPARK-43304] [SC-129969][connect][PYTHON] Migracja NotImplementedError do PySparkNotImplementedError
• [SPARK-43516] [SC-132202][ml][PYTHON][connect] Podstawowe interfejsy sparkML dla platformy Spark3.5: narzędzie do szacowania/przekształcania/modelu/ewaluatora
• [SPARK-43128] Przywróć "[SC-131628][connect][SS] Upewnij się, że recentProgress i lastProgress zwracają StreamingQueryProgress zgodnie z natywnym interfejsem API języka Scala"
• [SPARK-43543] [SC-131839][python] Poprawka zagnieżdżonego zachowania MapType w funkcji definicji użytkownika (UDF) biblioteki Pandas
• [SPARK-38469] [SC-131425][core] Użyj klasy błędów w org.apache.spark.network
• [SPARK-43309] [SC-129746][spark-38461][CORE] Rozszerzyć INTERNAL_ERROR o kategorie i dodać klasę błędów INTERNAL_ERROR_BROADCAST
• [SPARK-43265] [SC-129653] Przenoszenie struktury błędów do wspólnego modułu narzędzi
• [SPARK-43440] [SC-131229][python][CONNECT] Wsparcie dla rejestracji funkcji zdefiniowanej przez użytkownika w Pythonie zoptymalizowanej za pomocą Arrow
• [SPARK-43528] [SC-131531][sql][PYTHON] Obsługa zduplikowanych nazw pól w createDataFrame z ramkami danych biblioteki pandas
• [SPARK-43412] [SC-130990][python][CONNECT] Wprowadzenie SQL_ARROW_BATCHED_UDF EvalType dla funkcji UDF języka Python zoptymalizowanych pod kątem Apache Arrow
• [SPARK-40912] [SC-130986][core]Nadwyżka wyjątków w KryoDeserializationStream
• [SPARK-39280] [SC-131206][sql] Przyspieszenie wnioskowania typu sygnatury czasowej przy użyciu formatu dostarczonego przez użytkownika w źródle danych JSON/CSV
• [SPARK-43473] [SC-131372][python] Obsługa typu struct w createDataFrame z pandas DataFrame
• [SPARK-43443] [SC-131024][sql] Dodaj test porównawczy dla wnioskowania typu Timestamp w przypadku użycia nieprawidłowej wartości
• [SPARK-41532] [SC-130523][connect][CLIENT] Dodaj sprawdzenie dla operacji obejmujących wiele ramek danych
• [SPARK-43296] [SC-130627][connect][PYTHON] Przeniesienie błędów sesji programu Spark Connect do kategorii błędów
• [SPARK-43324] [SC-130455][sql] Obsługa poleceń UPDATE dla źródeł opartych na delta
• [SPARK-43347] [SC-130148][python] Usuwanie obsługi języka Python 3.7
• [SPARK-43292] [SC-130525][core][CONNECT] Przenoszenie ExecutorClassLoader do modułu core i uproszczenie Executor#addReplClassLoaderIfNeeded
• [SPARK-43081] [SC-129900] [ML] [CONNECT] Dodawanie modułu ładującego dane dystrybutora torch, który ładuje dane z danych partycji platformy Spark
• [SPARK-43331] [SC-130061][connect] Dodaj SparkSession.interruptAll
• [SPARK-43306] [SC-130320][python] Migruj ValueError z typów Spark SQL do klasy błędów
• [SPARK-43261] [SC-129674][python] Migrowanie TypeError z typów Spark SQL do klasy błędów.
• [SPARK-42992] [SC-129465][python] Wprowadzenie błędu PySparkRuntimeError
• [SPARK-16484] [SC-129975][sql] Dodać obsługę funkcji Datasketches HllSketch
• [SPARK-43165] [SC-128823][sql] Przenieść canWrite do DataTypeUtils
• [SPARK-43082] [SC-129112][connect][PYTHON] Funkcje użytkownika Pythona zoptymalizowane przez Arrow w Spark Connect
• [SPARK-43084] [SC-128654] [SS] Dodanie obsługi funkcji applyInPandasWithState dla połączenia Spark
• [SPARK-42657] [SC-128621][connect] Wsparcie dla wyszukiwania i przesyłania plików klas REPL po stronie klienta jako artefaktów do serwera
• [SPARK-43098] [SC-77059][sql] Naprawiono usterkę funkcji COUNT dotyczącą poprawności działania, gdy podzapytanie skalarne ma klauzulę GROUP BY
• [SPARK-42884] [SC-126662][connect] Dodaj integrację REPL Ammonite
• [SPARK-42994] [SC-128333][ml][CONNECT] Dystrybutor PyTorch obsługuje tryb lokalny
• [SPARK-41498] [SC-125343]Przywróć "Propagacja metadanych za pomocą unii"
• [SPARK-42993] [SC-127829][ml][CONNECT] Zgodność dystrybutora PyTorch z programem Spark Connect
• [SPARK-42683] [LC-75] Automatyczna zmiana nazwy kolumn metadanych powodujących konflikt
• [SPARK-42874] [SC-126442][sql] Włączanie nowej złotej struktury testów plików na potrzeby analizy wszystkich plików wejściowych
• [SPARK-42779] [SC-126042][sql] Zezwalaj na zapisy w wersji 2 dla wskazania sugerowanego rozmiaru partycji mieszania
• [SPARK-42891] [SC-126458][connect][PYTHON] Implementowanie API Mapy Współgrupowanej
• [SPARK-42791] [SC-126134][sql] Tworzenie nowej złotej struktury testów plików na potrzeby analizy
• [SPARK-42615] [SC-124237][connect][PYTHON] Refaktoryzację elementu AnalyzePlan RPC i dodawanie session.version
• [SPARK-41302] przywróć "[WSZYSTKIE TESTY][sc-122423][SQL] Assign name to _LEGACY_ERROR_TEMP_1185"
• [SPARK-40770] [SC-122652][python] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu
• [SPARK-40770] Cofnij "[WSZYSTKIE TESTY][sc-122652][PYTHON] Ulepszone komunikaty o błędach dla applyInPandas dla niezgodności schematu"
• [SPARK-42398] [SC-123500][sql] Uściślij domyślną wartość kolumny w interfejsie DS v2
• [SPARK-40770] [WSZYSTKIE TESTY][sc-122652][PYTHON] Ulepszone komunikaty o błędach w funkcji applyInPandas przy niezgodności schematu
• [SPARK-40770] Przywróć “[SC-122652][python] Ulepszone komunikaty o błędach dla funkcji applyInPandas w przypadku niezgodności schematu”
• [SPARK-40770] [SC-122652][python] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu
• [SPARK-42038] [WSZYSTKIE TESTY] Przywróć "Przywróć "[SC-122533][sql] SPJ: Obsługa częściowo klastrowanej dystrybucji""
• [SPARK-42038] przywróć "[SC-122533][sql] SPJ: Obsługa częściowo klastrowanej dystrybucji"
• [SPARK-42038] [SC-122533][sql] SPJ: Obsługa dystrybucji częściowo klastrowanej
• [SPARK-40550] [SC-120989][sql] DataSource V2: Obsługa poleceń DELETE dla źródeł delta
• [SPARK-40770] Przywróć "[SC-122652][python] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu"
• [SPARK-40770] [SC-122652][python] Ulepszone komunikaty o błędach dla funkcji applyInPandas dla niezgodności schematu
• [SPARK-41302] Cofnij “[SC-122423][sql] Przypisz nazwę do _LEGACY_ERROR_TEMP_1185”
• [SPARK-40550] cofnij "[SC-120989][sql] DataSource V2: Obsługa poleceń DELETE dla źródeł opartych na delta"
• [SPARK-42123] Przywróć "[SC-121453][sql] Uwzględnij wartości domyślne kolumn w artykule DESCRIBE i SHOW CREATE TABLE danych wyjściowych"
• [SPARK-42146] [SC-121172][core] Refaktoryzacja Utils#setStringField, aby kompilacja Maven powiodła się, gdy moduł SQL korzysta z tej metody
• [SPARK-42119] Przywróć "[SC-121342][sql] Dodaj wbudowane funkcje tabelaryczne inline i inline_outer"

Najważniejsze informacje

• Poprawka aes_decrypfunkcji t i ln w programie Connect SPARK-45109
• Popraw dziedziczone nazwane krotki, aby działały w module createDataFrame SPARK-44980
• Pamięć podręczna CodeGenerator jest teraz specyficzna dla ładowacza klas [SPARK-44795]
• Dodano SparkListenerConnectOperationStarted.planRequest[SPARK-44861]
• Uruchamianie zapytań przesyłania strumieniowego w połączeniu z zarządzaniem artefaktami Connect [SPARK-44794]
• ArrowDeserializer współpracuje z klasami wygenerowanymi przez REPL [SPARK-44791]
• Naprawiono zoptymalizowaną pod kątem Arrow funkcję UDF w Pythonie w programie Spark Connect [SPARK-44876]
• Obsługa klienta języka Scala i Go w rozwiązaniu Spark Connect SPARK-42554SPARK-43351
• Obsługa rozproszonego uczenia maszynowego opartego na protokole PyTorch dla platformy Spark Connect SPARK-42471
• Obsługa przesyłania strumieniowego ze strukturą dla programu Spark Connect w językach Python i Scala SPARK-42938
• Obsługa interfejsu API Pandas dla klienta Spark Connect w języku Python SPARK-42497
• Wprowadzenie Arrow Python UDF SPARK-40307
• Obsługa funkcji tabeli zdefiniowanej przez użytkownika języka Python SPARK-43798
• Migrowanie błędów PySpark na klasy błędów SPARK-42986
• PySpark Test Framework SPARK-44042
• Dodano obsługę funkcji Datasketches HllSketch SPARK-16484
• Wbudowane ulepszenie funkcji SQL SPARK-41231
• IDENTIFIER klauzula SPARK-43205
• Dodawanie funkcji SQL do języków Scala, Python i R API SPARK-43907
• Dodaj obsługę nazwanych argumentów dla funkcji SQL SPARK-43922
• Unikaj niepotrzebnego ponownego uruchamiania zadania przy utracie zlikwidowanego executora, jeśli dane typu shuffle zostały zmigrowane SPARK-41469
• Rozproszone uczenie maszynowe <> spark connect SPARK-42471
• Dystrybutor DeepSpeed SPARK-44264
• Implementowanie punktów kontrolnych dla zmieniającego się dziennika w magazynie stanów RocksDB SPARK-43421
• Wprowadź propagację znaku wodnego między operatorami SPARK-42376
• Wprowadzenie dropDuplicatesWithinWatermark SPARK-42931
• Rozszerzenia zarządzania pamięcią dostawcy magazynu stanów RocksDB SPARK-43311

Spark Connect

• Refaktoryzacja modułu SQL w języku SQL i interfejsie SQL-API w celu utworzenia minimalnego zestawu zależności, które mogą być współużytkowane przez klienta Scala Spark Connect i platformy Spark i pozwala uniknąć ściągania wszystkich zależności przechodnich platformy Spark. SPARK-44273
• Wprowadzenie do klienta Scala dla platformy Spark Connect SPARK-42554
• Obsługa interfejsu API biblioteki Pandas dla klienta Spark Connect w języku Python SPARK-42497
• Obsługa rozproszonego uczenia maszynowego opartego na protokole PyTorch dla platformy Spark Connect SPARK-42471
• Obsługa przesyłania strumieniowego ze strukturą dla programu Spark Connect w językach Python i Scala SPARK-42938
• Początkowa wersja klienta GO SPARK-43351
• Wiele ulepszeń zgodności między natywnymi platformami Spark i klientami Spark Connect w języku Python i Scala
• Ulepszono debugowanie i obsługę żądań dla aplikacji klienckich (przetwarzanie asynchroniczne, ponawianie prób, długotrwałe zapytania)

Spark SQL

Funkcje

• Dodaj kolumnę metadanych dla bloku pliku: początek i długość SPARK-42423
• Obsługa parametrów pozycyjnych w języku Scala/Java sql() SPARK-44066
• Dodano obsługę nazwanych parametrów w parserze dla wywołań funkcji SPARK-43922
• Obsługa SELECT DEFAULT z użyciem ORDER BY, LIMIT, OFFSET dla relacji źródłowej INSERTSPARK-43071
• Dodaj gramatykę SQL dla klauzul PARTITION BY i ORDER BY, które pojawiają się po argumentach TABLE w wywołaniach TVF SPARK-44503.
• Uwzględnij wartości domyślne kolumn w DESCRIBE i w danych wyjściowych SHOW CREATE TABLESPARK-42123
• Dodawanie opcjonalnego wzorca dla elementu Catalog.listCatalogs SPARK-43792
• Dodawanie opcjonalnego wzorca dla elementu Catalog.listDatabases SPARK-43881
• Wywołanie zwrotne, gdy gotowe do uruchomienia SPARK-44145
• Obsługa instrukcji "Insert By Name" SPARK-42750
• Dodaj call_function dla interfejsu API Scala SPARK-44131
• Stabilne aliasy kolumn pochodnych SPARK-40822
• Obsługa ogólnych wyrażeń stałych jako wartości CREATE/REPLACE TABLE OPTIONS SPARK-43529
• Obsługa podzapytania z korelacją za pośrednictwem interSECT/EXCEPT SPARK-36124
• IDENTIFIER klauzula SPARK-43205
• TRYB ANSI: Conv powinien zwrócić błąd, jeśli konwersja wewnętrzna przepełnia SPARK-42427

Funkcje

• Dodano obsługę funkcji Datasketches HllSketch SPARK-16484
• Obsługa trybu CBC przez aes_encrypt()/aes_decrypt() SPARK-43038
• Obsługa reguły analizatora argumentów TABLE dla funkcji TableValuedFunction SPARK-44200
• Implementacja funkcji bitmapowych SPARK-44154
• Dodawanie funkcji try_aes_decrypt() SPARK-42701
• array_insert powinna zakończyć się niepowodzeniem przy indeksie 0 SPARK-43011
• Dodaj alias to_varchar dla to_char SPARK-43815
• Funkcja wyższego rzędu: implementacja array_compact SPARK-41235
• Dodaj obsługę nazwanych argumentów w analizatorze dla wbudowanych funkcji SPARK-44059
• Dodawanie wartości NULL dla INSERT-ów z listami określonych przez użytkownika o mniejszej liczbie kolumn niż tabela docelowa SPARK-42521
• Dodaje obsługę aes_encrypt IV i AAD SPARK-43290
• Funkcja DECODE zwraca nieprawidłowe wyniki po przekazaniu wartości NULL SPARK-41668
• Obsługa funkcji udf "luhn_check" SPARK-42191
• Obsługa niejawnego rozpoznawania aliasu kolumny bocznej w ramach agregacji SPARK-41631
• Obsługa niejawnego aliasu bocznej kolumny w zapytaniach z użyciem okna SPARK-42217
• Dodawanie aliasów funkcji 3-args DATE_ADD i DATE_DIFF SPARK-43492

Źródła danych

• Obsługa CHAR/VARCHAR dla katalogu JDBC SPARK-42904
• Obsługa dynamicznego pobierania słów kluczowych SQL za pomocą interfejsu API JDBC i TVF SPARK-43119
• DataSource V2: Obsługa poleceń MERGE dla źródeł opartych na delcie SPARK-43885
• DataSource V2: Obsługa poleceń MERGE dla źródeł opartych na grupach SPARK-43963
• DataSource V2: Obsługa poleceń UPDATE dla źródeł opartych na grupach SPARK-43975
• DataSource V2: Zezwalaj na reprezentowanie aktualizacji jako usunięcia i wstawienia SPARK-43775
• Zezwalaj dialektom jdbc na zastępowanie zapytania użytego do utworzenia tabeli SPARK-41516
• SPJ: Obsługa częściowo klastrowanej dystrybucji SPARK-42038
• DSv2 daje możliwość CTAS/RTAS rezerwowania null'owalności schematu SPARK-43390
• Dodaj spark.sql.files.maxPartitionNum SPARK-44021
• Obsługa komend UPDATE dla źródeł opartych na delcie SPARK-43324
• Zezwalaj na zapisy V2, aby wskazać doradczy rozmiar partycji shuffle SPARK-42779
• Obsługa kodera kompresji lz4raw dla Parquet SPARK-43273
• Avro: pisanie złożonych związków SPARK-25050
• Przyspieszanie wnioskowania typu znacznika czasu za pomocą formatu dostarczonego przez użytkownika w źródle danych JSON/CSV SPARK-39280
• Avro to Support custom decimal type backed by Long SPARK-43901 (Obsługa niestandardowego typu dziesiętnego obsługiwanego przez platformę Long SPARK-43901)
• Unikaj przetasowania w złączaniu partycjonowanego magazynu, gdy klucze partycji są niezgodne, ale wyrażenia złączenia są zgodne SPARK-41413
• Zmień typ binarny na nieobsługiwany typ danych w formacie CSV SPARK-42237
• Zezwól Avro na konwertowanie typu związkowego na SQL ze stabilną nazwą pola z typem SPARK-43333
• Przyspiesz rozpoznawanie typu znacznika czasu z wykorzystaniem starszego formatu w źródle danych JSON/CSV SPARK-39281

Optymalizacja zapytań

• Wsparcie dla eliminacji podwyrażeń w wyrażeniach skrótu SPARK-42815
• Popraw szacowanie statystyk sprzężenia, jeśli jedna ze stron może zachować unikatowość danych SPARK-39851
• Wprowadzenie limitu grupy okna dla filtru opartego na rangi w celu optymalizacji obliczeń top-k SPARK-37099
• Naprawiono zachowanie wartości null IN (pusta lista) w SPARK-44431 regułach optymalizacji
• Wnioskuj o limit okna i pomniejsz go, jeśli partitionSpec jest pusty SPARK-41171
• Usuń sprzężenie zewnętrzne, jeśli są to wszystkie odrębne funkcje agregujące. SPARK-42583
• Zwiń dwa okna obok siebie z tą samą partycją/kolejnością w podzapytaniu SPARK-42525
• Obniżenie limitu poprzez funkcje zdefiniowane przez użytkownika Pythona SPARK-42115
• Optymalizowanie kolejności filtrowania predykatów SPARK-40045

Generowanie kodu i wykonywanie zapytań

• Filtr środowiska uruchomieniowego powinien obsługiwać stronę sprzężenia wielopoziomowego jako stronę tworzenia filtru SPARK-41674
• Obsługa generowania kodu dla HiveSimpleUDF SPARK-42052
• Generowanie kodu dla HiveGenericUDF SPARK-42051
• Obsługa generowania kodu dla po stronie budowania z zewnętrznym mieszanym połączeniem skrótu SPARK-44060
• Implementowanie generowania kodu dla funkcji to_csv (StructsToCsv) SPARK-42169
• Wprowadzenie obsługi AQE dla InMemoryTableScanExec SPARK-42101
• Obsługa budowy złącza zewnętrznego lewego lub budowy złącza zewnętrznego prawego w potasowanym sprzężeniu mieszającym SPARK-36612
• Uwzględniaj WymagaDystrybucjiIKolejnosci w CTAS/RTAS SPARK-43088
• Scalanie zasobników w łączeniu stosowanym po stronie strumienia łączenia rozgłaszanego SPARK-43107
• Poprawnie ustaw wartość null na połączonym kluczu sprzężenia w pełnym zewnętrznym sprzężeniu SPARK-44251
• Napraw podzapytanie ListQuery nullability SPARK-43413

Inne istotne zmiany

• Poprawnie ustaw wartość null dla kluczy przy użyciu sprzężeń SPARK-43718
• Naprawiono błąd COUNT(*) is null w skorelowanym skalarnym podzapytaniu SPARK-43156
• Element Dataframe.joinWith outer-join powinien zwrócić wartość null dla niedopasowanego wiersza SPARK-37829
• Automatyczna zmiana nazwy kolumn metadanych powodujących konflikt SPARK-42683
• Udokumentuj klasy błędów Spark SQL w dokumentacji użytkownika SPARK-42706

PySpark

Funkcje

• Obsługa parametrów pozycyjnych w języku Python SQL() SPARK-44140
• Obsługa zapytania sparametryzowanego SQL za pomocą sql() SPARK-41666
• Obsługa funkcji tabeli zdefiniowanych przez użytkownika języka Python SPARK-43797
• Obsługa ustawiania pliku wykonywalnego języka Python dla interfejsów API funkcji UDF i pandas w środowiskach roboczych podczas wykonywania SPARK-43574
• Dodawanie elementu DataFrame.offset do PySpark SPARK-43213
• Implementowanie dir() w ramce pyspark.sql.dataframe.DataFrame w celu uwzględnienia kolumn SPARK-43270
• Dodaj opcję używania dużych wektorów szerokości zmiennych dla operacji UDF strzałki SPARK-39979
• Wspieranie wykonywania w trybie bariery w mapInPandas/mapInArrow SPARK-42896
• Dodaj interfejsy API JobTag do platformy PySpark SparkContext SPARK-44194
• Obsługa języka Python UDTF do analizowania w języku Python SPARK-44380
• Uwidaczniaj typ TimestampNTZType w pyspark.sql.types SPARK-43759
• Obsługa zagnieżdżonego typu znacznika czasu SPARK-43545
• Obsługa UserDefinedType w createDataFrame z ramek danych pandas i toPandas [SPARK-43817][spark-43702]https://issues.apache.org/jira/browse/SPARK-43702)
• Dodaj opcję binarną deskryptora do interfejsu API Pyspark Protobuf SPARK-43799
• Akceptowanie krotki typów ogólnych jako wskazówek typowania w Pandas UDF SPARK-43886
• Dodaj funkcję array_prepend SPARK-41233
• Dodaj funkcję narzędziową assertDataFrameEqual SPARK-44061
• Obsługa zoptymalizowanych pod kątem strzałek funkcji UDTF języka Python SPARK-43964
• Zezwól na niestandardową precyzję dla przybliżonej równości fp SPARK-44217
• Ustaw publiczny interfejs API assertSchemaEqual API SPARK-44216
• Obsługa fill_value dla ps. Seria SPARK-42094
• Obsługuj typ struktury w createDataFrame z pandas DataFrame SPARK-43473

Inne istotne zmiany

• Dodać obsługę autouzupełniania dla df[|] w pyspark.sql.dataframe.DataFrame [SPARK-43892]
• Oznacz jako przestarzałe i usuń interfejsy API, które zostaną usunięte w pandas 2.0 [SPARK-42593]
• Tworzenie pierwszej karty języka Python dla przykładów kodu — Spark SQL, DataFrames i Datasets Guide SPARK-42493
• Aktualizowanie pozostałych przykładów kodu dokumentacji platformy Spark w celu wyświetlenia języka Python domyślnie SPARK-42642
• Użyj deduplikowanych nazw pól podczas tworzenia Arrow RecordBatch [SPARK-41971]
• Obsługa zduplikowanych nazw pól w createDataFrame z ramką danych pandas [SPARK-43528]
• Zezwalaj na parametr kolumn podczas tworzenia ramki danych z serii [SPARK-42194]

Rdzeń

• Zaplanuj mergeFinalize podczas ponowienia scalania push shuffleMapStage, ale nie są uruchamiane żadne zadania SPARK-40082
• Wprowadzenie PartitionEvaluator do wykonywania operatora SQL SPARK-43061
• Zezwól komponentowi ShuffleDriverComponent na deklarowanie, czy dane z tasowania są niezawodnie przechowywane SPARK-42689
• Dodaj ograniczenie maksymalnej liczby prób dla etapów, aby uniknąć potencjalnego nieskończonego ponawiania próby spark-42577
• Obsługa konfiguracji poziomu dziennika przy użyciu statycznej platformy Spark conf SPARK-43782
• Optymalizacja PercentileHeap SPARK-42528
• Dodaj argument przyczyny do elementu TaskScheduler.cancelTasks SPARK-42602
• Unikaj niepotrzebnego ponownego uruchamiania zadania w przypadku likwidowanego modułu wykonawczego utraconego w przypadku mieszania danych zmigrowanych platformy SPARK-41469
• Poprawa niepełnego liczenia akumulatora w przypadku ponawiania zadań z użyciem pamięci podręcznej RDD SPARK-41497
• Domyślnie użyj RocksDB dla spark.history.store.hybridStore.diskBackend SPARK-42277.
• Opakowanie NonFateSharingCache dla Guava Cache SPARK-43300
• Popraw wydajność MapOutputTracker.updateMapOutput SPARK-43043
• Zezwalanie aplikacjom na kontrolowanie, czy metadane są zapisywane w bazie danych przez zewnętrzną usługę Shuffle Service SPARK-43179
• Dodaj zmienną środowiskową SPARK_DRIVER_POD_IP do zasobników wykonawczych SPARK-42769
• Montuje mapę konfiguracji Hadoop na podzie wykonawczym SPARK-43504

Przesyłanie strumieniowe ze strukturą

• Dodanie obsługi śledzenia użycia pamięci przez przypięte bloki dla magazynu stanów RocksDB SPARK-43120
• Dodaj ulepszenia zarządzania pamięcią dla dostawcy magazynu stanów RocksDB SPARK-43311
• Wprowadzenie dropDuplicatesWithinWatermark SPARK-42931
• Wprowadź nowe wywołanie zwrotne onQueryIdle() w StreamingQueryListener SPARK-43183
• Dodaj opcję pomijania koordynatora zatwierdzania w ramach interfejsu API StreamingWrite dla źródeł/ujściów DSv2 SPARK-42968
• Wprowadź nowe wywołanie zwrotne "onQueryIdle" dla StreamingQueryListener SPARK-43183
• Implementowanie punktów kontrolnych opartych na dziennikach zmian dla dostawcy magazynu stanów bazy danych RocksDB SPARK-43421
• Dodano obsługę WRITE_FLUSH_BYTES dla bazy danych RocksDB używanej w operatorach stanowych przesyłania strumieniowego SPARK-42792
• Dodano obsługę ustawiania max_write_buffer_number i write_buffer_size dla bazy danych RocksDB używanej podczas przesyłania strumieniowego SPARK-42819
• Pozyskiwanie blokady magazynu stanów bazy danych RocksDB powinno nastąpić po otrzymaniu iteratora wejściowego z elementu inputRDD SPARK-42566
• Wprowadzenie propagacji znaku wodnego wśród operatorów SPARK-42376
• Czyszczenie oddzielonych plików sst i plików dziennika w katalogu punktów kontrolnych bazy danych RocksDB SPARK-42353
• Rozwiń zdarzenie QueryTerminatedEvent, aby zawierało klasę błędu, jeśli istnieje w wyjątku SPARK-43482

ML (uczenie maszynowe)

• Obsługa rozproszonego trenowania funkcji przy użyciu deepspeed SPARK-44264
• Podstawowe interfejsy sparkML dla platformy Spark3.5: narzędzie do szacowania/transformator/model/ewaluator SPARK-43516
• Spraw, aby MLv2 (ML na spark connect) wspierało bibliotekę pandas >= 2.0 SPARK-43783
• Aktualizacja interfejsów Transformer MLv2 SPARK-43516
• Nowy narzędzie do szacowania regresji logistycznej uczenia maszynowego pyspark zaimplementowane na platformie SPARK-43097
• Dodaj ponownie classifier.getNumClasses SPARK-42526
• Napisz klasę Deepspeed Distributed Learning DeepspeedTorchDistributor SPARK-44264
• Podstawowa implementacja zapisywania/ładowania dla uczenia maszynowego na platformie Spark connect SPARK-43981
• Zwiększanie oszczędności modelu regresji logistycznej SPARK-43097
• Implementowanie narzędzia do szacowania potoku dla uczenia maszynowego na platformie Spark connect SPARK-43982
• Implementować estymator walidacji krzyżowej SPARK-43983
• Implementacja ewaluatora klasyfikacji SPARK-44250
• Upewnij się, że dystrybutor PyTorch jest zgodny z platformą Spark Connect SPARK-42993

INTERFEJS UŻYTKOWNIKA

• Dodawanie strony interfejsu użytkownika platformy Spark dla platformy Spark Connect SPARK-44394
• Obsługa kolumny Histogramu sterty na karcie Funkcji wykonawczych SPARK-44153
• Pokaż komunikat o błędzie w interfejsie użytkownika dla każdego nieudanego zapytania SPARK-44367
• Wyświetlanie czasu dodania/usunięcia wykonawców na karcie Wykonawców SPARK-44309

Budowanie i inne

• Usunięcie wsparcia dla Pythona 3.7 SPARK-43347
• Zwiększenie minimalnej wersji PyArrow do 4.0.0 SPARK-44183
• Obsługa R 4.3.1 SPARK-43447SPARK-44192
• Dodaj interfejsy API JobTag do SparkR SparkContext SPARK-44195
• Dodawanie funkcji matematycznych do platformy SparkR SPARK-44349
• Uaktualnij Parquet do wersji 1.13.1 SPARK-43519
• Uaktualnianie programu ASM do wersji 9.5 SPARK-43537SPARK-43588
• Uaktualnić rocksdbjni do 8.3.2 SPARK-41569SPARK-42718SPARK-43007SPARK-43436SPARK-44256
• Uaktualnij Netty do wersji 4.1.93 SPARK-42218SPARK-42417SPARK-42487SPARK-43609SPARK-44128
• Zaktualizuj zstd-jni do wersji 1.5.5-5 SPARK-42409SPARK-42625SPARK-43080SPARK-43294SPARK-43737SPARK-43994SPARK-44465
• Uaktualnij metryki Dropwizard do wersji 4.2.19 SPARK-42654SPARK-43738SPARK-44296
• Uaktualnianie łącznika gcs-connector do wersji 2.2.14 SPARK-42888SPARK-43842
• Uaktualnianie commons-crypto do wersji 1.2.0 SPARK-42488
• Uaktualnij kombinatory scala-parser z wersji 2.1.1 do 2.2.0 SPARK-42489
• Zaktualizuj protobuf-java do wersji 3.23.4 SPARK-41711SPARK-42490SPARK-42798SPARK-43899SPARK-44382
• Uaktualnij koder commons-codec do wersji 1.16.0 SPARK-44151
• Uaktualnianie platformy Apache Kafka do wersji 3.4.1 SPARK-42396SPARK-44181
• Uaktualnij mapę RoaringBitmap do wersji 0.9.45 SPARK-42385 SPARK-43495SPARK-44221
• Aktualizacja ORC do wersji 1.9.0 SPARK-42820SPARK-44053SPARK-44231
• Uaktualnianie do wersji Avro 1.11.2 SPARK-44277
• Uaktualnianie commons-compress do wersji 1.23.0 SPARK-43102
• Zaktualizuj bibliotekę Joda-Time z wersji 2.12.2 do 2.12.5 SPARK-43008
• Zaktualizuj snappy-java do wersji 1.1.10.3 SPARK-42242SPARK-43758SPARK-44070SPARK-44415SPARK-44513
• Uaktualnianie programu mysql-connector-java z wersji 8.0.31 do wersji 8.0.32 SPARK-42717
• Uaktualnianie narzędzia Apache Arrow do wersji 12.0.1 SPARK-42161SPARK-43446SPARK-44094
• Uaktualnianie commons-io do wersji 2.12.0 SPARK-43739
• Uaktualnianie platformy Apache commons-io do wersji 2.13.0 SPARK-43739SPARK-44028
• Uaktualnianie rozszerzenia FasterXML jackson do wersji 2.15.2 SPARK-42354SPARK-43774SPARK-43904
• Uaktualnianie log4j2 do wersji 2.20.0 SPARK-42536
• Uaktualnianie biblioteki slf4j do wersji 2.0.7 SPARK-42871
• Uaktualnianie pakietów numpy i biblioteki pandas w wersji Dockerfile SPARK-42524
• Uaktualnij jersey do wersji 2.40 SPARK-44316
• Uaktualnianie H2 z wersji 2.1.214 do wersji 2.2.220 SPARK-44393
• Aktualizacja opcji do ^0.9.3 SPARK-44279
• Uaktualnianie bcprov-jdk15on i bcpkix-jdk15on do wersji 1.70 SPARK-44441
• Zaktualizuj mlflow do wersji 2.3.1 SPARK-43344
• Uaktualnianie narzędzia Tink do wersji 1.9.0 SPARK-42780
• Uaktualnianie tłumika do wersji 1.7.13 SPARK-41787SPARK-44031
• Uaktualnianie aplikacji Ammonite do wersji 2.5.9 SPARK-44041
• Uaktualnianie języka Scala do wersji 2.12.18 SPARK-43832
• Uaktualnij org.scalatestplus:selenium-4-4 do org.scalatestplus:selenium-4-7 SPARK-41587
• Uaktualnij minimatch do wersji 3.1.2 SPARK-41634
• Uaktualnianie zestawu sbt-assembly z wersji 2.0.0 do 2.1.0 SPARK-41704
• Aktualizacja wtyczki maven-checkstyle-plugin z wersji 3.1.2 do 3.2.0 SPARK-41714
• Uaktualnij bibliotekę dev.ludovic.netlib do wersji 3.0.3 SPARK-41750
• Uaktualnianie interfejsu hive-storage-api do wersji 2.8.1 SPARK-41798
• Uaktualnianie rdzeni httpcore platformy Apache do wersji 4.4.16 SPARK-41802
• Uaktualnij jetty do wersji 9.4.52.v20230823 SPARK-45052
• Uaktualnij kompres-lzf do wersji 1.1.2 SPARK-42274

Usunięcia, zmiany zachowania i wycofanie

Nadchodzące usunięcie

Następujące funkcje zostaną usunięte w następnej wersji głównej platformy Spark

• Obsługa języków Java 8 i Java 11, a minimalna obsługiwana wersja języka Java to Java 17
• Obsługa Scala w wersji 2.12, a minimalna obsługiwana wersja Scala to 2.13

Przewodniki po migracji

• Spark Core
• SQL, Zestawy danych i ramka danych
• Przesyłanie strumieniowe ze strukturą
• MLlib (uczenie maszynowe)
• PySpark (Python na platformie Spark)
• SparkR (R na platformie Spark)

Obsługa sterowników ODBC/JDBC usługi Databricks

Usługa Databricks obsługuje sterowniki ODBC/JDBC wydane w ciągu ostatnich 2 lat. Pobierz ostatnio wydane sterowniki i uaktualnij (pobierz plik ODBC, pobierz plik JDBC).

Środowisko systemu

• System operacyjny: Ubuntu 22.04.3 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.3.1
• Delta Lake: 2.4.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki R są instalowane z migawki CRAN Posit Package Manager z dnia 2023-07-13.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)