Databricks Runtime 11.3 LTS

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 11.3 LTS obsługiwanym przez platformę Apache Spark 3.3.0. Usługa Databricks wydała tę wersję w październiku 2022 r.

Zmiany zachowań

[Zmiana powodująca niezgodność] Nowa wersja języka Python wymaga aktualizacji klientów języka Python programu Databricks Connect V1

Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 11.3 LTS jest aktualizowana z wersji 3.9.5 do 3.9.19. Ponieważ te zmiany mogą powodować błędy w klientach korzystających z określonych funkcji PySpark, wszyscy klienci korzystający z programu Databricks Connect V1 dla języka Python z usługą Databricks Runtime 11.3 LTS muszą zostać zaktualizowani do języka Python w wersji 3.9.7 lub nowszej.

Nowe funkcje i ulepszenia

• python uaktualniono z wersji 3.9.19 do 3.9.21
• Wyzwalacz przesyłania strumieniowego ze strukturą po wycofaniu
• Zmienianie ścieżki źródłowej dla automatycznego modułu ładującego
• Łącznik Usługi Kinesis usługi Databricks obsługuje teraz odczytywanie strumieni danych z kinesis w trybie EFO
• Nowe funkcje geoprzestrzenne H3 i dodano obsługę funkcji Photon dla wszystkich funkcji H3
• Nowe funkcje predykcyjne we/wy
• Zwiększanie początkowych partycji do skanowania pod kątem zapytań selektywnych
• Wizualizacja nowych wersji planu AQE
• Nowe tryby śledzenia postępu asynchronicznego i przeczyszczania dzienników
• Przesyłanie strumieniowe ze strukturą w wykazie aparatu Unity obsługuje teraz display()
• Zdarzenia potoku są teraz rejestrowane w formacie JSON
• Dowolne przetwarzanie stanowe w strumieniu ustrukturyzowanym przy użyciu języka Python
• Wnioskowanie daty w plikach CSV
• Obsługa klonowania tabel Apache Parquet i Apache Iceberg (publiczna wersja zapoznawcza)
• Używanie języka SQL do określania lokalizacji magazynu na poziomie schematu i wykazu dla tabel zarządzanych wykazu aparatu Unity

Język Python został uaktualniony z wersji 3.9.19 do wersji 3.9.21

Wersja języka Python w środowisku Databricks Runtime 11.3 LTS jest aktualizowana z wersji 3.9.19 do 3.9.21.

Wyzwalacz przesyłania strumieniowego ze strukturą po wycofaniu

Ustawienie Trigger.Once zostało przestarzałe. Usługa Databricks zaleca użycie polecenia Trigger.AvailableNow. Zobacz Konfigurowanie interwałów wyzwalacza przesyłania strumieniowego ze strukturą.

Zmienianie ścieżki źródłowej dla automatycznego modułu ładującego

Teraz możesz zmienić ścieżkę wejściową katalogu dla automatycznego modułu ładującego skonfigurowanego z trybem listy katalogów bez konieczności wybierania nowego katalogu punktów kontrolnych. Zobacz Zmienianie ścieżki źródłowej dla modułu ładującego automatycznego.

Łącznik Usługi Kinesis usługi Databricks obsługuje teraz odczytywanie strumieni danych z kinesis w trybie EFO

Teraz możesz użyć źródła przesyłania strumieniowego ze strukturą usługi Databricks Kinesis w środowisku Databricks Runtime 11.3 LTS, aby uruchamiać zapytania odczytujące ze strumieni danych Kinesis w rozszerzonym trybie fan-out. Umożliwia to dedykowaną przepływność na fragmenty, na odbiorcę i dostarczanie rekordów w trybie wypychania.

Nowe funkcje geoprzestrzenne H3 i dodano obsługę funkcji Photon dla wszystkich funkcji H3

Wprowadzenie do 4 nowych funkcji H3, h3_maxchild, h3_minchild, h3_pointash3i h3_pointash3string. Te funkcje są dostępne w języku SQL, Scala i Python. Wszystkie wyrażenia H3 są teraz obsługiwane w aplikacji Photon. Zobacz Funkcje geoprzestrzenne H3.

Nowe funkcje predykcyjne we/wy

Aplikacja Photon obsługuje tryb zakresu na potrzeby uruchamiania ramek przy użyciu polecenia RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Aplikacja Photon obsługuje również tryb zakresu dla rosnących ramek przy użyciu polecenia RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Zwiększanie początkowych partycji do skanowania pod kątem zapytań selektywnych

Wartość początkowych partycji do skanowania została zwiększona do 10 na potrzeby selektywnego wykonywania zapytań w klastrach z włączoną usługą take/tail/limit Photon i LIMIT w usłudze Databricks SQL. Dzięki 10 partycjom można uniknąć obciążeń związanych z uruchamianiem wielu małych zadań i powolnym skalowaniem w górę. Można to również skonfigurować za pomocą programu spark.sql.limit.selectiveInitialNumPartitions.

Wizualizacja nowych wersji planu AQE

Wprowadzenie do wersji planu AQE, które umożliwiają wizualizowanie aktualizacji planu środowiska uruchomieniowego z adaptacyjnego wykonywania zapytań (AQE).

Nowe tryby śledzenia postępu asynchronicznego i przeczyszczania dzienników

Wprowadzenie do trybów przesyłania strumieniowego ze strukturą nazywanych śledzeniem postępu asynchronicznego i przeczyszczania dzienników asynchronicznych. Tryb przeczyszczania dziennika asynchronicznego zmniejsza opóźnienie zapytań przesyłanych strumieniowo przez usunięcie dzienników używanych do śledzenia postępu w tle.

Przesyłanie strumieniowe ze strukturą w wykazie aparatu Unity obsługuje teraz display()

Teraz możesz użyć display() funkcji przesyłania strumieniowego ze strukturą do pracy z tabelami zarejestrowanymi w wykazie aparatu Unity.

Zdarzenia potoku są teraz rejestrowane w formacie JSON

Usługa Azure Databricks zapisuje teraz zdarzenia potoku w dzienniku sterownika w formacie JSON. Chociaż każde zdarzenie będzie możliwe do analizowania w formacie JSON, duże zdarzenia mogą nie zawierać wszystkich pól lub pola mogą zostać obcięte. Każde zdarzenie jest rejestrowane w jednym wierszu z prefiksem Event received: . Poniżej przedstawiono przykładowe zdarzenie.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Dowolne przetwarzanie stanowe w strumieniu ustrukturyzowanym przy użyciu języka Python

applyInPandasWithState Wprowadzenie funkcji, która może służyć do wykonywania dowolnego przetwarzania stanowego w PySpark. Jest to odpowiednik flatMapGroupsWithState funkcji w interfejsie API języka Java.

Wnioskowanie daty w plikach CSV

Wprowadzenie ulepszonego wnioskowania kolumn typu daty w plikach CSV. Gdy format daty jest spójny w rekordach dla kolumny, te kolumny można wywnioskować jako DateType. Można również mieć kombinację formatów dat w różnych kolumnach. Usługa Azure Databricks może automatycznie wywnioskować format daty dla każdej kolumny. Kolumny dat w plikach CSV przed środowiskiem Databricks Runtime 11.3 LTS są pozostawione jako StringType.

Obsługa klonowania tabel Apache Parquet i Apache Iceberg (publiczna wersja zapoznawcza)

Klonu można teraz używać do tworzenia i przyrostowego aktualizowania tabel delty, które dublować tabele Apache Parquet i Apache Iceberg. Możesz zaktualizować źródłową tabelę Parquet i przyrostowo zastosować zmiany do sklonowanej tabeli delty za pomocą polecenia klonowania. Zobacz Incrementally clone Parquet and Iceberg tables to Delta Lake (Przyrostowe klonowanie tabel Parquet i Góry Lodowej do usługi Delta Lake).

Używanie języka SQL do określania lokalizacji magazynu na poziomie schematu i wykazu dla tabel zarządzanych wykazu aparatu Unity

Teraz możesz użyć MANAGED LOCATION polecenia SQL, aby określić lokalizację magazynu w chmurze dla zarządzanych tabel na poziomach katalogu i schematu. Zobacz CREATE CATALOG i CREATE SCHEMA.

Zmiany zachowania

Databricks Connect 11.3.2

Aktualizacja klienta programu Databricks Connect 11.3.2 jest teraz obsługiwana. Zobacz Informacje o wersji programu Databricks Connect i Databricks Connect.

Zaktualizowano łącznik usługi Azure Databricks Snowflake

Łącznik Snowflake usługi Azure Databricks został zaktualizowany do najnowszej wersji kodu z repozytorium open source Snowflake Data Source dla platformy Apache Spark. Jest ona teraz w pełni zgodna ze środowiskiem Databricks Runtime 11.3 LTS, w tym wypychanie predykatu i wypychanie wewnętrznego planu zapytań przy zachowaniu wszystkich funkcji wersji typu open source.

Pamięć podręczna hadoop dla usługi S3A jest teraz wyłączona

Pamięć podręczna Usługi Hadoop (interfejs API main 3.3.4 systemu plików Apache Hadoop) dla usługi S3A jest teraz wyłączony. Jest to zgodne z innymi łącznikami magazynu w chmurze. W przypadku obciążeń korzystających z buforowania systemu plików upewnij się, że nowo utworzone systemy plików są dostarczane z odpowiednimi konfiguracjami usługi Hadoop, w tym dostawcami poświadczeń.

Schemat kolekcji statystyk usługi Delta Lake odpowiada teraz kolejności kolumn w definicji schematu tabeli

Ta zmiana dotyczy błędu w protokole usługi Delta Lake, w którym statystyki nie zostały zebrane dla kolumn z powodu niezgodności w ramce danych i porządkoweniu kolumn tabeli. W niektórych przypadkach może wystąpić spadek wydajności zapisu ze względu na zbieranie statystyk we wcześniej nieśledzonych polach. Zobacz Pomijanie danych dla usługi Delta Lake.

applyInPandasWithState zgłasza błąd, jeśli zapytanie ma przetasowania po operatorze

Operator applyInPandasWithState zgłasza błąd, jeśli zapytanie ma shuffle wartość po operatorze. Dzieje się tak, gdy użytkownik dodaje po shuffle operacji lub optymalizator lub ujście dodaje shuffle niejawnie.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • distlib z 0.3.5 do 0.3.6
• Uaktualnione biblioteki języka R:
  • miotła od 1.0.0 do 1.0.1
  • callr od 3.7.1 do 3.7.2
  • dplyr z wersji 1.0.9 do 1.0.10
  • dtplyr z wersji 1.2.1 do 1.2.2
  • forcats z 0.5.1 do 0.5.2
  • przyszłość z wersji 1.27.0 do 1.28.0
  • future.apply z wersji 1.9.0 do 1.9.1
  • gert z 1.7.0 do 1.8.0
  • globals from 0.16.0 to 0.16.1
  • z wersji 0.3.0 do 0.3.1
  • haven from 2.5.0 to 2.5.1 (przystanek od 2.5.0 do 2.5.1)
  • hms od 1.1.1 do 1.1.2
  • httr z 1.4.3 do 1.4.4
  • knitr z 1.39 do 1.40
  • modelr od 0.1.8 do 0.1.9
  • od 1.8.0 do 1.8.1
  • progressr z 0.10.1 do 0.11.0
  • readxl z wersji 1.4.0 do 1.4.1
  • reprex z 2.0.1 do 2.0.2
  • rlang z wersji 1.0.4 do 1.0.5
  • rmarkdown z 2.14 do 2.16
  • RSQLite z wersji 2.2.15 do 2.2.16
  • rstudioapi z 0.13 do 0.14
  • rversions z 2.1.1 do 2.1.2
  • rvest z 1.0.2 do 1.0.3
  • skaluje z wersji 1.2.0 do 1.2.1
  • sparklyr z 1.7.7 do 1.7.8
  • stringr z 1.4.0 do 1.4.1
  • przetrwanie z 3.2-13 do 3.4-0
  • tinytex z 0.40 do 0.41
  • viridisLite z wersji 0.4.0 do 0.4.1
• Uaktualnione biblioteki Java:
  • com.fasterxml.jackson.core.jackson-adnotacje z wersji 2.13.3 do 2.13.4
  • com.fasterxml.jackson.core.jackson-core z wersji 2.13.3 do 2.13.4
  • com.fasterxml.jackson.core.jackson-databind z wersji 2.13.3 do 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor z wersji 2.13.3 do 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda z 2.13.3 do 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 z wersji 2.13.3 do 2.13.4
  • com.fasterxml.jackson.module.jackson-module-paranamer od 2.13.3 do 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 z wersji 2.13.3 do 2.13.4
  • org.apache.hadoop.hadoop-client-api z wersji 3.3.2-databricks do 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime z wersji 3.3.2 do 3.3.4
  • org.apache.orc.orc-core z wersji 1.7.5 do 1.7.6
  • org.apache.orc.orc-mapreduce z wersji 1.7.5 do 1.7.6
  • org.apache.orc.orc-shims od 1.7.5 do 1.7.6
  • org.apache.parquet.parquet-column from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common from 1.12.0-databricks-0004 do 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures from 1.12.0-databricks-0004 do 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop z 1.12.0-databricks-0004 do 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson z 1.12.0-databricks-0004 do 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet z 2.34 do 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core od 2.34 do 2.36
  • org.glassfish.jersey.core.jersey-client od 2.34 do 2.36
  • org.glassfish.jersey.core.jersey-common od 2.34 do 2.36
  • org.glassfish.jersey.core.jersey-server od 2.34 do 2.36
  • org.glassfish.jersey.inject.jersey-hk2 z 2.34 do 2.36

Apache Spark

Środowisko Databricks Runtime 11.3 LTS obejmuje platformę Apache Spark 3.3.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 11.2 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Opóźnienie onDisconnected, aby umożliwić Driverowi odbieranie ExecutorExitCode
• [SPARK-39955] [WARMFIX][sc-111424][CORE] Ulepszyć proces LaunchTask, aby uniknąć błędów etapu spowodowanych niepowodzeniem wysyłania komunikatów LaunchTask
• [SPARK-40474] [SC-106248][cherry-pick] Poprawianie zachowania wnioskowania schematu CSV dla kolumn daty/godziny i wprowadzanie automatycznego wykrywania pól daty
• [SPARK-40535] [SC-111243][sql] Poprawka błędu, gdzie bufor AggregatingAccumulator nie zostanie utworzony, jeśli wiersze wejściowe są puste
• [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Implement applyInPandasWithState w PySpark
• [SPARK-40460] [SC-110832][ss] Napraw metryki przesyłania strumieniowego przy wyborze _metadata
• [SPARK-40324] [SC-109943][sql] Podaj kontekst zapytania ParseException
• [SPARK-40466] [SC-110899][ss] Ulepszanie komunikatu o błędzie, gdy DSv2 jest wyłączony, a DSv1 niedostępny
• [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext powinien być tani do wielokrotnego wywoływania
• [SPARK-40169] [SC-110772][sql] Nie wypychaj filtrów Parquet bez odwołania do schematu danych
• [SPARK-40467] [SC-110759][ss] Podzielić FlatMapGroupsWithState na wiele zestawów testów
• [SPARK-40468] [SC-110813][sql] Napraw oczyszczanie kolumn w pliku CSV po wybraniu _corrupt_record
• [SPARK-40291] [SC-110085][sql] Ulepszanie komunikatu dla kolumny, która nie należy do grupy według błędu klauzuli
• [SPARK-40398] [SC-110762][core][SQL] Użyj pętli zamiast API Arrays.stream
• [SPARK-40433] [SC-110684][ss][PYTHON] Dodaj funkcję toJVMRow w PythonSQLUtils do konwersji serializowanego obiektu PySpark Row na obiekt JVM Row
• [SPARK-40414] [SC-110568][sql][PYTHON] Bardziej ogólny typ PythonArrowInput i PythonArrowOutput
• [SPARK-40352] [SC-109945][sql] Dodawanie aliasów funkcji: len, datepart, dateadd, date_diff i curdate
• [SPARK-40470] [SC-110761][sql] Obsługa GetArrayStructFields i GetMapValue w funkcji "arrays_zip"
• [SPARK-40387] [SC-110685][sql] Ulepszono implementację typu Decimal platformy Spark
• [SPARK-40429] [SC-110675][sql] Ustaw KeyGroupedPartitioning tylko wtedy, gdy referowana kolumna znajduje się w danych wyjściowych
• [SPARK-40432] [SC-110716][ss][PYTHON] Wprowadzenie groupStateImpl i GroupStateTimeout w PySpark
• [SPARK-39915] [SC-110496][sql] Upewnij się, że partycjonowanie danych wyjściowych jest określone przez użytkownika w AQE
• [SPARK-29260] [SQL] Obsługa ALTER DATABASE SET LOCATION , jeśli system HMS obsługuje
• [SPARK-40185] [SC-110056][sql] Usuń sugestię kolumny, gdy lista kandydatów jest pusta
• [SPARK-40362] [SC-110401][sql] Naprawa kanonizacji BinaryComparison
• [SPARK-40411] [SC-110381][ss] Refactor FlatMapGroupsWithStateExec, aby mieć cechę nadrzędną
• [SPARK-40293] [SC-110084][sql] Uczyń komunikat o błędzie tabeli V2 bardziej zrozumiałym
• [SPARK-38734] [SC-110383][sql] Usuń klasę błędów INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Poprawiono nazwy kolumn w funkcji "arrays_zip", gdy tablice są przywoływane z zagnieżdżonych struktur
• [SPARK-40276] [SC-109674][core] Zmniejsz rozmiar wyniku RDD.takeOrdered
• [SPARK-40197] [SC-109176][sql] Zastąp plan zapytania kontekstem MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][sql] Migrate to the DATATYPE_MISMATCH error class (Migrowanie do klasy błędów DATATYPE_MISMATCH)
• [SPARK-40149] [SC-110055][sql] Propagacja kolumn metadanych za pomocą projektu
• [SPARK-40280] [SC-110146][sql] Dodać obsługę przesyłania Parquet dla adnotowanych typów int i long
• [SPARK-40220] [SC-110143][sc-109175][SQL] Nie generuje pustej mapy parametrów komunikatu o błędzie
• [SPARK-40295] [SC-110070][sql] Zezwalaj na funkcje w wersji 2 z argumentami literałowymi w rozmieszczeniu/kolejności zapisu
• [SPARK-40156] [SC-109264][sql] url_decode() powinna zwrócić klasę błędów
• [SPARK-39195] [SQL] Moduł Spark OutputCommitCoordinator powinien przerwać etap, gdy zatwierdzony plik nie jest zgodny ze stanem zadania
• [SPARK-40260] [SC-109424][sql] Użyj klas błędów w błędach kompilacji pozycji GROUP BY.
• [SPARK-40205] [SC-110144][sc-109082][SQL] Podaj kontekst zapytania ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][sql] Ulepszanie funkcji TO_BINARY()
• [SPARK-40209] [SC-109081][sql] Nie zmieniaj wartości interwału liczby dziesiętnej w changePrecision() błędów
• [SPARK-40319] [SC-109873][sql] Usuń zduplikowaną metodę błędu wykonywania zapytania dla PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][sql] Numeryczne try_add/try_divide/try_subtract/try_multiply powinny zgłaszać błąd z ich elementów podrzędnych
• [SPARK-40183] [SC-108907][sql] Użyj klasy błędów NUMERIC_VALUE_OUT_OF_RANGE w przypadku przepełnienia w konwersji dziesiętnej
• [SPARK-40180] [SC-109069][sql] Formatowanie komunikatów o błędach za pomocą spark-sql
• [SPARK-40153] [SC-109165][sql] Ujednolicenie funkcji rozwiązywania i funkcji tabelowych
• [SPARK-40308] [SC-109880][sql] Zezwalaj na nieskładane argumenty ogranicznika w funkcji str_to_map
• [SPARK-40219] [SC-110052][sc-109663][SQL] Rozwiązany plan logiczny widoku powinien zawierać schemat, aby uniknąć nadmiarowego wyszukiwania
• [SPARK-40098] [SC-109939][sc-108693][SQL] Formatowanie komunikatów o błędach w serwerze Thrift
• [SPARK-39917] [SC-109038][sql] Użyj różnych klas błędów dla przepełnienia arytmetyki liczbowej/interwałowej
• [SPARK-40033] [SC-109875][sql] Obsługa oczyszczania schematu zagnieżdżonego przy użyciu element_at
• [SPARK-40194] [SC-109660][sql] FUNKCJA SPLIT dla pustego wyrażenia regularnego powinna usunąć pusty ciąg końcowy.
• [SPARK-40228] [SC-109835][sql] Nie upraszczaj funkcji multiLike, jeśli dziecko nie jest niskokosztowym wyrażeniem
• [SPARK-40039] [SC-109896][sc-109260][SS] Wprowadzenie menedżera plików punktu kontrolnego przesyłania strumieniowego opartego na interfejsie Abortable w Hadoop
• [SPARK-40285] [SC-109679][sql] Uproszczenie roundTo[Numeric] dla platformy Spark Decimal
• [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison powinien działać, gdy literał in/InSet downcast nie powiódł się
• [SPARK-40040] [SC-109662][sql] Wypychanie limitu lokalnego do obu stron, jeśli warunek sprzężenia jest pusty
• [SPARK-40055] [SC-109075][sql] listCatalogs powinny również zwracać spark_catalog nawet wtedy, gdy implementacja spark_catalog jest domyślnaSessionCatalog
• [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) może nie tworzyć N partycji innych niż AQE
• [SPARK-40207] [SC-109401][sql] Określ nazwę kolumny, gdy typ danych nie jest obsługiwany przez źródło danych
• [SPARK-40245] [SC-109295][sql] Poprawka porównywania równoważności FileScan, gdy kolumny partycji lub filtru danych nie są odczytywane
• [SPARK-40113] [SC-109405][sql] Reactor ParquetScanBuilder Implementacje interfejsu DataSourceV2
• [SPARK-40211] [SC-109226][core][SQL] Zezwalaj na dostosowywanie liczby partycji początkowych w operacji take()
• [SPARK-40252] [SC-109379][sql] Zastąp Stream.collect(Collectors.joining)StringJoiner API
• [SPARK-40247] [SC-109272][sql] Poprawka kontroli równości zestawu bitów
• [SPARK-40067] [SQL] Użyj polecenia Table#name() zamiast scan#name(), aby wypełnić nazwę tabeli w węźle BatchScan w usłudze SparkUI
• [SPARK-39966] [SQL] Używanie filtru w wersji 2 w obszarze SupportsDelete
• [SPARK-39607] [SC-109268][sql][DSV2] Obsługa dystrybucji i porządkowania w funkcji V2 podczas zapisu
• [SPARK-40224] [SC-109271][sql] Spraw, aby ObjectHashAggregateExec zwalniał pamięć szybko przy przejściu na oparte na sortowaniu
• [SPARK-40013] [SQL] Wyrażenia DS w wersji 2 powinny mieć wartość domyślną toString
• [SPARK-40214] [SC-109079][python][SQL] dodaj polecenie "get" do funkcji
• [SPARK-40192] [SC-109089][sql][ML] Usuń nadmiarowe grupowanie
• [SPARK-40146] [SC-108694][sql] Po prostu kodgen pobierania wartości mapy
• [SPARK-40109] [SQL] Nowa funkcja SQL: get()
• [SPARK-39929] [SQL] Usługa DS w wersji 2 obsługuje funkcje ciągów wypychanych (nie ANSI)
• [SPARK-39819] [SQL] Wypychanie agregujące DS w wersji 2 może współdziałać z wierzchołkiem N lub stronicowaniem (sortuj przy użyciu wyrażeń)
• [SPARK-40213] [SC-109077][sql] Obsługa konwersji wartości ASCII dla znaków łacińskich-1
• [SPARK-39887] [SQL] RemoveRedundantAliases powinny zachować aliasy, które sprawiają, że dane wyjściowe węzłów projekcji są unikatowe
• [SPARK-39764] [SQL] Ustaw element PhysicalOperation na taki sam jak ScanOperation
• [SPARK-39964] [SQL] Wypychanie DS w wersji 2 powinno ujednolicić ścieżkę tłumaczenia
• [SPARK-39528] [SQL] Używanie filtru W wersji 2 w obszarze SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Tryb ANSI: zawsze zwraca wartość null w nieprawidłowym dostępie do kolumny mapy
• [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
• [SPARK-39833] [SC-108736][sql] Wyłącz indeks kolumn Parquet w DSv1, aby rozwiązać problem z poprawnością w przypadku nakładających się kolumn partycji i danych
• [SPARK-39880] [SQL] V2 polecenie SHOW FUNCTIONS powinno wyświetlać kwalifikowaną nazwę funkcji, taką jak v1
• [SPARK-39767] [SQL] Usuń unresolvedDBObjectName i dodaj unresolvedIdentifier
• [SPARK-40163] [SC-108740][sql] funkcja: SparkSession.config(Mapa)
• [SPARK-40136] [SQL] Naprawianie fragmentu kontekstów zapytań SQL
• [SPARK-40107] [SC-108689][sql] Wyciągnąć pustą konwersję 2null z narzędzia FileFormatWriter
• [SPARK-40121] [PYTHON][sql] Zainicjuj projekcję używaną dla funkcji zdefiniowanej przez użytkownika w języku Python
• [SPARK-40128] [SQL] Ustaw element VectorizedColumnReader na rozpoznawanie DELTA_LENGTH_BYTE_ARRAY jako kodowanie kolumn autonomicznych
• [SPARK-40132] [ML] Przywracanie rawPredictionCol do wielowarstwowejPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] Ulepszenie EliminateSorts w celu wsparcia usuwania sortów za pomocą LocalLimit
• [SPARK-39629] [SQL] Support v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Dodawanie przeciążenia array_sort(kolumna, komparator) do operacji ramki danych
• [SPARK-40117] [PYTHON][sql] Konwertuj warunek na Java w metodzie DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Ulepszanie ponownej części w module ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Dodawanie nazwy wykazu sesji dla tabeli i funkcji bazy danych w wersji 1
• [SPARK-39889] [SQL] Użyj różnych klas błędów dla wartości liczbowych/interwałów podzielonych przez 0
• [SPARK-39741] [SQL] Obsługa kodowania/dekodowania adresu URL jako wbudowanej funkcji i porządkowania funkcji związanych z adresem URL
• [SPARK-40102] [SQL] Używanie elementu SparkException zamiast IllegalStateException w programie SparkPlan
• [SPARK-40014] [SQL] Obsługa rzutowania dziesiętnych do interwałów ANSI
• [SPARK-39776] [SQL][follow] Update UT of PlanStabilitySuite w trybie ANSI
• [SPARK-39963] [SQL] Uprościć SimplifyCasts.isWiderCast

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 11.3.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.5 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• python: 3.9.21
• R: 4.1.3
• Delta Lake: 2.1.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2022-09-08. Migawka nie jest już dostępna.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)