Databricks Runtime 11.2 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 11.2 obsługiwanym przez platformę Apache Spark 3.3.0. Usługa Databricks wydała tę wersję we wrześniu 2022 r.

Nowe funkcje i ulepszenia

• Zmień na uprawnienia ALTER TABLE w kontroli dostępu do tabel (ACL tabeli)
• dynamiczne przycinanie MERGE INTO
• Ulepszone wykrywanie konfliktów w Delta przy użyciu dynamicznego przycinania plików
• Nowa karta Integracji typu open source na stronach głównych DSE/SQL
• ulepszenia wykrywania partycji CONVERT TO DELTA
• Schematy tabel obsługują teraz wartości domyślne kolumn
• Nowe funkcje geoprzestrzenne H3
• Nowa zależność Databricks Runtime
• Użycie własnego klucza: szyfrowanie poświadczeń usługi Git
• SQL: Nowa funkcja agregacji any_value
• Polecenia systemu plików narzędzi Databricks są teraz dozwolone na większej liczbie typów klastrów
• Uprawnienia CREATE można teraz przyznać w metaskładnicach dla Unity Catalog
• Zoptymalizowane zapisy dla niepartycjonowanych tabel w klastrach z obsługą funkcji Photon
• Obsługa funkcji Photon dla większej liczby źródeł danych
• SQL: ALTER SHARE teraz obsługuje wersję startową

Zmiana uprawnień na ALTER TABLE w kontrolach dostępu do tabel (ACL tabeli)

Teraz użytkownicy potrzebują MODIFY uprawnień tylko do zmiany schematu lub właściwości tabeli z użyciem ALTER TABLE. Własność jest nadal wymagana, aby udzielić uprawnień do tabeli, zmienić jej właściciela i lokalizację lub zmienić jego nazwę. Ta zmiana powoduje, że model uprawnień dla ACL tabeli jest spójny z katalogiem Unity. Zobacz ALTER TABLE.

Dynamiczne przycinanie dla MERGE INTO

W przypadku korzystania z obliczeń MERGE INTO z włączoną usługą Photon funkcja przycinania plików dynamicznych i partycji jest używana w razie potrzeby w celu zwiększenia wydajności, na przykład w przypadku scalenia małej tabeli źródłowej z większą tabelą docelową.

Ulepszone wykrywanie konfliktów w funkcji Delta przy użyciu dynamicznego oczyszczania plików

Podczas sprawdzania potencjalnych konfliktów przy zatwierdzaniu, wykrywanie konfliktów uwzględnia teraz pliki, które są przycinane przez dynamiczne przycinanie plików, ale nie byłyby przycinane przez filtry statyczne. Spowoduje to zmniejszenie liczby transakcji zakończonych niepowodzeniem.

Nowa karta Integracji typu open source na stronach głównych DSE/SQL

Wprowadzenie nowej karty "Integracje open source" na stronach głównych DSE/SQL, która wyświetla opcje integracji typu open source, takie jak DLT i dbt core.

CONVERT TO DELTA ulepszenia wykrywania partycji

CONVERT TO DELTA automatycznie generuje schemat partycji tabel Parquet zarejestrowanych w metastore Hive lub w katalogu Unity, eliminując konieczność podania klauzuli PARTITIONED BY.

CONVERT TO DELTA korzysta z informacji o partycji z magazynu metadanych w celu odnajdywania plików dla tabeli Parquet zamiast wyświetlania całej ścieżki podstawowej, dzięki czemu usunięte partycje nie są dodawane do tabeli delty.

Zobacz Konwersja na Delta Lake.

Schematy tabel obsługują teraz wartości domyślne kolumn

Schematy tabel obsługują teraz ustawianie wartości domyślnych dla kolumn. INSERT, UPDATEi DELETE polecenia dla tych kolumn mogą odwoływać się do tych wartości za pomocą słowa kluczowego DEFAULT . Na przykład CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET , a następnie INSERT INTO t VALUES (1, DEFAULT) dołączy wiersz (1, 42). To zachowanie jest obsługiwane w przypadku źródeł danych CSV, JSON, Orc i Parquet.

Nowe funkcje geoprzestrzenne H3

Teraz można używać 28 nowych wbudowanych wyrażeń H3 na potrzeby przetwarzania geoprzestrzenowego w klastrach z obsługą funkcji Photon, dostępnych w językach SQL, Scala i Python. Zobacz geoprzestrzenne funkcje H3.

Nowa zależność środowiska wykonawczego usługi Databricks

Środowisko Databricks Runtime teraz opiera się na bibliotece H3 w wersji 3.7.0.

Przynieś swój własny klucz: szyfrowanie poświadczeń Git

Usługa Azure Key Vault umożliwia szyfrowanie osobistego tokenu dostępu usługi Git lub innego poświadczenia usługi Git.

Zobacz Konfigurowanie folderów Git usługi Databricks (Repos).

SQL: Nowa funkcja agregacji any_value

Nowa any_value funkcja agregacji zwraca dowolną losową wartość expr dla grupy wierszy. Zobacz funkcję agregacji any_value.

Polecenia systemu plików narzędzi usługi Databricks są dozwolone dla większej liczby typów klastrów

dbutils.fs Polecenia (z wyjątkiem poleceń związanych z montowaniem) są teraz dozwolone w klastrach z izolacją użytkowników z Unity Catalog, a także w starszych klastrach ACL tabel, gdy użytkownik ma ANY FILE uprawnienia.

Uprawnienia CREATE można teraz przyznać w metasklepach dla Unity Catalog

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT, oraz uprawnienia CREATE PROVIDER można teraz przyznawać w metaskładnicach Unity Catalog.

Zoptymalizowane zapisy dla niepartycjonowanych tabel w klastrach z obsługą funkcji Photon

Zarządzane tabele w Unity Catalog automatycznie zapisują pliki o dobrze dostosowanym rozmiarze z niepartycyjnych tabel, aby poprawić szybkość zapytań i zoptymalizować wydajność.

Obsługa funkcji Photon dla większej liczby źródeł danych

Aplikacja Photon obsługuje teraz więcej źródeł danych, w tym CSV i Avro, a także jest zgodna z buforowanymi ramkami danych. Wcześniej skanowanie tych źródeł danych oznaczało, że całe zapytanie nie może być fotonizowane, niezależnie od operatorów lub wyrażeń zapytania. Teraz zapytania skanujące te źródła danych mogą być fotonizowane, zmniejszając znaczne opóźnienia i poprawiając TCO.

Ta funkcja jest domyślnie włączona w spark.databricks.photon.photonRowToColumnar.enabled konfiguracji.

Ograniczenia:

• Schematy z typami zagnieżdżonymi są nieobsługiwane (tj. tablice, mapy i struktury) w tej wersji.
• Źródła ORC, RDD, Kinesis, Kafka i EventHub nie są obsługiwane w tej wersji.

SQL: ALTER SHARE obsługuje teraz WERSJĘ POCZĄTKOWĄ

Polecenie ALTER SHARE obsługuje teraz funkcję START VERSION, która umożliwia dostawcom udostępnianie danych począwszy od określonej wersji tabeli. Zobacz ALTER SHARE.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • distlib z 0.3.4 do 0.3.5
  • filelock z wersji 3.7.1 do wersji 3.8.0
  • wykres z wersji 5.8.2 do 5.9.0
  • protobuf z wersji 4.21.2 do wersji 4.21.5
• Uaktualnione biblioteki języka R:
  • broom od 0.8.0 do 1.0.0
  • bslib z 0.3.1 do 0.4.0
  • callr od 3.7.0 do 3.7.1
  • caret od 6.0-92 do 6.0-93
  • dbplyr z wersji 2.2.0 do 2.2.1
  • devtools z wersji 2.4.3 do 2.4.4
  • ocena w zakresie od 0,15 do 0,16
  • Aktualizacja wersji z 2.1.0 na 2.1.1
  • fontawesome z 0.2.2 do 0.3.0
  • przyszłość z wersji 1.26.1 do 1.27.0
  • typy ogólne od 0.1.2 do 0.1.3
  • aktualizacja wersji gert z 1.6.0 do 1.7.0
  • globals z 0.15.1 do 0.16.0
  • googlesheets4 z 1.0.0 do 1.0.1
  • hardhat z 1.1.0 do 1.2.0
  • htmltools z wersji 0.5.2 do 0.5.3
  • równocześnie z aktualizacją z wersji 1.32.0 do 1.32.1
  • filar od 1.7.0 do 1.8.0
  • aktualizacja pkgload z wersji 1.2.4 na 1.3.0
  • processx z wersji 3.6.1 do 3.7.0
  • Program Rcpp z wersji 1.0.8.3 do 1.0.9
  • przepisy od 0.2.0 do 1.0.1
  • rlang z wersji 1.0.2 do 1.0.4
  • roxygen2 z 7.2.0 do 7.2.1
  • RSQLite z wersji 2.2.14 do 2.2.15
  • sass z wersji 0.4.1 do 0.4.2
  • błyszczące od 1.7.1 do 1.7.2
  • stringi z wersji 1.7.6 do 1.7.8
  • tibble z 3.1.7 do 3.1.8
  • tidyverse z 1.3.1 do 1.3.2
  • timeDate z 3043.102 do 4021.104
  • xfun od 0.31 do 0.32
• Uaktualnione biblioteki Java:
  • org.apache.orc.orc-core z wersji 1.7.4 na 1.7.5
  • org.apache.orc.orc-mapreduce z wersji 1.7.4 do 1.7.5
  • Aktualizacja org.apache.orc.orc-shims z wersji 1.7.4 do 1.7.5

Apache Spark

Środowisko Databricks Runtime 11.2 obejmuje platformę Apache Spark 3.3.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 11.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Zwraca szersze typy interwałów ANSI z funkcji percentylu
• [SPARK-40054] [SQL] Przywracanie składni obsługi błędów try_cast()
• [SPARK-39489] [CORE] Zwiększanie wydajności rejestrowania zdarzeń JsonProtocol przy użyciu narzędzia Jackson zamiast Json4s
• [SPARK-39319] [CORE][sql] Tworzenie kontekstów zapytań w ramach SparkThrowable
• [SPARK-40085] [SQL] Użyj klasy błędów INTERNAL_ERROR zamiast IllegalStateException, aby wskazać usterki
• [SPARK-40001] [SQL] Zapisz wartość NULL w domyślnych kolumnach JSON, aby zapisywały 'null' do magazynu.
• [SPARK-39635] [SQL] Obsługa metryk dla sterownika w niestandardowym interfejsie API metryk w DS v2
• [SPARK-39184] [SQL] Zarządzanie zbyt małą tablicą wyników w sekwencjach dat i ciągach czasowych
• [SPARK-40019] [SQL] Refaktoryzacja komentarza parametru ArrayType containsNull oraz refaktoryzacja błędnej logiki w wyrażeniu operatora kolekcji dotyczącej containsNull
• [SPARK-39989] [SQL] Obsługa szacowania statystyk kolumn, jeśli jest to wyrażenie złożone
• [SPARK-39926] [SQL] Naprawiono usterkę w obsłudze domyślnej kolumny dla niewektorowych skanowań Parquet
• [SPARK-40052] [SQL] Obsługa bezpośrednich buforów bajtowych w VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Naprawianie typu interwału docelowego w błędach przepełnienia rzutu
• [SPARK-39835] [SQL] Naprawiono problem z funkcją EliminateSorts, polegającą na usuwaniu globalnego sortowania umieszczonego poniżej lokalnego sortowania
• [SPARK-40002] [SQL] Nie wypychaj limitu przez okno przy użyciu ntile
• [SPARK-39976] [SQL] Funkcja ArrayIntersect powinna poprawnie obsługiwać wartość null w wyrażeniu po lewej stronie
• [SPARK-39985] [SQL] Włączanie niejawnych wartości domyślnych kolumn w we wstawieniach z DataFrames
• [SPARK-39776] [SQL] JOIN szczegółowy ciąg znaków powinien zawierać typ sprzężenia
• [SPARK-38901] [SQL] DS w wersji 2 obsługuje przesuwanie w dół różnorodnych funkcji
• [SPARK-40028] [SQL][kontynuacja] Ulepszenie przykładów funkcji tekstowych
• [SPARK-39983] [CORE][sql] Nie buforuj nieserializowane relacje emisji na sterowniku
• [SPARK-39812] [SQL] Uprość kod, który konstruuje AggregateExpression z użyciem toAggregateExpression
• [SPARK-40028] [SQL] Dodawanie przykładów binarnych dla wyrażeń ciągu
• [SPARK-39981] [SQL] Zgłaszanie wyjątku QueryExecutionErrors.castingCauseOverflowErrorInTableInsert w elemencie Cast
• [SPARK-40007] [PYTHON][sql] Dodawanie trybu do funkcji
• [SPARK-40008] [SQL] Obsługa rzutowania typów całkowitych do interwałów ANSI
• [SPARK-40003] [PYTHON][sql] Dodaj medianę do funkcji
• [SPARK-39952] [SQL] SaveIntoDataSourceCommand powinien ponownie zapisać relację wyników
• [SPARK-39951] [SQL] Aktualizacja sprawdzania kolumnowego Parquet V2 dla zagnieżdżonych pól
• [SPARK-33236] [shuffle] Przeniesienie do DBR 11.x: Włączenie usługi mieszania opartej na mechanizmie push, aby przechowywać stan w bazie danych na poziomie NM w celu umożliwienia restartu z zachowaniem pracy
• [SPARK-39836] [SQL] Uprość program V2ExpressionBuilder, wyodrębniając typową metodę.
• [SPARK-39873] [SQL] Usuwanie OptimizeLimitZero i scalanie go z EliminateLimits
• [SPARK-39961] [SQL] Obsługa DS V2 push-down tłumaczy konwersję, jeśli konwersja jest bezpieczna
• [SPARK-39872] [SQL] Zmiana na użycie BytePackerForLong#unpack8Values z tablicowym API wejściowym w VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Usuwanie niepotrzebnych AliasHelper lub PredicateHelper niektórych reguł
• [SPARK-39900] [SQL] Adresowanie warunku częściowego lub negowanego w predykacie predykatu formatu binarnego
• [SPARK-39904] [SQL] Zmień nazwę inferDate na preferujDate i wyjaśnij semantyka opcji w źródle danych CSV
• [SPARK-39958] [SQL] Dodawanie dziennika ostrzeżeń, gdy nie można załadować niestandardowego obiektu metryki
• [SPARK-39932] [SQL] WindowExec powinien wyczyścić bufor końcowej partycji
• [SPARK-37194] [SQL] Unikaj niepotrzebnego sortowania w zapisie w wersji 1, jeśli nie jest to partycja dynamiczna
• [SPARK-39902] [SQL] Dodawanie szczegółów skanowania do węzła skanowania planu platformy Spark w usłudze SparkUI
• [SPARK-39865] [SQL] Wyświetlanie prawidłowych komunikatów o błędach podczas przepełnienia podczas wstawiania do tabeli.
• [SPARK-39940] [SS] Odświeżanie tabeli wykazu w zapytaniu przesyłanym strumieniowo za pomocą ujścia DSv1
• [SPARK-39827] [SQL] Użyj klasy błędu ARITHMETIC_OVERFLOW przy przepełnieniu liczby całkowitej add_months()
• [SPARK-39914] [SQL] Dodaj konwersję filtru DS V2 do filtru w wersji 1
• [SPARK-39857] [SQL] Ręczne backport DBR 11.x; V2ExpressionBuilder używa nieprawidłowego typu danych LiteralValue dla predykatu 'In' #43454
• [SPARK-39840] [SQL][python] Wyodrębnij PythonArrowInput jako symetrię do PythonArrowOutput
• [SPARK-39651] [SQL] Przytnij warunek filtru, jeśli porównanie z `rand` jest deterministyczne
• [SPARK-39877] [PYTHON] Dodawanie elementu unpivot do interfejsu API ramki danych PySpark
• [SPARK-39909] [SQL] Organizowanie sprawdzania informacji wypychanych dla aplikacji JDBCV2Suite
• [SPARK-39834] [SQL][ss] Uwzględnij statystyki źródła i ograniczenia dla LogicalRDD, jeśli pochodzą z DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) wypełnia brakujące nowe kolumny z wartością null
• [SPARK-39860] [SQL] Więcej wyrażeń powinno rozszerzać predykat
• [SPARK-39823] [SQL][python] Zmień nazwę Dataset.as na Dataset.to i dodaj DataFrame.to w PySpark
• [SPARK-39918] [SQL][pomocnicza] Zastąp wyraz "nieporównywalny" ciągiem "nieporównywalny" w komunikacie o błędzie
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder używa nieprawidłowego typu danych LiteralValue dla predykatu In
• [SPARK-39862] [SQL] Ręczny backport dla wniosku o dołączenie zmian 43654 przeznaczonego dla DBR 11.x: aktualizacja SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS w celu zezwolenia/odmowy ALTER TABLE ... Dodawaj polecenia COLUMN oddzielnie.
• [SPARK-39844] [SQL] Ręczne przeniesienie wsteczne dla PR 43652 przeznaczonego dla DBR 11.x
• [SPARK-39899] [SQL] Napraw przekazywanie parametrów komunikatu do InvalidUDFClassException
• [SPARK-39890] [SQL] Spraw, aby TakeOrderedAndProjectExec dziedziczył AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Obsługa obiektu CharType w narzędziu PySpark
• [SPARK-38864] [SQL] Dodaj funkcję przekształcania/unmelt do Dataset
• [SPARK-39864] [SQL] Leniwie zarejestruj ExecutionListenerBus
• [SPARK-39808] [SQL] Obsługa trybu funkcji agregującej
• [SPARK-39875] [SQL] Zmień protected metodę w klasie końcowej na private lub package-visible
• [SPARK-39731] [SQL] Rozwiązano problem ze źródłami danych CSV i JSON podczas analizowania dat w formacie "yyyyMMdd" przy użyciu zasad poprawionego analizatora czasu.
• [SPARK-39805] [SS] Wycofanie trigger.Once i promowanie trigger.AvailableNow
• [SPARK-39784] [SQL] Umieść wartości literału po prawej stronie filtru źródła danych po przetłumaczeniu wyrażenia katalizatora na filtr źródła danych
• [SPARK-39672] [SQL][3.1] Naprawa usuwania projektu przed filtrem ze skorelowanym podzapytaniem
• [SPARK-39552] [SQL] Ujednolicenie wersji 1 i 2 DESCRIBE TABLE
• [SPARK-39810] [SQL] Catalog.tableExists powinna obsługiwać zagnieżdżoną przestrzeń nazw
• [SPARK-37287] [SQL] Wydzielenie dynamicznej partycji i sortowania według kubełków z pliku FileFormatWriter
• [SPARK-39469] [SQL] Wnioskowanie typu daty dla wnioskowania schematu CSV
• [SPARK-39148] [SQL] Wypychanie agregacji w DS V2 może współpracować z OFFSET lub LIMIT
• [SPARK-39818] [SQL] Naprawiono usterkę w typach ARRAY, STRUCT i MAP z wartościami DOMYŚLNYmi z polami NULL
• [SPARK-39792] [SQL] Dodaj funkcję DecimalDivideWithOverflowCheck dla średniej dla liczb dziesiętnych
• [SPARK-39798] [SQL] Zastąp toSeq.toArray na .toArray[Any] w konstruktorze GenericArrayData
• [SPARK-39759] [SQL] Implementowanie indeksów list w JDBC (dialekt H2)
• [SPARK-39385] [SQL] Obsługuje wypychanie REGR_AVGX i REGR_AVGY
• [SPARK-39787] [SQL] Użyj klasy błędu podczas błędu parsowania funkcji to_timestamp
• [SPARK-39760] [PYTHON] Obsługa platformy Varchar w PySpark
• [SPARK-39557] [SQL] Ręczna wsteczna portacja do DBR 11.x: Obsługa typów ARRAY, STRUCT, MAP jako wartości DOMYŚLNE
• [SPARK-39758] [SQL][3.3] Naprawa NPE w funkcjach regexp z nieprawidłowych wzorców
• [SPARK-39749] [SQL] Tryb SQL ANSI: użyj reprezentacji zwykłego ciągu podczas rzutowania dziesiętnego na ciąg
• [SPARK-39704] [SQL] Implementowanie funkcji createIndex & dropIndex i indexExists w JDBC (dialekt H2)
• [SPARK-39803] [SQL] Użyj LevenshteinDistance zamiast StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Obsługa typu TimestampNTZ w źródle danych JDBC
• [SPARK-39781] [SS] Dodano obsługę udostępniania max_open_files dostawcy magazynu stanów bazy danych Rocksdb
• [SPARK-39719] [R] Implementacja databaseExists/getDatabase w SparkR z obsługą przestrzeni nazw 3L
• [SPARK-39751] [SQL] Zmień nazwę metryki agregacji kluczy skrótu
• [SPARK-39772] [SQL] Przestrzeń nazw powinna mieć wartość null, gdy baza danych ma wartość null w starych konstruktorach
• [SPARK-39625] [SPARK-38904][sql] Add Dataset.as(StructType)
• [SPARK-39384] [SQL] Kompilowanie wbudowanych funkcji agregacji regresji liniowej dla dialektu JDBC
• [SPARK-39720] [R] Implementowanie tableExists/getTable w usłudze SparkR dla przestrzeni nazw 3L
• [SPARK-39744] [SQL] REGEXP_INSTR Dodawanie funkcji
• [SPARK-39716] [R] Spraw, by currentDatabase/setCurrentDatabase/listCatalogs w SparkR obsługiwały przestrzeń nazw 3L
• [SPARK-39788] [SQL] Zmień nazwę catalogName na dialectName dla JdbcUtils
• [SPARK-39647] [CORE] Zarejestrować wykonawcę w ESS przed zarejestrowaniem Menedżera Bloków
• [SPARK-39754] [CORE][sql] Usuń nieużywane import lub niepotrzebne {}
• [SPARK-39706] [SQL] Ustaw brakującą kolumnę z wartością defaultValue jako stałą w ParquetColumnVector
• [SPARK-39699] [SQL] Udoskonalenie CollapseProject dla bardziej inteligentnego tworzenia wyrażeń kolekcji
• [SPARK-39737] [SQL] PERCENTILE_CONT i PERCENTILE_DISC powinien obsługiwać filtr agregowany
• [SPARK-39579] [SQL][python][R] Umożliwienie kompatybilności ListFunctions/getFunction/functionExists z trójwarstwową przestrzenią nazw
• [SPARK-39627] [SQL] Przesuwanie JDBC V2 powinno ujednolicić interfejs API kompilacji
• [SPARK-39748] [SQL][ss] Uwzględnij plan logiczny źródła dla LogicalRDD, jeśli pochodzi z DataFrame
• [SPARK-39385] [SQL] Tłumaczenie funkcji agregacji regresji liniowej na potrzeby wypychania
• [SPARK-39695] [SQL] REGEXP_SUBSTR Dodawanie funkcji
• [SPARK-39667] [SQL] Dodaj kolejne obejście, jeśli nie ma wystarczającej ilości pamięci do skompilowania i rozgłaszania tabeli
• [SPARK-39666] [ES-337834][sql] Użyj UnsafeProjection.create, aby spełniać spark.sql.codegen.factoryMode w ExpressionEncoder
• [SPARK-39643] [SQL] Zakaz wyrażeń podrzędnych w wartościach DOMYŚLNYch
• [SPARK-38647] [SQL] Dodaj SupportsReportOrdering jako domieszkę w interfejsie dla Scan (DataSourceV2)
• [SPARK-39497] [SQL] Poprawa wyjątków analizy w przypadku braku kolumny klucza mapy
• [SPARK-39661] [SQL] Unikaj tworzenia niepotrzebnego rejestratora SLF4J
• [SPARK-39713] [SQL] Tryb ANSI: dodawanie sugestii dotyczących używania try_element_at dla błędu INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL]Usługa DS w wersji 2 obsługuje funkcje wypychania daty/godziny
• [SPARK-39638] [SQL] Zmiana sposobu użycia ConstantColumnVector do przechowywania kolumn partycji w OrcColumnarBatchReader
• [SPARK-39653] [SQL] ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) Czyszczenie z ColumnVectorUtils
• [SPARK-39231] [SQL] Użyj ConstantColumnVector zamiast On/OffHeapColumnVector do przechowywania kolumn partycji w VectorizedParquetRecordReader
• [SPARK-39547] [SQL] Element V2SessionCatalog nie powinien zgłaszać wyjątku NoSuchDatabaseException w elemenie loadNamspaceMetadata
• [SPARK-39447] [SQL] Unikaj błędu AssertionError w elemencie AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Przeróbka MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec powinien przestrzegać kolejności danych wyjściowych podrzędnych
• [SPARK-39606] [SQL] Używanie statystyk podrzędnych do szacowania operatora zamówienia
• [SPARK-39611] [PYTHON][ps] Naprawić nieprawidłowe aliasy w array_ufunc
• [SPARK-39656] [SQL][3.3] Naprawienie nieprawidłowej przestrzeni nazw w DescribeNamespaceExec
• [SPARK-39675] [SQL] Przełącz konfigurację "spark.sql.codegen.factoryMode" z celu testowania do celu wewnętrznego
• [SPARK-39139] [SQL] DS V2 obsługuje przesuwanie w dół DS V2 UDF
• [SPARK-39434] [SQL] Podaj kontekst zapytania dotyczący błędu czasu wykonania, gdy indeks tablicy wykracza poza zakres
• [SPARK-39479] [SQL] DS w wersji 2 obsługuje optymalizację funkcji matematycznych (niezgodne z ANSI)
• [SPARK-39618] [SQL] REGEXP_COUNT Dodawanie funkcji
• [SPARK-39553] [CORE] Wyrejestrowywanie wielowątkowego przełączania nie powinno zgłaszać NullPointerException w przypadku korzystania ze Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Dodanie pliku do rozwiązania brakujących ogólnych funkcji pandas
• [SPARK-39444] [SQL] Dodawanie funkcji OptimizeSubqueries do listy nonExcludableRules
• [SPARK-39316] [SQL] Scalanie funkcji PromotePrecision i CheckOverflow w arytmetykę binarną dziesiętną
• [SPARK-39505] [Interfejs użytkownika] Zawartość dziennika ucieczki renderowana w interfejsie użytkownika
• [SPARK-39448] [SQL] Dodaj ReplaceCTERefWithRepartition do nonExcludableRules listy
• [SPARK-37961] [SQL] Nadpisz wartość maxRows/maxRowsPerPartition dla niektórych operatorów logicznych
• [SPARK-35223] Przywracanie dodawania problemuNavigationLink
• [SPARK-39633] [SQL] Obsługa znacznika czasowego w sekundach dla TimeTravel przy użyciu opcji DataFrame
• [SPARK-38796] [SQL] Aktualizowanie dokumentacji ciągów formatu liczb za pomocą funkcji {try_}to_number
• [SPARK-39650] [SS] Naprawiono niepoprawny schemat danych w deduplikacji przesyłania strumieniowego, zachowując zgodność z poprzednimi wersjami
• [SPARK-39636] [CORE][ui] Naprawiono wiele usterek w JsonProtocol, które wpływają na poziomy przechowywania (StorageLevels) i żądania zasobów zadania/wykonawcy (Task/Executor ResourceRequests)
• [SPARK-39432] [SQL] Zwracanie ELEMENT_AT_BY_INDEX_ZERO z element_at(*, 0)
• [SPARK-39349] Dodać scentralizowaną metodę CheckError dla zapewnienia jakości ścieżki błędów
• [SPARK-39453] [SQL] DS V2 obsługuje przesuwanie w dół różnych nieagregujących funkcji (nienależących do ANSI)
• [SPARK-38978] [SQL] DS V2 obsługuje operator push downOFFSET
• [SPARK-39567] [SQL] Obsługa interwałów ANSI w funkcjach percentylu
• [SPARK-39383] [SQL] Obsługa kolumn DOMYŚLNYCH w ALTER TABLE ALTER COLUMNS dla źródeł danych w wersji 2
• [SPARK-39396] [SQL] Naprawiono wyjątek logowania LDAP "kod błędu 49 — nieprawidłowe poświadczenia"
• [SPARK-39548] [SQL] Polecenie CreateView z zapytaniem zawierającym klauzulę okna napotkało problem: nie znaleziono nieprawidłowej definicji okna.
• [SPARK-39575] [AVRO] dodaj ByteBuffer#rewind po ByteBuffer#get w Avr...
• [SPARK-39543] Opcja DataFrameWriterV2 powinna być przypisana do właściwości magazynu, jeśli wymagana jest wersja 1.
• [SPARK-39564] [SS] Ujawnia informacje tabeli katalogu w planie logicznym w zapytaniu przesyłanym strumieniowo
• [SPARK-39582] [SQL] Poprawiono znacznik "Since" dla elementu array_agg
• [SPARK-39388] [SQL] Ponowne użycie orcSchema przy przesuwaniu w dół predykatów Orc
• [SPARK-39511] [SQL] Zwiększ limit wypychania lokalnego 1 dla prawej strony lewego półsprzężenia/antysprzężenia, jeśli warunek sprzężenia jest pusty
• [SPARK-38614] [SQL] Nie przenoś limitu przez okno używające funkcji percent_rank
• [SPARK-39551] [SQL] Dodaj sprawdzanie nieprawidłowego planu AQE
• [SPARK-39383] [SQL] Obsługa kolumn DOMYŚLNYCH w ALTER TABLE ADD COLUMNS do źródeł danych V2
• [SPARK-39538] [SQL] Unikaj tworzenia niepotrzebnego rejestratora SLF4J
• [SPARK-39383] [SQL] Ręczne przeniesienie do DBR 11.x: Refaktoryzacja obsługi kolumny DEFAULT w celu pominięcia przekazywania głównego analizatora
• [SPARK-39397] [SQL] Zrelaksuj aliasAwareOutputExpression, aby obsługiwać alias za pomocą wyrażenia
• [SPARK-39496] [SQL] Obsługa struktury null w pliku Inline.eval
• [SPARK-39545] [SQL] Zastąp metodę concat w ExpressionSet w Scali 2.13, aby zwiększyć wydajność
• [SPARK-39340] [SQL] DS v2 agg pushdown powinno zezwalać na kropki w nazwie kolumn najwyższego poziomu
• [SPARK-39488] [SQL] Upraszczanie obsługi błędów obiektu TempResolvedColumn
• [SPARK-38846] [SQL] Dodaj jawne mapowanie danych między typem liczbowym Teradata a typem DecimalType Spark
• [SPARK-39520] [SQL] Przesłoń -- metodę dla ExpressionSet klasy Scala 2.13
• [SPARK-39470] [SQL] Obsługa rzutowania interwałów ANSI na liczby dziesiętne
• [SPARK-39477] [SQL] Usuń informacje o "liczbie zapytań" ze złotych plików aplikacji SQLQueryTestSuite
• [SPARK-39419] [SQL] Napraw klasę ArraySort, aby zgłosić wyjątek, gdy komparator zwraca wartość null
• [SPARK-39061] [SQL] Ustaw prawidłowo nullowalność dla Inline atrybutów wyjściowych
• [SPARK-39320] [SQL] Obsługa funkcji agregującej MEDIAN
• [SPARK-39261] [CORE] Ulepszanie formatowania nowego wiersza dla komunikatów o błędach
• [SPARK-39355] [SQL] Pojedyncza kolumna używa cudzysłowia do konstruowania atrybutu UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE powinien zredagować właściwości
• [SPARK-37623] [SQL] Obsługa funkcji agregującej ANSI: regr_intercept
• [SPARK-39374] [SQL] Ulepszanie komunikatu o błędzie dla listy kolumn określonej przez użytkownika
• [SPARK-39255] [SQL][3.3] Ulepszanie komunikatów o błędach
• [SPARK-39321] [SQL] Refaktoryzacja operatora TryCast w celu użycia elementu RuntimeReplaceable
• [SPARK-39406] [PYTHON] Akceptowanie tablicy NumPy w elemecie createDataFrame
• [SPARK-39267] [SQL] Czyszczenie niepotrzebnego symbolu dsl
• [SPARK-39171] [SQL] Ujednolicenie wyrażenia rzutowania
• [SPARK-28330] [SQL] Obsługa języka ANSI SQL: klauzula przesunięcia wyniku w wyrażeniu zapytania
• [SPARK-39203] [SQL] Przepisanie lokalizacji tabeli na bezwzględny identyfikator URI na podstawie identyfikatora URI bazy danych
• [SPARK-39313] [SQL] toCatalystOrdering powinien zakończyć się niepowodzeniem, jeśli nie można przetłumaczyć V2Expression
• [SPARK-39301] [SQL][python] Korzystanie z właściwości LocalRelation i uwzględnianie rozmiaru partii strzałki w elemenie createDataFrame z optymalizacją strzałek
• [SPARK-39400] [SQL] Spark SQL powinno usunąć katalog zasobów Hive w każdym przypadku

Aktualizacje konserwacyjne

Zobacz aktualizacje konserwacyjne środowiska Databricks Runtime 11.2.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 2.1.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2022-08-15.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)