Databricks Runtime 13.1 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 13.1 obsługiwanym przez platformę Apache Spark 3.4.0.

Usługa Databricks wydała tę wersję w maju 2023 r.

Nowe funkcje i ulepszenia

• Obsługa klastra dla zestawu JDK 17 (publiczna wersja zapoznawcza)
• Dodawanie, zmienianie lub usuwanie danych w tabelach przesyłania strumieniowego
• Czytaj Kafkę przy użyciu języka SQL
• Nowe wbudowane funkcje SQL
• Obsługa Unity Catalog dla bibliotek Pythona z zakresem klastra
• Domyślne rozszerzone włączanie zoptymalizowanych zapisów w katalogu Unity
• Zaawansowana obsługa operatorów stanowych w strukturze obciążeń związanych z przesyłaniem strumieniowym
• Klon Delta dla katalogu Unity jest w publicznej wersji zapoznawczej
• Obsługa Pub/Sub dla strumieniowania uporządkowanego
• Usuwanie duplikatów wewnątrz znaków wodnych w Strukturalnym Strumieniu
• Rozszerzona obsługa konwersji Delta z tabel Iceberg z obciętymi kolumnami partycji
• Przesyłanie zmian schematu przy użyciu mapowania kolumn dla Delta Lake
• Usuń WERSJĘ START
• Nowe wyrażenia H3 dostępne w języku Python

Obsługa klastra dla zestawu JDK 17 (publiczna wersja zapoznawcza)

Usługa Databricks zapewnia teraz obsługę klastra dla zestawu Java Development Kit (JDK) 17. Zobacz Zestaw SDK usługi Databricks dla języka Java.

Dodawanie, zmienianie lub usuwanie danych w tabelach przesyłania strumieniowego

Teraz można używać instrukcji DML do modyfikowania tabel przesyłania strumieniowego publikowanych w wykazie aparatu Unity za pomocą potoków DLT. Zobacz Dodawanie, zmienianie lub usuwanie danych w tabeli przesyłania strumieniowego oraz Dodawanie, zmienianie lub usuwanie danych w docelowej tabeli przesyłania strumieniowego. Instrukcje DML umożliwiają również modyfikowanie tabel przesyłania strumieniowego utworzonych w usłudze Databricks SQL.

Czytanie danych z Kafki za pomocą SQL

Teraz możesz użyć read_kafka funkcji SQL do odczytywania danych platformy Kafka. Przesyłanie strumieniowe przy użyciu języka SQL jest obsługiwane tylko w technologii DLT lub w tabelach przesyłania strumieniowego w usłudze Databricks SQL. Zobacz read_kafka funkcji wartości tabeli.

Nowe wbudowane funkcje SQL

Dodano następujące funkcje:

• array_prepend(tablica, elem) Zwraca array, poprzedzoną elementem elem.
• try_aes_decrypt(wyrażenie, klucz [, tryb [, wypełnienie])) Odszyfrowuje plik binarny utworzony przy użyciu szyfrowania AES i zwraca NULL wartość, jeśli wystąpi błąd.
• sql_keywords() Zwraca tabelę słów kluczowych SQL usługi Azure Databricks.

Obsługa Unity Catalog dla bibliotek Pythona skierowanych na klaster

Unity Catalog ma pewne ograniczenia dotyczące użycia biblioteki. W środowisku Databricks Runtime 13.1 lub nowszym obsługiwane są biblioteki języka Python o zakresie klastra, w tym pliki koła języka Python przekazywane jako pliki obszaru roboczego. Biblioteki, do których odwołuje się ścieżka plików DBFS, nie są obsługiwane zarówno w katalogu głównym systemu plików DBFS, jak i w lokalizacji zewnętrznej zainstalowanej w systemie plików DBFS. Biblioteki inne niż języka Python nie są obsługiwane. Zobacz Biblioteki klastrów.

W środowisku Databricks Runtime 13.0 i starszych biblioteki związane z klastrem nie są obsługiwane w klastrach korzystających ze standardowego trybu dostępu (dawniej trybu dostępu współdzielonego) w obszarze roboczym z włączonym katalogiem Unity.

Poszerzone domyślne umożliwienie zoptymalizowanych operacji zapisu w Unity Catalog.

Domyślna zoptymalizowana obsługa zapisu dla tabel Delta zarejestrowanych w Unity Catalog została rozszerzona, aby uwzględnić CTAS instrukcje i INSERT operacje dla tabel partycjonowanych. To zachowanie jest zgodne z wartościami domyślnymi w usłudze SQL Warehouse. Zobacz Zoptymalizowane zapisy dla usługi Delta Lake w usłudze Azure Databricks.

Rozszerzone wsparcie dla operatorów stanowych w strukturalnym przesyłaniu strumieniowym

Teraz można połączyć wiele operatorów stanowych, co oznacza, że można przekazać dane wyjściowe operacji, takie jak agregacja okienna, do innej operacji stanowej, takiej jak łączenie. Zobacz Co to jest przesyłanie strumieniowe z zachowaniem stanu?.

Klon Delta dla Unity Catalog jest w publicznej wersji zapoznawczej.

Teraz możesz użyć płytkiego klonowania, aby z istniejących tabel zarządzanych w katalogu Unity utworzyć nowe tabele zarządzane w katalogu Unity. Zobacz Płytkie klonowanie tabel katalogu Unity.

Obsługa Pub/Sub dla przesyłania strumieniowego o strukturze

Teraz możesz użyć wbudowanego łącznika, aby zasubskrybować usługę Google Pub/Sub za pomocą strukturalnego przesyłania strumieniowego. Zobacz Subskrybowanie usługi Google Pub/Sub.

Usuwanie duplikatów w znakach wodnych w strumieniowaniu strukturalnym

Teraz można użyć dropDuplicatesWithinWatermark w połączeniu z określonym progiem limitu w celu deduplikacji rekordów w strumieniu ze strukturą. Zobacz Usuwanie duplikatów w znaku wodnym.

Rozszerzona obsługa konwersji Delta z tabel Iceberg z obciętymi kolumnami partycji

Teraz można używać CLONE i CONVERT TO DELTA z tabelami Iceberg, które mają partycje zdefiniowane na obciętych kolumnach typów int, long i string. Obcięte kolumny typu decimal nie są obsługiwane.

Strumieniowe przesyłanie zmian schematu z mapowaniem kolumn w Delta Lake

Teraz możesz podać lokalizację śledzenia schematu, aby włączyć przesyłanie strumieniowe z tabel Delta z włączonym mapowaniem kolumn. Zobacz Przesyłanie strumieniowe za pomocą mapowania kolumn i zmian schematu.

Usuń WERSJĘ STARTOWĄ

START VERSION jest teraz przestarzały dla elementu ALTER SHARE.

Nowe wyrażenia H3 dostępne w języku Python

Wyrażenia h3_coverash3 i h3_coverash3string są dostępne w języku Python.

Poprawki błędów

Parquet failOnUnknownFields nie usuwa już dyskretnie danych w przypadku niezgodności typów

Jeśli plik Parquet został odczytany tylko z failOnUnknownFields opcją lub z automatycznym modułem ładującym w failOnNewColumns trybie ewolucji schematu, kolumny o różnych typach danych teraz powodują błąd i zaleca się użycie rescuedDataColumn. Moduł automatycznego ładowania teraz poprawnie odczytuje i nie ratuje już typów liczb całkowitych, krótkich lub bajtów, jeśli podano jeden z tych typów danych. Plik Parquet sugeruje jeden z dwóch pozostałych typów.

Zmiany powodujące niezgodność

Uaktualnij wersję sqlite-jdbc do wersji 3.42.0.0, aby rozwiązać problem CVE-2023-32697

Uaktualnij wersję sqlite-jdbc z wersji 3.8.11.2 do 3.42.0.0. Interfejsy API wersji 3.42.0.0 nie są w pełni zgodne z wersją 3.8.11.2. Jeśli używasz pliku sqlite-jdbc w kodzie, sprawdź raport zgodności sqlite-jdbc, aby uzyskać szczegółowe informacje. Jeśli przeprowadzasz migrację do wersji 13.1 i używasz SQLite, potwierdź swoje metody i typ zwracany w wersji 3.42.0.0.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • facets-overview od 1.0.2 do 1.0.3
  • Aktualizacja filelock z wersji 3.10.7 do 3.12.0
  • pyarrow z 7.0.0 do 8.0.0
  • tenacity z 8.0.1 do 8.1.0
• Uaktualnione biblioteki języka R:
• Uaktualnione biblioteki Java:
  • com.github.ben-manes.caffeine.caffeine z 2.3.4 do 2.9.3
  • io.delta.delta-sharing-spark_2.12 z 0.6.8 do 0.6.4
  • net.snowflake.snowflake-jdbc od 3.13.29 do 3.13.22
  • org.checkerframework.checker-qual od 3.5.0 do 3.19.0
  • org.scalactic.scalactic_2.12 z wersji 3.0.8 do 3.2.15
  • org.scalatest.scalatest_2.12 z wersji 3.0.8 do 3.2.15
  • org.xerial.sqlite-jdbc z wersji 3.8.11.2 do 3.42.0.0

Apache Spark

Środowisko Databricks Runtime 13.1 obejmuje platformę Apache Spark 3.4.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 13.0 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-42719] [DBRRM-199][sc-131578] Revert "[SC-125225] 'MapOutputTracker#getMap...
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] Przywróć [SC-127830]/
• [SPARK-43331] [SC-130064][connect] Dodaj Spark Connect SparkSession.interruptAll
• [SPARK-43332] [SC-130051][connect][PYTHON] Umożliwia rozszerzenie programu ChannelBuilder dla sparkConnectClient
• [SPARK-43323] [SC-129966][sql][PYTHON] Naprawa DataFrame.toPandas z włączonym Apache Arrow w celu prawidłowego obsługiwania wyjątków
• [SPARK-42940] [SC-129896][ss][CONNECT] Ulepszanie zarządzania sesjami dla zapytań przesyłanych strumieniowo
• [SPARK-43032] [SC-125756] [CONNECT][ss] Dodano menedżera zapytań przesyłania strumieniowego
• [SPARK-16484] [SC-129975][sql] Dodaj obsługę Datasketches HllSketch
• [SPARK-43260] [SC-129281][python] Migrate the Spark SQL pandas arrow type errors into error class (Migrowanie błędów typu strzałek biblioteki Pandas SQL Platformy Spark do klasy błędów).
• [SPARK-41766] [SC-129964][core] Obsługa żądania wycofania wysłanego przed rejestracją procesu wykonawczego
• [SPARK-43307] [SC-129971][python] Migrowanie błędów wartości biblioteki PandasUDF do klasy błędów
• [SPARK-43206] [SC-129903] [SS] [CONNECT] Wyjątek StreamingQuery() obejmuje ślad stosu
• [SPARK-43311] [SC-129905][ss] Ulepszenia zarządzania pamięcią dostawcy magazynu stanów bazy danych RocksDB
• [SPARK-43237] [SC-129898][core] Obsługa komunikatu wyjątku o wartości null w dzienniku zdarzeń
• [SPARK-43320] [SC-129899][sql][HIVE] Bezpośrednie wywoływanie interfejsu API Hive 2.3.9
• [SPARK-43270] [SC-129897][python] Implementowanie __dir__() w pyspark.sql.dataframe.DataFrame w celu uwzględnienia kolumn
• [SPARK-43183] przywróć "[SC-128938][ss] Wprowadzenie nowego wywołania zwrotnego "...
• [SPARK-43143] [SC-129902] [SS] [CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][sql] Zamień klasę błędów _LEGACY_ERROR_TEMP_2022 przez błąd wewnętrzny
• pl-PL: [SPARK-43198] [SC-129470][connect] Poprawka "Nie można zainicjować klasy Ammonite..." błąd podczas korzystania z filtru
• [SPARK-43165] [SC-129777][sql] Przenieś canWrite do DataTypeUtils
• [SPARK-43298] [SC-129729][python][ML] predict_batch_udf z danymi wejściowymi skalarnymi kończy się niepowodzeniem, gdy rozmiar partii wynosi jeden
• [SPARK-43298] [SC-129700]Przywracanie "[PYTHON][ml] predict_batch_udf z danymi wejściowymi skalarnymi kończy się niepowodzeniem z rozmiarem partii jednego"
• [SPARK-43052] [SC-129663][core] Obsługa śladu stosu z nazwą pliku jako null w dzienniku zdarzeń
• [SPARK-43183] [SC-128938][ss] Wprowadzenie nowej funkcjonalności wywołania zwrotnego „onQueryIdle” w StreamingQueryListener
• [SPARK-43209] [SC-129190][connect][PYTHON] Migrowanie błędów wyrażeń do klasy błędów
• [SPARK-42151] [SC-128754][sql] Dopasowanie przypisań UPDATE z atrybutami tabeli
• [SPARK-43134] [SC-129468] [CONNECT] [SS] JVM client StreamingQuery exception() API
• [SPARK-43298] [SC-129699][python][ML] predict_batch_udf z wejściem skalarnym kończy się niepowodzeniem przy rozmiarze partii wynoszącym jeden
• [SPARK-43248] [SC-129660][sql] Niepotrzebne serializowanie/deserializowanie ścieżki dla równoległego zbierania statystyk partycji
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] Wprowadzenie PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] Implementacja chętnej ewaluacji dla repr i repr_html
• [SPARK-42953] [SC-129469][connect][Followup] Poprawka kompilacji testu maven dla testów UDF klienta Scala
• [SPARK-43144] [SC-129280] Interfejs API Scala Client DataStreamReader table()
• [SPARK-43136] [SC-129358][connect] Dodawanie funkcji groupByKey + mapGroup + coGroup
• [SPARK-43156] [SC-129672][sc-128532][SQL] Poprawka błędu COUNT(*) is null w skorelowanym podzapytaniu skalarnym
• [SPARK-43046] [SC-129110] [SS] [Connect] Zaimplementowano Python API dropDuplicatesWithinWatermark dla Spark Connect
• [SPARK-43199] [SC-129467][sql] Spraw, aby InlineCTE było idempotentne
• [SPARK-43293] [SC-129657][sql] __qualified_access_only powinno być ignorowane w normalnych kolumnach
• [SPARK-43276] [SC-129461][connect][PYTHON] Migrowanie okna programu Spark Connect do klasy błędów
• [SPARK-43174] [SC-129109][sql] Naprawa SparkSQLCLIDriver completer
• [SPARK-43084] [SC-128654] [SS] Dodaj obsługę applyInPandasWithState dla Spark Connect
• [SPARK-43119] [SC-129040][sql] Obsługa dynamicznego pobierania słów kluczowych SQL przez JDBC API i TVF
• [SPARK-43082] [SC-129112][connect][PYTHON] Funkcje UDF języka Python zoptymalizowane z użyciem Apache Arrow w Spark Connect
• [SPARK-43085] [SC-128432][sql] Wsparcie dla przypisania wartości domyślnej kolumny dla nazw tabel wieloczęściowych
• [SPARK-43226] [LC-671] Definiowanie wyodrębniaczy dla metadanych stałej pliku
• [SPARK-43210] [SC-129189][connect][PYTHON] Wprowadzenie PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] Metryki po stronie sterownika dla elementu LocalTableScanExec/CommandResultExec
• [SPARK-43285] [SC-129347] Poprawka dla ReplE2ESuite, który ciągle nie działa z JDK 17
• [SPARK-43268] [SC-129249][sql] Użyj odpowiednich klas błędów, gdy wyjątki są tworzone z komunikatem
• [SPARK-43142] [SC-129299] Napraw wyrażenia DSL dotyczące atrybutów z znakami specjalnymi
• [SPARK-43129] [SC-128896] Podstawowy interfejs API języka Scala na potrzeby przesyłania strumieniowego aplikacji Spark Connect
• [SPARK-43233] [SC-129250] [SS] Dodawanie rejestrowania dla odczytu usługi Kafka Batch dla partycji tematu, zakresu przesunięcia i identyfikatora zadania
• [SPARK-43249] [SC-129195][connect] Poprawka brakujących statystyk dla polecenia SQL
• [SPARK-42945] [SC-129188][connect] Obsługa PYSPARK_JVM_STACKTRACE_ENABLED w programie Spark Connect
• [SPARK-43178] [SC-129197][connect][PYTHON] Migracja błędów UDF do systemu błędów PySpark
• [SPARK-43123] [SC-128494][sql] Wewnętrzne metadane pól nie powinny być wyciekane do wykazów
• [SPARK-43217] [SC-129205] Prawidłowa rekurencja w ramach zagnieżdżonych map/tablic w "findNestedField"
• [SPARK-43243] [SC-129294][python][CONNECT] Dodaj parametr poziomu do funkcji printSchema w Pythonie
• [SPARK-43230] [SC-129191][connect] Uproszczenie DataFrameNaFunctions.fillna
• [SPARK-43088] [SC-128403][sql] Respect RequiresDistributionAndOrdering w ramach CTAS/RTAS
• [SPARK-43234] [SC-129192][connect][PYTHON] Migrate ValueError from Conect DataFrame into error class (Migrowanie ValueError z ramki danych Conect do klasy błędów)
• [SPARK-43212] [SC-129187][ss][PYTHON] Zmigrować błędy strukturalnego przesyłania strumieniowego do klasy błędów
• [SPARK-43239] [SC-129186][ps] Usuń null_counts z info()
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput powinno być zgodne z wyjściem podrzędnym
• [SPARK-43191] [SC-128924][core] Zastąp refleksję na bezpośrednie wywołanie elementu CallerContext usługi Hadoop
• [SPARK-43193] [SC-129042][ss] Usuń obejście problemu dla HADOOP-12074
• [SPARK-42657] [SC-128621][connect] Umożliwienie znajdowania i przesyłania plików klas REPL po stronie klienta do serwera jako artefakty
• [SPARK-43098] [SC-77059][sql] Naprawiono błąd poprawności COUNT, gdy podzapytanie skalarne zawiera klauzulę GROUP BY
• [SPARK-43213] [SC-129062][python] Dodaj DataFrame.offset do standardowego PySpark
• [SPARK-42982] [SC-128400][connect][PYTHON] Poprawka createDataFrame w celu przestrzegania danego schematu ddl
• [SPARK-43124] [SC-129011][sql] Dataset.show wyświetla CommandResults lokalnie
• [SPARK-42998] [SC-127422][connect][PYTHON] Napraw DataFrame.collect z pustą strukturą
• [SPARK-41498] [SC-125343]Przywróć „Propagowanie metadanych przez Union”
• [SPARK-42960] [SC-129010] [CONNECT] [SS] Dodanie API await_termination() i exception() dla zapytań przesyłanych strumieniowo w języku Python
• [SPARK-42552] [SC-128824][sql] Popraw strategię analizowania dwuetapowego analizatora antlr
• [SPARK-43207] [SC-128937][connect] Dodaj funkcje pomocnicze do wyodrębniania wartości z wyrażenia literału
• [SPARK-43186] [SC-128841][sql][HIVE] Usuń obejście dla FileSinkDesc
• [SPARK-43107] [SC-128533][sql] Koalescencja kubełków w sprzężeniu zastosowanym po stronie strumienia sprzężenia rozgłoszeniowego
• [SPARK-43195] [SC-128922][core] Usuń niepotrzebną otokę serializowalną w narzędziu HadoopFSUtils
• [SPARK-43137] [SC-128828][sql] Ulepsz ArrayInsert, jeśli pozycja jest składana i dodatnia.
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith zewnętrzne sprzężenie powinno zwrócić wartość null dla niedopasowanego wiersza
• [SPARK-43042] [SC-128602] [SS] [Połącz] Dodanie obsługi metody table() API dla DataStreamReader
• [SPARK-43153] [SC-128753][connect] Pomiń wykonywanie obliczeń w Spark, gdy DataFrame jest lokalny
• [SPARK-43064] [SC-128496][sql] Karta SQL w interfejsie wiersza polecenia Spark SQL powinna wyświetlać każdą instrukcję SQL tylko raz
• [SPARK-43126] [SC-128447][sql] Oznacz dwa wyrażenia UDF hive jako stanowe
• [SPARK-43111] [SC-128750][ps][CONNECT][python] Połącz zagnieżdżone instrukcje if w jedną instrukcję if
• [SPARK-43113] [SC-128749][sql] Ocena zmiennych po stronie strumienia podczas generowania kodu dla warunku powiązanego
• [SPARK-42895] [SC-127258][connect] Ulepsz komunikaty o błędach dla zatrzymanych sesji Spark
• [SPARK-42884] [SC-126662][connect] Dodaj integrację REPL Ammonite
• [SPARK-43168] [SC-128674][sql] Usuń metodę Get PhysicalDataType z klasy Datatype
• [SPARK-43121] [SC-128455][sql] Użyj BytesWritable.copyBytes zamiast ręcznego kopiowania w elemektorach HiveInspectors
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog utrzymuje metadane Char/Varchar po stronie odczytu
• [SPARK-43050] [SC-128550][sql] Poprawa wyrażeń agregujących poprzez zastąpienie funkcji grupowania
• [SPARK-43095] [SC-128549][sql] Unikaj sytuacji, gdy idempotencja strategii Once jest naruszona dla partii: Infer Filters
• [SPARK-43130] [SC-128597][sql] Move InternalType to PhysicalDataType
• [SPARK-43105] [SC-128456][connect] Skracanie bajtów i ciągów w wiadomości proto
• [SPARK-43099] [SC-128596][sql] Użyj getName zamiast getCanonicalName, aby uzyskać nazwę klasy konstruktora podczas rejestrowania funkcji udf w FunctionRegistry
• [SPARK-42994] [SC-128586][ml][CONNECT] Dystrybutor PyTorch obsługuje tryb lokalny
• [SPARK-42859] Cofnij “[SC-127935][connect][PS] Podstawowa obsługa interfejsu API biblioteki pandas w programie Spark Connect”
• [SPARK-43021] [SC-128472][sql] CoalesceBucketsInJoin nie działa podczas korzystania z AQE
• [SPARK-43125] [SC-128477][connect] Poprawka: Connect Server nie może obsłużyć wyjątku z wiadomością null
• [SPARK-43147] [SC-128594] poprawka flake8 lint dla kontroli lokalnej
• [SPARK-43031] [SC-128360] [SS] [Connect] Włączanie testu jednostkowego i doctest dla przesyłania strumieniowego
• [SPARK-43039] [LC-67] Obsługa pól niestandardowych w kolumnie _metadata źródła pliku.
• [SPARK-43120] [SC-128407][ss] Dodawanie obsługi śledzenia przypiętych bloków pamięci dla magazynu stanów bazy danych RocksDB
• [SPARK-43110] [SC-128381][sql] Move asIntegral to PhysicalDataType
• [SPARK-43118] [SC-128398][ss] Usuń niepotrzebną asercję dla elementu UninterruptibleThread w KafkaMicroBatchStream
• [SPARK-43055] [SC-128331][connect][PYTHON] Obsługa zduplikowanych nazw pól zagnieżdżonych
• [SPARK-42437] [SC-128339][python][CONNECT] PySpark catalog.cacheTable umożliwi określenie poziomu magazynu
• [SPARK-42985] [SC-128332][connect][PYTHON] Napraw createDataFrame, aby przestrzegał konfiguracji SQL
• [SPARK-39696] [SC-127830][core] Naprawa wyścigu danych w dostępie do TaskMetrics.externalAccums
• [SPARK-43103] [SC-128335][sql] Przenoszenie Integral do PhysicalDataType
• [SPARK-42741] [SC-125547][sql] Nie rozwijaj rzutów w porównaniu binarnym, jeśli literał to null
• [SPARK-43057] [SC-127948][connect][PYTHON] Migrowanie błędów kolumn programu Spark Connect do klasy błędów
• [SPARK-42859] [SC-127935][connect][PS] Podstawowa obsługa API pandas w Spark Connect
• [SPARK-43013] [SC-127773][python] Migrowanie ValueError z ramki danych do PySparkValueError.
• [SPARK-43089] [SC-128051][connect] Redact — ciąg debugowania w interfejsie użytkownika
• [SPARK-43028] [SC-128070][sql] Dodaj klasę błędów SQL_CONF_NOT_FOUND
• [SPARK-42999] [SC-127842][connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] Dodaj test dla dropDuplicates w JavaDatasetSuite
• [SPARK-43075] [SC-127939][connect] Zmień gRPC na grpcio, gdy nie jest zainstalowany.
• [SPARK-42953] [SC-127809][connect] Typed filter, map, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][sql] Obsługa przekształcenia typu daty do typu znacznika czasu
• [SPARK-42931] [SC-127933][ss] Wprowadzić dropDuplicatesWithinWatermark
• [SPARK-43073] [SC-127943][connect] Dodawanie stałych typów danych proto
• [SPARK-43077] [SC-128050][sql] Ulepszanie komunikatu o błędzie UNRECOGNIZED_SQL_TYPE
• [SPARK-42951] [SC-128030][ss][Connect] API DataStreamReader
• [SPARK-43049] [SC-127846][sql] Użyj CLOB zamiast VARCHAR(255) dla parametru StringType dla Oracle JDBC
• [SPARK-43018] [SC-127762][sql] Poprawka błędu dla poleceń INSERT z literałami znacznika czasu
• [SPARK-42855] [SC-127722][sql] Użyj kontroli obecności wartości null w czasie wykonywania w TableOutputResolver
• [SPARK-43030] [SC-127847][sql] Usuwanie duplikatów relacji z kolumnami metadanych
• [SPARK-42993] [SC-127829][ml][CONNECT] Zgodność dystrybutora PyTorch z programem Spark Connect
• [SPARK-43058] [SC-128072][sql] Przenieś wartości liczbowe i ułamkowe na PhysicalDataType
• [SPARK-43056] [SC-127946][ss] Zatwierdzenie magazynu stanów bazy danych RocksDB powinno kontynuować pracę w tle tylko wtedy, gdy została wstrzymana
• [SPARK-43059] [SC-127947][connect][PYTHON] Migruj TypeError z DataFrame(Reader|Pisarz) do klasy błędów
• [SPARK-43071] [SC-128018][sql] Support SELECT DEFAULT with ORDER BY, LIMIT, OFFSET for INSERT source relation (Obsługa domyślnej ORDER BY, OFFSET dla relacji źródła INSERT)
• [SPARK-43061] [SC-127956][core][SQL] Wprowadzenie PartitionEvaluator do wykonywania operatora SQL
• [SPARK-43067] [SC-127938][ss] Popraw lokalizację pliku zasobów klasy błędów w łączniku Kafka
• [SPARK-43019] [SC-127844][sql] Przenoszenie kolejności do parametru PhysicalDataType
• [SPARK-43010] [SC-127759][python] Przeniesienie błędów kolumn do klasy błędów
• [SPARK-42840] [SC-127782][sql] Zmień błąd _LEGACY_ERROR_TEMP_2004 na błąd wewnętrzny
• [SPARK-43041] [SC-127765][sql] Przywrócenie konstruktorów wyjątków dla zgodności w interfejsie API łącznika
• [SPARK-42939] [SC-127761][ss][CONNECT] Core streaming Python API for Spark Connect
• [SPARK-42844] [SC-127766][sql] Zaktualizować klasę błędów _LEGACY_ERROR_TEMP_2008 do INVALID_URL
• [SPARK-42316] [SC-127720][sql] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2044
• [SPARK-42995] [SC-127723][connect][PYTHON] Migracja błędów w ramce danych Spark Connect do klasy błędów
• [SPARK-42983] [SC-127717][connect][PYTHON] Poprawka funkcji createDataFrame do prawidłowego obsługi tablic numpy 0-wymiarowych
• [SPARK-42955] [SC-127476][sql] Pomijaj klasyfikowanie wyjątku i obwij AnalizowaniemWyjątek dla SparkThrowable
• [SPARK-42949] [SC-127255][sql] Uproszczenie kodu dla NAAJ
• [SPARK-43011] [SC-127577][sql] array_insert powinien zakończyć się niepowodzeniem przy indeksie 0
• [SPARK-42974] [SC-127487][core] Przywróć Utils.createTempDir, aby używać ShutdownHookManager i oczyść metodę JavaUtils.createTempDir.
• [SPARK-42964] [SC-127585][sql] PosgresDialect "42P07" oznacza również, że tabela już istnieje
• [SPARK-42978] [SC-127351][sql] Derby&PG: RENAME nie może kwalifikować nowej nazwy tabeli z nazwą schematu
• [SPARK-37980] [SC-127668][sql] Access row_index za pośrednictwem _metadata, jeśli jest to możliwe w testach
• [SPARK-42655] [SC-127591][sql] Niepoprawny niejednoznaczny błąd odwołania do kolumny
• [SPARK-43009] [SC-127596][sql] Sparametryzowane sql() ze stałymi Any
• [SPARK-43026] [SC-127590][sql] Stosowanie AQE z pamięcią podręczną tabel innych niż exchange
• [SPARK-42963] [SC-127576][sql] Rozszerzanie rozszerzeń sparkSessionExtensions w celu wstrzykiwania reguł do optymalizatora etapu zapytań AQE
• [SPARK-42918] [SC-127357] Uogólnij obsługę atrybutów metadanych w fileSourceStrategy
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Dodaj obsługę Catalog
• [SPARK-42997] [SC-127535][sql] TableOutputResolver musi używać poprawnych ścieżek kolumn w komunikatach o błędach dla tablic i map
• pl-PL: [SPARK-43006] [SC-127486][pyspark] Naprawiono błąd literowy w StorageLevel eq()
• [SPARK-43005] [SC-127485][pyspark] Poprawiono błąd w pyspark/pandas/config.py
• [SPARK-43004] [SC-127457][core] Poprawka literówki w pliku ResourceRequest.equals()
• [SPARK-42907] [SC-126984][connect][PYTHON] Implementowanie funkcji Avro
• [SPARK-42979] [SC-127272][sql] Definiowanie konstruktorów literałów jako słowa kluczowe
• [SPARK-42946] [SC-127252][sql] Redact poufne dane, które są zagnieżdżone przez podstawienie wartości zmiennych
• [SPARK-42952] [SC-127260][sql] Uproszczenie parametru reguły analizatora PreprocessTableCreation i DataSourceAnalysis
• [SPARK-42683] [LC-75] Automatyczna zmiana nazwy kolumn metadanych powodujących konflikt
• [SPARK-42853] [SC-126101][kontynuacja] Rozwiązywanie konfliktów
• [SPARK-42929] [SC-126748][connect] umożliwić wsparcie "is_barrier" w mapInPandas / mapInArrow
• [SPARK-42968] [SC-127271][ss] Dodaj opcję pomijania koordynatora zatwierdzania w ramach interfejsu API StreamingWrite dla źródeł/ujść DSv2
• [SPARK-42954] [SC-127261][python][CONNECT] Dodaj YearMonthIntervalType do klienta PySpark i Spark Connect Python
• [SPARK-41359] [SC-127256][sql] Użyj PhysicalDataType zamiast DataType w UnsafeRow
• [SPARK-42873] [SC-127262][sql] Definiowanie typów spark SQL jako słów kluczowych
• [SPARK-42808] [SC-126302][core] Unikaj uzyskiwania dostępnych procesorów za każdym razem w MapOutputTrackerMaster#getStatistics
• [SPARK-42937] [SC-126880][sql] PlanSubqueries należy ustawić InSubqueryExec#shouldBroadcast na true
• [SPARK-42896] [SC-126729][sql][PYTHON] Umożliwić obsługę wykonywania w trybie bariery mapInPandas / mapInArrow
• [SPARK-42874] [SC-126442][sql] Włączanie nowej złotej struktury testów plików na potrzeby analizy wszystkich plików wejściowych
• [SPARK-42922] [SC-126850][sql] Przejście z Random na SecureRandom
• [SPARK-42753] [SC-126369] Ponowne użycie Exchange odwołuje się do nieistniejących węzłów
• [SPARK-40822] [SC-126274][sql] Stabilne aliasy kolumn pochodnych
• [SPARK-42908] [SC-126856][python] Podnieś RuntimeError, gdy SparkContext jest wymagany, ale niezainicjalizowany
• [SPARK-42779] [SC-126042][sql] Pozwól na zapisy w wersji 2 na wskazanie zalecanego rozmiaru partycji mieszania.
• [SPARK-42914] [SC-126727][python] Ponowne używanie transformUnregisteredFunction dla DistributedSequenceID.
• [SPARK-42878] [SC-126882][connect] Interfejs API tabeli w ramki danych może również akceptować opcje
• [SPARK-42927] [SC-126883][core] Zmień zakres dostępu o.a.spark.util.Iterators#size na private[util]
• [SPARK-42943] [SC-126879][sql] Użyj wartości LONGTEXT zamiast TEXT dla parametru StringType w celu uzyskania efektywnej długości
• [SPARK-37677] [SC-126855][core] Rozpakuj może zachować uprawnienia do plików
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] Implement CoGrouped Map API
• [SPARK-41876] [SC-126849][connect][PYTHON] Zaimplementować DataFrame.toLocalIterator
• [SPARK-42930] [SC-126761][core][SQL] Zmień zakres dostępu ProtobufSerDe powiązanych implementacji na private[protobuf]
• [SPARK-42819] [SC-125879][ss] Dodaj obsługę ustawiania max_write_buffer_number i write_buffer_size dla bazy danych RocksDB używanej w strumieniu
• [SPARK-42924] [SC-126737][sql][CONNECT][python] Wyjaśnienie komentarza sparametryzowanych args SQL
• [SPARK-42748] [SC-126455][connect] Zarządzanie artefaktami po stronie serwera
• [SPARK-42816] [SC-126365][connect] Obsługa maksymalnego rozmiaru komunikatu do 128 MB
• [SPARK-42850] [SC-126109][sql] Usuń zduplikowane reguły CombineFilters w optymalizatorze
• [SPARK-42662] [SC-126355][connect][PS] Dodaj komunikat proto dla interfejsu API pandas na domyślny indeks platformy Spark
• [SPARK-42720] [SC-126136][ps][SQL] Używa wyrażenia dla domyślnego indeksu sekwencji rozproszonej zamiast planu
• [SPARK-42790] [SC-126174][sql] Abstrahowanie wykluczonej metody w celu lepszego testowania testów JDBC na Dockerze.
• [SPARK-42900] [SC-126473][connect][PYTHON] Poprawka createDataFrame w celu poszanowania nazw wnioskowania i kolumn
• [SPARK-42917] [SC-126657][sql] Poprawiono getUpdateColumnNullabilityQuery dla DerbyDialect
• [SPARK-42684] [SC-125157][sql] katalog v2 nie powinien zezwalać na ustawienie domyślnej wartości kolumny domyślnie
• [SPARK-42861] [SC-126635][sql] Użyj private[sql] zamiast protected[sql], aby uniknąć generowania dokumentacji API
• [SPARK-42920] [SC-126728][connect][PYTHON] Włączanie testów dla funkcji zdefiniowanej przez użytkownika za pomocą funkcji UDT
• [SPARK-42791] [SC-126617][sql] Tworzenie nowej złotej struktury testów plików na potrzeby analizy
• [SPARK-42911] [SC-126652][python] Wprowadzenie bardziej podstawowych wyjątków
• [SPARK-42904] [SC-126634][sql] Obsługa char/varchar dla katalogu JDBC
• [SPARK-42901] [SC-126459][connect][PYTHON] Przenieś StorageLevel do oddzielnego pliku, aby uniknąć potencjalnych file recursively imports
• [SPARK-42894] [SC-126451][connect] Obsługa cache/persist/unpersist/storageLevel dla klienta jvm platformy Spark
• [SPARK-42792] [SC-125852][ss] Dodawanie obsługi WRITE_FLUSH_BYTES dla bazy danych RocksDB używanej w operatorach stanowych przesyłania strumieniowego
• [SPARK-41233] [SC-126441][connect][PYTHON] Dodaj array_prepend do klienta Spark Connect w języku Python
• [SPARK-42681] [SC-125149][sql] Złagodzenie ograniczeń porządkowania dla ALTER TABLE DODAJ|ZASTĄP deskryptor kolumn
• [SPARK-42889] [SC-126367][connect][PYTHON] Zaimplementować pamięć podręczną, utrwalanie, odpersistowanie i poziom przechowywania
• [SPARK-42824] [SC-125985][connect][PYTHON] Podaj jasny komunikat o błędzie dla nieobsługiwanych atrybutów JVM
• [SPARK-42340] [SC-126131][connect][PYTHON] Implementowanie interfejsu API dla grupowego mapowania
• [SPARK-42892] [SC-126454][sql] Przenieś metody sameType i odpowiednie metody z klasy DataType
• [SPARK-42827] [SC-126126][connect] Obsługa functions#array_prepend dla klienta scala connect
• [SPARK-42823] [SC-125987][sql] konsola spark-sql obsługuje przestrzenie nazw wieloczęściowych podczas inicjalizacji
• [SPARK-42817] [SC-125960][core] Rejestrowanie nazwy usługi shuffle jeden raz w ramach ApplicationMaster
• [SPARK-42786] [SC-126438][connect] Typed Select
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] Implementowanie funkcji ml {array_to_vector, vector_to_array}
• [SPARK-42052] [SC-126439][sql] Obsługa programu Codegen dla usługi HiveSimpleUDF
• [SPARK-41233] [SC-126110][sql][PYTHON] Dodawanie funkcji array_prepend
• [SPARK-42864] [SC-126268][ml][3.4] Uczynić IsotonicRegression.PointsAccumulator prywatnym
• [SPARK-42876] [SC-126281][sql] Parametr physicalDataType typu danych powinien być prywatny[sql]
• [SPARK-42101] [SC-125437][sql] Włączenie obsługi AQE dla InMemoryTableScanExec
• [SPARK-41290] [SC-124030][sql] Obsługa wyrażeń WYGENEROWANYCH ZAWSZE JAKO dla kolumn w instrukcjach create/replace tabeli
• [SPARK-42870] [SC-126220][connect] Przenieś toCatalystValue do connect-common
• [SPARK-42247] [SC-126107][connect][PYTHON] Napraw UserDefinedFunction, aby zawierała returnType
• [SPARK-42875] [SC-126258][connect][PYTHON] Poprawka toPandas w celu prawidłowej obsługi stref czasowych i typów map
• [SPARK-42757] [SC-125626][connect] Implement textFile for DataFrameReader
• [SPARK-42803] [SC-126081][core][SQL][ml] Użyj funkcji getParameterCount zamiast getParameterTypes.length
• [SPARK-42833] [SC-126043][sql] Refaktoryzacja applyExtensions w SparkSession
• [SPARK-41765] Cofnij “[SC-123550][sql] Wycofaj metryki zapisu w wersji 1...
• [SPARK-42848] [SC-126105][connect][PYTHON] Zaimplementuj DataFrame.registerTempTable
• [SPARK-42020] [SC-126103][connect][PYTHON] Wsparcie dla UserDefinedType w Spark Connect (Obsługa typu zdefiniowanego przez użytkownika w Spark Connect)
• [SPARK-42818] [SC-125861][connect][PYTHON] Implement DataFrameReader/Writer.jdbc
• [SPARK-42812] [SC-125867][connect] Dodaj client_type do komunikatu AddArtifactsRequest protobuf
• [SPARK-42772] [SC-125860][sql] Zmień domyślną wartość opcji JDBC dotyczących push down na true
• [SPARK-42771] [SC-125855][sql] Refaktoryzacja HiveGenericUDF
• [SPARK-25050] [SC-123839][sql] Avro: pisanie złożonych związków
• [SPARK-42765] [SC-125850][connect][PYTHON] Włącz importowanie pandas_udf z pyspark.sql.connect.functions
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation należy przestrzegać spark.shuffle.reduceLocality.enabled
• [SPARK-42480] [SC-125173][sql] Poprawa wydajności usuwania partycji
• [SPARK-42689] [SC-125195][core][SHUFFLE] Zezwalaj, aby ShuffleDriverComponent (Komponent sterujący) deklarował, czy dane mieszania są niezawodnie przechowywane
• [SPARK-42726] [SC-125279][connect][PYTHON] Wdrożyć DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] Wydziel metryki zapisu w1 do WriteFiles
• [SPARK-41171] [SC-124191][sql] Wywnioskować i wypchnąć limit przez operację okna, jeśli partitionSpec jest pusty
• [SPARK-42686] [SC-125292][core] Odroczenie formatowania komunikatów debugowania w menedżerze TaskMemoryManager
• [SPARK-42756] [SC-125443][connect][PYTHON] Funkcja pomocnika, aby przekonwertować literał proto na wartość w kliencie języka Python
• [SPARK-42793] [SC-125627][connect] moduł connect wymaga build_profile_flags
• [SPARK-42701] [SC-125192][sql] Dodawanie funkcji try_aes_decrypt()
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame nie działa ze schematem bez wartości null
• [SPARK-42733] [SC-125542][connect][Followup] Zapis bez ścieżki lub tabeli
• [SPARK-42777] [SC-125525][sql] Obsługa konwertowania statystyk wykazu TimestampNTZ na statystyki planu
• [SPARK-42770] [SC-125558][connect] Dodaj truncatedTo(ChronoUnit.MICROS), aby SQLImplicitsTestSuite w 17 codziennych testowych zadaniach ga języka Java
• [SPARK-42752] [SC-125550][pyspark][SQL] Tworzenie wyjątków PySpark do drukowania podczas inicjowania
• pl-PL: [SPARK-42732] [SC-125544][pyspark][CONNECT] Obsługa metody getActiveSession dla sesji połączenia Spark
• [SPARK-42755] [SC-125442][connect] Konwersja wartości literału współczynnika na connect-common
• [SPARK-42747] [SC-125399][ml] Poprawka nieprawidłowego stanu wewnętrznego LoR i AFT
• [SPARK-42740] [SC-125439][sql] Naprawić błąd, który powoduje, że wypychanie offsetu lub stronicowanie jest nieprawidłowe dla niektórych wbudowanych dialektów
• [SPARK-42745] [SC-125332][sql] Ulepszona aliasAwareOutputExpression współpracuje z DSv2
• [SPARK-42743] [SC-125330][sql] Wsparcie analizy kolumn TimestampNTZ
• [SPARK-42721] [SC-125371][connect] Przechwytywanie rejestrowania RPC
• [SPARK-42691] [SC-125397][connect][PYTHON] Implement Dataset.semanticHash
• [SPARK-42688] [SC-124922][connect] Zmień nazwę pola client_id w żądaniu Connect Proto na session_id
• [SPARK-42310] [SC-122792][sql] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1289
• [SPARK-42685] [SC-125339][core] Optymalizowanie procedur Utils.bytesToString
• [SPARK-42725] [SC-125296][connect][PYTHON] Umożliwić LiteralExpression obsługę parametrów tablicy
• [SPARK-42702] [SC-125293][spark-42623][SQL] Obsługa sparametryzowanego zapytania w podzapytaniu i CTE
• [SPARK-42697] [SC-125189][webui] Poprawka /api/v1/applications w celu zwrócenia całkowitego czasu pracy zamiast 0 dla pola na czas trwania
• [SPARK-42733] [SC-125278][connect][PYTHON] Fix DataFrameWriter.save, aby pracować bez parametru ścieżki
• [SPARK-42376] [SC-124928][ss] Wprowadzenie propagacji znaku wodnego między operatorami
• [SPARK-42710] [SC-125205][connect][PYTHON] Zmień nazwę elementu FrameMap proto na MapPartitions
• [SPARK-37099] [SC-123542][sql] Wprowadzenie limitu grupy dla filtru opartego na rankingu w celu zoptymalizowania obliczeń top-k
• [SPARK-42630] [SC-125207][connect][PYTHON] Wprowadzenie UnparsedDataType i opóźnienie parsowania ciągu DDL do momentu udostępnienia SparkConnectClient
• [SPARK-42690] [SC-125193][connect] Implementowanie funkcji analizowania CSV/JSON dla klienta Scala
• [SPARK-42709] [SC-125172][python] Usuń założenie, że __file__ jest dostępny
• [SPARK-42318] [SC-122648][spark-42319][SQL] Przypisz nazwę do LEGACY_ERROR_TEMP(2123|2125)
• [SPARK-42723] [SC-125183][sql] Obsługuj typ danych parsera json "timestamp_ltz" jako TimestampType
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema() nie powinien buforować schematu
• [SPARK-42643] [SC-125152][connect][PYTHON] Rejestrowanie funkcji języka Java (agregacja) zdefiniowanych przez użytkownika
• [SPARK-42656] [SC-125177][connect][Kontynuacja] Napraw skrypt spark-connect
• [SPARK-41516] [SC-123899] [SQL] Zezwalaj dialektom jdbc na zastępowanie zapytania użytego do utworzenia tabeli
• [SPARK-41725] [SC-124396][connect] Szybkie wykonywanie DF.sql()
• [SPARK-42687] [SC-124896][ss] Lepszy komunikat o błędzie dla nieobsługiwanej operacji pivot w strumieniu
• [SPARK-42676] [SC-124809][ss] Zapisywanie tymczasowych punktów kontrolnych dla zapytań przesyłanych strumieniowo do lokalnego systemu plików, nawet jeśli domyślne usługi FS są ustawione inaczej
• [SPARK-42303] [SC-122644][sql] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1326
• [SPARK-42553] [SC-124560][sql] Upewnij się, że co najmniej jedna jednostka czasowa po "interwale"
• [SPARK-42649] [SC-124576][core] Usuń standardowy nagłówek licencji Apache z plików źródłowych firm trzecich
• [SPARK-42611] [SC-124395][sql] Wstaw sprawdzanie długości znaków/varchar dla pól wewnętrznych podczas rozwiązywania
• [SPARK-42419] [SC-124019][connect][PYTHON] Migrate into error framework for Spark Connect Column API (Migrowanie do platformy błędów dla interfejsu API kolumn programu Spark Connect).
• [SPARK-42637] [SC-124522][connect] Add SparkSession.stop()
• [SPARK-42647] [SC-124647][python] Zmień alias dla przestarzałych i usuniętych typów numpy
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver zamknie tylko uruchomioną sesję hiveState
• [SPARK-42593] [SC-124405][ps] Przestarzałe & usunąć interfejsy API, które zostaną usunięte w bibliotece pandas 2.0.
• [SPARK-41870] [SC-124402][connect][PYTHON] Poprawka createDataFrame do obsługi zduplikowanych nazw kolumn
• [SPARK-42569] [SC-124379][connect] Zgłaszanie wyjątków dla nieobsługiwanego interfejsu API sesji
• [SPARK-42631] [SC-124526][connect] Obsługa rozszerzeń niestandardowych w kliencie Scala
• [SPARK-41868] [SC-124387][connect][PYTHON] Naprawiono createDataFrame w celu wsparcia dla okresów trwania
• [SPARK-42572] [SC-124171][sql][SS] Poprawa działania dla StateStoreProvider.validateStateRowFormat

Aktualizacje konserwacyjne

Sprawdź Aktualizacje konserwacyjne środowiska Databricks Runtime 13.1.

Środowisko systemu

• System operacyjny: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2023-02-10.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)