Databricks Runtime 13.2 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 13.2 obsługiwanym przez platformę Apache Spark 3.4.0.

Usługa Databricks wydała tę wersję w lipcu 2023 r.

Nowe funkcje i ulepszenia

• Punkt kontrolny dziennika zmian dla magazynu stanów bazy danych RocksDB
• Zwiększona niezawodność dla VACUUM z płytkim klonem w katalogu Unity.
• Obsługa funkcji UDF języka Python w języku SQL
• Delta Lake UniForm for Iceberg jest w publicznej wersji próbnej
• Dynamiczne klastrowanie Delta Lake jest w publicznej wersji wstępnej
• Obsługa archiwizacji w usłudze Azure Databricks
• Wsparcie klauzuli IDENTIFIER
• Obsługa Unity Catalog dla funkcji definiowanych przez użytkownika (UDF-y) w Pythonie i Pandas.
• Udostępnij schematy za pomocą Delta Sharing
• Poprawki błędów

Punkt kontrolny dziennika zmian dla magazynu stanów bazy danych RocksDB

Możesz włączyć punktowanie kontrolne zmian, aby zmniejszyć czas trwania punktu kontrolnego i opóźnienie od końca do końca dla stanowych obciążeń przesyłania strumieniowego ze strukturą. Usługa Databricks zaleca włączenie punktów kontrolnych dziennika zmian dla wszystkich zapytań stanowych przesyłania strumieniowego ze strukturą. Zobacz Włączanie punktu kontrolnego dziennika zmian.

Zwiększona niezawodność VACUUM dzięki płytkiemu klonowi w Katalogu Unity.

Gdy używasz tabel zarządzanych przez Unity Catalog jako źródła i celu dla płytkiej operacji klonowania, Unity Catalog zarządza podstawowymi plikami danych, aby zwiększyć niezawodność zarówno dla źródła, jak i celu operacji klonowania. Uruchomienie VACUUM na źródle płytkiego klonu nie powoduje uszkodzenia sklonowanej tabeli. Zobacz Vacuum and Unity Catalog płytkie klony.

Obsługa funkcji UDF języka Python w języku SQL

Teraz można deklarować funkcje zdefiniowane przez użytkownika w Pythonie w instrukcjach SQL CREATE FUNCTION w katalogu Unity. Zobacz funkcje zdefiniowane przez użytkownika (UDF) w Unity Catalog.

Delta Lake UniForm for Iceberg jest w publicznej wersji zapoznawczej

Format uniwersalny Delta Lake (UniForm) umożliwia korzystanie z tabel Delta przy użyciu klientów Iceberg. Zobacz Odczytywanie tabel delty przy użyciu klientów Iceberg.

Klasteryzacja płynna w Delta Lake jest teraz dostępna w publicznej wersji zapoznawczej.

Klastrowanie liquid Delta Lake zastępuje partycjonowanie tabel i ZORDER, aby uprościć decyzje dotyczące układu danych i zoptymalizować wydajność zapytań. Zobacz Użyj skumulowanego grupowania dla tabel Delta.

Obsługa archiwizacji w usłudze Azure Databricks

Obsługa archiwizacji w usłudze Azure Databricks wprowadza zestaw funkcji umożliwiających stosowanie zasad cyklu życia w chmurze w magazynie obiektów w chmurze zawierających Tabele Delta w celu przenoszenia plików do archiwalnych poziomów magazynowania. Zobacz Obsługa archiwizacji w usłudze Azure Databricks.

Obsługa klauzuli IDENTIFIER

Użyj IDENTIFIER(:mytable), aby bezpiecznie sparametryzować nazwy tabel, kolumn, funkcji i schematów w wielu instrukcjach SQL.

Obsługa katalogu Unity dla Python i Pandas User-Defined Functions (UDFs)

Na środowisku Databricks Runtime 13.2 lub nowszym funkcje zdefiniowane przez użytkownika (UDF) napisane w języku Python są dostępne na klastrach używających standardowego trybu dostępu (dawniej trybu dostępu współdzielonego) w obszarze roboczym z włączonym Unity Catalog. Obejmuje to funkcje UDF języka Python i biblioteki Pandas. Aby uzyskać szczegółowe informacje na temat funkcji zdefiniowanych przez użytkownika, zobacz Funkcje skalarne zdefiniowane przez użytkownika — Python.

Udostępnianie schematów za pomocą Delta Sharing

Środowisko Databricks Runtime 13.2 dodaje możliwość używania ALTER SHARE <share-name> ADD SCHEMA <schema-name> do udostępnienia całego schematu za pomocą Delta Sharing, zapewniając odbiorcy dostęp do wszystkich tabel i widoków w schemacie w momencie udostępnienia oraz do wszelkich tabel i widoków, które zostaną dodane do schematu w przyszłości. Zobacz Dodawanie schematów do udziału i ALTER SHARE.

Poprawki błędów

• Usunięto usterkę z czytnikiem JSON, w którym rekordy były analizowane w trybie PERMISSIVE, jeśli failOnUnknownFieldsmode została włączona. Rekordy są teraz odrzucane w trybie DROPMALFORMEDparser lub zapisywane do badRecordsPath, jeśli którąkolwiek z tych opcji ustawiono. FAILFAST zgłasza błąd, jeśli typ kolumny nie jest zgodny.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • nodeenv z wersji 1.7.0 do 1.8.0
• Uaktualnione biblioteki języka R:
• Uaktualnione biblioteki Java:
  • io.delta.delta-sharing-spark_2.12 z 0.6.7 do 0.7.0

Apache Spark

Środowisko Databricks Runtime 13.2 obejmuje platformę Apache Spark 3.4.0. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 13.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-42750] [SC-133452][DBRRM-273] Obsługa instrukcji "Insert By Name"
• [SPARK-43133] [SC-133728] Obsługa programu Scala Client DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][CONNECT][PS] Umożliwiać SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Poprawka (NullOps|NumOps).(eq|ne) dotycząca programu Spark Connect.
• [SPARK-44021] [SC-134109][SQL] Dodaj spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][SQL] Usuwanie __auto_generated_subquery_name z identyfikatorów w błędach
• [SPARK-43976] [SC-133375][CORE] Obsługa sytuacji, gdy zmodyfikowane konfiguracje nie występują w dziennikach zdarzeń
• [SPARK-32559] [SC-133992][SQL] Naprawa logiki przycinania nie obsługiwała poprawnie znaków kontrolek ASCII
• [SPARK-43421] [SC-132930][SS] Implementowanie punktów kontrolnych opartych na dziennikach zmian dla dostawcy magazynu stanów bazy danych RocksDB
• [SPARK-43594] [SC-133851][SQL] Dodawanie elementu LocalDateTime do dowolnegoToMicros
• [SPARK-43884] [SC-133867] Znaczniki parametrów w DDL
• [SPARK-43398] [SC-133894][CORE] Limit czasu funkcji wykonawczej powinien być maksymalnym limitem czasu bezczynności i limitu czasu rdd
• [SPARK-43610] [SC-133892][CONNECT][PS] Włącz InternalFrame.attach_distributed_column w programie Spark Connect.
• [SPARK-43971] [SC-133826][CONNECT][PYTHON] Obsługa funkcji createDataFrame języka Python w trybie strumieniowym
• [SPARK-44006] [SC-133652][CONNECT][PYTHON] Obsługa artefaktów pamięci podręcznej
• [SPARK-43790] [SC-133468][PYTHON][CONNECT][ML] Dodawanie copyFromLocalToFs interfejsu API
• [SPARK-43921] [SC-133461][PROTOBUF] Generowanie plików deskryptora Protobuf w czasie kompilacji
• [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] Implementowanie obsługi plików w pliku SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][PYTHON][SS][DROBNE] Poprawka typu postępu kwerendy strumieniowej w Python - wierszeNaSekundę
• [SPARK-43768] [SC-132398][PYTHON][CONNECT] Obsługa zarządzania zależnościami języka Python w programie Python Spark Connect
• [SPARK-43979] [13.X] Przywróć wartość "[SC-133456][SQL] CollectedMetrics powinna być traktowana jako taka sama dla samosprzężenia"
• [SPARK-42290] [SC-133696][SQL] Naprawienie problemu z niemożliwością zgłoszenia błędu OOM, gdy AQE jest włączone
• [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] Dodawanie funkcji matematycznych SQL do języków Scala i Python
• [SPARK-43747] [SC-132047][PYTHON][CONNECT] Wdrożenie obsługi pliku pyfile w SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Włączanie TimedeltaOps.(sub|rsub) za pomocą programu Spark Connect
• [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] Włącz test parzystości: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][SQL] Ulepszanie sugerowanych kandydatów do nierozwiązanego atrybutu
• [SPARK-43901] [SC-133454][SQL] Avro do obsługi niestandardowego typu dziesiętnego wspieranego przez long
• [SPARK-43267] [SC-133024][JDBC] Obsługa nieznanej kolumny zdefiniowanej przez użytkownika Postgres jako string w tablicy
• [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Dodawanie funkcji xpath_* do języków Scala i Python
• [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Dodawanie percentylu do interfejsu API języka Python i języka Scala
• [SPARK-43717] [SC-133455][CONNECT] Operacja redukcji klienta Scala nie może obsłużyć partycji null dla prymitywnych danych wejściowych w Scala
• [SPARK-43984] [SC-133469][SQL][PROTOBUF] Zmiana w celu użycia foreach , gdy map nie generuje wyników
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] Zaimplementować SparkSession.addArtifact(s) w kliencie Python
• [SPARK-44002] [SC-133606][CONNECT] Naprawianie procedury obsługi stanu artefaktów
• [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Dodawanie funkcji agregacji regresji liniowej do języków Scala i Python
• [SPARK-43920] [SC-133614][SQL][CONNECT] Tworzenie modułu sql/api
• [SPARK-43979] [SC-133456][SQL] CollectedMetrics powinny być traktowane jako identyczne dla operacji self-join
• [SPARK-43977] [SC-133373][CONNECT] Napraw nieoczekiwany wynik sprawdzania dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: naprawa błędu wyliczeń jako liczb całkowitych
• [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Dodawanie funkcji unix_* do języków Scala i Python
• [SPARK-43807] [SC-132545][SQL] Migracja _LEGACY_ERROR_TEMP_1269 do PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][SQL] Poprawka błędu, który powoduje, że SQL kolumny nie jest wyświetlany dla Percentyla[Cont|Disc]
• [SPARK-42626] [SC-133248][CONNECT] Dodaj iterator destrukcyjny dla SparkResult
• [SPARK-43333] [SC-132898][SQL] Pozwól Avro konwertować typ łączony na SQL z nazwą pola stabilną względem typu
• [SPARK-43953] [SC-133134][CONNECT] Usuń pass
• [SPARK-43970] [SC-133403][PYTHON][CONNECT] Ukryj nieobsługiwane metody ramki danych przed automatycznym uzupełnianiem
• [SPARK-43973] [SC-133272][SS][Interfejs użytkownika] Interfejs użytkownika dla Structured Streaming powinien prawidłowo wyświetlać nieudane zapytania
• [SPARK-42577] [SC-125445][CORE] Dodaj ograniczenie maksymalnej liczby prób dla etapów, aby uniknąć potencjalnego nieskończonego ponawiania próby
• [SPARK-43841] [SC-132699][SQL] Obsługa atrybutów kandydatów bez prefiksu w StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][CORE][Kontynuacja]Zmodyfikować obsługę konfiguracji spark.rdd.cache.visibilityTracking.enabled do wersji 3.5.0
• [SPARK-37942] [SC-130983][CORE][SQL] Migrowanie klas błędów
• [SPARK-43898] [SC-132926][CORE] Automatycznie zarejestruj immutable.ArraySeq$ofRef w KryoSerializer dla Scali 2.13
• [SPARK-43775] [SC-132891][SQL] DataSource V2: Zezwalaj na reprezentowanie aktualizacji jako usuwania i wstawiania
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] Obsługa elementu UserDefinedType w elemencie createDataFrame z ramki danych pandas i toPandas
• [SPARK-43418] [SC-132753][SC-130685][CONNECT] Dodawanie elementu SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][SQL] Przekonwertuj _LEGACY_ERROR_TEMP_0036 na INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE] Naprawa niedoliczenia akumulatora w przypadku ponownego uruchomienia zadania z pamięcią podręczną RDD.
• [SPARK-43892] [SC-133006][PYTHON] Dodaj obsługę autouzupełniania dla df[|] w pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Dodanie opcjonalnego wzorca dla Catalog.listDatabases
• [SPARK-43205] [SC-132623] klauzula IDENTIFIER
• [SPARK-43545] [SC-132378][SQL][PYTHON] Obsługa typu zagnieżdżonego znacznika czasu
• [SPARK-43949] [SC-133048][PYTHON] Uaktualnianie pakietu cloudpickle do wersji 2.2.1
• [SPARK-43760] [SC-132809][SQL] Nullowalność wyników podzapytania skalarnych
• [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Poprawka TimedeltaOps dotycząca programu Spark Connect
• [SPARK-43895] [SC-132897][CONNECT][GO] Przygotuj ścieżkę pakietu go
• [SPARK-43894] [SC-132892][PYTHON] Naprawiono usterkę w pliku df.cache()
• [SPARK-43509] [SC-131625][CONNECT] Obsługa tworzenia wielu sesji programu Spark Connect
• [SPARK-43882] [SC-132888][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Poprawka NumOps dotycząca programu Spark Connect
• [SPARK-43604] [SC-132165][SQL] Refaktoryzacja INVALID_SQL_SYNTAX w celu uniknięcia osadzania tekstu błędu w kodzie źródłowym
• [SPARK-43859] [SC-132883][SQL] Zastąp metodę toString w LateralColumnAliasReference
• [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Dodać opcjonalny wzorzec dla Catalog.listCatalogs
• [SPARK-43353] Cofnij "[SC-132734][PYTHON] Migracja pozostałych błędów sesji do klasy błędów"
• [SPARK-43375] [SC-130309][CONNECT] Ulepszanie komunikatów o błędach dla INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][CONNECT] Usuń nadmiarowe toSeq z SparkConnectPlanner dla Scala 2.13
• [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Poprawka DatetimeOps dotycząca programu Spark Connect
• [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Poprawka BinaryOps dotycząca programu Spark Connect
• [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Poprawka NullOps dotycząca programu Spark Connect
• [SPARK-43782] [SC-132885][CORE] Obsługa konfiguracji poziomu logowania za pomocą statycznej konfiguracji platformy Spark
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python Client DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][SQL] Dodaje obsługę AES IV i AAD do ExpressionImplUtils
• [SPARK-43795] [SC-132532][CONNECT] Usuwanie parametrów nieużytowanych dla sparkConnectPlanner
• [SPARK-42317] [SC-129194][SQL] Przypisz nazwę do _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][SQL] Wykorzystanie klas błędów w błędach kompilacji ResolveDefaultColumns
• [SPARK-43749] [SC-132423][SPARK-43750][SQL] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_240[4–5]
• [SPARK-43576] [SC-132533][CORE] Usuń nieużywane deklaracje z modułu Core
• [SPARK-43314] [SC-129970][CONNECT][PYTHON] Migrowanie błędów klienta programu Spark Connect do klasy błędów
• [SPARK-43799] [SC-132715][PYTHON] Dodaj opcję binarną deskryptora do interfejsu API PySpark Protobuf
• [SPARK-43837] [SC-132678][SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_103[1–2]
• [SPARK-43862] [SC-132750][SQL] Nadać nazwę do klasy błędów LEGACY_ERROR_TEMP(1254 oraz 1315)
• [SPARK-43886] [SC-132808][PYTHON] Akceptowanie krotki generycznej jako wskazówek dotyczących funkcji UDF Pandas
• [SPARK-43530] [SC-132653][PROTOBUF] Odczytywanie pliku deskryptora tylko raz
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_241[1–7]
• [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Poprawka CategoricalOps dotycząca programu Spark Connect
• [SPARK-39979] [SC-132685][SQL] Dodaj opcję używania dużych wektorów szerokości zmiennych dla operacji UDF strzałki
• [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Poprawka StringOps dotycząca programu Spark Connect
• [SPARK-43353] [SC-132734][PYTHON] Migrowanie pozostałych błędów sesji do klasy błędów
• [SPARK-43815] [SC-132781][SQL] Dodawanie to_varchar aliasu dla to_char
• [SPARK-43543] [13.x][SC-131839][PYTHON] Naprawiono zachowanie zagnieżdżonego typu "MapType" w funkcji Pandas UDF
• [SPARK-43361] [SC-131789][PROTOBUF] aktualizacja dokumentacji dotyczącej błędów związanych z serializacją wyliczeń
• [SPARK-43740] [SC-132035][PYTHON][CONNECT] Ukryj nieobsługiwane session metody przed automatycznym uzupełnianiem
• [SPARK-43022] [SC-131681][CONNECT] Obsługa funkcji protobuf dla klienta Scala
• [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] Migrowanie NotImplementedError do PySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL] Włącz rekursję ogona wszędzie tam, gdzie jest to możliwe
• [SPARK-42421] [SC-132695][CORE] Użyj narzędzi, aby uzyskać przełącznik dynamicznej alokacji używanej w lokalnym punkcie kontrolnym
• [SPARK-43590] [SC-132012][CONNECT] Zmodyfikuj connect-jvm-client-mima-check, aby obsługiwać sprawdzanie mima z modułem protobuf
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS] Przenieść pozostałe błędy z ramki danych (odczytu|zapisu) do klasy błędów
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: zezwalaj na serializację i deserializację z wyliczeniami jako liczby całkowite.
• [SPARK-43789] [SC-132397][R] Domyślnie używa parametru "spark.sql.execution.arrow.maxRecordsPerBatch" w funkcji createDataFrame języka R ze strzałką
• [SPARK-43596] [SC-126994][SQL] Obsługa predykatu IsNull w rewriteDomainJoins
• [SPARK-42249] [SC-122565][SQL] Poprawianie linku HTML do dokumentacji w komunikatach o błędach.
• [SPARK-43128] [SC-131628][CONNECT][SS] Spraw, aby recentProgress i lastProgress zwracały StreamingQueryProgress zgodnie z natywnym interfejsem API języka Scala
• [SPARK-43387] [SC-130448][SQL] Podaj czytelny dla człowieka kod błędu dla _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [Interfejs użytkownika] Napraw błąd podczas serializacji ExecutorPeakMetricsDistributions w odpowiedzi interfejsu API
• [SPARK-42958] [SC-131475][CONNECT] Refaktoryzacja connect-jvm-client-mima-check w celu obsługi sprawdzania mima za pomocą modułu avro
• [SPARK-43591] [SC-131977][SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][CORE] Używanie klas błędów w org.apache.spark.io
• [SPARK-43759] [SC-132189][SQL][PYTHON] Uwidaczniaj typ TimestampNTZType w pyspark.sql.types
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] Przypisywanie nazw do klasy błędów _LEGACY_ERROR_TEMP_240[1–3]
• [SPARK-43719] [SC-132016][WEBUI] Obsługa missing row.excludedInStages pola
• [SPARK-42956] [SC-127257][CONNECT] Obsługa funkcji avro dla klienta Scala
• [SPARK-43487] [SC-131975][SQL] Rozwiązano problem z komunikatem o błędzie zagnieżdżonym CTE
• [SPARK-43265] [SC-129653] Przenoszenie struktury błędów do wspólnego modułu narzędzi
• [SPARK-40912] [SC-131547][CORE]Nadwyżki związane z wyjątkami w KryoDeserializationStream
• [SPARK-43583] [SC-131976][CORE] uzyskaj MergedBlockedMetaReqHandler od delegata zamiast instancji SaslRpcHandler
• [SPARK-42996] [SC-131997][CONNECT][PS][ML] Utwórz i przypisz odpowiednie bilety JIRA dla wszystkich testów zakończonych niepowodzeniem.
• [SPARK-38469] [SC-131425][CORE] Używanie klasy błędu w pakiecie org.apache.spark.network
• [SPARK-43718] [SC-132014][SQL] Poprawnie ustaw wartość null dla kluczy w sprzężeniach USING
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop powinna zaakceptować pustą kolumnę
• [SPARK-43743] [SC-132038][SQL] Port HIVE-12188 (DoAs nie działa prawidłowo w HS2 zabezpieczonym bez Kerberosa)
• [SPARK-43598] [SC-131929][SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][CORE] Naprawiono wyjątek ClassNotFoundException podczas migracji
• [SPARK-43360] [SC-131526][SS][CONNECT] Scala client StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE] Używanie klas błędów w pliku org.apache.spark.memory
• [SPARK-43345] [SC-131790][SPARK-43346][SQL] Zmień nazwę klas błędów LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][SQL] Obsługa skrótów wyrażeń dla eliminacji podwyrażeń
• [SPARK-38462] [SC-130449][CORE] Dodaj klasę błędów INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][SQL] Poprawka cannotBroadcastTableOverMaxTableBytesError do użycia bytesToString
• [SPARK-43539] [SC-131830][SQL] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][SQL] Sklonuj buforowany plan InMemoryRelation, aby uniemożliwić klonowanemu planowi odwoływanie się do tych samych obiektów
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] Rozszerzanie INTERNAL_ERROR o kategorie i dodawanie INTERNAL_ERROR_BROADCAST klasy błędów
• [SPARK-43281] [SC-131370][SQL] Poprawka dotycząca problemu, gdzie współbieżny proces zapisu nie aktualizuje metryk plików
• [SPARK-43383] [SC-130660][SQL] Dodawanie rowCount statystyk do relacji lokalnej
• [SPARK-43574] [SC-131739][PYTHON][SQL] Obsługa ustawiania wykonywalnego pliku Python dla interfejsów API funkcji UDF i pandas w pracownikach podczas działania programu
• [SPARK-43569] [SC-131694][SQL] Usuń obejście dla HADOOP-14067
• [SPARK-43183] [SC-128938][SS][13.x] Wprowadzenie nowego callbacku "onQueryIdle" do komponentu StreamingQueryListener
• [SPARK-43528] [SC-131531][SQL][PYTHON] Obsługa zduplikowanych nazw pól w obiekcie createDataFrame z ramką danych biblioteki pandas
• [SPARK-43548] [SC-131686][SS] Usuń obejście problemu HADOOP-16255
• [SPARK-43494] [SC-131272][CORE] Bezpośrednio wywołaj replicate() dla HdfsDataOutputStreamBuilder zamiast odbijania w SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][CORE] Zarządzanie brakującymi właściwościami hadoopProperties i metricsProperties
• [SPARK-42899] [SC-126456][SQL] Poprawka DataFrame.to(schemat) w celu obsługi przypadku, gdy w polu dopuszczającym wartości null istnieje pole zagnieżdżone, które nie może być null.
• [SPARK-43302] [SC-129747][SQL] Uczynienie UDAF języka Python funkcją agregującą
• [SPARK-43223] [SC-131270][Połącz] Agregacja typu, funkcje redukujące, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS] Rozwiń zdarzenie QueryTerminatedEvent, aby zawierało klasę błędu, jeśli istnieje w wyjątku
• [SPARK-43359] [SC-131463][SQL] Usuwanie z tabeli w Hive powinno zgłosić wartość "UNSUPPORTED_FEATURE.TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Przełącz się z powrotem do ciągów zakodowanych w adresie URL
• [SPARK-43492] [SC-131227][SQL] Dodanie aliasów funkcji 3-argumentowej DATE_ADD i DATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON] Obsługa typu struktury w obiekcie createDataFrame z ramki danych biblioteki pandas
• [SPARK-43386] [SC-131110][SQL] Ulepszanie listy sugerowanych kolumn/atrybutów w klasie błędów UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-43443] [SC-131332][SQL] Dodawanie testu porównawczego dla wnioskowania typu sygnatury czasowej w przypadku użycia nieprawidłowej wartości
• [SPARK-43518] [SC-131420][SQL] Konwertowanie _LEGACY_ERROR_TEMP_2029 na INTERNAL_ERROR
• [SPARK-42604] [SC-130648][CONNECT] Implementowanie biblioteki functions.typedlit
• [SPARK-42323] [ES-669513] Przywróć "[SC-123479][SQL] Assign name to _LEGACY_ERROR_TEMP_2332"
• [SPARK-43357] [SC-130649][SQL] Filtruj daty według typu zmiennej 'date'
• [SPARK-43410] [SC-130526][SQL] Ulepszanie wektoryzowanej pętli dla spakowanych parametrów skipValues
• [SPARK-43441] [SC-130995][CORE] makeDotNode nie powinna zakończyć się niepowodzeniem, gdy parametr DeterministicLevel jest nieobecny
• [SPARK-43324] [SC-130455][SQL] Obsługa poleceń UPDATE dla źródeł opartych na delta
• [SPARK-43272] [SC-131168][CORE] Bezpośrednie wywołanie createFile zamiast refleksji
• [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Migrowanie błędów sesji programu Spark Connect do klasy błędów
• [SPARK-43405] [SC-130987][SQL] Usuwanie bezużytecznych getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL metody
• [SPARK-43447] [SC-131017][R] Wsparcie języka R 4.3.0
• [SPARK-43425] [SC-130981][SQL] Dodaj TimestampNTZType do ColumnarBatchRow
• [SPARK-41532] [SC-130523][CONNECT][KLIENT] Dodano sprawdzanie operacji obejmujących wiele ramek danych
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Migrowanie błędów Strukturalnego Przesyłania Strumieniowego Spark Connect do klasy błędów
• [SPARK-42992] [13.x][SC-129465][PYTHON] Wprowadzenie PySparkRuntimeError
• [SPARK-43422] [SC-130982][SQL] Zachowaj tagi w usłudze LogicalRelation przy użyciu danych wyjściowych metadanych
• [SPARK-43390] [SC-130646][SQL] DSv2 zezwala CTAS/RTAS na rezerwowanie wartości null schematu
• [SPARK-43430] [SC-130989][CONNECT][PROTO] Funkcja ExecutePlanRequest obsługuje dowolne opcje żądania.
• [SPARK-43313] [SC-130254][SQL] Dodawanie brakujących wartości DOMYŚLNYch kolumn dla akcji MERGE INSERT
• [SPARK-42842] [SC-130438][SQL] Scal klasę błędów _LEGACY_ERROR_TEMP_2006 z REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][SQL] Włącz spark.sql.thriftServer.interruptOnCancel domyślnie
• [SPARK-43292] [SC-130525][CORE][CONNECT] Przenieść ExecutorClassLoader do modułu core i uprościć Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL] Zwiększanie obsługi typów timestampNTZ w źródle danych JDBC
• [SPARK-43343] [SC-130629][SS] Element FileStreamSource powinien wyłączyć dodatkowe sprawdzanie globu pliku podczas tworzenia źródła danych
• [SPARK-43312] [SC-130294][PROTOBUF] Opcja konwertowania dowolnych pól na format JSON
• [SPARK-43404] [SC-130586][SS] Pomiń ponowne korzystanie z pliku sst dla tej samej wersji magazynu stanów bazy danych RocksDB, aby uniknąć błędu niezgodności identyfikatorów
• [SPARK-43397] [SC-130614][CORE] Zalogować czas trwania wycofywania wykonawcy w metodzie executorLost
• [SPARK-42388] [SC-128568][SQL] Unikaj dwukrotnego odczytywania stopki parquet w wektoryzowanym czytniku
• [SPARK-43306] [13.x][SC-130320][PYTHON] Migracja ValueError z typów Spark SQL do klasy błędów
• [SPARK-43337] [SC-130353][UI][3.4] Ikony strzałek Asc/desc dla kolumny sortowania nie są wyświetlane w kolumnie tabeli
• [SPARK-43279] [SC-130351][CORE] Czyszczenie nieużywanych członków z SparkHadoopUtil
• [SPARK-43250] [SC-130147][SQL] Zastąp klasę błędów _LEGACY_ERROR_TEMP_2014 błędem wewnętrznym
• [SPARK-43363] [SC-130299][SQL][PYTHON] Wykonaj wywołanie astype typu kategorii tylko wtedy, gdy nie podano typu strzałki
• [SPARK-43261] [SC-130154][PYTHON] Migrowanie TypeError z typów Spark SQL do klasy błędów
• [SPARK-41971] [SC-130230][SQL][PYTHON] Dodaj konfigurację konwersji biblioteki pandas dotyczącą tego, jak obsługiwać typy struktur
• [SPARK-43381] [SC-130464][CONNECT] Utwórz "transformStatCov" leniwy
• [SPARK-43362] [SC-130481][SQL] Specjalna obsługa typu JSON dla łącznika MySQL
• [SPARK-42843] [SC-130196][SQL] Zaktualizuj klasę błędów _LEGACY_ERROR_TEMP_2007 na REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][CONNECT] Przesyłanie strumieniowe relacji lokalnych
• [SPARK-43181] [SC-130476][SQL] Pokaż adres URL interfejsu użytkownika w spark-sql powłoce
• [SPARK-43051] [SC-130194][CONNECT] Dodaj opcję emitowania wartości domyślnych
• [SPARK-43204] [SC-129296][SQL] Wyrównanie przypisań MERGE z atrybutami tabeli
• [SPARK-43348] [SC-130082][PYTHON] Obsługa Python 3.8 w PyPy3
• [SPARK-42845] [SC-130078][SQL] Aktualizacja klasy błędów _LEGACY_ERROR_TEMP_2010 na InternalError
• [SPARK-43211] [SC-128978][HIVE] Usuń wsparcie dla Hadoop2 w module IsolatedClientLoader

Środowisko systemu

• System operacyjny: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2023-02-10.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)