Databricks Runtime 12.1 (EoS)

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 12.1 obsługiwanym przez platformę Apache Spark 3.3.1.

Usługa Databricks wydała tę wersję w styczniu 2023 r.

Nowe funkcje i ulepszenia

• Funkcje tabel Delta Lake obsługiwane na potrzeby zarządzania protokołami
• Przewidujące I/O dla aktualizacji jest w publicznej wersji testowej
• Eksplorator wykazu jest teraz dostępny dla wszystkich osób
• Obsługa wielu operatorów stanowych w jednym zapytaniu przesyłanym strumieniowo
• Obsługa Protocol Buffers jest dostępna w publicznej wersji preview
• obsługa uwierzytelniania rejestru schematów platformy Confluent
• Wsparcie dla udostępniania historii tabel za pomocą udziałów Delta Sharing
• Obsługa przesyłania strumieniowego z udziałami Delta Sharing
• Wersja tabeli z użyciem znacznika czasu jest teraz obsługiwana dla tabel Delta Sharing w katalogach
• Obsługa w przypadku braku dopasowania ze źródłem dla MERGE INTO
• Zoptymalizowane zbieranie statystyk dla CONVERT TO DELTA
• obsługa katalogu Unity dla przywracania usuniętych tabel

Funkcje tabel usługi Delta Lake obsługiwane na potrzeby zarządzania protokołami

Usługa Azure Databricks wprowadziła obsługę funkcji tabeli usługi Delta Lake, które wprowadzają szczegółowe flagi określające, które funkcje są obsługiwane przez daną tabelę. Zobacz artykuł Jak usługa Azure Databricks zarządza zgodnością funkcji usługi Delta Lake?.

Predyktywne I/O dla aktualizacji jest w publicznej wersji próbnej

Predykcyjne operacje wejścia/wyjścia przyspieszają teraz operacje DELETE, MERGE i UPDATE dla tabel Delta z włączonymi wektorami usuwania na komputerach z włączoną funkcją Photon. Zobacz Co to jest predykcyjne I/O?

Eksplorator wykazu jest teraz dostępny dla wszystkich osób

Eksplorator wykazu jest teraz dostępny dla wszystkich osób usługi Azure Databricks w przypadku korzystania z środowiska Databricks Runtime 7.3 LTS i nowszych wersji.

Obsługa wielu operatorów stanowych w jednym zapytaniu przesyłanym strumieniowo

Użytkownicy mogą teraz łączyć operatory stanowe z trybem dołączania w zapytaniu przesyłanym strumieniowo. Nie wszystkie operatory są w pełni obsługiwane. Łączenie interwałów czasowych strumienia ze strumieniem oraz flatMapGroupsWithState nie zezwalają na łączenie z innymi operatorami stanowymi.

Obsługa buforów protokołów jest dostępna w publicznej wersji zapoznawczej

Za pomocą funkcji from_protobuf i to_protobuf można wymieniać dane między typami binarnymi i strukturami. Zobacz Bufory protokołu odczytu i zapisu.

Obsługa uwierzytelniania rejestru schematów platformy Confluent

Integracja usługi Azure Databricks z rejestrem schematów confluent obsługuje teraz zewnętrzne adresy rejestru schematów z uwierzytelnianiem. Ta funkcja jest dostępna dla from_avro, to_avro, from_protobuf i to_protobuf. Zobacz Protobuf lub Avro.

Obsługa udostępniania historii tabel przy użyciu udziałów Delta Sharing

Teraz możesz udostępnić tabelę z pełną historią przy użyciu Delta Sharing, umożliwiając odbiorcom wykonywanie zapytań typu time travel i realizację zapytań w tabeli z użyciem Spark Structured Streaming. WITH HISTORY jest zalecane zamiast CHANGE DATA FEED, chociaż ta ostatnia nadal jest obsługiwana. Zobacz ALTER SHARE i Dodaj tabele do udziału.

Obsługa przesyłania strumieniowego dla udziałów Delta Sharing

Spark Structured Streaming współpracuje teraz z formatem deltasharing w źródłowej tabeli Delta Sharing, która została udostępniona przy użyciu WITH HISTORY.

Tabele Delta Sharing w katalogach są teraz obsługiwane w wersji z użyciem znacznika czasu.

Teraz możesz użyć składni SQL TIMESTAMP AS OF w instrukcjach SELECT, aby określić wersję tabeli Delta Sharing zamontowanej w katalogu. Tabele muszą być współużytkowane przy użyciu WITH HISTORY.

Obsługa WHEN NOT MATCHED BY SOURCE dla MERGE INTO

Możesz teraz dodać klauzule WHEN NOT MATCHED BY SOURCE do MERGE INTO, aby aktualizować lub usuwać wiersze w wybranej tabeli, które nie mają dopasowań w tabeli źródłowej na podstawie warunku scalania. Nowa klauzula jest dostępna w języku SQL, Python, Scala i Java. Zobacz MERGE INTO.

Zoptymalizowana kolekcja statystyk dla CONVERT TO DELTA

Zbieranie statystyk dla CONVERT TO DELTA operacji jest teraz znacznie szybsze. To zmniejsza liczbę obciążeń, które mogą używać NO STATISTICS dla wydajności.

Obsługa Unity Catalog dla przywracania tabel

Ta funkcja została początkowo wydana w publicznej wersji zapoznawczej. Jest ogólnodostępny od 25 października 2023 r.

Teraz można przywrócić usuniętą tabelę zarządzaną lub zewnętrzną w ramach istniejącego schematu w ciągu siedmiu dni od usunięcia. Zobacz UNDROP i SHOW TABLES DROPPED.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • filelock z wersji 3.8.0 do 3.8.2
  • platformdirs z wersji 2.5.4 do 2.6.0
  • setuptools z wersji 58.0.4 do wersji 61.2.0
• Uaktualnione biblioteki języka R:
• Uaktualnione biblioteki Java:
  • io.delta.delta-sharing-spark_2.12 z 0.5.2 do 0.6.2
  • org.apache.hive.hive-storage-api z wersji 2.7.2 do 2.8.1
  • org.apache.parquet.parquet-column from 1.12.3-databricks-0001 to 1.12.3-databricks-0002
  • org.apache.parquet.parquet-common from 1.12.3-databricks-0001 do 1.12.3-databricks-0002
  • org.apache.parquet.parquet-encoding z 1.12.3-databricks-0001 do 1.12.3-databricks-0002
  • z org.apache.parquet.parquet-format-structures na 1.12.3-databricks-0001 do 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop z 1.12.3-databricks-0001 do 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson z 1.12.3-databricks-0001 do 1.12.3-databricks-0002
  • org.tukaani.xz od 1.8 do 1.9

Apache Spark

Środowisko Databricks Runtime 12.1 obejmuje platformę Apache Spark 3.3.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 12.0 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-41405] [SC-119769][12.1.0] Cofnięcie „[SC-119411][sql] Scentralizowanie logiki rozpoznawania kolumn” i „[SC-117170][spark-41338][SQL] Rozwiązywanie odwołań zewnętrznych i normalnych kolumn w tej samej partii analizatora”
• [SPARK-41405] [SC-119411][sql] Scentralizowanie logiki rozpoznawania kolumn
• [SPARK-41859] [SC-119514][sql] Komenda CreateHiveTableAsSelectCommand powinna poprawnie ustawić flagę nadpisania
• [SPARK-41659] [SC-119526][connect][12.X] Włącz testy dokumentacji w pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][sql] Poprawka regresji wydajności czytnika ORC z powodu funkcji wartości domyślnej
• [SPARK-41807] [SC-119399][core] Usuń nieistniejącą klasę błędów: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Przypisz nazwę do _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][sql] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][connect] Wywnioskuj nazwy z listy słowników w SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Przenieś dokumentację i skrypt Spark Connect do dev/ oraz dokumentacji Python
• [SPARK-41534] [SC-119456][connect][SQL][12.x] Konfigurowanie początkowego modułu klienta dla programu Spark Connect
• [SPARK-41365] [SC-118498][ui][3.3] Nie można załadować strony interfejsu użytkownika Stages na serwerze proxy w określonym środowisku dla Yarn.
• [SPARK-41481] [SC-118150][core][SQL] Ponowne użycie INVALID_TYPED_LITERAL zamiast _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] Ponowne rozważenie obsługi wyrażeń stanowych
• [SPARK-41726] [SC-119248][sql] Usuń OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][sc-118348][SQL] Obsługa sparametryzowanych zapytań SQL przez sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] Zaimplementować DataFrame.sampleBy i DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][sc-119012][SQL][wszystkie testy] Wydzielenie zapisu v1 do WriteFiles
• [SPARK-41565] [SC-118868][sql] Dodaj klasę błędów UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] Funkcja DECODE zwraca nieprawidłowe wyniki po przekazaniu wartości NULL
• [SPARK-41554] [SC-119274] Poprawka zmiany skali dziesiętnej, gdy skala zmniejszyła się o m...
• [SPARK-41065] [SC-119324][connect][PYTHON] Implementuj DataFrame.freqItems i DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Ponowne przeprowadzenie testów dokumentów i dodanie brakującego aliasu kolumny do count()
• [SPARK-41069] [SC-119310][connect][PYTHON] Zaimplementuj DataFrame.approxQuantile i DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][PYTHON] Aby funkcja from_json obsługiwała schemat DataType
• pl-PL: [SPARK-41804] [SC-119382][sql] Wybierz prawidłowy rozmiar elementu w InterpretedUnsafeProjection dla tablicy UDT
• [SPARK-41786] [SC-119308][connect][PYTHON] Funkcje pomocnika deduplikacji
• [SPARK-41745] [SC-119378][spark-41789][12.X] Umożliwienie createDataFrame obsługi listy wierszy
• [SPARK-41344] [SC-119217][sql] Wyjaśnij błąd, gdy tabela nie zostanie znaleziona w katalogu SupportsCatalogOptions
• [SPARK-41803] [SC-119380][connect][PYTHON] Dodaj brakującą funkcję log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] Tworzenie opcji obsługi funkcji JSON
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Spraw, by __getitem__ obsługiwało filtr oraz wybieranie
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Tworzenie obsługi operacji kolumny Brak
• [SPARK-41440] [SC-119279][connect][PYTHON] Unikaj operatora pamięci podręcznej dla ogólnego przykładu.
• [SPARK-41785] [SC-119290][connect][PYTHON] Implement GroupedData.mean
• [SPARK-41629] [SC-119276][connect] Obsługa rozszerzeń protokołu w relacjach i wyrażeniach
• [SPARK-41417] [SC-118000][core][SQL] Zmień nazwę _LEGACY_ERROR_TEMP_0019 na INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Właściwa obsługa błędów dla serwera Spark Connect/ klienta
• [SPARK-41292] [SC-119357][connect][12.X] Obsługa okienka w przestrzeni nazw pyspark.sql.window
• [SPARK-41493] [SC-119339][connect][PYTHON] Tworzenie opcji obsługi funkcji csv
• [SPARK-39591] [SC-118675][ss] Śledzenie postępu asynchronicznego
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Implement Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] Implement DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Włączanie testów dokumentu w kolumnie pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][connect] Zmieszać ClientId w pamięci podręcznej SparkSession
• [SPARK-41354] [SC-119194][connect] Dodano RepartitionByExpression do proto
• [SPARK-41784] [SC-119289][connect][PYTHON] Dodaj brakujące __rmod__ w kolumnie
• [SPARK-41778] [SC-119262][sql] Dodawanie aliasu "reduce" do arrayAggregate
• [SPARK-41067] [SC-119171][connect][PYTHON] Implementacja DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] Ustaw wewnętrzną nazwę operacji ciągu na spójność z funkcją FunctionRegistry
• [SPARK-41734] [SC-119160][connect] Dodaj komunikat nadrzędny dla katalogu
• [SPARK-41742] [SC-119263] Obsługa df.groupBy().agg({"*":"count"})
• [SPARK-41761] [SC-119213][connect][PYTHON] Fix arithmetic ops: __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][sql] Zmień nazwę UNSUPPORTED_CORRELATED_REFERENCE na CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Poprawka Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] Zaimplementować funkcję unwrap_udt
• [SPARK-41333] [SC-119195][spark-41737] Implementacja GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] Poprawka Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Obsługa niejawnego rozpoznawania aliasów kolumn bocznych w agregacji
• [SPARK-41529] [SC-119207][connect][12.X] Implementacja SparkSession.stop
• [SPARK-41729] [SC-119205][core][SQL][12.x] Zmień nazwę _LEGACY_ERROR_TEMP_0011 na UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] Deduplikacja wydruku i repr_html w LogicalPlan
• [SPARK-41740] [SC-119169][connect][PYTHON] Implementowanie Column.name
• [SPARK-41733] [SC-119163][sql][SS] Zastosowanie przycinania opartego na wzorze drzewa dla reguły ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] Przycinanie oparte na wzorcu drzewa dla reguły SessionWindowing
• [SPARK-41498] [SC-119018] Propagacja metadanych przez Union
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Zaimplementuj metodę dostępu do kolumny
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types powinna obsługiwać ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Implementowanie funkcji format_number
• [SPARK-41707] [SC-119141][connect][12.X] Implementacja interfejsu API katalogu w programie Spark Connect
• [SPARK-41710] [SC-119062][connect][PYTHON] Implementacja Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON]Funkcja o wysokiej kolejności: implementacja array_compact
• [SPARK-41518] [SC-118453][sql] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] Implementowanie funkcji sequence
• [SPARK-41703] [SC-119060][connect][PYTHON] Combine NullType and typed_null in Literal
• [SPARK-41722] [SC-119090][connect][PYTHON] Zaimplementowanie 3 brakujących funkcji przedziału czasu
• [SPARK-41503] [SC-119043][connect][PYTHON] Implementowanie funkcji przekształcania partycji
• [SPARK-41413] [SC-118968][sql] Unikaj przetasowania w Storage-Partitioned Join w przypadku niezgodności kluczy partycji, ale wyrażenia łączenia są zgodne
• [SPARK-41700] [SC-119046][connect][PYTHON] Usuń FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types powinna obsługiwać MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] Dodawanie nieprawidłowych operacji kolumn
• [SPARK-41660] [SC-118866][sql] Propagacja kolumn metadanych tylko wtedy, gdy są używane
• [SPARK-41637] [SC-119003][sql] ORDER BY WSZYSTKIE
• [SPARK-41513] [SC-118945][sql] Implementowanie akumulatora w celu zbierania metryk liczby wierszy mapowania
• [SPARK-41647] [SC-119064][connect][12.X] Deduplikacja docstringów w pyspark.sql.connect.functions
• [SPARK-41701] [SC-119048][connect][PYTHON] Zapewnienie obsługi operacji na kolumnach decimal
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] Implementowanie rollup, cube i pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY WSZYSTKIE
• [SPARK-41645] [SC-119057][connect][12.X] Deduplikacja docstringów w pyspark.sql.connect.DataFrame
• [SPARK-41688] [SC-118951][connect][PYTHON] Move Expressions to expressions.py
• [SPARK-41687] [SC-118949][connect] Deduplikacja docstringów w pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][connect] Usuwaj duplikaty w docstringach w pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][connect] Wydziel GroupedData do group.py
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Implementowanie funkcji Window
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] Zapewnienie obsługi operacji kolumn datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] Włącz przestarzałe funkcje
• [SPARK-41673] [SC-118932][connect][PYTHON] Zaimplementować Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] Implementowanie funkcji broadcast
• [SPARK-41648] [SC-118914][connect][12.X] Zdeduplikować docstringi w pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][connect][12.X] Usunięcie duplikatów docstringów w pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][connect][12.X] Deduplikacja komentarzy dokumentacyjnych w pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] Implementowanie pozostałych funkcji lambda
• [SPARK-41441] [SC-118557][sql] Obsługa generowania bez wymaganych danych wyjściowych podrzędnych do hostowania odwołań zewnętrznych
• [SPARK-41669] [SC-118923][sql] Wczesne przycinanie w canCollapseExpressions
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : Remove ScalaReflectionLock from SchemaConverters
• [SPARK-41464] [SC-118861][connect][PYTHON] Implementowanie DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Początkowa implementacja LambdaFunction
• [SPARK-41539] [SC-118802][sql] Mapowanie statystyk i ograniczeń na dane wyjściowe w planie logicznym dla LogicalRDD
• [SPARK-41396] [SC-118786][sql][PROTOBUF] Obsługa pól OneOf i sprawdzanie rekursji
• [SPARK-41528] [SC-118769][connect][12.X] Połącz przestrzeń nazw interfejsu API Spark Connect i PySpark
• [SPARK-41568] [SC-118715][sql] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][connect][PYTHON] Implementacja DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Dodawanie programu Spark Connect i protobuf do setup.py z określeniem zależności
• [SPARK-27561] [SC-101081][12.x][SQL] Obsługa niejawnego rozpoznawania aliasu kolumny bocznej w programie Project
• [SPARK-41535] [SC-118645][sql] Ustaw wartość null dla pól interwału kalendarza w InterpretedUnsafeProjection i InterpretedMutableProjection
• [SPARK-40687] [SC-118439][sql] Obsługa maskowania danych wbudowanej funkcji "maska"
• [SPARK-41520] [SC-118440][sql] Podziel TreePattern AND_OR na oddzielne wzorce drzew AND i OR
• [SPARK-41349] [SC-118668][connect][PYTHON] Zaimplementować DataFrame.hint
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types powinien obsługiwać StructType.
• [SPARK-41334] [SC-118549][connect][PYTHON] Move SortOrder proto from relations to expressions
• [SPARK-41387] [SC-118450][ss] Potwierdzenie bieżącego przesunięcia końcowego ze źródła danych platformy Kafka dla elementu Trigger.AvailableNow
• [SPARK-41508] [SC-118445][core][SQL] Zmień nazwę _LEGACY_ERROR_TEMP_1180 na UNEXPECTED_INPUT_TYPE i usuń _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Implementuj kolumnę. {when, w przeciwnym razie} i function when z UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Napraw zaproszenie do niewłaściwej metody podrzędnej w SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][connect][PYTHON] Zaimplementować DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] Dodaj „spark.sql.json.enablePartialResults”, aby umożliwić lub wyłączyć częściowe wyniki JSON
• [SPARK-41437] Przywróć "[SC-117601][sql] Nie optymalizuj zapytania wejściowego dwa razy dla rezerwowego zapisu w wersji 1"
• [SPARK-41472] [SC-118352][connect][PYTHON] Zaimplementować resztę funkcji ciągów/binarnych
• [SPARK-41526] [SC-118355][connect][PYTHON] Implementowanie Column.isin
• [SPARK-32170] [SC-118384] [CORE] Popraw spekulacje za pomocą metryk zadań etapu.
• [SPARK-41524] [SC-118399][ss] Rozróżnianie obiektów SQLConf i extraOptions w StateStoreConf na potrzeby użycia w RocksDBConf
• [SPARK-41465] [SC-118381][sql] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] Obsługa LongToUnsafeRowMap ignoruje DuplicatedKey
• [SPARK-41409] [SC-118302][core][SQL] Zmień nazwę _LEGACY_ERROR_TEMP_1043 na WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Implementowanie DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] Nie optymalizuj ponownie zapytania wejściowego dla zapisu awaryjnego w wersji 1
• [SPARK-41314] [SC-117172][sql] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] Refactor LiteralExpression w celu obsługi elementu DataType
• [SPARK-41448] [SC-118046] Ustaw spójne identyfikatory zadań MR w fileBatchWriter i FileFormatWriter
• [SPARK-41456] [SC-117970][sql] Zwiększanie wydajności try_cast
• [SPARK-41495] [SC-118125][connect][PYTHON] Implementowanie funkcji collection: P~Z
• [SPARK-41478] [SC-118167][sql] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] Zrefaktoryzować komunikat o błędzie dla NUM_COLUMNS_MISMATCH, aby uczynić go bardziej ogólnym
• [SPARK-41404] [SC-118016][sql] Refaktoryzacja ColumnVectorUtils#toBatch, aby ColumnarBatchSuite#testRandomRows testować bardziej podstawowy typ danych
• [SPARK-41468] [SC-118044][sql] Naprawa obsługi PlanExpression w równoważnych wyrażeniach
• [SPARK-40775] [SC-118045][sql] Poprawiono zduplikowane odpisy opisu dla skanów plików V2
• [SPARK-41492] [SC-118042][connect][PYTHON] Implementowanie funkcji MISC
• [SPARK-41459] [SC-118005][sql] naprawa pustego wydruku dziennika operacji serwera thrift
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection należy użyć setDecimal, aby ustawić wartości pustych dla wartości dziesiętnych w niebezpiecznym wierszu
• [SPARK-41376] [SC-117840][core][3.3] Popraw logikę sprawdzania operacji preferDirectBufs w Netty podczas rozruchu wykonawcy
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] Implementowanie funkcji collection: E~M
• [SPARK-41389] [SC-117426][core][SQL] Ponowne użycie WRONG_NUM_ARGS zamiast _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] Typ daty i znacznika czasu może zostać rzutowany do TimestampNTZ
• [SPARK-41435] [SC-117810][sql] Zmiana wywołania invalidFunctionArgumentsError dla curdate(), gdy expressions nie jest pusta
• [SPARK-41187] [SC-118030][core] Wycieki pamięci w LiveExecutor w AppStatusListener, gdy występuje utrata Executor
• [SPARK-41360] [SC-118083][core] Unikaj ponownej rejestracji modułu BlockManager, jeśli proces wykonawczy został utracony
• [SPARK-41378] [SC-117686][sql] Obsługa statystyk kolumn w DS v2
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Przesłonić prettyName funkcji StringDecode
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Implementowanie funkcji znacznika daty/godziny
• [SPARK-41329] [SC-117975][connect] Rozwiązywanie cyklicznych importów w programie Spark Connect
• [SPARK-41477] [SC-118025][connect][PYTHON] Prawidłowe wnioskowanie typu danych literału liczb całkowitych
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] Tworzenie schematu obsługi createDataFrame i większej liczby typów wejściowych zestawów danych
• [SPARK-41475] [SC-117997][connect] Poprawka błędu polecenia lint-scala i błędu literowego
• [SPARK-38277] [SC-117799][ss] Wyczyść partię zapisu po zatwierdzeniu magazynu stanów bazy danych RocksDB
• [SPARK-41375] [SC-117801][ss] Unikaj pustej najnowszej wersji platformy KafkaSourceOffset
• [SPARK-41412] [SC-118015][connect] Implement Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Zaimplementować DataFrame.melt i DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Refaktoryzuj testy związane z kolumnami do test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] Kolumna powinna obsługiwać operator !=
• [SPARK-40697] [SC-117806][sc-112787][SQL] Dodawanie wypełnienia znaków po stronie odczytu w celu pokrycia zewnętrznych plików danych
• [SPARK-41349] [SC-117594][connect][12.X] Implement DataFrame.hint
• [SPARK-41338] [SC-117170][sql] Rozwiązywanie odwołań zewnętrznych i normalnych kolumn w tej samej partii analizatora
• [SPARK-41436] [SC-117805][connect][PYTHON] Implementowanie funkcji collection: A~C
• [SPARK-41445] [SC-117802][connect] Implement DataFrameReader.parquet
• [SPARK-41452] [SC-117865][sql] to_char powinna zwracać wartość null, gdy format ma wartość null
• [SPARK-41444] [SC-117796][connect] Support read.json()
• [SPARK-41398] [SC-117508][sql] Złagodzenie ograniczeń dotyczących sprzężenia Storage-Partitioned, gdy klucze partycji po filtrowaniu środowiska uruchomieniowego nie są zgodne
• [SPARK-41228] [SC-117169][sql] Zmień nazwę & Ulepsz komunikat o błędzie dla COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][connect][PYTHON] Implementowanie funkcji count_distinct i sum_distinct
• [SPARK-41433] [SC-117596][connect] Umożliwienie konfiguracji Maksymalnego Rozmiaru Partii Arrow
• [SPARK-41397] [SC-117590][connect][PYTHON] Implementacja części funkcji tekstowych/binarnych
• [SPARK-41382] [SC-117588][connect][PYTHON] Implementowanie funkcji product
• [SPARK-41403] [SC-117595][connect][PYTHON] Zaimplementować DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg() powinien być zgodny
• [SPARK-41369] [SC-117584][connect] Dodawanie połączenia wspólnego z cieniowanym plikiem jar serwerów
• [SPARK-41411] [SC-117562][ss] Poprawka błędu obsługi wielostanowego znaku wodnego operatora
• [SPARK-41176] [SC-116630][sql] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Implementowanie funkcji agregacji
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Implementowanie normalnych funkcji
• [SPARK-41305] [SC-117411][connect] Ulepszanie dokumentacji polecenia proto
• [SPARK-41372] [SC-117427][connect][PYTHON] Zaimplementuj TempView ramki danych
• [SPARK-41379] [SC-117420][ss][PYTHON] Dostarczanie sklonowanej sesji Spark w DataFrame w funkcji użytkownika dla odbiornika foreachBatch w PySpark
• [SPARK-41373] [SC-117405][sql][ERROR] Zmień nazwę CAST_WITH_FUN_SUGGESTION na CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] Refaktoryzacja metody ColumnVectorUtils#populate do używania PhysicalDataType zamiast DataType
• [SPARK-41355] [SC-117423][sql] Obejście problemu z weryfikacją nazwy tabeli hive
• [SPARK-41390] [SC-117429][sql] Aktualizowanie skryptu używanego do generowania funkcji register w UDFRegistration
• [SPARK-41206] [SC-117233][sc-116381][SQL] Zmień nazwę klasy błędów _LEGACY_ERROR_TEMP_1233 na COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Implementowanie funkcji matematycznych
• [SPARK-40970] [SC-117308][connect][PYTHON] Wsparcie dla Listy[Kolumna] dla argumentu operacji Połącz jako "on"
• [SPARK-41345] [SC-117178][connect] Dodaj wskazówkę do Connect Proto
• [SPARK-41226] [SC-117194][sql][12.x] Refaktoryzacja typów platformy Spark przez wprowadzenie typów fizycznych
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Dodawanie podstawowej obsługi elementu DataFrameWriter
• [SPARK-41347] [SC-117173][connect] Dodawanie rzutowania do proto wyrażenia
• [SPARK-41323] [SC-117128][sql] Obsługa current_schema
• [SPARK-41339] [SC-117171][sql] Zamknij i ponownie utwórz partię zapisu RocksDB zamiast tylko wyczyścić
• [SPARK-41227] [SC-117165][connect][PYTHON] Implementowanie sprzężenia krzyżowego ramki danych
• [SPARK-41346] [SC-117176][connect][PYTHON] Implementowanie funkcji asc i desc
• [SPARK-41343] [SC-117166][connect] Przenieść analizowanie FunctionName na stronę serwera
• [SPARK-41321] [SC-117163][connect] Obsługuj pole docelowe dla UnresolvedStar
• [SPARK-41237] [SC-117167][sql] Ponowne użycie klasy błędów UNSUPPORTED_DATATYPE dla _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][sql] Ponowne użycie INVALID_SCHEMA.NON_STRING_LITERAL zamiast _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] Optymalizacja użycia konstruktora StructType
• [SPARK-41335] [SC-117135][connect][PYTHON] Wsparcie dla IsNull i IsNotNull w Kolumnie
• [SPARK-41332] [SC-117131][connect][PYTHON] Poprawka nullOrdering w SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] Poprawka brakującej funkcji avg() dla grupowania według DF
• [SPARK-41327] [SC-117137][core] Popraw SparkStatusTracker.getExecutorInfos, przełączając informację On/Off dla pamięci HeapStorage.
• [SPARK-41315] [SC-117129][connect][PYTHON] Zaimplementować DataFrame.replace i DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Dodanie interfejsu API logicznego i tekstowego do kolumny
• [SPARK-41331] [SC-117127][connect][PYTHON] Dodaj orderBy i drop_duplicates
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal należy upewnić się, że blokada jest odblokowana bezpiecznie
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] Refaktoryzacja "Kolumny" dla zgodności z API
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Wdrożenie DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][sql] Dodaj klasę błędów INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] Ponowne użycie INVALID_SCHEMA zamiast _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] W aktualizacji GroupState rzutowanie instancji biblioteki NumPy na typy pierwotne języka Python
• [SPARK-41174] [SC-116609][core][SQL] Przekazanie klasy błędów użytkownikom dla nieprawidłowych formatto_binary()
• [SPARK-41264] [SC-116971][connect][PYTHON] Umożliwienie literałowi obsługi większej liczby typów danych
• [SPARK-41326] [SC-116972] [CONNECT] Naprawa deduplikacji brakujących danych wejściowych
• [SPARK-41316] [SC-116900][sql] Włącz rekursję ogonową tam, gdzie to możliwe
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Obsługa wyrażeń ciągu w filtrze.
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] Implement DataFrame.withColumn(s)
• [SPARK-41182] [SC-116632][sql] Przypisz nazwę do klasy błędów _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] Migrowanie błędów opcji mapy do klas błędów
• [SPARK-40940] [SC-115993][12.x] Usuń kontrolery operatorów wielostanowych dla zapytań przesyłanych strumieniowo.
• [SPARK-41310] [SC-116885][connect][PYTHON] Implement DataFrame.toDF
• [SPARK-41179] [SC-116631][sql] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] LeftAnti nie aktualizuje wartości numOutputRows, gdy codegen jest wyłączony
• [SPARK-41148] [SC-116878][connect][PYTHON] Zaimplementować DataFrame.dropna i DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] Dodaj klasę błędów FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] Usprawnij DataFrame.count()
• [SPARK-41301] [SC-116786] [CONNECT] Ujednolicić zachowanie dla SparkSession.range()
• [SPARK-41306] [SC-116860][connect] Ulepszenie dokumentacji protokołu Connect Expression
• [SPARK-41280] [SC-116733][connect] Implement DataFrame.tail
• [SPARK-41300] [SC-116751] [CONNECT] Nieustawiony schemat jest traktowany jako schemat
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] Zmień nazwę RemoteSparkSession
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. toPandas nie powinien zwracać opcjonalnej ramki danych biblioteki pandas
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain powinno wydrukować i zwrócić None
• [SPARK-41278] [SC-116732][connect] Czyszczenie nieużywanego atrybutu QualifiedAttribute w pliku Expression.proto
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Usuwanie nadmiarowej bazy konwersji kolekcji w kodzie Scala 2.13
• [SPARK-41261] [SC-116718][python][SS] Rozwiązano problem dotyczący funkcji applyInPandasWithState, gdy kolumny kluczy grupowania nie są umieszczane w kolejności od najwcześniejszego
• [SPARK-40872] [SC-116717][3.3] Przywrócenie do oryginalnego bloku losowego sortowania, gdy scalony z użyciem push fragment losowego sortowania ma rozmiar zerowy
• [SPARK-41114] [SC-116628][connect] Obsługa danych lokalnych dla LocalRelation
• [SPARK-41216] [SC-116678][connect][PYTHON] Implementacja DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] Obsługa bardziej wbudowanych typów danych
• [SPARK-41230] [SC-116674][connect][PYTHON] Usuń str z typu wyrażenia agregacji
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Zoptymalizowana implementacja zbierania oparta na Arrow w celu przesyłania strumieniowego z serwera do klienta
• [SPARK-41222] [SC-116625][connect][PYTHON] Ujednolicenie definicji wpisywania
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Wyłącz nieobsługiwane funkcje.
• [SPARK-41201] [SC-116526][connect][PYTHON] Implementowanie DataFrame.SelectExpr w kliencie języka Python
• [SPARK-41203] [SC-116258] [CONNECT] Obsługa funkcji Dataframe.transform w kliencie języka Python.
• [SPARK-41213] [SC-116375][connect][PYTHON] Zaimplementować DataFrame.__repr__ i DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Implementacja DataFrame.drop
• [SPARK-41172] [SC-116245][sql] Przemigrowano niejednoznaczny błąd odwołania do klasy błędów
• [SPARK-41122] [SC-116141][connect] Wyjaśnij interfejs API może obsługiwać różne tryby
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] Ulepszanie wnioskowania typu PySpark w metodzie _merge_type
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Homogenizowanie wersji protobuf na serwerze spark connect do korzystania z tej samej wersji głównej.
• [SPARK-35531] [SC-116409][sql] Aktualizowanie statystyk tabeli hive bez niepotrzebnej konwersji
• [SPARK-41154] [SC-116289][sql] Niepoprawne buforowanie relacji dla zapytań ze specyfikacją podróży czasowych
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Implement DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Zmień nazwę UNSUPPORTED_EMPTY_LOCATION na INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Dodawanie interfejsu API rozszerzenia do planowania normalizacji buforowania
• [SPARK-41054] [SC-116447][ui][CORE] Obsługa bazy danych RocksDB jako magazynu KVStore w interfejsie użytkownika na żywo
• [SPARK-38550] [SC-115223]Przywracanie "[SQL][core] Użyj magazynu opartego na dyskach, aby zapisać więcej informacji debugowania dla dynamicznego interfejsu użytkownika"
• [SPARK-41173] [SC-116185][sql] Przenieś require() z konstruktorów wyrażeń ciągu
• [SPARK-41188] [SC-116242][core][ML] Ustaw środowisko wykonawcze OMP_NUM_THREADS na wartość spark.task.cpus domyślnie dla procesów JVM dla platformy Spark
• [SPARK-41130] [SC-116155][sql] Zmień nazwę OUT_OF_DECIMAL_TYPE_RANGE na NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] Przypisywanie nazwy do klasy błędów _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Zmniejsz konwersję kolekcji podczas tworzenia AtrybutMap
• [SPARK-41139] [SC-115983][sql] Ulepszanie klasy błędów: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Wymagaj zaciemniania dla pliku JAR klasy Java, ulepsz obsługę błędów
• [SPARK-40999] [SC-116168] Propagacja wskazówek do podzapytań
• [SPARK-41017] [SC-116054][sql] Obsługa oczyszczania kolumn z wieloma nieokreślonymi filtrami
• [SPARK-40834] [SC-114773][sql] Używanie elementu SparkListenerSQLExecutionEnd do śledzenia końcowego stanu SQL w interfejsie użytkownika
• [SPARK-41118] [SC-116027][sql] to_number/try_to_number powinny zwracać null, gdy format jest null
• [SPARK-39799] [SC-115984][sql] DataSourceV2: Wyświetlanie interfejsu wykazu
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Unikaj osadzania programu Spark Connect w wersji binarnej platformy Apache Spark
• [SPARK-41048] [SC-116043][sql] Ulepszanie partycjonowania i porządkowania danych wyjściowych za pomocą pamięci podręcznej AQE
• [SPARK-41198] [SC-116256][ss] Poprawiono metryki w zapytaniu przesyłanym strumieniowo wykorzystującym CTE i źródło przesyłania strumieniowego DSv1
• [SPARK-41199] [SC-116244][ss] Rozwiązano problem z metrykami, gdy źródło przesyłania strumieniowego DSv1 i źródło przesyłania strumieniowego DSv2 są współużytowane
• [SPARK-40957] [SC-116261][sc-114706] Dodaj pamięć podręczną w HDFSMetadataLog
• [SPARK-40940] Cofnij “[SC-115993] Usuń wielostanowe kontrolery operatorów dla zapytań przesyłanych strumieniowo”.
• [SPARK-41090] [SC-116040][sql] Rzuć wyjątek dla db_name.view_name podczas tworzenia widoku tymczasowego za pomocą API zestawu danych
• [SPARK-41133] [SC-116085][sql] Integracja UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION z NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] 9 zatwierdzeń zestawu kodu
• [SPARK-40448] [SC-114447][sc-1113114][CONNECT] Kompilacja programu Spark Connect jako wtyczka sterownika z cieniowanymi zależnościami
• [SPARK-41096] [SC-115812][sql] Obsługa odczytywania typu parquet FIXED_LEN_BYTE_ARRAY
• [SPARK-41140] [SC-115879][sql] Zmień nazwę klasy błędów _LEGACY_ERROR_TEMP_2440 na INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][sql] Niezgodność między FileSourceScanExec a Orc i ParquetFileFormat podczas tworzenia danych wyjściowych kolumnowych
• [SPARK-41155] [SC-115991][sql] Dodanie komunikatu o błędzie do SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Usuń wielostanowe sprawdzacze operatorów w zapytaniach strumieniowych.
• [SPARK-41098] [SC-115790][sql] Zmień nazwę GROUP_BY_POS_REFERS_AGG_EXPR na GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] Przenieś błędy kontroli typów formatowania liczb do klas błędów
• [SPARK-41059] [SC-115658][sql] Zmień nazwę _LEGACY_ERROR_TEMP_2420 na NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Konwertuj DATATYPE_MISMATCH.UNSPECIFIED_FRAME do INTERNAL_ERROR
• [SPARK-40973] [SC-115132][sql] Zmień nazwę _LEGACY_ERROR_TEMP_0055 na UNCLOSED_BRACKETED_COMMENT

Aktualizacje konserwacyjne

Zobacz konserwacyjne aktualizacje środowiska Databricks Runtime 12.1.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN Microsoft z dnia 2022-11-11.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)