Databricks Runtime 12.2 LTS

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 12.2 LTS obsługiwanym przez platformę Apache Spark 3.3.2.

Usługa Databricks wydała tę wersję w marcu 2023 r.

Zmiany zachowań

[Zmiana powodująca niezgodność] Nowa wersja języka Python wymaga aktualizacji klientów języka Python programu Databricks Connect V1

Aby zastosować wymagane poprawki zabezpieczeń, wersja języka Python w środowisku Databricks Runtime 12.2 LTS została uaktualniona z wersji 3.9.5 do wersji 3.9.19. Ponieważ te zmiany mogą powodować błędy w klientach korzystających z określonych funkcji PySpark, wszyscy klienci korzystający z programu Databricks Connect V1 dla języka Python z usługą Databricks Runtime 12.2 LTS muszą zostać zaktualizowani do języka Python w wersji 3.9.7 lub nowszej.

Nowe funkcje i ulepszenia

• Ewolucja usługi Delta Lake schema obsługuje określanie columns źródłowych w instrukcjach scalania
• Obciążenia przesyłania strumieniowego ze strukturą są obsługiwane w klastrach z trybem dostępu współdzielonego
• Nowe funkcje predykcyjne we/wy
• obsługa aliasowania implicitnego column bocznego
• Nowa funkcja forEachBatch
• Standardowe opcje połączenia dla federacji zapytań
• Rozszerzona biblioteka funkcji SQL na potrzeby zarządzania tablicami
• Nowa funkcja maski do anonimizowania ciągów
• Typowe warunki błędów zwracają teraz wartości SQLSTATE
• Wywoływanie funkcji generatora w klauzuli FROM
• Obsługa protokołu jest ogólnie dostępna
• Przejdź do definicji zmiennych i funkcji notesu
• Szybka poprawka notesu dotycząca bibliotek automatycznego importowania
• Poprawki błędów

Ewolucja schema Delta Lake obsługuje określenie źródła columns w instrukcjach scalania

Możesz teraz określić columns obecne tylko w źródle table w działaniach insert lub update dla instrukcji scalania, gdy ewolucja schema jest włączona. W środowisku Databricks Runtime 12.1 lub starszym tylko działania INSERT * lub UPDATE SET * mogą być używane dla ewolucji schema z użyciem scalania. Zobacz Automatyczna ewolucja schema dla scalania Delta Lake.

Obciążenia przesyłania strumieniowego ze strukturą są obsługiwane w klastrach z trybem dostępu współdzielonego

Teraz możesz użyć Strukturalnego Przesyłania Strumieniowego do interakcji z Unity Catalog na udostępnionych klastrach. Obowiązują pewne ograniczenia. Zobacz Jaką funkcjonalność Structured Streaming obsługuje Unity Catalog?.

Nowe funkcje predykcyjne we/wy

Obsługa fotonu dla ujścia Foreachbatch jest teraz dostępna. Obciążenia przesyłane strumieniowo ze źródła i scalane z Delta Tables lub zapisywane do wielu odbiorników mogą teraz korzystać z rozwiązania typu Photonized Foreachbatch.

Obsługa bocznego aliasowania column domyślnie

Usługa Azure Databricks obsługuje teraz domyślnie niejawne column aliasy. Teraz możesz ponownie użyć wyrażenia określonego wcześniej w tym samym SELECTlist. Na przykład, biorąc pod uwagę SELECT 1 AS awartość , a + 1 AS ba element in a + 1 można rozpoznać jako wcześniej zdefiniowany 1 AS aelement . Sprawdź rozpoznawanie nazw, aby uzyskać więcej szczegółów w kolejności rozwiązywania problemów. Aby wyłączyć tę funkcję, możesz set,spark.sql.lateralColumnAlias.enableImplicitResolution aby false.

Nowa funkcja forEachBatch

Funkcja Photon jest teraz obsługiwana podczas zapisywania foreachBatch w ujściu danych.

Standardowe opcje połączenia dla federacji zapytań

Teraz możesz użyć ujednoliconego set opcji (hosta, portu, bazy danych, użytkownika, hasła), aby nawiązać połączenie ze źródłami danych obsługiwanymi w federacji zapytań. Port jest opcjonalny i używa domyślnego numeru portu dla każdego źródła danych, chyba że określono.

Rozszerzona biblioteka funkcji SQL na potrzeby zarządzania tablicami

Teraz możesz remove wszystkie elementy NULL w tablicy za pomocą array_compact. Aby dołączyć elementy do tablicy, użyj array_append.

Nowa funkcja maski do anonimizowania ciągów

Wywołaj funkcję maski , aby zanonimizować ciąg poufny values.

Typowe warunki błędów zwracają teraz wartości SQLSTATE

Większość warunków błędów w środowisku Databricks Runtime obecnie zawiera udokumentowane SQLSTATEvalues, które mogą służyć do testowania błędów zgodnie ze standardem SQL.

Wywoływanie funkcji generatora w klauzuli FROM

Teraz można wywoływać funkcje generatorów o wartości table, takie jak eksploduj, w normalnej klauzuli FROM zapytania. Wyrównuje to wywołanie funkcji generatora z innymi wbudowanymi i zdefiniowanymi przez użytkownika funkcjami table.

Obsługa protokołu jest ogólnie dostępna

Za pomocą from_protobuf funkcji i to_protobuf można wymieniać dane między typami binarnymi i strukturami. Zobacz protokołu odczytu i zapisu.

Przejdź do definicji zmiennych i funkcji notesu

W notesach można szybko przejść do definicji zmiennej, funkcji lub kodu za instrukcją %run , klikając prawym przyciskiem myszy zmienną lub nazwę funkcji.

Szybka poprawka notesu dotycząca bibliotek automatycznego importowania

Notesy usługi Databricks oferują teraz funkcję szybkiej poprawki dla bibliotek automatycznego importowania. Jeśli zapomnisz zaimportować bibliotekę, taką jak pandas, umieść kursor na podkreślonej składni ostrzeżenie, a następnie kliknij pozycję Szybka poprawka, te funkcje wymagają włączenia Asystenta usługi Databricks w obszarze roboczym.

Poprawki błędów

• Ulepszona spójność zachowania zatwierdzania delty dla pustych transakcji odnoszących się do updatepoleceń , deletei merge . Na WriteSerializable poziomie izolacji polecenia, które powodują, że żadne zmiany nie powodują teraz utworzenia pustego zatwierdzenia. Serializable Na poziomie izolacji takie puste transakcje nie tworzą teraz zatwierdzenia.

Zmiany zachowania

Zmiany zachowania dzięki nowej funkcji aliasu column bocznej

Nowa funkcja aliasu column bocznego wprowadza zmiany zachowania dla następujących przypadków podczas rozpoznawania nazw:

• Alias Lateral column ma teraz pierwszeństwo przed skorelowanymi odwołaniami o tej samej nazwie. Na przykład w przypadku tego zapytania SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)c1 w wewnętrznym c1 AS c2 został rozpoznany jako skorelowane odwołanie t.c1, ale teraz zmienia się na boczny alias column1 AS c1. Zapytanie zwraca teraz wartość NULL.
• Alias boczny column ma teraz pierwszeństwo przed funkcją parameters o tej samej nazwie. Na przykład w przypadku funkcji CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, x, x w treści funkcji została powiązana z parametrem funkcji x, ale zmienia się w boczny alias columnx + 1 w treści funkcji. Zapytanie SELECT * FROM func(1) zwraca teraz wartość 2, 2.
• Aby wyłączyć funkcję aliasu column bocznego, setspark.sql.lateralColumnAlias.enableImplicitResolutionfalse. Aby uzyskać więcej informacji, zobacz Rozpoznawanie nazw.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • filelock z wersji 3.8.2 do 3.9.0
  • joblib z wersji 1.1.0 do 1.1.1
  • platformdirs z wersji 2.6.0 do 2.6.2
  • whatthepatch z 1.0.3 do 1.0.4
• Uaktualnione biblioteki języka R:
  • klasa z 7.3-20 do 7.3-21
  • codetools od 0.2-18 do 0.2-19
  • MASA z 7.3-58 do 7.3-58.2
  • nlme z 3.1-160 do 3.1-162
  • Rserve od 1.8-11 do 1.8-12
  • SparkR z wersji 3.3.1 do 3.3.2

Zmiany zachowania

• Użytkownicy muszą teraz mieć uprawnienia SELECT i MODIFY dla dowolnego pliku podczas tworzenia schema ze zdefiniowaną lokalizacją.

Apache Spark

Środowisko Databricks Runtime 12.2 zawiera platformę Apache Spark 3.3.2. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 12.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-42416] [SC-123205][SC-122851][SQL] Operacje zestawu dat nie powinny ponownie rozpoznawać przeanalizowanego planu logicznego
• [SPARK-41848] Przywróć "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][CORE] Naprawianie zadania nadmiernie zaplanowanego za pomocą elementu TaskResourceProfile"
• [SPARK-42162] [SC-122711][ES-556261] Wprowadzenie wyrażenia MultiCommutativeOp jako optymalizacji pamięci w celu kanonicznego określania dużych drzew wyrażeń dojeżdżających do pracy
• [SPARK-42406] [SC-122998][PROTOBUF][Cherry-pick] Naprawianie ustawienia głębokości cyklicznego dla funkcji Protobuf
• [SPARK-42002] [SC-122476][CONNECT][PYTHON] Implementowanie elementu DataFrameWriterV2
• [SPARK-41716] [SC-122545][CONNECT] Zmień nazwę _catalog_to_pandas na _execute_and_fetch w Catalog
• [SPARK-41490] [SC-121774][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2441
• [SPARK-41600] [SC-122538][SPARK-41623][SPARK-41612][CONNECT] Implement Catalog.cacheTable, isCached i uncache
• [SPARK-42191] [SC-121990][SQL] Obsługa funkcji udf "luhn_check"
• [SPARK-42253] [SC-121976][PYTHON] Dodawanie testu wykrywania zduplikowanej klasy błędów
• [SPARK-42268] [SC-122251][CONNECT][PYTHON] Dodawanie elementu UserDefinedType w protos
• [SPARK-42231] [SC-121841][SQL] Przekróć MISSING_STATIC_PARTITION_COLUMN w internalError
• [SPARK-42136] [SC-122554] Refaktoryzacja obliczenia partycjonowania wyjściowego BroadcastHashJoinExec
• [SPARK-42158] [SC-121610][SQL] Integracja _LEGACY_ERROR_TEMP_1003 z usługą FIELD_NOT_FOUND
• [SPARK-42192] [12.x][SC-121820][PYTHON] Migrowanie błędu TypeError z pyspark/sql/dataframe.py do błędu PySparkTypeError
• [SPARK-35240] Przywróć element "[SC-118242][SS] Użyj elementu CheckpointFileManager ...
• [SPARK-41488] [SC-121858][SQL] Przypisz nazwę do _LEGACY_ERROR_TEMP_1176 (i 1177)
• [SPARK-42232] [SC-122267][SQL] Zmień nazwę klasy błędu: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][SQL] Ponowne zapisywanie unikatowych agregacji po scaleniu podzapytania
• [SPARK-42306] [SC-122539][SQL] Integracja _LEGACY_ERROR_TEMP_1317 z usługą UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][SQL] Zmień nazwę klasy błędu: UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][CORE] Ignoruj IOException wartość w handleBlockRemovalFailure przypadku zatrzymania elementu SparkContext
• [SPARK-41295] [SC-122442][SPARK-41296][SQL] Zmienianie nazwy klas błędów
• [SPARK-42320] [SC-122478][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2188
• [SPARK-42255] [SC-122483][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2430
• [SPARK-42156] [SC-121851][CONNECT] Element SparkConnectClient obsługuje teraz usługę RetryPolicies
• [SPARK-38728] [SC-116723][SQL] Przetestuj klasę błędów: FAILED_RENAME_PATH
• [SPARK-40005] [12.X] Przykłady samodzielne w narzędziu PySpark
• [SPARK-39347] [SC-122457][SS] Poprawka błędu w obliczeniu czasu window, gdy czas zdarzenia < wynosi 0
• [SPARK-42336] [SC-122458][CORE] Użyj getOrElse() zamiast w elemecie contains() ResourceAllocator
• [SPARK-42125] [SC-121827][CONNECT][PYTHON] Funkcja UDF biblioteki Pandas w programie Spark Connect
• [SPARK-42217] [SC-122263][SQL] Obsługa niejawnego aliasu column bocznego w zapytaniach za pomocą Window
• [SPARK-35240] [SC-118242][SS] Używanie narzędzia CheckpointFileManager do manipulowania plikami punktu kontrolnego
• [SPARK-42294] [SC-122337][SQL] Uwzględnij column domyślne values w danych wyjściowych DESCRIBE dla V2 tables
• [SPARK-41979] Przywróć "Przywróć "[12.x][SC-121190][SQL] Dodaj brakujące kropki dla komunikatów o błędach w klasach błędów.""
• [SPARK-42286] [SC-122336][SQL] Powrót do poprzedniej ścieżki kodu codegen dla złożonego expr z funkcją CAST
• [SPARK-42275] [SC-122249][CONNECT][PYTHON] Unikaj używania wbudowanych list, dict w statycznym wpisywaniu
• [SPARK-41985] [SC-122172][SQL] Scentralizowanie większej liczby reguł rozwiązywania column
• [SPARK-42126] [SC-122330][PYTHON][CONNECT] Zaakceptuj zwracany typ w ciągach DDL dla scalarnych funkcji zdefiniowanych przez użytkownika języka Python w programie Spark Connect
• [SPARK-42197] [SC-122328][SC-121514][CONNECT] Ponowne używanie inicjowania maszyny JVM i oddzielne grupy konfiguracji do set w trybie zdalnym lokalnym
• [SPARK-41575] [SC-120118][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2054
• [SPARK-41985] Przywróć "[SC-122172][SQL] Scentralizowanie bardziej column reguł rozwiązywania problemów"
• [SPARK-42123] [SC-122234][SC-121453][SQL] Uwzględnij column domyślne values w artykule DESCRIBE i SHOW CREATE TABLE danych wyjściowych
• [SPARK-41985] [SC-122172][SQL] Scentralizowanie większej liczby reguł rozwiązywania column
• [SPARK-42284] [SC-122233][CONNECT] Przed uruchomieniem testów klienta — SBT upewnij się, że zestaw serwera connect jest skompilowany
• [SPARK-42239] [SC-121790][SQL] Integrować MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][SQL] Obsługa wypychania DS w wersji 2 obsługuje dialekty JDBC kompilowane SortOrder samodzielnie
• [SPARK-42259] [SC-122168][SQL] ResolveGroupingAnalytics powinna dbać o środowisko UDAF języka Python
• [SPARK-41979] Przywróć wartość "[12.x][SC-121190][SQL] Dodaj brakujące kropki dla komunikatów o błędach w klasach błędów.
• [SPARK-42224] [12.x][SC-121708][CONNECT] Migrowanie błędu TypeError do struktury błędów dla funkcji Spark Connect
• [SPARK-41712] [12.x][SC-121189][PYTHON][CONNECT] Migrowanie błędów programu Spark Connect do platformy błędów PySpark.
• pl-PL: [SPARK-42119] [SC-121913][SC-121342][SQL] Dodanie wbudowanych funkcji wartościowych table: inline i inline_outer
• [SPARK-41489] [SC-121713][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2415
• [SPARK-42082] [12.x][SC-121163][SPARK-41598][PYTHON][CONNECT] Wprowadzenie błędu PySparkValueError i PySparkTypeError
• [SPARK-42081] [SC-121723][SQL] Ulepszanie weryfikacji zmian planu
• [SPARK-42225] [12.x][SC-121714][CONNECT] Dodaj wyjątek SparkConnectIllegalArgumentException, aby dokładnie obsłużyć błąd programu Spark Connect.
• [SPARK-42044] [12.x][SC-121280][SQL] Naprawianie nieprawidłowego komunikatu o błędzie dla MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][SC-121712][PS] Zezwolić na parametr columns podczas tworzenia DataFrame z Seria.
• [SPARK-42078] [12.x][SC-120761][PYTHON] Migrowanie błędów zgłaszanych przez maszynę JVM do wyjątku PySparkException.
• [SPARK-42133] [12.x][SC-121250] Dodawanie podstawowych metod interfejsu API zestawu danych do klienta SparkConnect Scala
• [SPARK-41979] [12.x][SC-121190][SQL] Dodaj brakujące kropki dla komunikatów o błędach w klasach błędów.
• [SPARK-42124] [12.x][SC-121420][PYTHON][CONNECT] Scalar Inline Python UDF inline w programie Spark Connect
• [SPARK-42051] [SC-121994][SQL] Obsługa generowania kodu dla funkcji HiveGenericUDF
• [SPARK-42257] [SC-121948][CORE] Remove nieużywana zmienna zewnętrznego sortera
• [SPARK-41735] [SC-121771][SQL] Użyj funkcji MINIMAL zamiast STANDARD dla elementu SparkListenerSQLExecutionEnd
• [SPARK-42236] [SC-121882][SQL] Udoskonalić NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][SQL] Ulepszanie komunikatu o błędzie dla elementu PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][CORE] Migrowanie SparkCoreErrors do klas błędów
• [SPARK-42163] [SC-121839][SQL] Poprawka schema przycinania dla indeksu tablicy nieskładalnej lub klucza mapy
• [SPARK-40711] [SC-119990][SQL] Dodawanie metryk rozmiaru wycieku dla window
• [SPARK-42023] [SC-121847][SPARK-42024][CONNECT][PYTHON] Tworzenie createDataFrame przymusu obsługi AtomicType -> StringType
• [SPARK-42202] [SC-121837][Połącz][Test] Ulepszanie logiki zatrzymania serwera testowego E2E
• [SPARK-41167] [SC-117425][SQL] Zwiększanie wydajności podobnej do wielu dzięki utworzeniu predykatu drzewa wyrażeń wyważonego
• [SPARK-41931] [SC-121618][SQL] Lepszy komunikat o błędzie dla niekompletnej definicji typu złożonego
• [SPARK-36124] [SC-121339][SC-110446][SQL] Obsługa podzapytania z korelacją za pośrednictwem unii
• [SPARK-42090] [SC-121290][3.3] Wprowadzenie liczby ponownych prób sasl w retryingBlockTransferor
• [SPARK-42157] [SC-121264][CORE] spark.scheduler.mode=FAIR powinien zapewnić harmonogram FAIR
• [SPARK-41572] [SC-120772][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2149
• [SPARK-41983] [SC-121224][SQL] Zmień nazwę i popraw komunikat o błędzie dla elementu NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][SQL] Ulepszanie komunikatu o błędzie dla elementu INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][SC-120573] Przypisywanie parametrów SQLSTATE (1/2)
• [SPARK-41415] [SC-121117][3.3] Ponowne próby żądań SASL
• [SPARK-38591] [SC-121018][SQL] Dodawanie obiektów flatMapSortedGroups i cogroupSorted
• [SPARK-41975] [SC-120767][SQL] Ulepszanie komunikatu o błędzie dla elementu INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][SQL][PROTOBUF] Dodawanie brakujących opcji dla funkcji Protobuf
• [SPARK-41984] [SC-120769][SQL] Zmień nazwę i popraw komunikat o błędzie dla elementu RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][SQL] Naprawiono serwer NPE dla klas błędów: CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][CONNECT][PYTHON] Poprawka nieprawidłowej nazwy column w dokumentu withField
• [SPARK-41283] [SC-121175][CONNECT][PYTHON] Dodaj array_append do programu Connect
• [SPARK-41960] [SC-120773][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1056
• [SPARK-42134] [SC-121116][SQL] Naprawiono polecenie getPartitionFiltersAndDataFilters() w celu obsługi filtrów bez atrybutów, do których odwołuje się odwołanie
• [SPARK-42096] [SC-121012][CONNECT] Niektóre oczyszczanie kodu dla modułu connect
• [SPARK-42099] [SC-121114][SPARK-41845][CONNECT][PYTHON] Naprawianie count(*) i count(col(*))
• [SPARK-42045] [SC-120958][SC-120450][SQL] Tryb SQL ANSI: Round/Bround powinien zwrócić błąd w przepełnieniu liczby całkowitej
• [SPARK-42043] [SC-120968][CONNECT] Wynik klienta Scala z testami E2E
• [SPARK-41884] [SC-121022][CONNECT] Obsługa naiwnej krotki jako zagnieżdżonego wiersza
• [SPARK-42112] [SC-121011][SQL][SS] Dodawanie sprawdzania wartości null przed ContinuousWriteRDD#compute zamknięciem funkcji dataWriter
• [SPARK-42077] [SC-120553][CONNECT][PYTHON] Literał powinien zgłaszać błąd TypeError dla nieobsługiwanego typu danych
• [SPARK-42108] [SC-120898][SQL] Przekształć Count(*) analizatora w Count(1)
• [SPARK-41666] [SC-120928][SC-119009][PYTHON] Obsługa sparametryzowanego kodu SQL przez sql()
• [SPARK-40599] [SC-120930][SQL] Zrelaksuj typ reguły multiTransform, aby umożliwić alternatywy dla dowolnego rodzaju seq
• [SPARK-41574] [SC-120771][SQL] Update_LEGACY_ERROR_TEMP_2009 jako INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1249
• [SPARK-41974] [SC-120766][SQL] Przekróć INCORRECT_END_OFFSET w INTERNAL_ERROR
• [SPARK-41530] [SC-120916][SC-118513][CORE] Zmienianie nazwy medianyHeap na PercentileMap i obsługa percentylu
• [SPARK-41757] [SC-120608][SPARK-41901][CONNECT] Poprawiono reprezentację ciągu dla klasy Column
• [SPARK-42084] [SC-120775][SQL] Unikaj wycieku ograniczenia tylko do kwalifikowanego dostępu
• [SPARK-41973] [SC-120765][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_1311
• [SPARK-42039] [SC-120655][SQL] SPJ: Remove Option in KeyGroupedPartitioning#partitionValuesOpt
• [SPARK-42079] [SC-120712][CONNECT][PYTHON] Zmienianie nazwy komunikatów proto dla toDF i withColumnsRenamed
• [SPARK-42089] [SC-120605][CONNECT][PYTHON] Rozwiązywanie problemów z nazwami zmiennych w zagnieżdżonych funkcjach lambda
• [SPARK-41982] [SC-120604][SQL] Partycje typu ciąg nie powinny być traktowane jako typy liczbowe
• [SPARK-40599] [SC-120620][SQL] Dodanie metod multiTransform do TreeNode dla alternatyw generate
• [SPARK-42085] [SC-120556][CONNECT][PYTHON] Tworzenie from_arrow_schema typów zagnieżdżonych obsługi
• [SPARK-42057] [SC-120507][SQL][PROTOBUF] Napraw sposób obsługi wyjątku w raportowaniu błędów.
• [SPARK-41586] [12.x][WSZYSTKIE TESTY][SC-120544][PYTHON] Wprowadzenie pyspark.errors i klasy błędów dla PySpark.
• [SPARK-41903] [SC-120543][CONNECT][PYTHON] Literal powinna obsługiwać 1-dim ndarray
• [SPARK-42021] [SC-120584][CONNECT][PYTHON] Tworzenie createDataFrame pomocy technicznej array.array
• [SPARK-41896] [SC-120506][SQL] Filtrowanie według indeksu wierszy zwraca puste wyniki
• [SPARK-41162] [SC-119742][SQL] Naprawianiejoin anty-i pół-join dla siebiejoin za pomocą agregacji
• [SPARK-41961] [SC-120501][SQL] Support table-valued functions with LATERAL
• [SPARK-41752] [SC-120550][SQL][Interfejs użytkownika] Grupowanie zagnieżdżonych wykonań w ramach wykonywania głównego
• [SPARK-42047] [SC-120586][SPARK-41900][CONNECT][PYTHON][12.X] Literał powinien obsługiwać typy danych Numpy
• [SPARK-42028] [SC-120344][CONNECT][PYTHON] Obcięcie nanoseconds timestampsl
• [SPARK-42011] [SC-120534][CONNECT][PYTHON] Implementowanie DataFrameReader.csv
• [SPARK-41990] [SC-120532][SQL] Użyj FieldReference.column zamiast w wersji 1 do konwersji filtru apply w wersji 2
• [SPARK-39217] [SC-120446][SQL] Sprawia, że DPP obsługuje stronę oczyszczania ma Union
• [SPARK-42076] [SC-120551][CONNECT][PYTHON] Konwersja arrow -> rows danych współczynnika na conversion.py
• [SPARK-42074] [SC-120540][SQL] Włącz KryoSerializer , TPCDSQueryBenchmark aby wymusić rejestrację klas SQL
• [SPARK-42012] [SC-120517][CONNECT][PYTHON] Implementowanie elementu DataFrameReader.orc
• [SPARK-41832] [SC-120513][CONNECT][PYTHON] Poprawka DataFrame.unionByName, dodawanie allow_missing_columns
• [SPARK-38651] [SC-120514] [SQL] Dodawać spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][SQL] CheckOverflowInTableInsert wartość ExpressionProxy powinna być akceptowana jako element podrzędny
• [SPARK-41232] [SC-120073][SQL][PYTHON] Dodawanie funkcji array_append
• [SPARK-42041] [SC-120512][SPARK-42013][CONNECT][PYTHON] Element DataFrameReader powinien obsługiwać list ścieżek
• [SPARK-42071] [SC-120533][CORE] Zarejestruj się scala.math.Ordering$Reverse w usłudze KyroSerializer
• [SPARK-41986] [SC-120429][SQL] Wprowadzanie mieszania w ramach pojedynczej części
• [SPARK-42016] [SC-120428][CONNECT][PYTHON] Włącz testy związane z zagnieżdżonym column
• [SPARK-42042] [SC-120427][CONNECT][PYTHON] DataFrameReader powinien obsługiwać StructType schema
• [SPARK-42031] [SC-120389][CORE][SQL] remove Czyszczenie metod, które nie wymagają zastąpienia
• [SPARK-41746] [SC-120463][SPARK-41838][SPARK-41837][SPARK-41835][SPARK-41836][SPARK-41847][CONNECT][PYTHON] Tworzenie createDataFrame(rows/lists/tuples/dicts) typów zagnieżdżonych obsługi
• [SPARK-41437] [SC-117601][SQL][WSZYSTKIE TESTY] Nie optimize kwerendy wejściowej dwa razy dla rezerwowego zapisu w wersji 1
• [SPARK-41840] [SC-119719][CONNECT][PYTHON] Dodawanie brakującego aliasu groupby
• [SPARK-41846] [SC-119717][CONNECT][PYTHON] Włączanie testów dokumentu dla funkcji window
• [SPARK-41914] [SC-120094][SQL] FileFormatWriter materializuje plan AQE przed uzyskaniem dostępu do elementu outputOrdering
• [SPARK-41805] [SC-119992][SQL] Ponowne używanie wyrażeń w oknieSpecDefinition
• [SPARK-41977] [SC-120269][SPARK-41978][CONNECT] SparkSession.range do podejmowania zmiennoprzecinkowych jako argumentów
• [SPARK-42029] [SC-120336][CONNECT] Dodaj reguły cieniowania Guava, aby connect-common uniknąć niepowodzenia uruchamiania
• [SPARK-41989] [SC-120334][PYTHON] Unikaj konfigurowania rejestrowania powodującego niezgodność z biblioteki pyspark.pandas
• [SPARK-42003] [SC-120331][SQL] Zmniejsz zduplikowany kod w funkcji ResolveGroupByAll
• [SPARK-41635] [SC-120313][SQL] Naprawianie grupy według wszystkich raportów o błędach
• [SPARK-41047] [SC-120291][SQL] Ulepszanie dokumentacji dla rundy
• [SPARK-41822] [SC-120122][CONNECT] Konfigurowanie połączenia gRPC dla klienta Scala/JVM
• [SPARK-41879] [SC-120264][CONNECT][PYTHON] Tworzenie DataFrame.collect typów zagnieżdżonych obsługi
• [SPARK-41887] [SC-120268][CONNECT][PYTHON] Spraw, aby DataFrame.hint akceptował typizowany parametr list
• [SPARK-41964] [SC-120210][CONNECT][PYTHON] Dodaj list nieobsługiwanych funkcji wejścia/wyjścia
• [SPARK-41595] [SC-120097][SQL] Obsługa funkcji generatora eksploduje/explode_outer w klauzuli FROM
• [SPARK-41957] [SC-120121][CONNECT][PYTHON] Włączanie testu dokumentu dla DataFrame.hint
• [SPARK-41886] [SC-120141][CONNECT][PYTHON] DataFrame.intersect Dane wyjściowe doctest mają inną kolejność
• [SPARK-41442] [SC-117795][SQL][WSZYSTKIE TESTY] Tylko update wartość SQLMetric w przypadku scalenia z prawidłową metrykę
• [SPARK-41944] [SC-120046][CONNECT] Przekazywanie konfiguracji, gdy lokalny tryb zdalny jest włączony
• [SPARK-41708] [SC-119838][SQL] Ściąganie informacji o wersji 1write do WriteFiles
• [SPARK-41780] [SC-120000][SQL] Należy zgłosić INVALID_PARAMETER_VALUE.PATTERN, gdy parametersregexp jest nieprawidłowy
• [SPARK-41889] [SC-119975][SQL] Dołącz główną przyczynę do nieprawidłowych klas błędów ErrorError i refaktoryzacji INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][SQL] Klasy wielkości liter AvroScanBuilder i JsonScanBuilder
• [SPARK-41945] [SC-120010][CONNECT][PYTHON] Python: klient połączenia utracił column dane używając pyarrowa.Table.to_pylist
• [SPARK-41690] [SC-119102][SC-119087][SQL][CONNECT] Niezależne kodery
• [SPARK-41354] [SC-119995][CONNECT][PYTHON] Implementowanie ponownego partycjonowaniaByExpression
• [SPARK-41581] [SC-119997][SQL] Update_LEGACY_ERROR_TEMP_1230 jako INTERNAL_ERROR
• [SPARK-41928] [SC-119972][CONNECT][PYTHON] Dodaj nieobsługiwane list dla functions
• [SPARK-41933] [SC-119980][CONNECT] Zapewnianie trybu lokalnego, który automatycznie uruchamia serwer
• [SPARK-41899] [SC-119971][CONNECT][PYTHON] createDataFrame' powinien szanować użytkownika dostarczonego schema DDL
• [SPARK-41936] [SC-119978][CONNECT][PYTHON] Ponowne withMetadata używanie narzędzia withColumns proto
• [SPARK-41898] [SC-119931][CONNECT][PYTHON] Window.rowsBetween, Window.rangeBetween parameters równoważność sprawdzania typów z pyspark
• [SPARK-41939] [SC-119977][CONNECT][PYTHON] Dodaj nieobsługiwane list dla funkcji catalog
• [SPARK-41924] [SC-119946][CONNECT][PYTHON] Tworzenie metadanych obsługi obiektu StructType i implementowanie DataFrame.withMetadata
• [SPARK-41934] [SC-119967][CONNECT][PYTHON] Dodaj nieobsługiwaną funkcję list dla session
• [SPARK-41875] [SC-119969][CONNECT][PYTHON] Dodawanie przypadków testowych dla Dataset.to()
• [SPARK-41824] [SC-119970][CONNECT][PYTHON] Ignoruj doctest dla explain z connect
• [SPARK-41880] [SC-119959][CONNECT][PYTHON] Sprawić, aby funkcja from_json akceptowała niezliteralne schema
• [SPARK-41927] [SC-119952][CONNECT][PYTHON] Dodaj nieobsługiwane list dla GroupedData
• [SPARK-41929] [SC-119949][CONNECT][PYTHON] Dodawanie funkcji array_compact
• [SPARK-41827] [SC-119841][CONNECT][PYTHON] GroupBy zaakceptować columnlist
• [SPARK-41925] [SC-119905][SQL] Włącz spark.sql.orc.enableNestedColumnVectorizedReader domyślnie
• [SPARK-41831] [SC-119853][CONNECT][PYTHON] DataFrame.select zaakceptuj columnlist
• [SPARK-41455] [SC-119858][CONNECT][PYTHON] Sprawić, aby DataFrame.collect odrzucił informacje o timezone
• [SPARK-41923] [SC-119861][CONNECT][PYTHON] Dodaj DataFrame.writeTo do nieobsługiwanego list
• [SPARK-41912] [SC-119837][SQL] Podzapytywanie nie powinno weryfikować CTE
• [SPARK-41828] [SC-119832][CONNECT][PYTHON][12.X] Tworzenie createDataFrame obsługi pustej ramki danych
• [SPARK-41905] [SC-119848][CONNECT] Obsługa nazwy jako ciągów we fragmentatorze
• [SPARK-41869] [SC-119845][CONNECT] Odrzucanie pojedynczego ciągu w dropDuplicates
• [SPARK-41830] [SC-119840][CONNECT][PYTHON] DataFrame.sample zaakceptuj te same parameters co PySpark
• [SPARK-41849] [SC-119835][CONNECT] Implementowanie elementu DataFrameReader.text
• [SPARK-41861] [SC-119834][SQL] Wykonaj zwracanie skanowania typu build() programu ScanBuilders w wersji 2
• [SPARK-41825] [SC-119710][CONNECT][PYTHON] Włączanie testów dokumentu związanych z DataFrame.show
• [SPARK-41855] [SC-119804][SC-119410][SPARK-41814][SPARK-41851][SPARK-41852][CONNECT][PYTHON][12.X] Upewnij się, że createDataFrame dojście brak/naN są poprawne
• [SPARK-41833] [SC-119685][SPARK-41881][SPARK-41815][CONNECT][PYTHON] Utwórz DataFrame.collect uchwyt None/NaN/Array/Binary porperly
• [SPARK-39318] [SC-119713][SQL] Remove tpch-plan-stability WithStats golden files
• [SPARK-41791] [SC-119745] Dodawanie nowych typów metadanych źródła plików column
• [SPARK-41790] [SC-119729][SQL] Set poprawnie sformatować format czytnika i format zapisywania TRANSFORM
• [SPARK-41829] [SC-119725][CONNECT][PYTHON] Dodaj brakujący parametr porządkowania w pliku Sort i sortWithinPartitions
• [SPARK-41576] [SC-119718][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2051
• [SPARK-41821] [SC-119716][CONNECT][PYTHON] Poprawiono test dokumentu dla elementu DataFrame.describe
• [SPARK-41871] [SC-119714][CONNECT] Parametr wskazówki ramki danych może być str, float lub int
• [SPARK-41720] [SC-119076][SQL] Zmień nazwę UnresolvedFunc na UnresolvedFunctionName
• [SPARK-41573] [SC-119567][SQL] Przypisywanie nazwy do _LEGACY_ERROR_TEMP_2136
• [SPARK-41862] [SC-119492][SQL] Naprawiono usterkę poprawności związaną z DEFAULT values w czytniku Orc
• [SPARK-41582] [SC-119482][SC-118701][CORE][SQL] Ponowne użycie INVALID_TYPED_LITERAL zamiast _LEGACY_ERROR_TEMP_0022

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 12.2.

Środowisko systemu

• System operacyjny: Ubuntu 20.04.5 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.9.19
• R: 4.2.2
• Delta Lake: 2.2.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki usługi Microsoft CRAN w wersji 2022-11-11.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)