Databricks Runtime 7.4 (EoS)

Usługa Databricks wydała tę wersję w listopadzie 2020 r.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 7.4 obsługiwanym przez platformę Apache Spark 3.0.

Nowe funkcje

W tej sekcji:

• Funkcje i ulepszenia usługi Delta Lake
• Automatyczne ładowanie obsługuje teraz delegowanie zasobów powiadomień o plikach do administratorów
• Nowe USAGE uprawnienia zapewniają administratorom większą kontrolę nad uprawnieniami dostępu do danych
• Funkcja DBFS FUSE jest teraz włączona dla klastrów z obsługą przekazywania

Funkcje i ulepszenia usługi Delta Lake

Ta wersja zawiera następujące funkcje i ulepszenia usługi Delta Lake:

• Nowy interfejs API umożliwia usłudze Delta Lake sprawdzenie, czy dane dodane do table spełniają ograniczenia
• Nowy interfejs API umożliwia wycofanie wersji Delta table do starszej wersji table
• Nowa wersja początkowa umożliwia zwracanie tylko najnowszych zmian w źródle przesyłania strumieniowego usługi Delta Lake
• Zwiększona stabilność OPTIMIZE

Nowy interfejs API umożliwia usłudze Delta Lake sprawdzenie, czy dane dodane do table spełniają ograniczenia

Usługa Delta Lake obsługuje CHECK teraz ograniczenia. Po podaniu usługa Delta Lake automatycznie sprawdza, czy dane dodane do table spełniają określone wyrażenie. Aby dodać CHECK ograniczenia, użyj ALTER TABLE ADD CONSTRAINTS polecenia . Aby uzyskać szczegółowe informacje, zobacz Ograniczenia dotyczące usługi Azure Databricks.

Nowy interfejs API umożliwia wycofanie Delta table do wcześniejszej wersji table

Teraz możesz wycofać swoją Delta tables do starszych wersji przy użyciu polecenia RESTORE.

SQL

RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';

Python

from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')

Scala

import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE tworzy nowe zatwierdzenie, które powoduje wycofanie wszystkich zmian wprowadzonych w table od wersji, którą chcesz restore. Wszystkie istniejące dane i metadane są przywracane, w tym schema, ograniczenia, identyfikatory transakcji przesyłania strumieniowego, metadane COPY INTO i wersja protokołu table. Aby uzyskać szczegółowe informacje, zobacz Restore Delta table.

Nowa wersja początkowa umożliwia zwracanie tylko najnowszych zmian w źródle przesyłania strumieniowego usługi Delta Lake

Aby zwrócić tylko najnowsze zmiany, określ startingVersion wartość latest. Aby uzyskać szczegółowe informacje, zobacz Określanie pozycji początkowej.

Zwiększona stabilność OPTIMIZE

OPTIMIZE (bez żadnych predykatów partition) można skalować do działania na tables z dziesiątkami milionów małych plików. Wcześniej sterownik platformy Apache Spark mógł zabraknąć pamięci i OPTIMIZE nie zostałby ukończony. OPTIMIZE obsługuje teraz bardzo duże tables z dziesiątkami milionów plików.

Automatyczne ładowanie obsługuje teraz delegowanie zasobów powiadomień o plikach do administratorów

Nowy interfejs API języka Scala umożliwia administratorom set zasoby powiadomień o plikach dla modułu ładującego automatycznie. Inżynierowie danych mogą teraz obsługiwać strumienie automatycznego modułu ładującego z mniejszą liczbą uprawnień, delegując początkową konfigurację zasobów do swoich administratorów. Zobacz Ręczne konfigurowanie zasobów powiadomień o plikach lub zarządzanie nimi.

Nowe USAGE uprawnienia zapewniają administratorom większą kontrolę nad uprawnieniami dostępu do danych

Aby wykonać akcję na obiekcie w bazie danych, należy teraz przyznać USAGE uprawnienie tej bazie danych oprócz uprawnień wymaganych do wykonania akcji. Uprawnienie USAGE jest przyznawane dla bazy danych lub catalog. Wraz z wprowadzeniem przywileju USAGE właściciel table nie może już jednostronnie zdecydować się na udostępnienie go innemu użytkownikowi; użytkownik musi również mieć uprawnienia USAGE w bazie danych zawierającej table.

W obszarach roboczych, które mają włączoną kontrolę dostępu table, grupa users automatycznie ma uprawnienia USAGE dla głównego CATALOG.

Aby uzyskać szczegółowe informacje, zobacz UPRAWNIENIA UŻYCIA.

Funkcja DBFS FUSE jest teraz włączona dla klastrów z obsługą przekazywania

Teraz można odczytywać i zapisywać z systemu plików DBFS przy użyciu instalacji FUSE, /dbfs/ gdy używasz klastra o wysokiej współbieżności włączonego na potrzeby przekazywania poświadczeń. Regularne instalowanie jest obsługiwane. Montaże, które wymagają przekazywania credentials, nie są obsługiwane.

Ulepszenia

Język Spark SQL obsługuje IFF i CHARINDEX jako synonimy dla IF i POSITION

W środowisku Databricks Runtime IF() jest synonimem CASE WHEN <cond> THEN <expr1> ELSE <expr2> END

Środowisko Databricks Runtime obsługuje IFF() teraz jako synonim dla IF()

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX to alternatywna nazwa POSITION funkcji. CHARINDEX znajduje pozycję pierwszego wystąpienia ciągu w innym ciągu z opcjonalnym indeksem początkowym.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

Domyślnie dla notesów języka Python włączono wiele danych wyjściowych na komórkę

Środowisko Databricks Runtime 7.1 wprowadziło obsługę wielu danych wyjściowych na komórkę w notesach języka Python (i komórkach języka Python w notesach innych niż Python), ale trzeba było włączyć tę funkcję dla notesu. Ta funkcja jest domyślnie włączona w środowisku Databricks Runtime 7.4. Zobacz Wyświetlanie wielu danych wyjściowych na komórkę.

Ulepszenia autouzupełniania notesów języka Python

Autouzupełnianie dla języka Python zawiera dodatkowe informacje o typie generowane na podstawie statycznej analizy kodu przy użyciu biblioteki Jedi. Możesz nacisnąć klawisz Tab, aby wyświetlić list opcji.

Ulepszono display wektory spark ML w wersji zapoznawczej ramki danych platformy Spark

Format display pokazuje teraz etykiety dla typu wektorów (rozrzednionych lub gęstych), długości, indeksów (dla wektorów rozrzednionych) i values.

Inne poprawki

• Rozwiązano problem z picklingiem w collections.namedtuple notesach.
• Rozwiązano problem z picklingiem z interakcyjnymi zdefiniowanymi klasami i metodami.
• Usunięto usterkę, która powodowała, że wywołania mlflow.start_run() zawiodły w trybie przekazu lub w klastrach aktywowanych dla kontroli dostępu table.

Uaktualnienia biblioteki

• Uaktualnione biblioteki języka Python:
  • Narzędzie jedi zostało uaktualnione z wersji 0.14.1 do 0.17.2.
  • Program koalas został uaktualniony z wersji 1.2.0 do wersji 1.3.0.
  • Parso uaktualniono z wersji 0.5.2 do 0.7.0.
• Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.

Apache Spark

Środowisko Databricks Runtime 7.4 zawiera platformę Apache Spark 3.0.1. Ta wersja zawiera wszystkie poprawki i ulepszenia platformy Spark zawarte w środowisku Databricks Runtime 7.3 LTS (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-33170] [SQL] Dodawanie konfiguracji SQL w celu kontrolowania zachowania szybkiej awarii w pliku FileFormatWriter
• [SPARK-33136] [SQL] Naprawiono błędnie zamieniony parametr w V2WriteCommand.outputResolved
• [SPARK-33134] [SQL] Zwracanie częściowych wyników tylko dla głównych obiektów JSON
• [SPARK-33038] [SQL] Połącz początkowe i bieżące plany AQE...
• [SPARK-33118] [SQL] TWORZENIE TYMCZASOWEgo TABLE kończy się niepowodzeniem z lokalizacją
• [SPARK-33101] [ML] Rozpropaguj konfigurację usługi Hadoop w formacie LibSVM z opcji DS do bazowego systemu plików HDFS
• [SPARK-33035] [SQL] Aktualizuje przestarzałe wpisy mapowania atrybutów w poleceniu QueryPlan#transformUpWithNewOutput
• [SPARK-33091] [SQL] Unikaj używania mapy zamiast foreach, aby uniknąć potencjalnego efektu ubocznego u wywołujących orcUtils.readCatalystSchema
• [SPARK-33073] [PYTHON] Ulepszanie obsługi błędów w przypadku błędów konwersji biblioteki Pandas na strzałkę
• [SPARK-33043] [ML] Obsługa obliczeń heurystycznych spark.driver.maxResultSize=0 w obliczeniach heurystycznych programu RowMatrix
• [SPARK-29358] [SQL] Wprowadź nazwę unionByName opcjonalnie wypełnij brakujące columns z wartościami null
• [SPARK-32996] [WEB-UI] Obsługa pustych funkcji Wykonawczej w funkcji ExecutorMetricsJsonSerializer
• [SPARK-32585] [SQL] Obsługa wyliczenia scala w scalaReflection
• [SPARK-33019] [CORE] Użyj polecenia spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1 domyślnie
• [SPARK-33018] [SQL] Rozwiązywanie problemu ze statystykami szacowania, jeśli element podrzędny ma 0 bajtów
• [SPARK-32901] [CORE] Nie przydzielaj pamięci podczas rozlania elementu UnsafeExternalSorter
• [SPARK-33015] [SQL] Użyj parametru millisToDays() w regule ComputeCurrentTime
• [SPARK-33015] [SQL] Obliczanie bieżącej daty tylko raz
• [SPARK-32999] [SQL] Użyj polecenia Utils.getSimpleName, aby uniknąć naciśnięcia źle sformułowanej nazwy klasy w węźle TreeNode
• [SPARK-32659] [SQL] Broadcast Array zamiast Set w InSubqueryExec
• [SPARK-32718] [SQL] Remove niepotrzebne słowa kluczowe dla jednostek interwału
• [SPARK-32886] [WEBUI] poprawka "niezdefiniowanego" linku w widoku osi czasu zdarzeń
• [SPARK-32898] [CORE] Naprawianie nieprawidłowej funkcji wykonawczejRunTime, gdy zadanie zostało zabite przed rozpoczęciem rzeczywistym
• [SPARK-32635] [SQL] Dodawanie nowego przypadku testowego w module katalizatora
• [SPARK-32930] [CORE] Zastąp przestarzałe metody isFile/isDirectory
• [SPARK-32906] [SQL] Nazwy pól struktury nie powinny zmieniać się po normalizacji zmiennoprzecinkowych
• [SPARK-24994] [SQL] Dodawanie optymalizatora UnwrapCastInBinaryComparison w celu uproszczenia literału całkowitego
• [SPARK-32635] [SQL] Naprawianie propagacji składanej
• [SPARK-32738] [CORE] Jeśli wystąpi błąd krytyczny, należy zmniejszyć liczbę aktywnych wątków Inbox.process
• [SPARK-32900] [CORE] Zezwalaj na rozlanie elementu UnsafeExternalSorter w przypadku wystąpienia wartości null
• [SPARK-32897] [PYTHON] Nie pokazuj ostrzeżenia o wycofaniu w witrynie SparkSession.builder.getOrCreate
• [SPARK-32715] [CORE] Naprawianie przecieku pamięci, gdy nie można przechowywać fragmentów emisji
• [SPARK-32715] [CORE] Naprawianie przecieku pamięci, gdy nie można przechowywać fragmentów emisji
• [SPARK-32872] [CORE] Zapobiegaj przekroczeniu progu wzrostu przez element BytesToBytesMap w MAX_CAPACITY
• [SPARK-32876] [SQL] Zmień domyślne wersje rezerwowe na 3.0.1 i 2.4.7 w programie HiveExternalCatalogVersionsSuite
• [SPARK-32840] [SQL] Nieprawidłowa wartość interwału może być po prostu klejem z jednostką
• [SPARK-32819] [SQL] ignoreNullability parametr powinien być skuteczny rekursywnie
• [SPARK-32832] [SS] Użyj opcji CaseInsensitiveMap dla opcji DataStreamReader/Writer
• [SPARK-32794] [SS] Naprawiono rzadki błąd przypadku narożnego w a aparatze mikrosadowym z niektórymi zapytaniami stanowymi + brak partii danych i źródłami V1
• [SPARK-32813] [SQL] Get domyślna konfiguracja czytnika wektoryzowanego ParquetSource, jeśli nie ma aktywnej SparkSession
• [SPARK-32823] [INTERNETOWY interfejs użytkownika] Naprawianie głównego raportowania zasobów interfejsu użytkownika
• [SPARK-32824] [CORE] Popraw komunikat o błędzie, gdy użytkownik zapomni o wartości .amount w konfiguracji zasobu
• [SPARK-32614] [SQL] Nie stosuj przetwarzania komentarzy, jeśli "komentarz" nie jest ustawiony dla pliku CSV
• [SPARK-32638] [SQL] Poprawia odwołania podczas dodawania aliasów w WidenSetOperationTypes
• [SPARK-32810] [SQL] Źródła danych CSV/JSON powinny unikać ścieżek globbingu podczas wnioskowania schema
• [SPARK-32815] [ML] Naprawienie błędu ładowania źródła danych LibSVM w ścieżkach plików za pomocą metacharactrów glob
• [SPARK-32753] [SQL] Kopiowanie tagów tylko do węzła bez tagów
• [SPARK-32785] [SQL] Interwał z zwisanymi częściami nie powinien powodować wartości null
• [SPARK-32764] [SQL] -0.0 powinna być równa 0,0
• [SPARK-32810] [SQL] Źródła danych CSV/JSON powinny unikać ścieżek globbingu podczas wnioskowania schema
• [SPARK-32779] [SQL] Unikaj używania zsynchronizowanego interfejsu API sesjiCatalog w przepływie klienta. Prowadzi to do zakleszczenia
• [SPARK-32791] [SQL] Nie partycjonowana metryka table nie powinna mieć dynamicznego czasu oczyszczania partition
• [SPARK-32767] [SQL] Zasobnik join powinien działać, jeśli spark.sql.shuffle.partitions większe niż liczba zasobników
• [SPARK-32788] [SQL] bez partycjonowania skanowanie table nie powinno mieć filtru partition
• [SPARK-32776] [SS] Limit w strumieniowaniu nie należy optymalizować przez PropagateEmptyRelation
• [SPARK-32624] [SQL] Naprawianie regresji w kodziegenContext.addReferenceObj w zagnieżdżonych typach Scala
• [SPARK-32659] [SQL] Ulepszanie testu oczyszczania DPP dla typu niepodzielnego
• [SPARK-31511] [SQL] Zabezpieczanie wątków przez iteratory BytesToBytesMap
• [SPARK-32693] [SQL] Porównaj dwie ramki danych z tymi samymi elementami schema z wyjątkiem właściwości dopuszczającej wartości null
• [SPARK-28612] [SQL] Poprawny dokument metody DataFrameWriterV2.replace()

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 7.4.

Środowisko systemu

• System operacyjny: Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64 (kompilacja 1.8.0_265-b11)
• Scala: 2.12.10
• Python: 3.7.5
• R: R w wersji 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Biblioteki języka R są instalowane z migawki CRAN firmy Microsoft w wersji XXXX-XX-XX.

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.12)