Databricks Runtime 4.3 (EoS)

Usługa Databricks wydała tę wersję w sierpniu 2018 r.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 4.3 obsługiwanym przez platformę Apache Spark.

Nowe funkcje

• Delta Lake
  • TRUNCATE TABLE polecenie: Usuń wszystkie wiersze z tabeli. W przeciwieństwie do swoich odpowiedników w przypadku tabel platformy Spark tabele delty nie obsługują usuwania określonych partycji.
  • ALTER TABLE REPLACE COLUMNS polecenie: zamień kolumny w tabeli delty. Obsługuje zmianę komentarza kolumny i zmianę kolejności wielu kolumn.
  • FSCK REPAIR TABLE polecenie: usuń wpisy z dziennika transakcji tabeli Delta dotyczące plików, których nie można już znaleźć w bazowym systemie plików. Może się to zdarzyć, gdy te pliki zostały ręcznie usunięte.
  • Obsługa zapytań w nieaktualnych tabelach delty w celu poprawy interakcyjnego środowiska zapytań: zapytania w tabelach delty mogą być teraz uruchamiane w nieaktualnej wersji tabeli, gdy aktualne wyniki nie są konieczne. Ta funkcja zmniejsza opóźnienia zapytań, zwłaszcza gdy bazowe tabele delty są stale aktualizowane przez strumienie.
• Przesyłanie strumieniowe ze strukturą
  • Skalowalna obsługa zapisu strumieniowego dla łącznika usługi Azure Synapse Analytics.
  • Obsługa foreachBatch() języka Python (dostępna już w języku Scala). Aby uzyskać więcej informacji, zobacz dokumentację foreach i foreachBatch.
  • Obsługa wybierania minimalnego lub maksymalnego limitu w przypadku wielu strumieni wejściowych w zapytaniu. Wcześniej był zawsze używany minimalny znacznik czasu. Aby uzyskać więcej informacji, zobacz zasady dotyczące wielu znaków wodnych.
  • Obsługa operatora LIMIT dla strumieni w trybach wyjściowych Append i Complete. Aby zminimalizować błędy OOM w sterowniku, LIMIT jest automatycznie stosowany podczas korzystania z display() na nieograniczonych strumieniach.

Ulepszenia

• Delta Lake

  • Prywatna wersja zapoznawcza nowej skalowalnej implementacji polecenia MERGE INTO, która nie ma limitu wstawiania 10 000 wierszy. Jeśli chcesz wypróbować tę usługę, skontaktuj się z pomocą techniczną.
  • Lepsza wydajność i skalowalność komendy OPTIMIZE, zwłaszcza w przypadku większych klastrów.
  • Polecenie OPTIMIZE teraz zatwierdza tabelę przyrostowo, co oznacza, że jeśli polecenie zakończy się niepowodzeniem, ponowna próba nie będzie musiała przetwarzać całego zestawu danych.
  • Zredukowano liczbę wywołań RPC związanych z systemem plików wymaganych do odkrywania nowych danych przy użyciu Delta Lake jako źródła strumieniowego.
  • Dodano obsługę df.writeStream.table(table-name) języka Python w celu utworzenia tabeli delty na podstawie strumienia.

• Zwiększona wydajność zapytań z wieloma sprzężeniami, agregacjami lub oknami.

• Zwiększona wydajność przycinania na poziomie partycji w zapytaniach wykorzystujących sprzężenia mieszające typu broadcast.

• Ulepszenia całego generowania kodu etapowego w celu wykrywania zduplikowanych wyrażeń, zmniejszenia ilości wygenerowanego kodu i zwiększenia wydajności niektórych typów wyrażeń.

• Klastry o wysokiej współbieżności obsługują teraz uruchamianie %fs w notatnikach.

• Uaktualniono Py4J używane przez PySpark do wersji 0.10.7.

• Zwiększona wydajność buforowania pamięci dyskowej na maszynach wirtualnych serii Ls platformy Azure. Pamięć podręczna jest teraz domyślnie włączona w tych instancjach, przyspieszając zadania, które wielokrotnie odczytują pliki Parquet.

Przestarzałe funkcje

• Pomijanie danych poza usługą Databricks Delta przestało być wspierane. Ulepszona wersja pomijania danych będzie nadal dostępna w ramach usługi Delta Lake. Zalecamy przejście na korzystanie z usługi Delta Lake, aby nadal korzystać z tej funkcji. Zobacz Databricks Delta Data Skipping aby uzyskać szczegóły.

Poprawki błędów

• Naprawiono nieprawidłową instrukcję wypychania MERGE INTO predykatu dla funkcji Delta, gdy warunek ON miał predykaty odwołujące się tylko do tabeli docelowej.
• Naprawiono usterkę w mapGroupsWithState i flatMapGroupsWithState, która uniemożliwiała ustawienie limitów czasu po usunięciu stanu (SPARK-22187).
• Naprawiono usterkę uniemożliwiającą poprawne działanie znaku wodnego z Trigger.Once (SPARK-24699).
• Polecenie Update weryfikuje teraz kolumny w klauzuli SET, aby upewnić się, że wszystkie kolumny rzeczywiście istnieją i żadna kolumna nie jest ustawiona więcej niż raz.
• Naprawiono potencjalny wyścig danych, który mógł powodować zakleszczenia podczas operacji zatwierdzania zmian w katalogu.

• Usunięto usterkę powodującą użycie przestarzałej wersji klienta DBFS podczas odświeżania punktów montowania.

Znane problemy

• Opcje konfiguracji Delta Lake dla tabeli obowiązują tylko w pierwszym zeszycie, który ładuje tabelę.

Apache Spark

Środowisko Databricks Runtime 4.3 obejmuje platformę Apache Spark 2.3.1. Ta wersja zawiera wszystkie poprawki i ulepszenia zawarte w środowisku Databricks Runtime 4.2 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-24934][SQL] Jawnie zezwalaj na obsługiwane typy w granicach górnych/dolnych dla oczyszczania partycji w pamięci
  • Gdy złożone typy danych są używane w filtrach zapytań względem buforowanych danych, platforma Spark zawsze zwraca pusty zestaw wyników. Oczyszczanie oparte na statystykach w pamięci generuje nieprawidłowe wyniki, ponieważ wartość null jest ustawiona dla górnych/dolnych granic dla typów złożonych. Poprawka polega na tym, że nie należy używać przycinania opartego na statystykach w pamięci dla typów złożonych.
• [SPARK-24957][SQL] Średnia z wartością dziesiętną, po której następuje agregacja, zwraca nieprawidłowy wynik
  • Mogą zostać zwrócone nieprawidłowe wyniki funkcji AVERAGE. Funkcja CAST dodana w operatorze Average zostanie pominięta, jeśli wynik dzielenia jest tym samym typem, do którego jest rzutowany.
• [SPARK-24867][SQL] Dodawanie elementu AnalysisBarrier do elementu DataFrameWriter
  • Pamięć podręczna SQL nie jest używana podczas korzystania z DataFrameWriter do zapisywania DataFrame z funkcją UDF. Jest to regresja spowodowana zmianami wprowadzonych w narzędziu AnalysisBarrier, ponieważ nie wszystkie reguły analizatora są idempotentne.
• [SPARK-24790][SQL] Zezwalaj na złożone wyrażenia agregujące w operacji przestawiania
  • Poluźnij ograniczenie, aby zezwolić na złożone wyrażenia agregujące, takie jak ceil(sum(col1)) lub sum(col1) + 1, co w przybliżeniu oznacza dowolne wyrażenie agregujące, które może pojawić się w planie z agregacjami, z wyjątkiem UDF biblioteki pandas.
• [SPARK-24870][SQL] Pamięć podręczna nie może działać normalnie, jeśli w języku SQL występują wielkie i małe litery
  • Rozwiązuje kwestię związaną z kanonizacją planu.
• [SPARK-24852]Użycie zaktualizowanych interfejsów API instrumentacji w treningu spark.ml.
• [SPARK-24891][SQL] Poprawka reguły HandleNullInputsForUDF
  • Utwórz idempotentną regułę HandleNullInputsForUDF, aby uniknąć niezgodności planu w menedżerze pamięci podręcznej, gdy plan jest analizowany więcej niż raz.
• [SPARK-24878][SQL] Poprawiono funkcję odwrotną dla typu tablicy typu pierwotnego zawierającego wartość null.
• [SPARK-24871][SQL] Refaktoryzacja Concat i MapConcat, aby uniknąć tworzenia obiektu concatenator dla każdego wiersza.
• [SPARK-24802][SQL] Dodawanie nowej konfiguracji na potrzeby wykluczania reguły optymalizacji
  • Udostępnia konfigurację dla użytkowników, aby wykluczyć niektóre reguły optymalizatora.
• [SPARK-24879][SQL] Napraw błąd NPE w przesunięciu filtru przycinania partycji Hive
  • Gdy predykat partycji jest podobny do col IN (1, null), zostanie zgłoszony NPE. Ta poprawka to naprawia.
• [SPARK-23731][SQL] Umożliw elementowi FileSourceScanExec kanonizację po (de)serializacji
• [SPARK-24755][CORE] Utrata funkcji wykonawczej może spowodować, że zadanie nie zostanie ponownie ponownie zwrócone
  • Naprawia usterkę, przez którą Spark nie ponawia zadań, które nie powiodły się z powodu utraty egzekutora. Ta usterka została wprowadzona na platformie Spark 2.3.
• [SPARK-24677][CORE] Unikać polecenia NoSuchElementException z MedianHeap
  • Naprawia usterkę związaną z zadaniami spekulacyjnymi podczas zbierania metryk czasu trwania zadania.
• [SPARK-24868][PYTHON] dodawanie funkcji sekwencji w języku Python
• [SPARK-21811][SPARK-24012][SPARK-24737][SPARK-24165][SPARK-24734][SPARK-24840][SQL] Naprawianie przymusów typów i wartości null.
• [SPARK-24699][SS] Spraw, aby znaki wodne działały z Trigger.Once, zapisując zaktualizowany znak wodny w dzienniku zatwierdzeń
• [SPARK-24537][R] Dodawanie array_remove / array_zip / map_from_arrays / array_distinct
• [SPARK-22187][SS] Zaktualizuj format 'unsaferow' dla zapisanego stanu w flatMapGroupsWithState, aby zezwolić na przekroczenie limitu czasu ze stanem usuniętym (4.x)
• [SPARK-24681][SQL] Weryfikowanie zagnieżdżonych nazw kolumn w magazynie metadanych Hive
  • Upewnij się, że zagnieżdżone nazwy kolumn nie zawierają ',', ':' ani ';' w metastore Hive.
• [SPARK-23486]zachowywanie w pamięci nazwy funkcji z katalogu zewnętrznego dla funkcji lookupFunctions
  • Aby przyspieszyć wyszukiwanie funkcji.
• [SPARK-24781][SQL] Używanie odwołania z zestawu danych w filtrze/sortowaniu może nie działać
• [SPARK-24208][SQL] Naprawianie deduplikacji atrybutów dla FlatMapGroupsInPandas
  • Naprawa błędu samosprzężenia w zestawie danych zawierającym FlatMapGroupsInPandas z powodu zduplikowanych atrybutów
• [SPARK-24530][PYTHON] Dodawanie kontrolki w celu wymuszenia wersji języka Python w sphinx za pomocą zmiennej środowiskowej SPHINXPYTHON
• [SPARK-24250]obsługa uzyskiwania dostępu do usługi SQLConf wewnątrz zadań
  • Zapisz wszystkie ustawienia SQL we właściwościach zadania, gdy uruchomione zostanie wykonywanie SQL. Po stronie funkcji wykonawczej ponownie kompilujemy narzędzie SQLConf z właściwości zadania.
• [SPARK-23936][SQL] Zaimplementować map_concat
• [SPARK-23914][SQL] Dodawanie funkcji array_union
• [SPARK-24732][SQL] Przymuszanie typów między typami map.
  • Dodaje obsługę przymusu typu między typami MapTypes, w których oba typy kluczy i typy wartości są zgodne. Na przykład typy MapType(IntegerType, FloatType) i MapType(LongType, DoubleType) mogą być przekształcone do typu MapType(LongType, DoubleType)
• [SPARK-24662][SQL][SS] Wsparcie dla limitu w strumieniowaniu strukturalnym
• [SPARK-24730][SS] Dodaj zasady, aby wybrać wartość maksymalną jako globalny znak wodny, gdy zapytanie przesyłane strumieniowo ma wiele znaków wodnych (branch-4.x)
• [SPARK-24596][SQL] Unieważnienie pamięci podręcznej bez kaskady
  • W przypadku odłączania lub upuszczania widoku tymczasowego nie trzeba kaskadowo usuwać wszystkich planów, które zależą od widoku, ponieważ bazowe dane nie są zmieniane.
• [SPARK-23927][SQL] Dodawanie wyrażenia "sequence"
• [SPARK-24636][SQL] Przymuszanie typów tablic dla funkcji array_join
• [SPARK-22384][SQL] Uściślij oczyszczanie partycji, gdy atrybut jest opakowany w rzutowanie
  • Ulepszanie oczyszczania partycji, możliwość wypychania predykatów partycji z bezpiecznym rzutowaniem typu (odt do długiego, nie długiego do int).
• [SPARK-24385][SQL] Rozwiązywanie niejednoznaczności warunku samosprzężenia dla elementu EqualNullSafe
  • Implementuje metodę EqualNullSafe w celu rozwiązywania niejednoznaczności warunków samosprzężenia.
• [SPARK-24696][SQL] Reguła uruchamiania kolumn nie może usunąć dodatkowego projektu
  • Naprawia usterkę w regule ColumnPruning, która powodowała błąd wynikający z nieskończonej pętli w optymalizatorze.
• [SPARK-24603][SQL] Naprawić odniesienie findTightestCommonType w komentarzach
• [SPARK-24613][SQL] Nie można dopasować pamięci podręcznej z funkcją UDF do kolejnych zależnych pamięci podręcznych
  • Opakowuje plan logiczny za pomocą narzędzia AnalysisBarrier do kompilacji planu wykonywania w narzędziu CacheManager, aby uniknąć ponownego analizowania planu. Jest to również regresja platformy Spark 2.3.
• [SPARK-24017][SQL] Refaktoryzacja elementu ExternalCatalog jako interfejsu
• [SPARK-24324][PYTHON] Pandas pogrupowana funkcja mapująca UDF powinna przypisywać kolumny wyników według nazw.
  • Przypisuje kolumny wyników według nazwy schematu, jeśli użytkownik ma etykietę ciągów, w przeciwnym razie przy użyciu pozycji.
• [SPARK-23778][CORE] Unikaj niepotrzebnego przetasowania, gdy unia otrzymuje pusty RDD
  • Ignoruje przychodzące puste RDD w metodzie union, aby uniknąć niepotrzebnego przetasowania danych, gdy wszystkie pozostałe RDD mają takie samo partycjonowanie.
• [SPARK-24552][CORE][SQL] Użyj unikatowego identyfikatora zamiast liczby prób zapisu.
  • Przekazuje unikalny identyfikator próby zadania zamiast numeru próby do źródeł danych w wersji 2, ponieważ numer próby jest ponownie wykorzystywany, gdy etapy są ponawiane. Wpływa to na interfejsy API źródła danych w wersji 1 i wersji 2, ale interfejsy API formatu pliku nie będą miały wpływu, ponieważ DBR używa innego protokołu zatwierdzania.
• [SPARK-24588][SS] Dołączanie strumieniowe powinno wymagać HashClusteredPartitioning od dzieci.
• [SPARK-24589][CORE] Poprawnie zidentyfikuj zadania w koordynatorze zatwierdzania danych wyjściowych.
  • Dodaje więcej informacji do stanu etapu śledzonego przez koordynatora, dzięki czemu tylko jedno zadanie może zatwierdzić dane wyjściowe. Ta poprawka usuwa również bezużyteczne zmiany kodu wprowadzone przez platformę SPARK-18113.
• [SPARK-23933][SQL] Dodawanie funkcji map_from_arrays
• [SPARK-24583][SQL] Nieprawidłowy typ schematu w insertIntoDataSourceCommand
  • Podczas tworzenia tabeli Delta z ograniczeniami NOT NULL, możemy usunąć wymagalność niepustych wartości i wstawić wartości NULL bez weryfikowania naruszenia ograniczenia.
• [SPARK-24542][SQL] Seria UDF UDFXPathXXXX umożliwia użytkownikom dokładne przekazanie spreparowanego kodu XML w celu uzyskania dostępu do dowolnych plików
  • Jest to poprawka zabezpieczeń zgłoszona przez społeczność. Seria UDF UDFXPathXXXX umożliwia użytkownikom dokładne przekazanie spreparowanego kodu XML w celu uzyskania dostępu do dowolnych plików. Gdy użytkownicy korzystają z zewnętrznej biblioteki kontroli dostępu, użytkownicy mogą je pominąć i uzyskać dostęp do zawartości pliku.
• [SPARK-23934][SQL] Dodanie funkcji map_from_entries
• [SPARK-23912][SQL] Dodawanie array_distinct
• [SPARK-24574][SQL] funkcje array_contains, array_position, array_remove i element_at zajmują się typem kolumny

Aktualizacje konserwacyjne

Zobacz aktualizacje konserwacyjne Databricks Runtime 4.3.

Środowisko systemu

• System operacyjny: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 dla klastrów języka Python 2 i 3.5.2 dla klastrów języka Python 3.
• R: R w wersji 3.4.4 (2018-03-15)
• Klastry procesora GPU: zainstalowane są następujące biblioteki procesora GPU FIRMY NVIDIA:
  • Kierowca Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)