Databricks Runtime 4.2 (EoS)

Usługa Databricks wydała tę wersję w lipcu 2018 roku.

Poniższe informacje o wersji zawierają informacje o środowisku Databricks Runtime 4.2 obsługiwanym przez platformę Apache Spark.

Delta Lake

Środowisko Databricks Runtime 4.2 dodaje główne ulepszenia jakości i funkcjonalność usługi Delta Lake. Usługa Databricks zdecydowanie zaleca, aby wszyscy klienci usługi Delta Lake uaktualnili środowisko uruchomieniowe do nowego środowiska uruchomieniowego. Ta wersja pozostaje w prywatnej wersji zapoznawczej, ale reprezentuje wydanie kandydata w oczekiwaniu na nadchodzące wydanie ogólnie dostępne.

Nowe funkcje

• Strumienie można teraz zapisywać bezpośrednio w tabeli delty zarejestrowanej w magazynie metadanych Hive przy użyciu polecenia df.writeStream.table(...).

Ulepszenia

• Wszystkie polecenia i zapytania usługi Delta Lake obsługują teraz odwoływania się do tabeli przy użyciu jej ścieżki jako identyfikatora:

  delta.`<path-to-table>`
  

  OPTIMIZE Wcześniej i VACUUM wymagane niestandardowe użycie literałów ciągu (czyli '<path-to-table>').

• DESCRIBE HISTORY teraz zawiera identyfikator zatwierdzenia i jest domyślnie uporządkowane od najnowszych do najstarszych.

Poprawki błędów

• Filtrowanie na podstawie predykatów partycji działa teraz poprawnie nawet wtedy, gdy wielkość predykatów różni się od tabeli.
• Naprawiono brakujące kolumny AnalysisException podczas przeprowadzania sprawdzania równości w kolumnach logicznych w tabelach delty (czyli booleanValue = true).
• CREATE TABLE nie modyfikuje już dziennika transakcji podczas tworzenia wskaźnika do istniejącej tabeli. Zapobiega to niepotrzebnym konfliktom z równoczesnymi strumieniami i umożliwia tworzenie wskaźnika magazynu metadanych do tabel, w których użytkownik ma tylko dostęp do odczytu do danych.
• Wywołanie strumienia z dużą ilością danych nie powoduje już wywołania display() funkcji OOM w sterowniku.
• AnalysisException jest teraz zgłaszany, gdy podstawowa ścieżka usługi Delta Lake zostanie usunięta, zamiast zwracać puste wyniki.
• Konfiguracje usługi Delta Lake, które wymagają określonej wersji protokołu (na przykład appendOnly), mogą być stosowane tylko do tabel w odpowiedniej wersji.
• Podczas aktualizowania stanu tabeli delty długie pochodzenie jest teraz automatycznie obcięte, aby uniknąć błędu StackOverFlowError.

Przesyłanie strumieniowe ze strukturą

Nowe funkcje

• Usługi Delta Lake i Kafka obsługują teraz w pełni wyzwalacz.Once. Wcześniej limity szybkości (na przykład maxOffsetsPerTrigger lub maxFilesPerTrigger) określone jako opcje źródła lub wartości domyślne mogą spowodować tylko częściowe wykonanie dostępnych danych. Te opcje są teraz ignorowane, gdy Trigger.Once jest używany, co umożliwia przetwarzanie wszystkich aktualnie dostępnych danych.

• Dodano nowe przesyłanie strumieniowe foreachBatch() w języku Scala, gdzie można zdefiniować funkcję do przetwarzania danych wyjściowych każdego mikrobajta przy użyciu operacji ramki danych. Umożliwia to wykonanie następujących czynności:

  • Używanie istniejących źródeł danych wsadowych do zapisywania danych wyjściowych mikrobajtów w systemach, które nie mają jeszcze źródła danych przesyłanych strumieniowo (na przykład użyj modułu zapisywania wsadowego Cassandra na każdym danych wyjściowych mikrosadowych).
  • Zapisywanie danych wyjściowych mikrobajtów w wielu lokalizacjach.
  • Stosowanie operacji ramek danych i tabel na danych wyjściowych mikrobajtów, które nie są jeszcze obsługiwane w obiektach DataFrame przesyłania strumieniowego (na przykład dane wyjściowe mikrobajtów upsert do tabeli delty).

• Dodano from_avro/to_avro funkcje do odczytywania i zapisywania danych Avro w ramce danych zamiast tylko plików, podobnie jak from_json/to_json. Aby uzyskać więcej informacji, zobacz Odczytywanie i zapisywanie danych Avro w dowolnym miejscu .

• Dodano obsługę przesyłania strumieniowego foreach() w języku Python (jest już dostępna w języku Scala). Aby uzyskać więcej informacji, zobacz dokumentację foreach i foreachBatch.

Ulepszenia

• Szybsze generowanie wyników wyjściowych i/lub oczyszczania stanu przy użyciu operacji stanowych (mapGroupsWithStatesprzężenia strumienia, agregacji przesyłania strumieniowego, dropDuplikatów przesyłania strumieniowego), gdy nie ma danych w strumieniu wejściowym.

Poprawki błędów

• Naprawiono usterkę poprawności SPARK-24588 w sprzężeniu strumienia, w której sprzężenie zgłosiło mniej wyników, gdy istnieje jawna ponowna partycja (na przykład df1.repartition("a", "b").join(df, "a")).

Inne zmiany i ulepszenia

• Dodano obsługę polecenia Odmowy SQL dla klastrów z włączoną kontrolą dostępu do tabel. Użytkownicy mogą teraz odrzucać określone uprawnienia w taki sam sposób, jak wcześniej. Odmowa uprawnienia zastąpi przyznane. Administratorzy i właściciele określonego obiektu nadal mogą wykonywać akcje.
• Nowe źródło danych usługi Azure Data Lake Storage Gen2 korzystające ze sterownika ABFS. Zobacz Nawiązywanie połączenia z usługą Azure Data Lake Storage Gen2 i usługą Blob Storage
• Uaktualniono niektóre zainstalowane biblioteki języka Python:
  • : od 10.0.0b2 do 10.0.1
  • setuptools: od 39.0.1 do 39.2.0
  • tornado: 5.0.1 do 5.0.2
  • koło: od 0.31.0 do 0.31.1
• Uaktualniono kilka zainstalowanych bibliotek języka R. Zobacz Zainstalowane biblioteki języka R.
• Ulepszona obsługa parquet
• Uaktualniono usługę Apache ORC z wersji 1.4.1 do 1.4.3

Apache Spark

Środowisko Databricks Runtime 4.2 obejmuje platformę Apache Spark 2.3.1. Ta wersja zawiera wszystkie poprawki i ulepszenia zawarte w środowisku Databricks Runtime 4.1 (EoS), a także następujące dodatkowe poprawki błędów i ulepszenia wprowadzone na platformie Spark:

• [SPARK-24588][SS] Dołączanie strumieniowe powinno wymagać skrótuClusteredPartitioning od elementów podrzędnych
• [SPARK-23931][SQL] Utwórz w arrays_zip pliku function.scala @scala.annotation.varargs.
• [SPARK-24633][SQL] Naprawiono generowanie kodu, gdy jest wymagany podział dla arrays_zip
• [SPARK-24578][CORE] Rozmiar podregionu limitu zwróconego buforu nio
• [SPARK-24613][SQL] Nie można dopasować pamięci podręcznej z funkcją UDF do kolejnych zależnych pamięci podręcznych
• [SPARK-24583][SQL] Nieprawidłowy typ schematu w insertIntoDataSourceCommand
• [SPARK-24565][SS] Dodawanie interfejsu API dla funkcji przesyłania strumieniowego ze strukturą w celu uwidaczniania wierszy wyjściowych każdego mikrobajta jako ramki danych
• [SPARK-24396][SS][PYSPARK] Dodawanie przesyłania strumieniowego ze strukturą ForeachWriter dla języka Python
• [SPARK-24216][SQL] TypdAggregateExpression platformy Spark używa polecenia getSimpleName, który nie jest bezpieczny w języku Scala
• [SPARK-24452][SQL][CORE] Unikaj możliwego przepełnienia w dodaniu int lub wielu
• [SPARK-24187][R][SQL] Dodawanie funkcji array_join do aparatu SparkR
• [SPARK-24525][SS] Podaj opcję ograniczenia liczby wierszy w narzędziu MemorySink
• [SPARK-24331][SPARKR][SQL] Dodawanie arrays_overlap, array_repeat map_entries do platformy SparkR
• [SPARK-23931][SQL] Dodaje funkcję arrays_zip do usługi Spark SQL
• [SPARK-24186][R][SQL] zmień funkcje odwrotne i concat na funkcje kolekcji w języku R
• [SPARK-24198][SPARKR][SQL] Dodawanie funkcji fragmentatora do aparatu SparkR
• [SPARK-23920][SQL] dodaj array_remove, aby usunąć wszystkie elementy, które są równe elementowi z tablicy
• [SPARK-24197][SPARKR][SQL] Dodawanie funkcji array_sort do aparatu SparkR
• [SPARK-24340][CORE] Czyszczenie plików menedżera bloków dysków innych niż shuffle po zakończeniu funkcji wykonawczej w klastrze autonomicznym
• [SPARK-23935][SQL] Dodawanie funkcji map_entries
• [SPARK-24500][SQL] Upewnij się, że strumienie są zmaterializowane podczas przekształcania drzewa.
• [SPARK-24495][SQL] Upewnij się, że PolecenieRequirement zwraca nieprawidłowy plan podczas zmieniania kolejności równych kluczy
• [SPARK-24506][Interfejs użytkownika] Dodawanie filtrów interfejsu użytkownika do kart dodanych po powiązaniu
• [SPARK-24468][SQL] Obsługa skali ujemnej podczas dostosowywania dokładności dla operacji dziesiętnych
• [SPARK-24313][SQL] Naprawianie oceny operacji kolekcji dla typów złożonych
• [SPARK-23922][SQL] Dodawanie funkcji arrays_overlap
• [SPARK-24369][SQL] Prawidłowa obsługa wielu odrębnych agregacji mających ten sam zestaw argumentów
• [SPARK-24455][CORE] poprawka literówki w komentarzu TaskSchedulerImpl
• [SPARK-24397][PYSPARK] Dodano właściwość TaskContext.getLocalProperty(key) w języku Python
• [SPARK-24117][SQL] Ujednolicone getSizePerRow
• [SPARK-24156][SS] Naprawianie błędu odzyskiwania po awarii w partii bez danych
• [SPARK-24414][Interfejs użytkownika] Oblicz prawidłową liczbę zadań dla etapu.
• [SPARK-23754][PYTHON] Ponowne podnoszenie klasy StopIteration w kodzie klienta
• [SPARK-23991][DSTREAMS] Naprawianie utraty danych, gdy zapis WAL kończy się niepowodzeniem w przydzieleniuBlocksToBatch
• [SPARK-24373][SQL] Dodawanie elementu AnalysisBarrier do elementów podrzędnych RelationalGroupedDataset i KeyValueGroupedDataset
• [SPARK-24392][PYTHON] Etykieta pandas_udf jako eksperymentalna
• [SPARK-24334] Naprawienie stanu wyścigu w ArrowPythonRunner powoduje nieczyste zamknięcie alokatora pamięci Strzałka
• [SPARK-19112][CORE] Dodaj brakujące shortCompressionCodecNames do konfiguracji.
• [SPARK-24244][SPARK-24368][SQL] Przekazywanie tylko wymaganych kolumn do analizatora CSV
• [SPARK-24366][SQL] Ulepszanie komunikatów o błędach dotyczących konwertowania typu
• [SPARK-24371][SQL] Dodano element isInCollection w interfejsie API ramki danych dla języka Scala an...
• [SPARK-23925][SQL] Dodawanie funkcji kolekcji array_repeat
• [DROBNE] Dodawanie konfiguracji protokołu SSL portów w elementach toString i scaladoc
• [SPARK-24378][SQL] Naprawianie niepoprawnych przykładów funkcji date_trunc
• [SPARK-24364][SS] Nie zezwalaj na niepowodzenie indeksu InMemoryFileIndex, jeśli ścieżka pliku nie istnieje
• [SPARK-24257][SQL] LongToUnsafeRowMap oblicza, że nowy rozmiar może być nieprawidłowy
• [SPARK-24348][SQL] element_at" — poprawka błędu
• [SPARK-23930][SQL] Dodawanie funkcji fragmentatora
• [SPARK-23416][SS] Dodaj określoną metodę zatrzymania dla metody ContinuousExecution.
• [SPARK-23852][SQL] Uaktualnianie do wersji Parquet 1.8.3
• [SPARK-24350][SQL] Poprawki klasyCastException w funkcji "array_position"
• [SPARK-24321][SQL] Wyodrębnianie wspólnego kodu z dzielenia/reszty do cechy podstawowej
• [SPARK-24309][CORE] Element AsyncEventQueue powinien zatrzymać się po przerwaniu.
• [SPARK-23850][SQL] Dodaj oddzielną konfigurację dla opcji SQL redaction.
• [SPARK-22371][CORE] Zwróć wartość None zamiast zgłaszać wyjątek, gdy akumulator jest zbierany jako bezużyteczny.
• [SPARK-24002][SQL] Zadanie nie można serializować spowodowane przez org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
• [SPARK-23921][SQL] Dodawanie funkcji array_sort
• [SPARK-23923][SQL] Dodawanie funkcji kardynalności
• [SPARK-24159][SS] Włączanie mikrosadowych partii bez danych na potrzeby przesyłania strumieniowego mapGroupswithState
• [SPARK-24158][SS] Włączanie partii bez danych dla sprzężeń przesyłanych strumieniowo
• [SPARK-24157][SS] Włączono partie bez danych w elemencie MicroBatchExecution na potrzeby agregacji przesyłania strumieniowego i deduplikacji
• [SPARK-23799][SQL] FilterEstimation.evaluateInSet generuje nieprawidłowe statystyki dla ciągu
• [SPARK-17916][SQL] Napraw pusty ciąg, który jest analizowany jako null, gdy ustawiono wartość nullValue.
• [SPARK-23916][SQL] Dodawanie funkcji array_join
• [SPARK-23408][SS] Synchronizowanie kolejnych akcji AddData w usłudze Streaming*JoinSuite
• [SPARK-23780][R] Nie można użyć biblioteki googleVis z nowym aparatem SparkR
• [SPARK-23821][SQL] Funkcja kolekcji: spłaszczona
• [SPARK-23627][SQL] Podaj wartość isEmpty w zestawie danych
• [SPARK-24027][SQL] Obsługa funkcji MapType z typem StringType dla kluczy jako typu głównego według from_json
• [SPARK-24035][SQL] Składnia SQL dla elementu Pivot — naprawianie ostrzeżenia antlr
• [SPARK-23736][SQL] Rozszerzanie funkcji concat w celu obsługi kolumn tablicowych
• [SPARK-24246][SQL] Popraw wyjątek AnalysisException, ustawiając przyczynę, gdy jest dostępna
• [SPARK-24263][R] Przerwy sprawdzania języka Java w środowisku SparkR za pomocą biblioteki openjdk
• [SPARK-24262][PYTHON] Naprawiono literówkę w komunikacie o błędzie dopasowania typu UDF
• [SPARK-24067][STREAMING][KAFKA] Zezwalaj na przesunięcia inne niż kolejne
• [SPARK-10878][CORE] Naprawianie stanu wyścigu, gdy wielu klientów rozwiązuje artefakty w tym samym czasie
• [SPARK-19181][CORE] Naprawianie niestabilnych metryk "SparkListenerSuite.local"
• [SPARK-24068]Propagowanie opcji elementu DataFrameReader do źródła danych tekstowych podczas wnioskowania schematu
• [SPARK-24214][SS] Poprawka toJSON dla streamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
• [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Dodawanie funkcji array_position/element_at
• [SPARK-23926][SQL] Rozszerzanie funkcji odwrotnej w celu obsługi argumentów ArrayType
• [SPARK-23809][SQL] Aktywne sparkSession należy ustawić za pomocą polecenia getOrCreate
• [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Obsługa kodowania niestandardowego dla plików JSON
• [SPARK-24035][SQL] Składnia SQL dla tabeli przestawnej
• [SPARK-24069][R] Dodawanie funkcji array_min/array_max
• [SPARK-23976][CORE] Wykrywanie przepełnienia długości w pliku UTF8String.concat()/ByteArray.concat()
• [SPARK-24188][CORE] Przywracanie punktu końcowego interfejsu API "/version".
• [SPARK-24128][SQL] Wspomnij opcję konfiguracji w przypadku niejawnego błędu CROSS JOIN
• [SPARK-23291][SQL][R] Podciąg języka R nie powinien zmniejszać pozycji początkowej o 1 podczas wywoływania interfejsu API języka Scala
• [SPARK-23697][CORE] Starsza wersjaAccumulatorWrapper powinna poprawnie zdefiniować wartość isZero
• [SPARK-24168][SQL] Element WindowExec nie powinien uzyskiwać dostępu do programu SQLConf po stronie funkcji wykonawczej
• [SPARK-24143]filtrowanie pustych bloków podczas konwertowania mapstatus na parę (blockId, size)
• [SPARK-23917][SPARK-23918][SQL] Dodawanie funkcji array_max/array_min
• [SPARK-23905][SQL] Dodawanie dnia tygodnia funkcji zdefiniowanej przez użytkownika
• [SPARK-16406][SQL] Zwiększanie wydajności pliku LogicalPlan.resolve
• [SPARK-24013][SQL] Usuwanie niepotrzebnego kompresu w przybliżonympercentile
• [SPARK-23433][CORE] Opóźnione ukończenie zadań zombie aktualizują wszystkie zestawy zadań
• [SPARK-24169][SQL] Obiekty JsonToStructs nie powinny uzyskiwać dostępu do programu SQLConf po stronie funkcji wykonawczej
• [SPARK-24133][SQL] Backport [SPARK-24133]Sprawdzanie przepełnienia liczby całkowitej podczas zmiany rozmiaru WritableColumnVectors
• [SPARK-24166][SQL] Element InMemoryTableScanExec nie powinien uzyskiwać dostępu do programu SQLConf po stronie funkcji wykonawczej
• [SPARK-24133][SQL] Sprawdzanie przepełnienia liczb całkowitych podczas zmiany rozmiaru WritableColumnVectors
• [SPARK-24085][SQL] Zapytanie zwraca wyjątek UnsupportedOperationException, gdy podzapytywanie skalarne jest obecne w wyrażeniu partycjonowania
• [SPARK-24062][THRIFT SERVER] Rozwiązywanie problemu z szyfrowaniem SASL nie można włączyć w przypadku serwera oszczędnego
• [SPARK-23004][SS] Upewnij się, że funkcja StateStore.commit jest wywoływana tylko raz w zadaniu agregacji przesyłania strumieniowego
• [SPARK-23188][SQL] Umożliwia skonfigurowanie wektoryzowanego rozmiaru partii czytnika columar
• [SPARK-23375][SPARK-23973][SQL] Eliminowanie niepotrzebnego sortowania w optymalizatorze
• [SPARK-23877][SQL] Używanie predykatów filtru do oczyszczania partycji w zapytaniach tylko metadanych
• [SPARK-24033][SQL] Naprawiono niezgodność określonej ramki oknawindowframe(RowFrame, -1, -1)
• [SPARK-23340][SQL] Uaktualnianie usługi Apache ORC do wersji 1.4.3
• Rozwiązano problem z brakiem sprawdzania wartości null, który jest bardziej prawdopodobny przez usprawnione generowanie kodu eksplorowania i uwidoczniony przez platformę SPARK-23986, ponieważ wygenerowany kod źródłowy był nieco dłuższy i wyzwolił problematyczną ścieżkę kodu (dzielenie kodu przez expression.reduceCodeSize()).
• [SPARK-23989][SQL] wymiana powinna kopiować dane przed nieserializowanym mieszania
• [SPARK-24021][CORE] naprawa usterki w aktualizacji BlacklistTrackerBlacklistForFetchFailure
• [SPARK-24014][PYSPARK] Dodawanie metody onStreamingStarted do elementu StreamingListener
• [SPARK-23963][SQL] Prawidłowa obsługa dużej liczby kolumn w zapytaniu w tabeli Hive opartej na tekście
• [SPARK-23948] Wyzwalanie odbiornika zadań mapstage w elemecie submitMissingTasks
• [SPARK-23986][SQL] freshName może generować nazwy inne niż unikatowe
• [SPARK-23835][SQL] Dodawanie sprawdzania not-null do deserializacji argumentów krotki

Aktualizacje konserwacyjne

Zobacz Aktualizacje konserwacji środowiska Databricks Runtime 4.2.

Środowisko systemu

• System operacyjny: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 dla klastrów języka Python 2 i 3.5.2 dla klastrów języka Python 3.
• R: R w wersji 3.4.4 (2018-03-15)
• Klastry procesora GPU: zainstalowane są następujące biblioteki procesora GPU FIRMY NVIDIA:
  • Kierowca Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Zainstalowane biblioteki języka Python

Zainstalowane biblioteki języka R

Zainstalowane biblioteki Java i Scala (wersja klastra Scala 2.11)