Databricks Runtime 4.2 (EoS)

Databricks выпустила эту версию в июле 2018 года.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 4.2 на платформе Apache Spark.

Delta Lake

Databricks Runtime версии 4.2 включает значительные улучшения качества и функциональности Delta Lake. Databricks настоятельно рекомендует всем клиентам Delta Lake переход на новую среду выполнения. Этот выпуск останется в закрытой предварительной версии, но будет доступен до выхода предстоящего общедоступного выпуска.

Новые возможности

• Теперь потоки можно записывать непосредственно в таблицу Delta, зарегистрированную в хранилище метаданных Hive, с помощью df.writeStream.table(...).

Усовершенствования

• Все команды и запросы Delta Lake теперь поддерживают ссылку на таблицу, используя ее путь в качестве идентификатора:

  delta.`<path-to-table>`
  

  Ранее OPTIMIZE и VACUUM требовали нестандартного использования строковых литералов (то есть '<path-to-table>').

• DESCRIBE HISTORY теперь включает идентификатор фиксации и по умолчанию упорядочивается от новых к старым записям.

Исправления ошибок

• Фильтрация на основе предикатов секций теперь работает правильно, даже если вариант предикатов отличается от того, что в таблице.
• Исправлено отсутствие столбца AnalysisException при выполнении проверок равенства логических столбцов в таблицах Delta (то есть booleanValue = true).
• CREATE TABLE больше не изменяет журнал транзакций при создании указателя на существующую таблицу. Это предотвращает ненужные конфликты с одновременными потоками и позволяет создавать указатель хранилища метаданных на таблицы, в которых пользователь имеет доступ только для чтения к данным.
• Вызов display() в потоке с большими объемами данных больше не вызывает нехватку памяти в драйвере.
• AnalysisException теперь вызывается при удалении базового пути Delta Lake, а не при возврате пустых результатов.
• Конфигурации Delta Lake, требующие определенной версии протокола (например, appendOnly) можно применять только к таблицам в соответствующей версии.
• При обновлении состояния таблицы Delta длинные строки теперь автоматически усечены, чтобы избежать StackOverFlowError.

Структурированная потоковая передача

Новые возможности

• Delta Lake и Kafka теперь полностью поддерживают Trigger.Once. Ранее установленные ограничения скорости (например maxOffsetsPerTrigger, или maxFilesPerTrigger), указанные как параметры источника или значения по умолчанию, могут привести только к частичному выполнению доступных данных. Эти параметры теперь игнорируются при использовании Trigger.Once, что позволяет обрабатывать все текущие доступные данные.

• Добавлена новая потоковая обработка foreachBatch() в Scala, где можно задать функцию для обработки выходных данных каждого микробатча с помощью операций DataFrame. Это подходит для следующего случая:

  • Использование существующих источников пакетных данных для записи выходных данных микропакетов в системы, в которых еще нет источника потоковых данных (например, используйте модуль записи пакетов Cassandra для вывода данных каждого микропакета).
  • Запись выхода данных микропакета в несколько расположений.
  • Применение операций с DataFrame и таблицами к выходным данным микропакетов, которые пока не поддерживаются в потоковых DataFrame (например, выполнение upsert для выхода микропакета в дельта-таблицу).

• Добавлены функции from_avro/to_avro для чтения и записи данных Avro внутри DataFrame, а не только для файлов, подобных from_json/to_json. Дополнительные сведения см. в статье Чтение и запись данных Avro в любом месте.

• Добавлена поддержка потоковой передачи foreach() в Python (уже доступно в Scala). Дополнительные сведения см. в документации по foreach и foreachBatch.

Усовершенствования

• Более быстрое создание выходных результатов и/или очистка состояния с помощью операций с сохранением состояния (mapGroupsWithState, объединение потоков, потоковая агрегация, dropDuplicates) если нет данных во входном потоке.

Исправления ошибок

• Исправлена ошибка корректности SPARK-24588 в соединении stream-stream, где предыдущее перераспределение приводило к уменьшению числа выводимых результатов (например, df1.repartition("a", "b").join(df, "a")).

Другие изменения и улучшения

• Добавлена поддержка команды запрета SQL для управления доступом к таблицам кластеров. Теперь пользователи могут запрещать определенные разрешения так же, как они могли быть предоставлены раньше. Запрещенное разрешение замещает предоставленное разрешение. Администраторам и владельцам определенного объекта всегда разрешено выполнять действия.
• Новый источник данных Azure Data Lake Storage 2-го поколения, использующий драйвер ABFS. См. статью "Подключение к Azure Data Lake Storage 2-го поколения и хранилищу BLOB-объектов"
• Обновлены некоторые установленные библиотеки Python:
  • pip: с 10.0.0b2 до 10.0.1
  • setuptools: с 39.0.1 до 39.2.0
  • tornado: с 5.0.1 до 5.0.2
  • wheel: с 0.31.0 до 0.31.1
• Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.
• Улучшенная поддержка Parquet
• Обновленная Apache ORC с 1.4.1 на 1.4.3

Apache Spark

Databricks Runtime 4.2 включает Apache Spark 2.3.1. Этот выпуск включает все исправления и улучшения, включенные в Databricks Runtime 4.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-24588][SS] потоковое соединение должно требовать hashClusteredPartitioning от дочерних элементов
• [SPARK-23931][SQL] Внесение arrays_zip в function.scala @scala.annotation.varargs.
• [SPARK-24633][SQL] Исправление codegen, если для arrays_zip требуется разбиение
• [Spark-24578][CORE] Ограничение размера субрегиона возвращенного буфера nio
• [SPARK-24613][SQL] Кэш с UDF не может быть сопоставлен с последующими зависимыми кэшами
• [SPARK-24583][SQL] Неправильный тип схемы в InsertIntoDataSourceCommand
• [SPARK-24565][SS] Добавление API для структурированной потоковой передачи, чтобы предоставить строки вывода каждого микропакета как DataFrame
• [SPARK-24396][SS] [PYSPARK] Добавление структурированной потоковой передачи ForeachWriter для Python
• [SPARK-24216][SQL] Spark TypedAggregateExpression использует getSimpleName, который не является безопасным в Scala
• [SPARK-24452][SQL][CORE] Не допускайте возможного переполнения при добавлении или умножении значений типа int
• [SPARK-24187][R] [SQL] Добавление функции array_join в SparkR
• [SPARK-24525][SS] Укажите возможность ограничить количество строк в MemorySink
• [SPARK-24331][SPARKR] [SQL] Добавление arrays_overlap, array_repeat map_entries в SPARKR
• [SPARK-23931][SQL] Добавление функции arrays_zip в Spark SQL
• [SPARK-24186][R] [SQL] Изменение reverse и concat на функции сбора в R
• [SPARK-24198][SPARKR][SQL] Добавление функции среза в SparkR
• [SPARK-23920][SQL] добавьте array_remove, чтобы удалить все элементы, равные элементу из массива
• [SPARK-24197][SPARKR][SQL] Добавление функции array_sort в SparkR
• [SPARK-24340][CORE] Очистка не в случайном порядке файлов диспетчера дисковых блоков после выхода исполнителя из автономного кластера
• [SPARK-23935][SQL] Добавление функции map_entries
• [SPARK-24500][SQL] Обеспечение материализации потоков при преобразованиях дерева.
• [SPARK-24495][SQL] EnsureRequirement возвращает неверный план при переупорядочении равных ключей
• [Spark-24506][UI] Добавление фильтров пользовательского интерфейса на вкладки, добавленные после привязки
• [SPARK-24468][SQL] Обработка отрицательного масштабирования при корректировке точности для десятичных операций
• [SPARK-24313][SQL] Исправление интерпретируемой оценки операций сбора для сложных типов
• [SPARK-23922][SQL] Добавление функцию arrays_overlap
• [SPARK-24369][SQL] Правильная обработка для нескольких отдельных агрегатов с одинаковым набором аргументов
• [SPARK-24455][CORE] Исправление опечатки в комментарии TaskSchedulerImpl
• [SPARK-24397][PYSPARK] Добавление TaskContext.getLocalProperty(key) в Python
• [SPARK-24117][SQL] Унифицированный метод getSizePerRow
• [SPARK-24156][SS] Исправление ошибки при восстановлении после сбоя в пакете без данных
• [SPARK-24414][UI] Вычисление правильного количества задач для этапа.
• [SPARK-23754][PYTHON] Повторное создание StopIteration в клиентском коде
• [SPARK-23991][DSTREAMS] Исправление потери данных при сбое записи WAL в allocateBlocksToBatch
• [SPARK-24373][SQL] Добавление AnalysisBarrier в дочерний элемент RelationalGroupedDataset и KeyValueGroupedDataset
• [SPARK-24392][PYTHON] Метка pandas_udf как экспериментальная
• [SPARK-24334] Исправление состояния гонки в ArrowPythonRunner вызывает некорректное завершение работы распределителя памяти стрелки
• [SPARK-19112][CORE] Добавление недостающих имен shortCompressionCodecNames в конфигурацию.
• [SPARK-24244][SPARK-24368][SQL] Передача только необходимых столбцов в средство синтаксического анализа CSV
• [SPARK-24366][SQL] Улучшение сообщений об ошибках при преобразовании типов
• [SPARK-24371][SQL] Добавление isInCollection в API DataFrame для Scala...
• [SPARK-23925][SQL] Добавление функции коллекции array_repeat
• [MINOR] Добавьте конфигурацию SSL порта в toString и scaladoc
• [SPARK-24378][SQL] Исправление неправильных примеров функции date_trunc
• [SPARK-24364][SS] Предотвращение сбоя InMemoryFileIndex, если путь к файлу не существует
• [SPARK-24257][SQL] LongToUnsafeRowMap рассчитывает, что новый размер может быть неправильным
• [SPARK-24348][SQL] Исправление ошибки ”element_at”
• [SPARK-23930][SQL] Добавление функции среза
• [SPARK-23416][СС] Добавление специального метода завершения для ContinuousExecution.
• [SPARK-23852][SQL] Обновление до Parquet 1.8.3
• [SPARK-24350][SQL] Исправление ClassCastException в функции "array_position"
• [SPARK-24321][SQL] Извлечение общего кода из деления или остатка в базовый признак
• [SPARK-24309][CORE] AsyncEventQueue должен останавливаться при прерывании.
• [SPARK-23850][SQL] Добавление отдельной конфигурации для исправления параметров SQL.
• [SPARK-22371][CORE] Возвращается значение None (Нет), а не создается исключение, когда накапливается сборщик мусора.
• [SPARK-24002][SQL] Задача не подлежит сериализации, вызванная org.apache.parquet.io.api.Binary$ByteBufferBackedBinary.getBytes
• [SPARK-23921][SQL] Добавление функции array_sort
• [SPARK-23923][SQL] Добавление функции кратности
• [SPARK-24159][SS] Включение микропакетов без данных для потоковой передачи mapGroupswithState
• [SPARK-24158][SS] Включение пакетов без данных для соединений потоковой передачи
• [SPARK-24157][SS] Включение пакетов без данных в MicroBatchExecution для агрегирования и дедупликации потоковой передачи
• [SPARK-23799][SQL] FilterEstimation.evaluateInSet выдает неверную статистику для типа STRING
• [SPARK-17916][SQL] Исправлена ошибка, когда пустая строка анализировалась как null, если задано nullValue.
• [SPARK-23916][SQL] Добавление функции array_join
• [SPARK-23408][SS] Синхронизация последовательных действий AddData в потоковой передаче *JoinSuite
• [SPARK-23780][R] Не удалось использовать библиотеку googleVis с новым SparkR
• [SPARK-23821][SQL] Функция коллекции: преобразование в плоскую структуру
• [SPARK-23627][SQL] Указание isEmpty в наборе данных
• [SPARK-24027][SQL] Поддержка MapType с типом StringType для ключей в качестве корневого типа с помощью from_json
• [SPARK-24035][SQL] Синтаксис SQL для сводной таблицы — исправление предупреждения ANTLR
• [SPARK-23736][SQL] Расширение функции сцепления для поддержки столбцов массива
• [SPARK-24246][SQL] Улучшение AnalysisException, указав причину, когда это будет доступно
• [SPARK-24263][R] Проверка прерываний Java в службе SparkR с помощью openjdk
• [SPARK-24262][PYTHON] Исправление опечаток в тексте сообщения об ошибке соответствия типов UDF
• [SPARK-24067][ПОТОКОВАЯ ПЕРЕДАЧА] [KAFKA] Разрешение непоследовательных смещений
• [SPARK-10878][CORE] Исправление состояние гонки, если несколько клиентов одновременно разрешают артефакты
• [SPARK-19181][CORE] Исправление ненадежных метрик “SparkListenerSuite.local metrics”
• [SPARK-24068]распространение параметров DataFrameReader в текстовый источник данных для определения схемы
• [SPARK-24214][SS] Исправление toJSON для StreamingRelationV2/StreamingExecutionRelation/ContinuousExecutionRelation
• [SPARK-23919][SPARK-23924][SPARK-24054][SQL] Добавление функции array_position/element_at
• [SPARK-23926][SQL] Расширение функции reverse для поддержки аргументов ArrayType
• [SPARK-23809][SQL] Active SparkSession следует задать с помощью getOrCreate
• [SPARK-23094][SPARK-23723][SPARK-23724][SQL] Поддержка пользовательского кодирования для json-файлов
• [SPARK-24035]синтаксис SQL для сводной таблицы
• [SPARK-24069][R] Добавление функций array_min и array_max
• [SPARK-23976][CORE] Обнаружение переполнения по длине в UTF8String.concat()/ByteArray.concat()
• [SPARK-24188][CORE] Восстановить конечную точку API "/version".
• [SPARK-24128][SQL] Упоминание конфигурационного параметра при возникновении неявной ошибки CROSS JOIN
• [SPARK-23291][SQL] [R] При вызове API Scala подстрока R не должна уменьшать начальную позицию на 1
• [SPARK-23697][CORE] LegacyAccumulatorWrapper должен правильно определять isZero
• [SPARK-24168][SQL] WindowExec не должен получать доступ к SQLConf на стороне исполнителя
• [SPARK-24143] Фильтрование пустых блоков в процессе преобразования mapstatus в пару (ИД блока, размер)
• [SPARK-23917][SPARK-23918][SQL] Добавление функции array_max/array_min
• [SPARK-23905][SQL] Добавление дня недели UDF
• [SPARK-16406][SQL] Улучшение производительности LogicalPlan.resolve
• [SPARK-24013][SQL] Удалите ненужный сжатия в ApproximatePercentile
• [SPARK-23433][CORE] Задержка завершения зомби-задач обновляет все пакеты задач
• [SPARK-24169][SQL] JsonToStructs не должен получать доступ к SQLConf на стороне исполнителя
• [SPARK-24133][SQL] Реализация [SPARK-24133] Проверка на наличие переполнений в целочисленных (integer) значениях при изменении размера WritableColumnVectors
• [SPARK-24166][SQL] InMemoryTableScanExec не должен получать доступ к SQLConf на стороне исполнителя
• [SPARK-24133][SQL] Проверка на наличие переполнений в целочисленных (integer) значениях при изменении размера WritableColumnVectors
• [SPARK-24085][SQL] Запрос возвращает UnsupportedOperationException, если в выражении секционирования имеется скалярный вложенный запрос
• [SPARK-24062][THRIFT SERVER] Исправление шифрования SASL не может включить проблему на сервере THRIFT
• [SPARK-23004][SS] Убедитесь, что StateStore.commit вызывается только один раз в задаче агрегирования потоковой передачи
• [SPARK-23188][SQL] Сделать векторный размер пакета читателя настраиваемым
• [SPARK-23375][SPARK-23973][SQL] Устранение ненужной сортировки в оптимизаторе
• [SPARK-23877][SQL] Использование предикатов фильтра для очистки секций в запросах только метаданных
• [SPARK-24033][SQL] Исправлено несоответствие указанного кадра окна (RowFrame, -1, -1)
• [SPARK-23340][SQL] Обновление Apache ORC до 1.4.3
• Исправьте проблему с отсутствующей проверкой на значение NULL. Проверка, вероятно, будет запущена с помощью упрощенного создания кода выражения и предоставлена посредством SPARK-23986, так как сгенерированный исходный код стал немного длиннее, и появился проблемный путь кода (разбиение кода функцией Expression.reduceCodeSize()).
• [SPARK-23989][SQL] Exchange должен копировать данные перед несериализованным перемешиванием
• [SPARK-24021][CORE] Исправление ошибки BlacklistTracker’s updateBlacklistForFetchFailure
• [SPARK-24014][PYSPARK] Добавление метода onStreamingStarted в StreamingListener
• [SPARK-23963][SQL] Правильно обрабатывать большое количество столбцов в запросе к текстовой таблице Hive
• [SPARK-23948] Триггер прослушивателя задания mapstage в submitMissingTasks
• [SPARK-23986][SQL] freshName может создавать не уникальные имена
• [SPARK-23835][SQL] Добавление не-null проверки в десериализации аргументов кортежей

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 4.2.

Системная среда

• Операционная система: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 для кластеров Python 2 и 3.5.2 для кластеров Python 3.
• R: R версии 3.4.4 (15.03.2018)
• Кластеры GPU: установлены следующие библиотеки GPU NVIDIA:
  • Драйвер Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Установленные библиотеки Python

Установленные библиотеки R

Установленные библиотеки Java и Scala (версия кластера Scala 2.11)