Databricks Runtime 6.5 (EoS)

Databricks выпустила эту версию в апреле 2020 года.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 6.5 на платформе Apache Spark.

Новые возможности

Метрики всех операций записи, обновления и удаления в разностной таблице теперь отображаются в журнале таблицы

Теперь в журнале таблицы можно просматривать метрики операций (например, число измененных файлов и строк) для всех операций записи, обновления и удаления в разностной таблице. Генерирование этих метрик по умолчанию включено. Журнал можно просмотреть, выполнив следующую команду:

DESCRIBE HISTORY deltaTableName

Оцените предельный объем данных, обрабатываемых в микропакетах потоковой передачи в Delta Lake

При обработке данных из Delta Lake с помощью структурированного потока теперь можно установить параметр maxBytesPerTrigger, чтобы оценить предельный объем данных, обрабатываемых в каждом микропакете. Этот параметр позволяет определить "нестрогий максимум", то есть в каждом пакете обрабатывается приблизительно такой данных и может обрабатываться больше этого предельного значения.

Если для потоковой передачи используется Trigger.Once, этот параметр игнорируется. Если этот параметр используется в сочетании с maxFilesPerTrigger, микропакетная обработка продолжается до тех пор, пока не будет достигнут предел maxFilesPerTrigger или maxBytesPerTrigger.

Усовершенствования

Соединитель Snowflake обновлен до версии 2.5.9

Обновленный соединитель поддерживает драйвер Snowflake JDBC для 3.12.0.

Java обновлен до 1.8.0 _242

В этой версии появились новые проверки на сертификаты якорей доверия, чтобы убедиться, что якори доверия являются сертификатами CA и содержат верные расширения. Сертификаты якорей доверия должны включать расширение базовых ограничений, и для поля ca должно быть задано значение true. Кроме того, если они содержат расширение использования ключей, необходимо установить бит keyCertSign.

Если вы используете самозаверяющие сертификаты якорей доверия, вы можете столкнуться со следующими исключениями в новых проверках:

TrustAnchor with subject "..." is not a CA certificate

TrustAnchor with subject "..." does not have keyCertSign bit set in KeyUsage extension

Чтобы продолжить использовать самозаверяющие сертификаты якорей доверия, воспользуйтесь следующими двумя вариантами устранения указанных исключений:

• Задайте для системного свойства Java jdk.security.allowNonCaAnchor, появившегося в Java версии 1.9.0 _242 значение true, чтобы восстановить предыдущее поведение. Вы можете использовать spark.driver.extraJavaOptions и spark.executor.extraJavaOptions для установки этого системного свойства в драйвер и исполнители Spark соответственно.

• Сертификаты якорей доверия должны включать расширение базовых ограничений, и для поля ca должно быть задано значение true. Если сертификаты якорей доверия включают расширение использования ключей, задайте бит keyCertSign.

  Если вы используете Java Keytool для создания пар открытого и закрытого ключей, задайте -ext BasicConstraints=ca:true при создании сертификатов якорей доверия. Если сертификаты якорей доверия включают расширение использования ключей, при создании сертификатов якорей доверия задайте бит keyCertSign -ext KeyUsage=...,keyCertSign.

Обновлены библиотеки R

Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.

Устаревшие элементы

• Пакет boto не рекомендуется для использования и будет удален в следующем основном выпуске Databricks Runtime. Azure Databricks рекомендует вместо него использовать boto3.
• Следующие пакеты R будут удалены в предстоящем основном выпуске Databricks Runtime:
  • abind
  • bitops
  • автомобиль
  • carData
  • doMC
  • gbm
  • h2o
  • littler
  • lme4
  • mapproj
  • maps
  • Maptools
  • MatrixModels
  • minqa
  • mvtnorm
  • nloptr
  • openxlsx
  • pbkrtest
  • pkgKitten
  • quantreg
  • R.methodsS3
  • R.oo
  • R.utils
  • RcppEigen
  • RCurl
  • rio
  • sp
  • SparseM
  • statmod
  • zip

Azure Databricks рекомендует использовать следующий код для установки и загрузки пакетов R, которые не устанавливаются с помощью Databricks Runtime:

if (!require("package_name")) {
  install.packages("package_name")
  library("package_name")
}

Apache Spark

Databricks Runtime 6.5 включает Apache Spark 2.4.5. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 6.4 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-27099] [SQL] добавлено ‘xxhash64’ для хэширования произвольных столбцов в длину
• [SPARK-26151] [SQL] возврат частичных результатов для некорректных записей CSV
• [SPARK-30927] [SS] StreamingQueryManager не должен сохранять ссылку на завершенные StreamingQuery
• [SPARK-22590] Копирование sparkContext.localproperties в дочерний поток в BroadcastExchangeExec.executionContext
• [SPARK-30671] emptyDataFrame должен использовать LocalRelation
• [SPARK-30556] [SQL] Сброс состояния, измененного в SQLExecution withThreadLocalCaptured
• [SPARK-30763] [SQL] Исправление ava.lang.IndexOutOfBoundsException Нет группы 1 для regexp_extract
• [SPARK-30806] [SQL] Однократная оценка для каждой группы в UnboundedWindowFunctionFrame
• [SPARK-30731] Обновление нерекомендуемого параметра Mkdocs
• [SPARK-30857] [SQL] Исправление усечений меток времени до начала отсчета времени в часах и днях
• [SPARK-30798] Область Session.active в QueryExecution
• [SPARK-30793] [SQL] Исправление усечений меток времени до начала отсчета времени в минутах и секундах
• [SPARK-30826] [SQL] Соблюдение регистра в ссылках в StringStartsWith, отправленных в parquet
• [SPARK-30797] [SQL] Установка традиционного пользователя, группы или другого разрешения для записей ACL при настройке списков управления доступом в таблице усечений
• [SPARK-30065] [SQL] DataFrameNaFunctions.drop должен обрабатывать дубликаты столбцов
• [SPARK-29890] [SQL] DataFrameNaFunctions.fill должен обрабатывать дубликаты столбцов
• [SPARK-30310] [CORE] Решение для несоблюдения регистра в SparkUncaughtExceptionHandler и добавлены тесты
• [SPARK-30512] Добавлена выделенная группа циклов событий boss

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 6.5.

Системная среда

• Операционная система: Ubuntu 16.04.6 LTS
• Java: 1.8.0_252
• Scala: 2.11.12
• Python: 3.7.3
• R: R версии 3.6.3 (29.02.2020)
• Delta Lake: 0.5.0

В этом разделе рассматриваются следующие вопросы.

• Установленные библиотеки Python
• Установленные библиотеки R
• Установленные библиотеки Java и Scala (версия кластера Scala 2.11)

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 26.02.2020.

Установленные библиотеки Java и Scala (версия кластера Scala 2.11)