Databricks Runtime 7.4 (EoS)

Databricks выпустила эту версию в ноябре 2020 года.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 7.4 на платформе Apache Spark 3.0.

Новые возможности

В этом разделе рассматриваются следующие вопросы.

• Функции и улучшения Delta Lake
• Автозагрузчик теперь позволяет делегировать установку ресурсов уведомления о файлах администраторам
• Новое разрешение USAGE позволяет администраторам лучше контролировать разрешения на доступ к данным
• DBFS FUSE теперь работает и в кластерах с поддержкой сквозной передачи данных

Функции и улучшения Delta Lake

В этом выпуске реализованы следующие функции и улучшения Delta Lake:

• Новый API позволяет Delta Lake проверить, что данные, добавленные в table, удовлетворяют ограничениям
• Новый API позволяет откатить разность table до более старой версии table
• Новая начальная версия позволяет возвращать только последние изменения в источнике потоковой передачи данных Delta Lake
• Улучшена стабильность OPTIMIZE

Новый API позволяет Delta Lake проверить, что данные, добавленные в table, удовлетворяют ограничениям.

Delta Lake теперь поддерживает ограничения CHECK. Когда данные предоставлены, Delta Lake автоматически проверяет, что данные, добавленные в table, удовлетворяют указанному выражению. Для добавления ограничений CHECK используется команда ALTER TABLE ADD CONSTRAINTS. Дополнительные сведения см. в статье Ограничения в Azure Databricks.

Новый API позволяет откатить версию Delta table на более старую версию table.

Теперь вы можете откатить Delta tables к более старым версиям с помощью команды RESTORE.

SQL

RESTORE <table> TO VERSION AS OF n;
RESTORE <table> TO TIMESTAMP AS OF 'yyyy-MM-dd HH:mm:ss';

Python

from delta.tables import DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp('yyyy-MM-dd')

Scala

import io.delta.tables.DeltaTable
DeltaTable.forName(spark, "table_name").restoreToVersion(n)
DeltaTable.forName(spark, "table_name").restoreToTimestamp("yyyy-MM-dd")

RESTORE создает новый коммит, который откатывает все изменения, внесенные в ваш table, до версии, к которой вы хотите restore. Все существующие данные и метаданные восстанавливаются, включая schema, ограничения, идентификаторы транзакций потоковой передачи, метаданные COPY INTO и версию протокола table. Дополнительные сведения см. в разделе Restore Delta table.

Новая начальная версия позволяет возвращать только последние изменения в источнике потоковой передачи данных Delta Lake

Чтобы получить только последние изменения, укажите для параметра startingVersion значение latest. Дополнительные сведения см. в разделе Указание начальной позиции.

Улучшена стабильность OPTIMIZE

OPTIMIZE (без каких-либо предикатов partition) может масштабироваться для работы на tables с десятками миллионов небольших файлов. Ранее драйвер Apache Spark мог исчерпать доступные ресурсы памяти, в случае чего команда OPTIMIZE не выполнялась. OPTIMIZE теперь обрабатывает очень большие tables с десятками миллионов файлов.

Автозагрузчик теперь позволяет делегировать установку ресурсов уведомления о файлах администраторам

Новый API Scala позволяет администраторам set ресурсы уведомлений о файлах для автозагрузчика. Инженеры данных теперь могут использовать потоковые передачи данных с автозагрузчика с меньшим количеством разрешений и делегировать начальную настройку ресурсов администраторам. См. статью "Вручную" для настройки ресурсов уведомлений о файлах или управления ими.

Новое разрешение USAGE позволяет администраторам лучше контролировать разрешения на доступ к данным

Чтобы выполнить действие с объектом в базе данных, необходимо помимо разрешений, требуемых для выполнения этого действия, предоставить разрешение USAGE для базы данных. Привилегия USAGE предоставляется для базы данных или catalog. С введением привилегии USAGE владелец table больше не может в одностороннем порядке решить предоставить доступ к нему другому пользователю; Пользователь также должен иметь права USAGE в базе данных, содержащей table.

В рабочих областях, в которых включен table управление доступом, группа users автоматически имеет права USAGE для корневого CATALOG.

Дополнительные сведения см. в разделе Разрешение USAGE.

DBFS FUSE теперь работает и в кластерах с поддержкой сквозной передачи данных

Теперь вы можете читать и записывать данные из DBFS, подключив FUSE в /dbfs/, если для сквозной передачи учетных данных вы используете кластер с высокой степенью параллелизма. Поддерживаются обычные подключения. Крепления, требующие сквозного доступа credentials, не поддерживаются.

Усовершенствования

SQL Spark поддерживает IFF и CHARINDEX в качестве синонимов для IF и POSITION.

В Databricks Runtime IF() является синонимом для CASE WHEN <cond> THEN <expr1> ELSE <expr2> END.

Databricks Runtime теперь поддерживает IFF() как синоним для IF().

SELECT IFF(c1 = 1, 'Hello', 'World'), c1 FROM (VALUES (1), (2)) AS T(c1)
=> (Hello, 1)
(World, 2)

CHARINDEX — альтернативное имя функции POSITION. CHARINDEX находит позицию первого вхождения одной строки в другой с необязательным начальным индексом.

VALUES(CHARINDEX('he', 'hello from hell', 2))
=> 12

По умолчанию для записных книжек Python включены несколько вариантов выходных данных на ячейку.

В Databricks Runtime 7.1 была добавлена поддержка нескольких вариантов выходных данных на ячейку в записных книжках Python (и на ячейку Python в записных книжках, не относящихся к Python), но включать эту функцию для записной книжки нужно было самостоятельно. В Databricks Runtime 7.4 эта функция включена по умолчанию. См. Представление нескольких вариантов выходных данных в ячейке.

Улучшения функции автозаполнения в записных книжках Python

Автозаполнение для Python отображает дополнительные сведения о типах, создаваемые в результате статического анализа кода с помощью библиотеки Jedi. Нажмите клавишу Tab, чтобы увидеть list вариантов.

Улучшен формат display для векторов Spark ML в предварительной версии Spark DataFrame

В формате display теперь отображаются метки типа вектора (разреженный или плотный), длина, индексы (для разреженных векторов) и values.

Другие исправления

• Устранена проблема выбора, связанная с collections.namedtuple в записных книжках.
• Устранена проблема выбора, связанная с интерактивно определяемыми классами и методами.
• Исправлена ошибка, из-за которой вызовы mlflow.start_run() не удавались на сквозном подключении или кластерах, включенных для управления доступом table.

Обновления библиотек

• Обновленные библиотеки Python:
  • обновление jedi с версии 0.14.1 до версии 0.17.2;
  • обновление koalas с версии 1.2.0 до 1.3.0;
  • обновление parso с версии 0.5.2 до версии 0.7.0.
• Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.

Apache Spark

Databricks Runtime 7.4 включает Apache Spark 3.0.1. Этот выпуск включает все исправления Spark и улучшения, включенные в Databricks Runtime 7.3 LTS (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-33170] [SQL]: добавлена конфигурации SQL в управления поведением при быстром прекращении в FileFormatWriter.
• [SPARK-33136] [SQL]: устранена проблема с ошибочным переключением параметра в V2WriteCommand.outputResolved.
• [SPARK-33134] [SQL]: частичные результаты возвращаются только для корневых объектов JSON.
• [SPARK-33038] [SQL] объединены исходный и текущий планы AQE...
• [SPARK-33118] [SQL] CREATE TEMPORARY TABLE завершается ошибкой из-за расположения
• [SPARK-33101] [ML]: формат LibSVM теперь распространяет конфигурацию Hadoop из параметров DS на базовую файловую систему HDFS.
• [SPARK-33035] [SQL]: обновлены устаревшие записи сопоставления атрибутов в QueryPlan#transformUpWithNewOutput.
• [SPARK-33091] [SQL]: исключено использование map вместо foreach во избежание потенциальных побочных эффектов при вызовах OrcUtils.readCatalystSchema.
• [Spark-33073] [Python]: улучшена обработка ошибок при сбоях преобразования Pandas в Arrow.
• [SPARK-33043] [ML]: обработка spark.driver.maxResultSize=0 в эвристических вычислениях RowMatrix.
• [SPARK-29358] [SQL] Сделать unionByName необязательно заполняющим отсутствующие columns null значениями
• [SPARK-32996] [WEB-UI]: обработка пустых значений ExecutorMetrics в ExecutorMetricsJsonSerializer.
• [SPARK-32585][SQL]: поддержка перечисления scala в ScalaReflection.
• [SPARK-33019] [CORE]: по умолчанию используется spark.hadoop.mapreduce.fileoutputcommitter.algorithm.version=1.
• [SPARK-33018] [SQL]: устранена проблема расчетной статистики, когда дочерний элемент содержит 0 байт.
• [SPARK-32901] [CORE]: при сбросе UnsafeExternalSorter память не выделяется.
• [SPARK-33015] [SQL]: использование millisToDays() в правиле ComputeCurrentTime.
• [SPARK-33015] [SQL]: однократное вычисление текущей даты.
• [SPARK-32999][SQL]: использование Utils.getSimpleName во избежание попадания на неправильное имя класса в TreeNode.
• [SPARK-32659] [SQL] Передача массива вместо Set в InSubqueryExec
• [SPARK-32718] [SQL] Remove ненужные ключевые слова для единиц интервала
• [SPARK-32886] [WEBUI]: исправлена "неопределенная" ссылка в представлении временной шкалы событий.
• [SPARK-32898] [CORE]: исправлена проблема неверного executorRunTime при завершении задачи до ее фактического запуска.
• [SPARK-32635] [SQL]: добавлен новый тестовый случай в модуль catalyst.
• [SPARK-32930] [CORE]: заменены устаревшие методы isFile/isDirectory.
• [SPARK-32906] [SQL]: имена полей структуры не должны изменяться после нормализации чисел с плавающей запятой.
• [SPARK-24994] [SQL]: для упрощения целочисленного литерала добавлен оптимизатор UnwrapCastInBinaryComparison.
• [SPARK-32635][SQL]: исправлена проблема свертываемого распространения.
• [SPARK-32738] [CORE]: в случае фатальной ошибка в Inbox.process предусмотрено сокращение количества активных потоков.
• [SPARK-32900] [CORE]: разрешен сброс UnsafeExternalSorter в случае нулевых знвчений.
• [SPARK-32897] [PYTHON]: предупреждение об устаревании в SparkSession.builder.getOrCreate больше не отображается.
• [SPARK-32715] [CORE]: исправлена проблема утечки памяти при невозможности сохранения элементов трансляции.
• [SPARK-32715] [CORE]: исправлена проблема утечки памяти при невозможности сохранения элементов трансляции.
• [SPARK-32872] [CORE]: BytesToBytesMap в MAX_CAPACITY больше не может превышать пороговое значение роста.
• [SPARK-32876] [SQL]: резервные версии по умолчанию в HiveExternalCatalogVersionsSuite изменены на 3.0.1 и 2.4.7.
• [SPARK-32840] [SQL]: недопустимое значение интервала может быть связано с конкретной единицей.
• [SPARK-32819] [SQL]: предусмотрена рекурсивная эффективность параметра ignoreNullability.
• [SPARK-32832] [SS]: использование CaseInsensitiveMap для параметров DataFrameReader/Writer.
• [Spark-32794] [SS]: исправлена редкая ошибка, возникающая в модуле микропакетов с некоторыми запросами с отслеживанием состояния, без пакетов данных и с источниками V1 при превышении допустимых параметров.
• [SPARK-32813] [SQL] Get конфигурация векторизованного чтения ParquetSource по умолчанию, если SparkSession не активна.
• [SPARK-32823] [WEB UI]: исправлена проблема с сообщением о ресурсах в основном интерфейсе.
• [SPARK-32824] [CORE]: доработано сообщение об ошибке в случае, когда пользователь забывает указать .amount в конфигурации ресурса.
• [SPARK-32614] [SQL]:обработка комментариев не применяется, если для CSV не задано значение "comment".
• [SPARK-32638] [SQL]: исправлены ссылки при добавлении псевдонимов WidenSetOperationTypes.
• [SPARK-32810] [SQL] источники данных CSV/JSON должны избежать глоббинга путей при выводе schema
• [SPARK-32815] [ML]: исправлена ошибки загрузки источника данных LibSVM в путях к файлам, содержащих стандартные метасимволы.
• [SPARK-32753] [SQL]: теги копируются только в узлы без тегов.
• [SPARK-32785] [SQL]: интервал с висячими частями не должен приводить к значению null.
• [SPARK-32764][SQL]: значение "-0,0" должно быть равно "0,0".
• [SPARK-32810] [SQL] источники данных CSV/JSON должны избегать группирования путей при выводе schema
• [SPARK-32779] [SQL]: синхронизированный API SessionCatalog не используется в потоке withClient, поскольку это вызывает взаимоблокировку.
• [SPARK-32791] [SQL] Несекционированная метрика table не должна иметь динамическое время partition обрезки
• [SPARK-32767] [SQL] join должен работать, если spark.sql.shuffle.partitions больше числа контейнеров
• [SPARK-32788] [SQL] неразделённое table сканирование не должно содержать фильтр partition
• [SPARK-32776] [SS] Limit в потоковой передаче не должна быть оптимизирована с помощью PropagateEmptyRelation
• [SPARK-32624] [SQL]: устранена регрессия в CodegenContext.addReferenceObj во вложенных типах Scala.
• [SPARK-32659] [SQL]: доработан тест для очистки DPP в неатомарном типе.
• [SPARK-31511] [SQL]: итераторы BytesToBytesMap стали потокобезопасными.
• [SPARK-32693] [SQL] Сравнивайте два кадра данных с одинаковыми schema за исключением свойства NULL
• [SPARK-28612] [SQL]: правильный документ метода DataFrameWriterV2.replace().

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 7.4.

Системная среда

• Операционная система: Ubuntu 18.04.5 LTS
• Java: Zulu 8.48.0.53-CA-linux64 (сборка 1.8.0_265-b11)
• Scala: 2.12.10
• Python: 3.7.5
• R: R версии 3.6.3 (29.02.2020)
• Delta Lake: 0.7.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN на XXXX-XX-XX.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)