Databricks Runtime 7.5 (EoS)

Databricks выпустила эту версию в декабре 2020 года.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 7.5 на платформе Apache Spark 3.0.

Новые возможности

Функции и улучшения Delta Lake

В этом выпуске реализованы следующие функции и улучшения Delta Lake:

• Асинхронное создание контрольных точек устраняет всплески нагрузки при потоковой передаче микропакетов
• Последняя информация о таблице теперь распространяется на каталоги
• операция MERGE INTO теперь поддерживает эволюцию схемы вложенных столбцов
• Операция MERGE INTO теперь автоматически использует оптимизированные записи
• операции MERGE INTO и UPDATE теперь разрешают вложенные поля структур по имени
• CLONE является общедоступным, и теперь можно переопределить свойства таблицы
• RESTORE уже общедоступна.
• Имплициты в Scala упрощают API чтения и записи в Spark
• Улучшена пропускная способность потоковой передачи с помощью параметра соединителя fetchParallelism
• Отслеживание хода потоковой передачи с помощью новых метрик Auto Loader

Асинхронное создание контрольных точек устраняет всплески нагрузки при потоковой передаче микропакетов

По умолчанию Delta Lake создает контрольные точки каждые 10 фиксаций. В рабочих нагрузках потоковой передачи создание контрольных точек может вызывать незначительные всплески нагрузки при обработке микропакетов (каждые 10 фиксаций). Асинхронное создание контрольных точек устраняет такие всплески.

Асинхронное создание контрольных точек включено по умолчанию для всех рабочих нагрузок потоковой передачи, которые выполняются несколько раз. При асинхронном создании контрольных точек средства записи потоковой передачи также записывают расширенные контрольные точки, поэтому вам не требуется явно давать согласие на создание расширенных контрольных точек.

Чтобы отключить асинхронное контрольное копирование, установите параметр конфигурации SQL spark.databricks.delta.checkpoint.async.enabled false.

Пакетные рабочие нагрузки продолжают синхронно записывать контрольные точки, при этом мы рекомендуем не включать асинхронное создание контрольных точек для пакетных рабочих нагрузок.

Последняя информация о таблице теперь распространяется в каталоги

Delta Lake теперь в меру возможностей распространяет последние сведения о таблице, такие как схема и свойства таблицы, в каталоги, такие как хранилище метаданных Hive. Такая информация поможет вам использовать средства каталогизации для понимания схемы таблиц Delta.

Delta Lake не зависит внутренне от этой информации, но пытается поддерживать ее актуальность. Кроме того, Delta Lake сохраняет свойства таблицы delta.lastUpdateVersion и delta.lastCommitTimestamp, чтобы указать версию и метку времени фиксации, которым было внесено последнее изменение в мета-сторе. Хранилище метаданных обновляется только в том случае, если схема таблицы или свойства в таблице не совпадают. Поэтому указанные выше свойства таблицы не обязательно отражают последнюю версию таблицы.

Если данные таблицы и данные хранилища метаданных не синхронизированы, можно выполнить команду, например DESCRIBE <table> для обновления хранилища метаданных.

MERGE INTO операция теперь поддерживает эволюцию схемы вложенных столбцов

Эволюция схемы вложенных столбцов теперь имеет ту же семантику, что и столбцы верхнего уровня. Например, новые вложенные столбцы можно автоматически добавить в столбец StructType. Смотрите для подробностей об автоматической эволюции схемы в слиянии.

Операция MERGE INTO теперь автоматически использует оптимизированные операции записи

Оптимизированная запись может обеспечить значительное улучшение производительности MERGE INTO без дополнительных настроек, особенно для MERGE INTO в секционированных таблицах. Чтобы отключить оптимизированные записи, задайте для конфигурации Spark spark.databricks.delta.optimizeWrite.enabled значение false.

операции MERGE INTO и UPDATE теперь обрабатывают вложенные столбцы структуры по имени

Операции обновления UPDATE и команды MERGE INTO теперь обрабатывают вложенные столбцы структур по именам. То есть при сравнении или назначении столбцов типа StructType порядок вложенных столбцов не имеет значения (точно так же, как порядок столбцов верхнего уровня). Чтобы вернуться к разрешению по позиции, задайте для конфигурации Spark spark.databricks.delta.resolveMergeUpdateStructsByName.enabled значение false.

CLONE находится в стадии общей доступности, и теперь можно переопределить параметры таблицы.

Команда CLONE теперь общедоступна. См. CREATE TABLE CLONE. Кроме того, теперь можно указать переопределения свойств таблицы при использовании CLONE. Примеры см. в статье Клонирование таблицы в Azure Databricks.

RESTORE уже общедоступна.

Команда RESTORE теперь общедоступна. См. RESTORE.

Имплициты в Scala упрощают API чтения и записи в Spark

Вы можете импортировать io.delta.implicits._ для использования метода delta с API чтения и записи Spark.

import io.delta.implicits._

spark.read.delta("/my/table/path")
df.write.delta("/my/table/path")
spark.readStream.delta("/my/table/path")
df.writeStream.delta("/my/table/path")

Улучшена пропускная способность потоковой передачи с помощью параметра соединителя fetchParallelism.

Соединитель AQS теперь поддерживает новый параметр fetchParallelism для указания функциям параллелизма получать сообщения из службы очереди.

Отслеживание хода потоковой передачи с помощью новых метрик Auto Loader

Auto Loader теперь сообщает, сколько файлов находится в обработке и их количество после каждого пакета. Эти метрики можно использовать для отслеживания хода потоковой передачи. Дополнительные сведения о просмотре этих метрик см. в статье об автозагрузчике.

Усовершенствования

Расширенная поддержка библиотек с областью записной книжки с помощью магических команд %pip и %conda

Теперь вы можете устанавливать библиотеки для использования в записных книжках с помощью магических команд %pip и %conda на кластерах с высокой параллельностью с включенными табличными списками контроля доступа или передачей учетных данных.

Точное отображение DECIMAL Spark SQL

Теперь тип данных Spark SQL DECIMAL отображается в таблицах без потери точности и масштабирования.

Соединитель ADLS 2-го поколения на основе Hadoop 3.3 для ABFS

Обновленная версия соединителя хранилища ADLS 2-го поколения основана на Hadoop 3.3 для ABFS. Обновленный соединитель включает множество улучшений стабильности (см. страницу о стабильности Hadoop) и поддержку для аутентификации токена SAS.

Другие исправления

Удален соединитель Kafka для Databricks для Spark Streaming. Используйте соединитель Apache Spark.

Обновления библиотек

• Обновленные библиотеки Python:
  • koalas обновлена с 1.3.0 до 1.4.0.
• Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.
• Сборка OpenJDK 8 обновлена до Zulu 8.50.0.51-CA-linux64 (сборка 1.8.0_275-b01).

Apache Spark

Databricks Runtime 7.5 включает Apache Spark 3.0.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 7.4 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-33611] [UI] Теперь не допускается двойное кодирование параметра запроса для перезаписанного URL прокси-сервера
• [SPARK-33587] [CORE] Исполнитель теперь завершает работу при вложенных неустранимых ошибках (7.x).
• [SPARK-33140] [SQL] Вернуть код, который не использует переданный в SparkSession для получения SQLConf.
• [SPARK-33472] [SQL] Изменен порядок правил RemoveRedundantSorts.
• [SPARK-33422] [DOC] Исправлено отображение пункта меню слева.
• [SPARK-27421] [SQL] Исправлен фильтр для целочисленного столбца и значения класса java.lang.String при обрезке столбца секции
• [SPARK-33483] [INFRA][TESTS] Исправлены шаблоны исключений rat и добавлено LICENSE.
• [SPARK-33464] [INFRA] Добавить/удалить (не)нужный кэш и реструктурировать файл YAML для GitHub Actions
• [SPARK-33407] [PYTHON][7.X] Упрощено сообщение об исключении из UDF Python (отключено по умолчанию).
• [SPARK-33435] [SQL] DSv2: REFRESHREFRESH TABLE должны стать недействительными кэши, которые ссылаются на таблицу
• [SPARK-33358] [SQL] Теперь возвращается код при сбое процесса команды.
• [SPARK-33183] [DBCONNECT] Добавлено RemoveRedundantSorts.scala в ALLOW_LIST.txt.
• [SPARK-33290] [SQL] REFRESHREFRESH TABLE должен инвалидировать кэш, даже если таблица сама по себе не закэширована.
• [SPARK-33140] [SQL] Исправлена разностная компиляция.
• [SPARK-33316] [SQL] Добавление модульных тестов для from_avro и to_avro с использованием реестра схем и предоставленной пользователем nullable схемы Avro
• [SPARK-33404] [SQL] Исправлены неверные результаты в выражении date_trunc.
• [SPARK-33339] [PYTHON] Приложение Pyspark теперь не зависает из-за ошибки, не связанной с исключением.
• [SPARK-33412] [SQL] OverwriteByExpression должен разрешать состояние удаления на основе отношения таблицы, а не входного запроса
• [SPARK-33391] [SQL] element_at с CreateArray не учитывает индекс на основе единицы.
• [SPARK-33316] [SQL] Поддержка пользователем предоставила схему Avro, допускаемую null, для схемы катализатора, не допускающей значения NULL, в записи Avro
• [SPARK-33372] [SQL] Исправлено удаление контейнеров InSet.
• [SPARK-33371] [PYTHON] Обновление setup.py и тестов для Python 3.9
• [SPARK-33140] [SQL] удалите SQLConf и SparkSession во всех подклассах Rule[QueryPlan]
• [SPARK-33338] [SQL] GROUP BY использование литерального отображения не должно завершиться ошибкой
• [SPARK-33306] [SQL]Необходим часовой пояс при преобразовании даты в строку
• [SPARK-33284] [WEB-UI] На странице пользовательского интерфейса хранилища нажатие на любое поле для сортировки таблицы будет приводить к потере содержимого заголовка.
• [SPARK-33362] [SQL] skipSchemaResolution все равно требует разрешения запроса.
• [SPARK-32257] [SQL] Сообщает о явных ошибках при недопустимом использовании команды SET/RESET
• [SPARK-32406] [SQL] Сделать синтаксис RESET поддерживающим сброс одной конфигурации
• [SPARK-32376] [SQL] Сделать так, чтобы поведение заполнения null в unionByName работало со структурными столбцами
• [SPARK-32308] [SQL] Перемещена логика разрешения по имени для unionByName из кода API в этап анализа.
• [SPARK-20044] [UI] Добавлена поддержка пользовательского интерфейса Spark за интерфейсным обратным прокси-сервером с помощью ULR-адреса обратного прокси-сервера для префикса пути.
• [SPARK-33268] [SQL][PYTHON] Исправлены ошибки для приведения данных из типа PythonUserDefinedType или в него.
• [SPARK-33292] [SQL] Строка ArrayBasedMapData литерала теперь имеет ясное представление.
• [SPARK-33183] [SQL] Исправьте правило оптимизатора и добавьте физическое правило для удаления избыточных сортировок
• [SPARK-33272] [SQL] Урезано сопоставление атрибутов в QueryPlan.transformUpWithNewOutput.
• [SPARK-32090] [SQL] Улучшено UserDefinedType.equal() для симметричности.
• [SPARK-33267] [SQL] Исправлена проблема NPE в фильтре In, если одно из значений содержит null
• [SPARK-33208] [SQL] Обновление документа SparkSession#sql
• [SPARK-33260] [SQL] Исправлены неверные результаты из SortExec, если sortOrder имеет значение Stream.
• [SPARK-33230] [SQL] Коммитеры Hadoop получают уникальный идентификатор задания в "spark.sql.sources.writeJobUUID"
• [SPARK-33197] [SQL] Внесены изменения, чтобы spark.sql.analyzer.maxIterations действовало при запуске.
• [SPARK-33228] [SQL] Не очищайте кэш данных при замене представления с тем же логическим планом
• [SPARK-32557] [CORE] Ведение журнала и поглощение исключения на каждую запись на сервере журнала.
• [SPARK-32436] [CORE] Инициализация numNonEmptyBlocks в HighlyCompressedMapStatus.readExternal.
• [SPARK-33131] [SQL] Исправление наборов группировки с предложением HAVING, не удается разрешить полное имя столбца
• [SPARK-32761] [SQL] Разрешено агрегирование нескольких свертываемых отдельных выражений.
• [SPARK-33094] [SQL] Формат ORC теперь распространяет конфигурацию Hadoop из параметров DS на базовую файловую систему HDFS.

Обновления в рамках обслуживания

См. пакет обновления Databricks Runtime 7.5.

Системная среда

• Операционная система: Ubuntu 18.04.5 LTS
• Java: Zulu 8.50.0.51-CA-Linux64 (сборка 1.8.0_275-B01)
• Scala: 2.12.10
• Python: 3.7.5
• R: R версии 3.6.3 (29.02.2020)
• Delta Lake: 0.7.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 02.11.2020.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)