Databricks Runtime 8.1 (EoS)

Databricks выпустила эту версию в марте 2021 года.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 8.1 на платформе Apache Spark 3.1.1.

Новые функции и внесенные улучшения

• Новые операторы SQL сокращают сложные ETL-строки в строках JSON
• Контроль видимости списков управления доступом table
• Новые параметры автозагрузчика обеспечивают более высокую производительность
• Проверка подлинности в Azure Synapse Analytics с помощью OAuth 2.0 и субъекта-службы (общедоступная предварительная версия)
• вручную insertIDENTITYcolumns в Azure Synapse Analytics tables
• Теперь автозагрузчик Azure поддерживает проверку подлинности с помощью субъекта-службы для операций c очередями
• Отслеживание хода выполнения потока с помощью метрик Kafka
• Отслеживание хода выполнения потока с помощью метрик источника потоковой передачи данных Delta Lake

Новые операторы SQL сокращают сложные ETL-строки в строках JSON

Два новых оператора SQL — :: и : — позволяют легко извлекать данные из строк JSON.

• Чтобы привести выражение к типу данных, используйте двойное двоеточие ::. Например, вместо cast(col as int) теперь можно написать col::int.
• Для извлечения полей из частично структурированных данных, используйте одно двоеточие :. Если у вас есть STRINGcolumn с JSON-данными, вы можете извлечь поле из этого JSON-текста, используя синтаксис <json-column>:<field>, который извлекает ключ field из вашего JSON <json-column> в виде STRING. Его можно объединить с синтаксисом :: и привести, таким образом, данные к определенному типу.

Например, если у вас есть данные JSON:

{
  "store":{
    "bicycle":{
      "price":19.95,
      "color":"red"
    }
  }
}

и вы формируете tablestore_data из данных:

CREATE TABLE store_data AS SELECT
'{
   "store":{
      "bicycle":{
        "price":19.95,
        "color":"red"
      }
    }
 }' as raw

инструкция SELECT raw:store.bicycle.price::double FROM store_data возвращает следующее:

+--------+
| price  |
+--------+
| 19.95  |
+--------+

Дополнительные сведения см. в разделе "Запрос строк JSON".

Управление видимостью списков управления доступом table

Чтобы избежать утечки информации при перечислении всех определенных разрешений на table, теперь можно выполнить запрос SHOW GRANTS [<user>] <object> только в том случае, если вы:

• Администратор Databricks SQL или владелец <object>.
• пользователем, определенным в [<user>].

Новые параметры автозагрузчика обеспечивают более высокую производительность

Автозагрузчик теперь поддерживает новый параметр cloudFiles.fetchParallelism, позволяющий использовать параллелизм для получения сообщений из службы очереди.

См. статью об автозагрузчике.

Проверка подлинности в Azure Synapse Analytics с помощью OAuth 2.0 и субъекта-службы (общедоступная предварительная версия)

Соединитель Azure Synapse Analytics теперь поддерживает проверку подлинности с помощью OAuth 2.0 и субъекта-службы Идентификатора Microsoft Entra, что позволяет приложениям, которым требуется проверка подлинности с помощью субъекта-службы, а не имени пользователя и пароля. Дополнительные сведения см. в статье о том, как работает проверка подлинности между Azure Databricks и Synapse? для соединителя Azure Synapse Analytics.

Вручную insertIDENTITYcolumns в Azure Synapse Analytics tables

Соединитель Azure Synapse Analytics теперь поддерживает явную вставку values в IDENTITYcolumns в Azure Synapse Analytics tables на основе valuesset в DataFrames. Эта возможность поддерживается для пакетной и потоковой вставки и позволяет применять решения, требующие пользовательских IDENTITYcolumnvalues. Дополнительные сведения смidentityInsert. в разделе параметра в справочнике по параметрам соединителя Azure Synapse Analytics Azure Databricks Synapse.

Теперь автозагрузчик Azure поддерживает проверку подлинности с помощью субъекта-службы для операций c очередями

Теперь вы можете пройти проверку подлинности с помощью субъекта-службы идентификатора Microsoft Entra ID, предоставленных разрешениям, связанным с очередью для операций очередей с помощью автозагрузчика. Это изменение отменяет предыдущее требование об использовании строки подключения для операций с очередями и субъекта-службы для операций с событиями и позволяет применять субъект-службу для обоих типов операций. Дополнительные сведения см. в статье об автозагрузчике.

Отслеживание хода выполнения потока с помощью метрик Kafka

Источник потоковой передачи Kafka теперь сообщает, на сколько смещений отстает объект-получатель от последнего значения, после каждого пакета. Эти метрики можно использовать для отслеживания хода потоковой передачи. Дополнительные сведения о просмотре метрик см. в разделе "Получение метрик Kafka".

Отслеживание хода выполнения потока с помощью метрик источника потоковой передачи данных Delta Lake

Источник потоковой передачи Delta Lake теперь сообщает об объеме невыполненных работ и количестве файлов, существующих в списке невыполненных работ после каждого пакета. Эти метрики можно использовать для отслеживания хода потоковой передачи. Дополнительные сведения о просмотре этих метрик см. в разделе Метрики.

Обновления библиотек

• Обновленная библиотека Python:
  • koalas обновлена с версии 1.5.0 до версии 1.6.0.
• Недавно установленные библиотеки Python:
  • plotly 4.14.3
  • retrying 1.3.3
• R обновлена с версии 4.0.4 до версии 4.0.3.
• Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.
• Обновленная библиотека Java:
  • jetty с версии 9.4.34.v20201102 до версии 9.4.36.v20210114.
• Сборка OpenJDK 8 обновлена до Zulu 8.52.0.23-CA-linux64 (сборка 1.8.0_282-b08).

Apache Spark

Databricks Runtime 8.1 включает Apache Spark 3.1.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 8.0 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-34534] Исправлен порядок blockId при использовании FetchShuffleBlocks для получения блоков
• [SPARK-34613] [SQL] Исправлена ошибка, при которой представление на соответствует настройке отключении подсказки.
• [SPARK-34392] [SQL]: поддержка ZoneOffset +ч:мм в DateTimeUtils. getZoneId
• [SPARK-34436] [SQL]: DPP поддерживает выражение LIKE ANY/ALL.
• [SPARK-34497] [SQL] Исправлены встроенные providers подключения JDBC для restore изменения контекста безопасности JVM
• [SPARK-34543] [SQL] Соблюдайте настройки spark.sql.caseSensitive при разрешении спецификации partition в версии 1 SET LOCATION
• [SPARK-34550] [SQL]: пропуск нулевых значений InSet при отправке фильтра в хранилище метаданных Hive.
• [SPARK-34531] [CORE] Remove тег экспериментального API в PrometheusServlet

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 8.1.

Системная среда

• Операционная система: Ubuntu 18.04.5 LTS
• Java: Zulu 8.52.0.23-CA-linux64 (сборка 1.8.0_282-b08)
• Scala: 2.12.10
• Python: 3.8.8 (обновлено с 3.8.6 26 мая 2021 г. в ходе обслуживания update)
• R: R версии 4.0.4 (15.02.2021 г.)
• Delta Lake: 0.8.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 02.11.2020.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)