Databricks Runtime 16.2

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 16.2, работающем на основе Apache Spark 3.5.2.

Databricks выпустила эту версию в феврале 2025 года.

Изменения поведения

В Delta Sharing история таблиц включена по умолчанию

Общие ресурсы, созданные с помощью команды SQL ALTER SHARE <share> ADD TABLE <table>, теперь имеют включенную по умолчанию историю общего доступа (WITH HISTORY). См. ALTER SHARE.

Инструкции CREDENTIAL SQL возвращают ошибку при несоответствии типа учетных данных

В этом выпуске, если тип учетных данных, указанный в инструкции DROP CREDENTIAL, не соответствует типу сбрасываемых учетных данных, возвращается ошибка и инструкция не выполняется. Например, для инструкции DROP STORAGE CREDENTIAL 'credential-name', если credential-name не является учетными данными хранения, инструкция завершается ошибкой.

Это изменение позволяет предотвратить ошибки пользователей. Ранее оператор DROP CREDENTIAL успешно выполняется, даже если учетные данные, не соответствующие указанному типу учетных данных, были переданы. Например, перед этим изменением следующая инструкция успешно удаляет storage-credential: DROP SERVICE CREDENTIAL storage-credential.

См. DROP CREDENTIAL в справочнике по SQL.

Новые функции и улучшения

• Управляемый каталогом Unity доступ к внешним облачным службам с использованием учетных данных службы теперь стал общедоступным
• Ноутбуки поддерживаются как файлы рабочего пространства
• Используйте timestampdiff & timestampadd в генерируемых выражениях столбцов
• поддержка синтаксиса конвейера SQL
• Обновление до DESCRIBE TABLE возвращает метаданные в виде структурированных JSON
• нечувствительная к завершающим пробелам сортировка
• Преобразование таблиц Айсберга с секционированием контейнеров в неспарационные разностные таблицы
• вычисление режима общего доступа теперь поддерживает методы Spark Scala foreach, foreachBatchи flatMapGroupsWithState

Управляемый Unity Catalog доступ к внешним облачным службам с использованием учетных данных службы теперь является общедоступным

Учетные данные службы обеспечивают простую и безопасную проверку подлинности со службами вашего облачного клиента из Azure Databricks. При использовании Databricks Runtime 16.2 учетные данные службы общедоступны и теперь поддерживают пакеты SDK Scala, а также пакет SDK для Python, поддерживаемый в общедоступной предварительной версии. См. Управление доступом к внешним облачным службам с помощью учетных данных службы.

Записные книжки поддерживаются как файлы рабочей области

В Databricks Runtime 16.2 и более поздних версиях записные книжки поддерживаются как файлы рабочей области. Теперь вы можете программно взаимодействовать с записными книжками из любого места, где доступна файловая система рабочей области, включая запись, чтение и удаление записных книжек, как и любой другой файл. Чтобы узнать больше, см. блокноты в виде рабочих файлов.

Использование timestampdiff & timestampadd в созданных выражениях столбцов

В Databricks Runtime 16.2 и более поздних версиях можно использовать функции timestampdiff и timestampadd в выражениях, созданных для столбцов Delta Lake. См. созданные столбцы Delta Lake .

Поддержка синтаксиса конвейера SQL

В Databricks Runtime 16.2 и более поздних версиях можно создавать конвейеры SQL. Конвейер SQL структурит стандартный запрос, например SELECT c2 FROM T WHERE c1 = 5, в пошаговую последовательность, как показано в следующем примере:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Дополнительные сведения о поддерживаемом синтаксисе конвейеров SQL см. в разделе Синтаксис конвейера SQL.

Общие сведения об этом межотраслевом расширении см. в статье SQL Has Problems. Их можно исправить: синтаксис Pipe в SQL (Google Research).

Обновление до DESCRIBE TABLE возвращает метаданные в виде структурированного JSON

В Databricks Runtime 16.2 и более поздних версиях можно использовать команду DESCRIBE TABLE AS JSON для возврата метаданных таблицы в виде документа JSON. Выходные данные JSON более структурированы, чем отчет, доступный для чтения по умолчанию, и можно использовать для программной интерпретации схемы таблицы. Дополнительные сведения см. в разделе DESCRIBE TABLE AS JSON.

Игнорирование конечных пробелов при сортировках

Databricks Runtime 16.2 добавляет поддержку сортировок, нечувствительных к задним пробелам, расширяя возможности сортировки, добавленные в Databricks Runtime 16.1. Например, эти параметры сортировки считают 'Hello' и 'Hello ' как равные. Дополнительные сведения см. в разделе сортировки RTRIM.

Преобразование таблиц Айсберга с секционированием контейнеров в несекционированные таблицы Delta

Теперь операторы CONVERT TO DELTA и CREATE TABLE CLONE поддерживают преобразование таблицы Iceberg с разбиением на корзины в несекционированную таблицу Delta.

Вычисление в режиме общего доступа теперь поддерживает методы Spark Scala foreach, foreachBatchи flatMapGroupsWithState

В Databricks Runtime 16.2 и более поздних версиях вычисления общего режима доступа теперь поддерживают методы Scala DataStreamWriter.foreachBatch и KeyValueGroupedDataset.flatMapGroupsWithState. В Databricks Runtime 16.1 и более поздних версиях вычисление режима общего доступа теперь поддерживает метод Scala DataStreamWriter.foreach.

Исправления ошибок

Улучшенная добавочная обработка клона

Этот выпуск содержит исправление для пограничного случая, когда добавочная CLONE может повторно копировать файлы, уже скопированные из исходной таблицы в целевую таблицу. См. Клонирование таблицы на Azure Databricks.

Обновления библиотеки

• Обновленные библиотеки Python:
• Обновленные библиотеки R:
• Обновленные библиотеки Java:
  • org.json4s.json4s-ast_2.12 с 3.7.0-M11 до 4.0.7
  • org.json4s.json4s-core_2.12 с 3.7.0-M11 до 4.0.7
  • org.json4s.json4s-jackson_2.12 с 3.7.0-M11 до 4.0.7
  • org.json4s.json4s-scalap_2.12 с 3.7.0-M11 до 4.0.7

Apache Spark

Databricks Runtime 16.2 включает Apache Spark 3.5.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 16.1, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-49966] Отменить "[SC-179501][SQL] Использовать Invoke для реализации JsonToStructs(from_json)"
• [SPARK-50904] [SC-186976][SQL] Исправление выполнения пошагового запроса выражения сортировки
• [SPARK-49666] [SQL] Включение тестов обрезки для выражения InSet
• [SPARK-50669] [SC-184566][ES-1327450][SQL] Изменение подписи выражения TimestampAdd
• [SPARK-50795] [16.x][SC-186719][SQL] Сохранить метку времени как long в describe LinkedHashMap
• [SPARK-50870] [SC-186950][SQL] Добавьте часовой пояс при преобразовании к метке времени в V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][CONNECT] Сбой в ExecuteResponseObserver приводит к бесконечному повторному присоединению запросов
• [SPARK-50522] [SC-186500][SQL] Поддержка неопределённой сортировки
• [SPARK-50525] [SC-1860558][SQL] Определение правила оптимизатора InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][SQL] Повторяющиеся общие выражения в разных выражениях With должны быть проецированы только один раз
• [SPARK-50847] [SC-186916] [SQL] Запретить применение ApplyCharTypePadding для определенных выражений In
• [SPARK-50714] [SC-186786][SQL][SS] Включение эволюции схемы для TransformWithState при использовании кодировки Avro
• [SPARK-50795] [SC-186390][SQL] Отображение всех дат команды DESCRIBE AS JSON в формате ISO-8601 и типов как dataType.simpleString
• [SPARK-50561] [SC-185924][SQL] DBR 16.x cherrypick: улучшение приведения типов и проверки границ для функции UNIFORM в SQL
• [SPARK-50700] [SC-184845][SQL] spark.sql.catalog.spark_catalog поддерживает магическое значение builtin
• [SPARK-50831] [SC-186736][SQL] Включение сортировки обрезки по умолчанию
• [SPARK-50263] [SC-186793][CONNECT] Замените System.currentTimeMillisSystem.nanoTime
• [SPARK-48730] [SC-184926][SQL] Реализация CreateSQLFunctionCommand для скалярных и табличных функций SQL
• [SPARK-50830] [SC-186718] [SQL] Возвращает результат с одним проходом в виде результата анализа двойного выполнения
• [SPARK-50707] [SC-186098][SQL] Включение приведения в/из char/varchar
• [SPARK-49490] [SC-182137][SQL] Добавление тестов для initCap
• [SPARK-50529] [SC-184535][SQL] Изменение поведения char/varchar в конфигурации spark.sql.preserveCharVarcharTypeInfo
• [SPARK-49632] [SC-184179][SQL] Удалите предложение конфигурации ANSI в CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][PYTHON][SQL] Исправлена ошибка, при которой передача пустых вариантов в createDataFrame приводит к сбою и добавлению поддержки Variant в createDataFrame в Spark Connect
• [SPARK-50828] [SC-186493][PYTHON][ML][CONNECT] Объявление устаревшим pyspark.ml.connect
• [SPARK-50600] [SC-186057][CONNECT][SQL] Установить статус "проанализировано" при ошибке анализа
• [SPARK-50824] [SC-186472][PYTHON] Избегайте импорта необязательных пакетов Python для проверки
• [SPARK-50755] [SC-185521][SQL] Показ красивого плана для InsertIntoHiveTable
• [SPARK-50789] [SC-186312][CONNECT] Входные данные для типизированных агрегатов следует анализировать
• [SPARK-50791] [SC-185867][SC-186338][SQL] Исправлена ошибка NPE при обработке ошибок в хранилище состояний
• [SPARK-50801] [SC-186365] [SQL] Улучшить PlanLogger.logPlanResolution, чтобы он отображал только неразрешенные и решенные планы
• [SPARK-50749] [SC-185925][SQL] Исправлена ошибка упорядочивания в методе CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Унификация имени файла и структуры результатов профилировщика JVM в DFS
• [SPARK-50790] [SC-186354][PYTHON] Реализация анализа json в pyspark
• [SPARK-50738] [SC-184856][PYTHON] Обновление черное до 23.12.1
• [SPARK-50764] [SC-185930][PYTHON] Уточнение документирования методов, связанных с xpath
• [SPARK-50798] [SC-186277][SQL] Улучшить NormalizePlan
• [SPARK-49883] [SC-183787][SS] Контрольная структура контрольных точек хранилища состояний версии 2 с интеграцией в RocksDB и RocksDBFileManager
• [SPARK-50779] [SC-186062][SQL] Добавление флажка функции для колляции на уровне объектов
• [SPARK-50778] [SC-186183][PYTHON] Добавить metadata-столбец в PySpark DataFrame
• [SPARK-49565] [SC-186056][SQL] DBR 16.x cherrypick: улучшение псевдонимов автоматически созданных выражений с помощью операторов SQL канала
• [SPARK-50541] [16.x][SC-184937] Описание таблицы как JSON
• [SPARK-50772] [SC-185923][SQL] DBR 16.x cherrypick: сохранение псевдонимов таблиц после операторов SET, EXTEND, DROP
• [SPARK-50769] [SC-185919][SQL] Исправление ClassCastException в гистограммеNumeric
• [SPARK-49025] [SC-174667] Синхронизация разностного кода с DBR
• [SPARK-50752] [SC-1855547][PYTHON][SQL] Введите конфигурации для настройки UDF Python без стрелки
• [SPARK-50705] [SC-185944][SQL] Сделать QueryPlan без блокировки
• [SPARK-50690] [16.x][SC-184640][SQL] Исправление несоответствия в столбцах выходных данных запроса DESCRIBE TABLE
• [SPARK-50746] [SC-184932][SQL] Заменить Either на VariantPathSegment.
• [SPARK-50715] [SC-185546][PYTHON][CONNECT] SparkSession.Builder задает конфигурации в пакетном режиме
• [SPARK-50480] [SC-183359][SQL] Расширить CharType и VarcharType из StringType
• [SPARK-50675] [SC-184539][SQL] Таблица и представление уровня поддерживают сортировки
• [SPARK-50409] [SC-184516][SQL] Исправление оператора set, чтобы игнорировать ; в конце SET;, SET -v; и SET key;
• [SPARK-50743] [SC-185528][SQL] Нормализация идентификаторов CTERelationDef и CTERelationRef
• [SPARK-50693] [SC-184684][CONNECT] Входные данные для TypedScalaUdf должны быть проанализированы
• [SPARK-50744] [SC-184929][SQL] Добавьте тестовый случай для разрешения имен view/CTE
• [SPARK-50710] [SC-184767][CONNECT] Добавьте поддержку дополнительного подключения клиента к сеансам после выпуска
• [SPARK-50703] [SC-184843][PYTHON] Улучшение документации docstring для regexp_replace, regexp_substr и regexp_instr
• [SPARK-50716] [SC-184823][CORE] Исправьте логику очистки символьных ссылок в методе JavaUtils.deleteRecursivelyUsingJavaIO
• [SPARK-50630] [SC-184443][SQL] Исправлена GROUP BY поддержка порядкового использования для операторов PIPE в SQL AGGREGATE
• [SPARK-50614] [SC-184729][SQL] Добавить поддержку разбора вариантов для Parquet
• [SPARK-50661] [SASP-4936] Добавьте обратную совместимость для старого клиента FEB.
• [SPARK-50676] [SC-184641][SQL] Удалить неиспользуемые private lazy val mapValueContainsNull из ElementAt
• [SPARK-50515] [SC-183813][CORE] Добавление интерфейса только для чтения в SparkConf
• [SPARK-50697] [SC-184702][SQL] Включить хвостовую рекурсию по возможности
• [SPARK-50642] [SC-184726][SC-183517][CONNECT][SS][2/N][16.x]Исправить схему состояния для FlatMapGroupsWithState в spark connect, когда начальное состояние отсутствует
• [SPARK-50701] [SC-184704][PYTHON] Построение графиков требует минимальной версии plotly
• [SPARK-50702] [SC-184727][PYTHON] Уточнение строк документации regexp_count, regexp_extract и regexp_extract_all
• [SPARK-50499] [SC-184177][PYTHON] Экспонирование метрик из BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Добавление поддержки pushdown RPAD
• [SPARK-50682] [SC-184579][SQL] Внутренний псевдоним должен быть канонизирован
• [SPARK-50699] [SC-184695][PYTHON] Синтаксический анализ и создание строки DDL с указанным сеансом
• [SPARK-50573] [SC-184568][SS] Добавление идентификатора схемы состояния в строки состояния для эволюции схемы
• [SPARK-50661] [SC-184639][CONNECT][SS][SASP-4936] Исправление реализации foreachBatch в Spark Connect Scala. для поддержки набора данных[T].
• [SPARK-50689] [SC-184591][SQL] Принудительное детерминированное упорядочивание в списках проектов LCA
• [SPARK-50696] [SC-184667][PYTHON] Оптимизация вызова Py4J для метода синтаксического анализа DDL
• [SPARK-49670] [SC-182902][SQL] Включение сортировки обрезки для всех сквозных выражений
• [SPARK-50673] [SC-184565][ML] Избежать двойного обхода коэффициентов модели в конструкторе Word2VecModel
• [SPARK-50687] [SC-184588][PYTHON] Оптимизация логики для получения трассировок стека для DataFrameQueryContext
• [SPARK-50681] [SC-184662][PYTHON][CONNECT] Кэширует схему синтаксического анализа для MapInXXX и ApplyInXXXX
• [SPARK-50674] [SC-184589][PYTHON] Исправление проверки наличия метода "terminate" в оценке в UDTF
• [SPARK-50684] [SC-184582][PYTHON] Улучшение производительности Py4J в DataFrameQueryContext
• [SPARK-50578] [DBR16.x][SC-184559][PYTHON][SS] Добавьте поддержку новой версии метаданных состояния для TransformWithStateInPandas
• [SPARK-50602] [SC-184439][SQL] Исправление транспонирования для отображения правильного сообщения об ошибке при указании недопустимых столбцов индекса.
• [SPARK-50650] [SC-184532][SQL] Улучшение ведения журнала в однопроходном анализаторе
• [SPARK-50665] [SC-184533][SQL] замените LocalRelation на ComparableLocalRelation в NormalizePlan
• [SPARK-50644] [SC-184486][SQL] Чтение вариантной структуры в средстве чтения Parquet.
• [SPARK-49636] [SC-184089][SQL] Удалите предложение конфигурации ANSI в INVALID_ARRAY_INDEX и INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][SQL] Рефакторинг выходных вычислений объединения для повторного использования в однопроходном анализаторе
• [SPARK-50659] [SC-184512][SQL] Перенос ошибок объединения в QueryCompilationErrors
• [SPARK-50530] [SC-183419][SQL] Исправить ошибочное неявное вычисление контекста строкового типа
• [SPARK-50546] [SC-183807][SQL] Добавление поддержки приведения подзапроса при приведении типов сортировки
• [SPARK-50405] [SC-182889][SQL] Правильно обрабатывать приведение типов сортировки сложных типов данных
• [SPARK-50637] [SC-184434][SQL] Исправьте стиль кода для однопроходного анализатора
• [SPARK-50638] [SC-184435][SQL] Рефакторинг разрешения представления в отдельный файл для повторного использования в однопроходном анализаторе
• [SPARK-50615] [SC-184298][SQL] Продвижение варианта в сканирование.
• [SPARK-50619] [SC-184210][SQL] Refactor VariantGet.cast для упаковки аргументов приведения
• [SPARK-50599] [SC-184058][SQL] Создайте черту DataEncoder, которая позволяет кодировать Avro и UnsafeRow
• [SPARK-50076] [SC-183809] Исправление ключей журнала
• [SPARK-50597] [SC-183972][SQL] Проведение рефакторинга пакетной сборки в Optimizer.scala и SparkOptimizer.scala
• [SPARK-50339] [SC-183063][SPARK-50360][SS] Включение журнала изменений для хранения сведений о происхождении
• [SPARK-50526] [SC-183811][SS] Добавление конфигурации формата кодирования хранилища в журнал смещения и блокировка использования операторами с отслеживанием состояния, не поддерживаемыми avro.
• [SPARK-50540] [SC-183810][PYTHON][SS] Исправление строковой схемы для StatefulProcessorHandle
• [SPARK-50157] [SC-183789][SQL] С помощью SQLConf, предоставленного SparkSession первым.
• [SPARK-48898] [SC-183793][SQL] Правильно задать значение NULL в схеме Variant
• [SPARK-50559] [SC-183814][SQL] Сохраняйте выходные данные Except, Intersect и Union как отложенные значения (lazy vals)
• [SPARK-48416] [SC-183643][SQL] Поддержка вложенных выражений
• ru-RU: [SPARK-50428] [SC-183566][SS][PYTHON] Поддержка TransformWithStateInPandas в пакетных запросах
• [SPARK-50063] [SC-183350][SQL][CONNECT] Добавление поддержки Variant в клиенте Spark Connect Scala
• [SPARK-50544] [SC-183569][PYTHON][CONNECT] Реализация StructType.toDDL
• [SPARK-50443] [SC-182590][SS] Исправление ошибок сборки Maven, введенных кэшем Guava в RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][SQL] Исправлена ошибка, из-за которой пустые блоки BEGIN END вызывают ошибку
• [SPARK-50536] [SC-183443][CORE] Записывать размеры скачанных архивных файлов в SparkContext и Executor.
• [SPARK-45891] [SC-183439][SQL] Перестроить двоичный объект варианта из измельченных данных.
• [SPARK-49565] [SC-183465][SQL] Добавление синтаксиса канала SQL для оператора FROM
• [SPARK-50497] [SC-1833338][SQL] Сбой запросов с соответствующим сообщением, если MultiAlias содержит функцию без генератора
• [SPARK-50460] [SC-183375][PYTHON][CONNECT] Обобщить и упростить обработку исключений Connect
• [SPARK-50537] [SC-183452][CONNECT][PYTHON] Исправление перезаписи параметра сжатия в df.write.parquet
• [SPARK-50329] [SC-183358][SQL] исправить InSet$toString
• [SPARK-50524] [SC-183364][SQL] Нижнее RowBasedKeyValueBatch.spill предупреждающее сообщение до уровня отладки
• [SPARK-50528] [SC-183385][CONNECT] Переместить InvalidCommandInput в общий модуль
• [SPARK-50017] [SC-182438][SS] Поддержка кодирования Avro для оператора TransformWithState
• [SPARK-50463] [SC-182833][SQL] Исправление ConstantColumnVector с преобразованием columnar в строку
• [SPARK-50235] [SC-180786][SQL] Очистка ресурса ColumnVector после обработки всех строк в ColumnarToRowExec
• [SPARK-50516] [SC-183279][SS][НЕЗНАЧИТЕЛЬНЫЙ] Исправить тест, связанный с начальными состояниями, для использования StreamManualClock
• [SPARK-50478] [SC-183188][SQL] Исправление сопоставления StringType
• [SPARK-50492] [SC-183177][SS] Исправление java.util.NoSuchElementException при удалении столбца времени события после выполнения dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][SQL] Добавление синтаксиса канала SQL для оператора SET
• [SPARK-50449] [SC-183178][SQL] Исправлена грамматика сценариев SQL, разрешающая пустые тела для циклов, а также операторов IF и CASE
• [SPARK-50251] [SC-180970][PYTHON] Добавление getSystemProperty в PySpark SparkContext
• [SPARK-50421] [SC-183091][CORE] Исправлена конфигурация памяти, связанная с исполнителем, неправильной, когда работали несколько профилей ресурсов
• [SPARK-49461] [SC-179572][SS] Идентификатор постоянной контрольной точки для записи журналов и их последующего считывания
• [SPARK-50343] [SC-183119][SPARK-50344][SQL] Добавление синтаксиса канала SQL для операторов DROP и AS
• [SPARK-50481] [SC-182880][CORE] Улучшить SortShuffleManager.unregisterShuffle, чтобы обходить логику файлов контрольной суммы, если проверка отключена.
• [SPARK-50498] [SC-183090][PYTHON] Избегайте ненужных вызовов py4j в listFunctions
• [SPARK-50489] [SC-183053][SQL][PYTHON] Исправление операции самосоединения после applyInArrow
• [SPARK-49695] [SC-182967][SC-176968][SQL] Исправление обработки xor push-down в Postgres

Поддержка ODBC/JDBC драйвера Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновления (скачать ODBC, скачать JDBC).

Системная среда

• операционная система: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Установленные библиотеки Python

установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка CRAN диспетчера пакетов Posit 2024-08-04.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)