Databricks Runtime 11.2 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.2 на платформе Apache Spark 3.3.0. Databricks выпустила эту версию в сентябре 2022 года.

Новые функции и внесенные улучшения

• Изменение разрешений ALTER TABLE в системах управления доступом к таблицам (ACL таблиц)
• динамическое обрезание для MERGE INTO
• Улучшенное обнаружение конфликтов в Delta с помощью динамического очистки файлов
• Новая карточка "Интеграции с открытым кодом" на домашних страницах DSE/SQL
• CONVERT TO DELTA улучшения обнаружения разделов
• Схемы таблиц теперь поддерживают значения по умолчанию для столбцов
• Новые геопространственные функции H3
• Новая зависимость Databricks Runtime
• Использование собственного ключа: шифрование учетных данных Git
• SQL: новая агрегатная функция any_value
• Команды файловой системы Databricks Utilities, разрешенные для дополнительных типов кластеров
• Теперь привилегии CREATE можно предоставить в хранилищах метаданных для каталога Unity
• Оптимизированные операции записи для несекционированных таблиц в кластерах с поддержкой Photon
• Поддержка Photon для дополнительных источников данных
• SQL: ALTER SHARE теперь поддерживает начальную версию

Изменение разрешений ALTER TABLE в управляющих элементах доступа к таблицам (ACL таблиц)

Теперь пользователям нужны только разрешения MODIFY на изменение схемы или свойств таблицы с помощью ALTER TABLE. Для предоставления разрешений на таблицу, изменения её владельца или местоположения, а также для переименования по-прежнему требуются права владения. Это изменение приводит модель разрешений для табличных ACL в соответствие с Unity Catalog. См. ALTER TABLE.

Динамическая обрезка для MERGE INTO

При использовании вычислений MERGE INTO с поддержкой Photon теперь используется динамическое удаление файлов и секций при необходимости повышения производительности, например при слиянии небольшой исходной таблицы в большую целевую таблицу.

Улучшенное обнаружение конфликтов в Delta с помощью динамического очистки файлов

При проверке потенциальных конфликтов во время коммитов обнаружение конфликтов теперь учитывает файлы, которые удаляются с помощью динамической очистки файлов, но не могли бы быть удалены статическими фильтрами. Это приводит к уменьшению числа неудачных транзакций.

Новая карточка "Интеграции с открытым кодом" на домашних страницах DSE/SQL

Введя новую карточку интеграции с открытым исходным кодом на домашней странице DSE/SQL, которая отображает параметры интеграции с открытым кодом, такие как DLT и dbt core.

улучшения обнаружения секций CONVERT TO DELTA

CONVERT TO DELTA автоматически выводит схему секций для таблиц Parquet, зарегистрированных в хранилище метаданных Hive или каталоге Unity, устраняя необходимость предоставления предложения PARTITIONED BY.

CONVERT TO DELTA использует сведения о секции из хранилища метаданных для обнаружения файлов для таблицы Parquet вместо перечисления всего базового пути, гарантируя, что удаленные секции не добавляются в таблицу Delta.

См. статью о преобразовании в Delta Lake.

Схемы таблиц теперь поддерживают значения по умолчанию для столбцов

Схемы таблиц теперь поддерживают настройку значений по умолчанию для столбцов. Команды INSERT, UPDATEи DELETE для этих столбцов могут ссылаться на эти значения с помощью ключевого слова DEFAULT. Например, CREATE TABLE t (id INT, data INT DEFAULT 42) USING PARQUET, за которым следует INSERT INTO t VALUES (1, DEFAULT), добавит строку (1, 42). Это поведение поддерживается для источников данных CSV, JSON, Orc и Parquet.

Новые геопространственные функции H3

Теперь вы можете использовать 28 новых встроенных выражений H3 для геопространственной обработки в кластерах с поддержкой Photon, доступных в SQL, Scala и Python. См. раздел Геопространственные функции H3.

Новая зависимость Databricks Runtime

Databricks Runtime теперь зависит от библиотеки H3 Java версии 3.7.0.

Использование собственного ключа: шифрование учетных данных Git

Azure Key Vault можно использовать для шифрования личного маркера доступа (PAT) Git или других учетных данных Git.

См. Настройка папок Git для Databricks (Repos).

SQL: новая агрегатная функция any_value

Новая агрегатная функция any_value возвращает любое случайное значение expr для группы строк. См. агрегатную функцию any_value.

Команды файловой системы Databricks Utilities, разрешенные для дополнительных типов кластеров

Команды dbutils.fs (за исключением команд, связанных с монтированием) теперь разрешены для кластеров с изоляцией пользователей и каталогом Unity, а также для устаревших кластеров со списками управления доступом (ACL) к таблицам, если у пользователя есть разрешения ANY FILE.

Теперь привилегии CREATE можно предоставить в хранилищах метаданных для каталога Unity

CREATE CATALOG, CREATE EXTERNAL LOCATION, CREATE SHARE, CREATE RECIPIENT, и разрешения CREATE PROVIDER теперь могут быть предоставлены в хранилищах метаданных каталога Unity.

Оптимизированные операции записи для несекционированных таблиц в кластерах с поддержкой Photon

Управляемые таблицы каталога Unity теперь автоматически сохраняют файлы правильно настроенного размера из несекционированных таблиц для повышения скорости запросов и оптимизации производительности.

Поддержка Photon для дополнительных источников данных

Photon теперь поддерживает больше источников данных, включая CSV и Avro, а также демонстрирует совместимость с кэшированными кадрами данных. Раньше сканирование этих источников данных означало, что весь запрос не мог быть обработан с использованием Photon независимо от операторов или выражений запроса. Теперь запросы, сканирующие эти источники данных, можно обработать с использованием Photon, чтобы значительно снизить задержку и совокупную стоимость владения.

Эта функция включена по умолчанию в конфигурации spark.databricks.photon.photonRowToColumnar.enabled.

Ограничения:

• Схемы с вложенными типами в этом выпуске не поддерживаются (например, массивы, карты и структуры).
• Источники ORC, RDD, Kinesis, Kafka и EventHub не поддерживаются в этом выпуске.

SQL: ALTER SHARE теперь поддерживает функцию START VERSION

Теперь команда ALTER SHARE поддерживает START VERSION, что позволяет поставщикам предоставлять общий доступ к данным, начиная с определенной версии таблицы. См. ALTER SHARE.

Обновления библиотек

• Обновленные библиотеки Python:
  • distlib — с версии 0.3.4 до 0.3.5;
  • filelock — с версии 3.7.1 до 3.8.0;
  • plotly — с версии 5.8.2 до 5.9.0;
  • protobuf — с версии 4.21.2 до 4.21.5.
• Обновленные библиотеки R:
  • broom — обновление с версии 0.8.0 до 1.0.0
  • bslib — с версии 0.3.1 до 0.4.0;
  • callr — с версии 3.7.0 до 3.7.1;
  • caret — с версии 6.0-92 до 6.0-93;
  • dbplyr — с версии 2.2.0 до 2.2.1;
  • devtools — с версии 2.4.3 до 2.4.4;
  • оценивать с версии 0.15 до 0.16
  • farver — от 2.1.0 до 2.1.1.
  • fontawesome — с версии 0.2.2 до 0.3.0;
  • future — с версии 1.26.1 до 1.27.0;
  • generics переход с версии 0.1.2 на 0.1.3
  • gert — с версии 1.6.0 до 1.7.0;
  • globals — с версии 0.15.1 до 0.16.0;
  • googlesheets4 — с версии 1.0.0 до 1.0.1;
  • hardhat — с версии 1.1.0 до 1.2.0;
  • htmltools — с версии 0.5.2 до 0.5.3;
  • Параллельно с версией 1.32.0 по 1.32.1.
  • pillar — с версии 1.7.0 до 1.8.0;
  • pkgload с версии 1.2.4 до версии 1.3.0
  • processx — с версии 3.6.1 до 3.7.0;
  • Rcpp — с версии 1.0.8.3 до 1.0.9;
  • рецепты — с версии 0.2.0 до 1.0.1
  • rlang — с версии 1.0.2 до 1.0.4;
  • roxygen2 — с версии 7.2.0 до 7.2.1;
  • RSQLite — с версии 2.2.14 до 2.2.15;
  • sass — обновление с версии 0.4.1 до 0.4.2
  • shiny — с версии 1.7.1 до 1.7.2;
  • stringi — от версии 1.7.6 до 1.7.8.
  • tibble — с версии 3.1.7 до 3.1.8;
  • tidyverse обновлён с версии 1.3.1 до версии 1.3.2.
  • timeDate с 3043.102 до 4021.104
  • xfun — с версии 0.31 до 0.32.
• Обновленные библиотеки Java:
  • org.apache.orc.orc-core с 1.7.4 до 1.7.5
  • org.apache.orc.orc-mapreduce с версии 1.7.4 до 1.7.5
  • org.apache.orc.orc-shims с версии 1.7.4 на 1.7.5.

Apache Spark

Databricks Runtime 11.2 включает Apache Spark 3.3.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-40151] [WARMFIX][sc-109002][SC-108809][sql] Возвращает более широкие типы интервалов ANSI из функций процентиля
• [SPARK-40054] [SQL] Восстановление синтаксиса обработки ошибок try_cast()
• [SPARK-39489] [CORE] Повышение эффективности ведения журнала событий JsonProtocol благодаря использованию Jackson вместо Json4s
• [SPARK-39319] [CORE][sql] Создание контекстов запросов в рамках SparkThrowable
• [SPARK-40085] [SQL] Использование класса ошибок INTERNAL_ERROR вместо IllegalStateException для указания ошибок
• [SPARK-40001] [SQL] Запись NULL в столбцы JSON DEFAULT приводит к записи значения NULL в хранилище
• [SPARK-39635] [SQL] Поддержка метрик драйверов в пользовательском API метрик DS версии 2
• [SPARK-39184] [SQL] Обработка результирующего массива меньшего размера в последовательностях дат и меток времени
• [SPARK-40019] [SQL] Рефакторинг комментария о containsNull в ArrayType и исправление логических ошибок в выражении collectionOperator по поводу containsNull
• [SPARK-39989] [SQL] Поддержка оценки статистики столбцов, если это выражение является сворачиваемым.
• [SPARK-39926] [SQL] Исправление ошибки в поддержке столбца по умолчанию для невекторизованных сканирований Parquet
• [SPARK-40052] [SQL] Обработка прямых буферов байтов в VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Исправление типа целевого интервала в ошибках переполнения при приведении типов
• [SPARK-39835] [SQL] Исправление ошибки в функции EliminateSorts, связанной с удалением глобальной сортировки под локальной сортировкой.
• [SPARK-40002] [SQL] Не сжимайте ограничение через окно с помощью ntile
• [SPARK-39976] [SQL] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
• [SPARK-39985] [SQL] Включение неявных значений столбцов по умолчанию во вставках из DataFrame
• [SPARK-39776] [SQL] JOIN в развернутую строку следует добавить тип соединения
• [SPARK-38901] [SQL] DS V2 поддерживает принудительную отправку прочих функций
• [SPARK-40028] [SQL][дополнение] Улучшение примеров строковых функций
• [SPARK-39983] [CORE][sql] Не кэшировать несериализированные отношения вещания на драйвере
• [SPARK-39812] [SQL] Упростить код, конструирующий AggregateExpression с toAggregateExpression
• [SPARK-40028] [SQL] Добавление примеров с двоичными данными для строковых выражений
• [SPARK-39981] [SQL] Выбросить исключение QueryExecutionErrors.castingCauseOverflowErrorInTableInsert в Cast
• [SPARK-40007] [PYTHON][sql] Добавление режима в функции
• [SPARK-40008] [SQL] Поддержка приведения целочисленных значений к интервалам ANSI
• [SPARK-40003] [PYTHON][sql] Добавление median в функции
• [SPARK-39952] [SQL] Команда SaveIntoDataSourceCommand должна повторно кэшировать отношение результата
• [SPARK-39951] [SQL] Обновление проверки столбцов Parquet V2 для вложенных полей
• [SPARK-33236] [shuffle] Бэкпорт для DBR 11.x: включение push-службы перетасовки для сохранения состояния в базе данных на уровне NM для обеспечения продолжения работы при перезапуске
• [SPARK-39836] [SQL] Упрощение V2ExpressionBuilder путем извлечения общего метода.
• [SPARK-39873] [SQL] Удалите OptimizeLimitZero и объедините его в EliminateLimits
• [SPARK-39961] [SQL] Сдвиг DS V2 преобразует Cast, если приведение является безопасным
• [SPARK-39872] [SQL] Изменение, связанное с использовании BytePackerForLong#unpack8Values с API ввода массива в VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Удаление ненужных AliasHelper или PredicateHelper для некоторых правил
• [SPARK-39900] [SQL] Обработка частичного или отрицаемого условия в pushdown предиката двоичного формата
• [SPARK-39904] [SQL] Переименование inferDate в prefersDate, а также пояснение семантики параметра в источнике данных CSV
• [SPARK-39958] [SQL] Добавление журнала предупреждений, если не удается загрузить пользовательский объект метрики
• [SPARK-39932] [SQL] WindowExec должен очищать буфер последнего раздела
• [SPARK-37194] [SQL] Исключение ненужной сортировки при выполнении записи версии 1, если это не динамический раздел
• [SPARK-39902] [SQL] Добавление деталей сканирования в узел сканирования плана Spark в SparkUI
• [SPARK-39865] [SQL] Показывать корректные сообщения об ошибках переполнения при вставке в таблицу
• [SPARK-39940] [SS] Обновление таблицы каталога при потоковом запросе с использованием приемника DSv1
• [SPARK-39827] [SQL] Использовать класс ошибок ARITHMETIC_OVERFLOW при переполнении int в add_months()
• [SPARK-39914] [SQL] Добавить фильтр DS версии 2 для преобразования в фильтр версии 1
• [SPARK-39857] [SQL] Ручной бэкпорт DBR 11.x; V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In 43454
• [SPARK-39840] [SQL][python] Вынести PythonArrowInput как симметричный элемент для PythonArrowOutput.
• [SPARK-39651] [SQL] Удалить условие фильтра, если сравнение с rand является детерминированным
• [SPARK-39877] [PYTHON] Добавить unpivot в API DataFrame PySpark
• [SPARK-39909] [SQL] Организация проверки информации о push down для JDBCV2Suite
• [SPARK-39834] [SQL][ss] Включите статистику и ограничения источника для LogicalRDD, если она поступает из DataFrame
• [SPARK-39849] [SQL] Dataset.as(StructType) заполняет отсутствующие новые столбцы значением NULL
• [SPARK-39860] [SQL] Дополнительные выражения должны расширять предикат
• [SPARK-39823] [SQL][python] Переименовать Dataset.as как Dataset.to и добавить DataFrame.to в PySpark
• [SPARK-39918] [SQL][незначительный] Замените слово "несравнимым" на "несопоставимым" в сообщении об ошибке
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In
• [SPARK-39862] [SQL] Ручной обратный порт для PR 43654 нацеленный на DBR 11.x: обновление SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS для разрешения и запрета ALTER TABLE ... Добавьте команды COLUMN отдельно.
• [SPARK-39844] [SQL] Ручной бэкпорт для PR 43652, указывающий на DBR 11.x
• [SPARK-39899] [SQL] Исправление передачи параметров сообщения в InvalidUDFClassException
• [SPARK-39890] [SQL] Сделать так, чтобы TakeOrderedAndProjectExec наследовал AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Поддержка CharType в PySpark
• [SPARK-38864] [SQL] Добавление расплосщения / плавления в набор данных
• [SPARK-39864] [SQL] Медленная регистрация ExecutionListenerBus
• [SPARK-39808] [SQL] Поддержка режима агрегатной функции
• [SPARK-39875] [SQL] Изменение метода protected в последнем классе на private или package-visible
• [SPARK-39731] [SQL] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате "yyyyMdd" с помощью исправленной политики синтаксического анализа времени
• [SPARK-39805] [SS] Прекращение использования Trigger.Once и Promote Trigger.AvailableNow
• [SPARK-39784] [SQL] Разместите литеральные значения справа от фильтра источника данных после преобразования выражения Catalyst в фильтр источника данных
• [SPARK-39672] [SQL][3.1] Исправление удаления проекта перед фильтрацией с помощью связанного вложенного запроса
• [SPARK-39552] [SQL] Унификация версий 1 и 2 DESCRIBE TABLE
• [SPARK-39810] [SQL] Catalog.tableExists должен обрабатывать вложенное пространство имен
• [SPARK-37287] [SQL] Извлечение динамического раздела и сортировки контейнеров из FileFormatWriter
• [SPARK-39469] [SQL] Вывод типа даты для вывода схемы CSV
• [SPARK-39148] [SQL] агрегированная отправка DS V2 может работать с OFFSET или LIMIT
• [SPARK-39818] [SQL] Исправление ошибки в типах ARRAY, STRUCT, MAP со значениями DEFAULT с полями NULL
• [SPARK-39792] [SQL] Добавить DecimalDivideWithOverflowCheck для десятичного среднего
• [SPARK-39798] [SQL] Замена toSeq.toArray на .toArray[Any] в конструкторе GenericArrayData
• [SPARK-39759] [SQL] Реализация listIndexes в JDBC (диалект H2)
• [SPARK-39385] [SQL] Поддерживает отправку REGR_AVGX и REGR_AVGY
• [SPARK-39787] [SQL] Используйте класс ошибки при синтаксической ошибке функции to_timestamp
• [SPARK-39760] [PYTHON] Поддержка Varchar в PySpark
• [SPARK-39557] [SQL] Ручной бэкпорт для DBR 11.x: поддержка типов ARRAY, STRUCT, MAP в качестве значений по умолчанию
• [SPARK-39758] [SQL][3.3] Устранение ошибки NPE в функциях regexp для недопустимых шаблонов
• [SPARK-39749] [SQL] Режим SQL ANSI: использование простого строкового представления при приведении десятичного числа к строке
• [SPARK-39704] [SQL] Реализация createIndex и dropIndex & indexExists в JDBC (диалект H2)
• [SPARK-39803] [SQL] Использование LevenshteinDistance вместо StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Поддержка типа TimestampNTZ в источнике файлов JDBC
• [SPARK-39781] [SS] Добавление поддержки для предоставления max_open_files поставщику хранилища состояний rocksdb
• [SPARK-39719] [R] Реализация databaseExists/getDatabase в SparkR поддерживает пространство имен 3L
• [SPARK-39751] [SQL] Переименовать метрику ключа хэш-агрегации probes
• [SPARK-39772] [SQL] пространство имен должно иметь значение NULL, если база данных имеет значение NULL в старых конструкторах
• [SPARK-39625] [SPARK-38904][sql] Добавить Dataset.as(StructType)
• [SPARK-39384] [SQL] Компиляция встроенных агрегатных функций линейной регрессии для диалекта JDBC
• [SPARK-39720] [R] Реализация tableExists/getTable в SparkR для пространства имен 3L
• [SPARK-39744] [SQL] Добавление функции REGEXP_INSTR
• [SPARK-39716] [R] Обеспечение поддержки пространства имен 3L в currentDatabase/setCurrentDatabase/listCatalogs в SparkR
• [SPARK-39788] [SQL] Переименование catalogName в dialectName для JdbcUtils
• [SPARK-39647] [CORE] Регистрация исполнителя с ESS перед регистрацией BlockManager
• [SPARK-39754] [CORE][sql] Удалите неиспользуемые import или ненужные {}
• [SPARK-39706] [SQL] Установить отсутствующий столбец со значением defaultValue в качестве константы в ParquetColumnVector
• [SPARK-39699] [SQL] Более эффективная обработка выражений создания коллекций в CollapseProject
• [SPARK-39737] [SQL] PERCENTILE_CONT и PERCENTILE_DISC должны поддерживать агрегатный фильтр
• [SPARK-39579] [SQL][python][R] Сделать ListFunctions/getFunction/functionExists совместимым с пространством имен уровня 3
• [SPARK-39627] [SQL] JDBC V2 pushdown должен унифицировать API компиляции
• [SPARK-39748] [SQL][ss] Включите исходный логический план для LogicalRDD, если он поступает из DataFrame.
• [SPARK-39385] [SQL] Преобразование агрегатных функций линейной регрессии для применения при оптимизации
• [SPARK-39695] [SQL] Добавление функции REGEXP_SUBSTR
• [SPARK-39667] [SQL] Добавление еще одного решения, если недостаточно памяти для сборки и передачи таблицы
• [SPARK-39666] [ES-337834][sql] Использование UnsafeProjection.create для соблюдения spark.sql.codegen.factoryMode в ExpressionEncoder
• [SPARK-39643] [SQL] Запрет выражений вложенных запросов в значениях DEFAULT
• [SPARK-38647] [SQL] Добавление смеси SupportsReportOrdering в интерфейсе для сканирования (DataSourceV2)
• [SPARK-39497] [SQL] Улучшение обработки исключений анализа при отсутствии столбца ключей карты
• [SPARK-39661] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
• [SPARK-39713] [SQL] Режим ANSI: добавление предложения использования try_element_at для исправления ошибки INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL] DS V2 поддерживает отправку функций datetime
• [SPARK-39638] [SQL] Изменение, связанное с использованием ConstantColumnVector для хранения столбцов разделов в OrcColumnarBatchReader
• [SPARK-39653] [SQL] Очистка ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) из ColumnVectorUtils
• [SPARK-39231] [SQL] Использование ConstantColumnVector вместо On/OffHeapColumnVector для хранения столбцов разделов в VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog не должен вызывать исключение NoSuchDatabaseException в loadNamspaceMetadata
• [SPARK-39447] [SQL] Не следует использовать AssertionError в AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Изменение MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec должен учитывать порядок дочерних выходных данных
• [SPARK-39606] [SQL] Использование дочерней статистики для оценки оператора упорядочения
• [SPARK-39611] [PYTHON][ps] Исправлены неправильные псевдонимы в array_ufunc
• [SPARK-39656] [SQL][3.3] Исправление неправильного пространства имен в DescribeNamespaceExec
• [SPARK-39675] [SQL] Переключение конфигурации spark.sql.codegen.factoryMode для тестирования на конфигурацию для внутреннего использования
• [SPARK-39139] [SQL] DS V2 поддерживает отправку DS V2 UDF
• [SPARK-39434] [SQL] Предоставление контекста запроса для ошибки среды выполнения при выходе индекса за границы массива
• [SPARK-39479] [SQL] DS V2 поддерживает передачу математических функций (не ANSI)
• [SPARK-39618] [SQL] Добавление функции REGEXP_COUNT
• [SPARK-39553] [CORE] Многопоточная отмена регистрации тасования не должна приводить к NPE в среде Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Добавление файла для решения проблемы отсутствующих общих функций pandas
• [SPARK-39444] [SQL] Добавление OptimizeSubqueries в список nonExcludableRules
• [SPARK-39316] [SQL] Объединение PromotePrecision и CheckOverflow в двоичную арифметику с десятичными числами
• [SPARK-39505] [UI] Содержимое журнала Escape, отображаемое в пользовательском интерфейсе
• [SPARK-39448] [SQL] Добавить ReplaceCTERefWithRepartition в список nonExcludableRules
• [SPARK-37961] [SQL] Переопределение maxRows/maxRowsPerPartition для некоторых логических операторов
• [SPARK-35223] Отмена добавления IssueNavigationLink
• [SPARK-39633] [SQL] Поддержка метки времени в секундах для TimeTravel с помощью параметров кадра данных
• [SPARK-38796] [SQL] Обновление документации по строкам числового формата с помощью функций {try_}to_number
• [SPARK-39650] [SS] Исправление неправильной схемы значений при дедупликации потоковой передачи с обратной совместимостью
• [SPARK-39636] [CORE][ui] Исправьте несколько ошибок в JsonProtocol, влияя на кучи StorageLevels и Task/Executor ResourceRequests
• [SPARK-39432] [SQL] Возвращает ELEMENT_AT_BY_INDEX_ZERO из element_at(*, 0)
• [SPARK-39349] Добавление централизованного метода CheckError для проверки ошибочного пути
• [SPARK-39453] [SQL] DS версии 2 поддерживает передачу различных неагрегатных функций (не ANSI)
• [SPARK-38978] [SQL] DS V2 поддерживает оператор push down OFFSET
• [SPARK-39567] [SQL] Поддержка интервалов ANSI в функциях с процентилями
• [SPARK-39383] [SQL] Поддержка столбцов DEFAULT в ALTER TABLE ALTER COLUMNS для источников данных версии 2
• [SPARK-39396] [SQL] Исправление исключение входа LDAP "код ошибки 49 — недопустимые учетные данные"
• [SPARK-39548] [SQL] Команда CreateView с запросом предложения окна привела к неверной ошибке "определение окна не найдено"
• [SPARK-39575] [AVRO] Добавление ByteBuffer#rewind после ByteBuffer#get в Avr…
• [SPARK-39543] Параметр DataFrameWriterV2 должен передаваться в свойства хранилища в случае отката к версии 1
• [SPARK-39564] [SS] Предоставление информации из таблицы каталогов в логический план в потоковом запросе
• [SPARK-39582] [SQL] Исправить маркер "Since" для array_agg
• [SPARK-39388] [SQL] Повторное использование orcSchema при отправке предикатов Orc
• [SPARK-39511] [SQL] Улучшение механизма опускания локального ограничения 1 для правой части левого полу-/антисоединения при пустом условии объединения
• [SPARK-38614] [SQL] Не следует передавать ограничение через окно, использующее percent_rank
• [SPARK-39551] [SQL] Добавить проверку недопустимого плана AQE
• [SPARK-39383] [SQL] Добавление поддержки столбцов DEFAULT в ALTER TABLE ADD COLUMNS для источников данных V2
• [SPARK-39538] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
• [SPARK-39383] [SQL] Ручной бэкпорт для DBR 11.x: рефакторинг поддержки столбца DEFAULT для пропуска основного анализатора
• [SPARK-39397] [SQL] Ослабить "AliasAwareOutputExpression" для поддержки псевдонимов с выражениями
• [SPARK-39496] [SQL] Обработка конструкции null в Inline.eval
• [SPARK-39545] [SQL] Изменение метода concat для ExpressionSet в Scala 2.13 с целью повышения производительности
• [SPARK-39340] [SQL] Агрегатная передача DS v2 должна разрешать наличие точек в имени столбцов верхнего уровня
• [SPARK-39488] [SQL] Упрощение обработки ошибок TempResolvedColumn
• [SPARK-38846] [SQL] Добавление явного сопоставления данных между числовым типом Teradata и десятичным типом Spark
• [SPARK-39520] [SQL] Переопределение метода -- для ExpressionSet в Scala 2.13
• [SPARK-39470] [SQL] Поддержка приведения интервалов ANSI к десятичным числам
• [SPARK-39477] [SQL] Удаление информации о количестве запросов из золотых файлов SQLQueryTestSuite
• [SPARK-39419] [SQL] Исправление ошибке, приводящей к возникновению исключения ArraySort, когда блок сравнения возвращает значение NULL
• [SPARK-39061] [SQL] Правильная настройка допустимого значения NULL для выходных атрибутов Inline
• [SPARK-39320] [SQL] Поддержка агрегатной функции MEDIAN
• [SPARK-39261] [CORE] Улучшение форматирования новой строки для сообщений об ошибках
• [SPARK-39355] [SQL] Один столбец использует кавычки для создания UnresolvedAttribute
• [SPARK-39351] [SQL] SHOW CREATE TABLE следует скрыть свойства
• [SPARK-37623] [SQL] Поддержка агрегатной функции ANSI: regr_intercept
• [SPARK-39374] [SQL] Улучшение сообщения об ошибке для списка указанных пользователем столбцов
• [SPARK-39255] [SQL][3.3] Улучшение сообщений об ошибках
• [SPARK-39321] [SQL] Рефакторинг TryCast для использования RuntimeReplaceable
• [SPARK-39406] [PYTHON] Принятие массива NumPy в createDataFrame
• [SPARK-39267] [SQL] Очистка ненужного символа dsl
• [SPARK-39171] [SQL] Унификация выражения приведения
• [SPARK-28330] [SQL] Поддержка ANSI SQL: предложение смещения результатов в выражении запроса
• [SPARK-39203] [SQL] Переопределение расположения таблицы на абсолютный URI на основе URI базы данных
• [SPARK-39313] [SQL] toCatalystOrdering должен выдавать ошибку, если невозможно перевести V2Expression
• [SPARK-39301] [SQL][python] Эффективное использование LocalRelation и учёт размера пакета Arrow в createDataFrame с оптимизацией Arrow
• [SPARK-39400] [SQL] Spark SQL должен удалить каталог ресурсов Hive в любых случаях.

Обслуживание и обновления

См. обновления по техническому обслуживанию Databricks Runtime 11.2.

Системная среда

• Операционная система: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14.
• Python: 3.9.5
• R: 4.1.3.
• Delta Lake: 2.1.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 15.08.2022.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)