Databricks Runtime 11.1 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 11.1 на платформе Apache Spark 3.3.0. Databricks выпустила эту версию в июле 2022 года.

Новые функции и внесенные улучшения

• Photon предоставляется в общедоступной версии
• Photon: поддерживаемые типы экземпляров
• Канал изменений данных теперь может автоматически обрабатывать метки времени вне диапазона
• Описание и отображение функций SQL теперь отображают имена Catalog Unity в выходных данных (общедоступная предварительная версия)
• Schema вывод и эволюция файлов Parquet в автозагрузчике (общедоступная предварительная версия)
• Auto Loader теперь поддерживает эволюцию schema для Avro (GA)
• поддержка Delta Lake для динамических partition перезаписывает
• поддержка информации schema для объектов, созданных в Unity Catalog
• Информационные ограничения Delta Lake tables с Unity Catalog (публичная предварительная версия)
• Unity Catalog — ga
• Разностный общий доступ теперь общедоступен

Photon предоставляется в общедоступной версии

Photon теперь предоставляется в общедоступной версии начиная с Databricks Runtime 11.1. Photon — это собственный векторизованный обработчик запросов Azure Databricks, призванный обеспечить прямую совместимость с API Apache Spark для работы с существующим кодом. Он создан на языке C++, что позволяет пользоваться преимуществами современного оборудования и применять новейшие методики векторизованной обработки запросов. Это повышает производительность реальных данных и приложений благодаря повышенному уровню параллелизма на уровне данных и инструкций в ЦП — и все это за счет собственных возможностей озера данных.

Photon является частью высокопроизводительной среды выполнения, которая ускоряет работу с существующими вызовами SQL и API кадров данных и сокращает совокупную стоимость рабочей нагрузки. Photon используется по умолчанию в хранилищах SQL Databricks.

Новые функции и внесенные улучшения:

• Новый векторизованный оператор сортировки.
• Новые векторизованные функции window
• Новые типы и размеры экземпляров во всех облаках.

Ограничения:

• Определяемые пользователем функции Scala и Python не поддерживаются в Photon.
• RDD не поддерживается в Photon.
• Структурированная потоковая передача не поддерживается в Photon.

Дополнительные сведения см. в следующих объявлениях Photon.

Photon: новый векторизованный оператор сортировки

Photon теперь поддерживает векторизованную сортировку, если запрос содержит SORT_BY, CLUSTER_BYили функцию window с ORDER BY.

Ограничения: Photon не поддерживает глобальное предложение ORDER BY. Сортировки для оценки window будут обрабатываться фотонно, но глобальная сортировка будет продолжать выполняться в Spark.

Фотон: новые векторизованные функции window

Photon теперь поддерживает векторизованную window оценку функций для многих типов кадров и функций. К новым функциям window относятся: row_number, rank, dense_ranklag, lead, percent_rank, ntileи nth_value. Поддерживаемые типы кадров window: выполняющееся (UNBOUNDED PRECEDING AND CURRENT ROW), неограниченное (UNBOUNDED PRECEDING AND UNBOUNDED FOLLOWING), растущее (UNBOUNDED PRECEDING AND <OFFSET> FOLLOWING) и уменьшающееся (<OFFSET> PRECEDING AND UNBOUNDED FOLLOWING).

Ограничения:

• Photon поддерживает только версии ROWS всех типов кадров.
• Photon пока не поддерживает тип скользящего кадра (<OFFSET> PRECEDING AND <OFFSET> FOLLOWING).

Photon: поддерживаемые типы экземпляров

• dds_v5
• ds_v5
• eas_v4
• eds_v4
• eds_v5
• es_v5
• las_v3
• ls_v3

Канал изменений данных теперь может автоматически обрабатывать метки времени вне диапазона

Теперь веб-канал измененных данных (CDF) включает новый режим для предоставления меток времени или версий после последней версии фиксации без возникновения ошибок. По умолчанию этот режим отключен. Его можно включить, задав для конфигурации spark.databricks.delta.changeDataFeed.timestampOutOfRange.enabled значение true.

Описание и отображение функций SQL теперь отображают имена Catalog Unity в выходных данных (общедоступная предварительная версия)

Команды DESC TABLE, DESC DATABASE, DESC SCHEMA, DESC NAMESPACE, DESC FUNCTION, EXPLAINи SHOW CREATE TABLE теперь всегда отображают имя catalog в выходных данных.

Schema вывод и эволюция файлов Parquet в автозагрузчике (общедоступная предварительная версия)

Автозагрузчик теперь поддерживает schema выведение и эволюцию для файлов Parquet. Как и форматы JSON, CSV и Avro, вы можете использовать восстановленные данные column для восстановления непредвиденных данных, которые могут появляться в файлах Parquet. К ним относятся данные, которые нельзя обработать в ожидаемом формате данных, columns с другим регистром или дополнительные columns, которые не являются частью ожидаемого schema. Автозагрузчик можно настроить для автоматического развития schema при добавлении новых columns во входящих данных. См. раздел Настройка вывода schema и эволюции вавтозагрузчика.

Автозагрузчик теперь поддерживает эволюцию schema для Avro (GA)

См. раздел Настройка вывода schema и эволюции вавтозагрузчика.

Поддержка динамической перезаписи в Delta Lake для partition

Delta Lake теперь позволяет перезаписать все существующие данные в динамическом режиме partition в каждом логическом partition, в котором запись зафиксирует новые данные. См . выборочную перезапись данных с помощью Delta Lake.

Поддержка schema информации для объектов, созданных в Unity Catalog

Сведения schema предоставляют API на основе SQL, самостоятельно описывая метаданные различных объектов базы данных, включая tables и views, ограничения и routines. В информации schema вы найдете setviews, описывающие объекты, известные catalogschema, которые вам привилегировано увидеть. Сведения schemaSYSTEMcatalog возвращают сведения об объектах во всех catalogs в хранилище метаданных. См. сведения schema.

Информационные ограничения для Delta Lake tables с Catalog Unity (общедоступная предварительная версия)

Теперь можно определить информационный первичный ключ и ограничения внешнего ключа в Delta Lake tables с помощью Unity Catalog. Информационные ограничения не применяются. См. пункт, .

Unity Catalog общедоступно

Unity Catalog теперь общедоступна, начиная с Databricks Runtime 11.1. См. Что такое CatalogUnity?.

Delta Sharing предоставляется в общедоступной версии

Delta Sharing теперь предоставляется в общедоступной версии, начиная с Databricks Runtime 11.1.

В Databricks Delta Sharing полностью управляется без обмена маркерами. Вы можете создавать и управлять providers, recipientsи shares в пользовательском интерфейсе или с помощью API SQL и REST.

Некоторые функции включают ограничение доступа получателей, запрашивание данных с помощью списков доступа по IP-адресам и региональных ограничений, а также делегирование управления Delta Sharing пользователям, не являющимся администраторами. Вы также можете запрашивать изменения данных и делиться добавочными версиями с помощью веб-каналов данных об изменениях. См. раздел "Что такое разностный общий доступ?".

Изменения в работе

Редактирование конфиденциальных свойств для DESCRIBE TABLE и ПОКАЗАТЬ свойства TABLE

Конфиденциальные свойства редактируются в кадрах данных и выходных данных DESCRIBE TABLE команд.SHOW TABLE PROPERTIES

Кластеры заданий по умолчанию предназначены для режима доступа к одному пользователю с помощью Databricks Runtime 11.1 и более поздних версий.

Чтобы поддерживать совместимость с Unity Catalog, кластеры заданий на основе Databricks Runtime версии 11.1 и выше, созданные через пользовательский интерфейс заданий или API, по умолчанию будут работать в режиме единоличного доступа. Режим доступа к одному пользователю поддерживает большинство языков программирования, функций кластера и функций управления данными. Вы по-прежнему можете настроить режим общего доступа через пользовательский интерфейс или API, но языки или функции могут быть ограничены.

Обновления библиотек

• Обновленные библиотеки Python:
  • filelock — с версии 3.6.0 до 3.7.1;
  • plotly — с версии 5.6.0 до 5.8.2;
  • protobuf — с версии 3.20.1 до 4.21.2.
• Обновленные библиотеки R:
  • chron — с версии 2.3-56 до 2.3-57;
  • DBI — с версии 1.1.2 до 1.1.3;
  • dbplyr — с версии 2.1.1 до 2.2.0;
  • e1071 — с версии 1.7-9 до 1.7-11;
  • future — с версии 1.25.0 до 1.26.1;
  • globals — с версии 0.14.0 до 0.15.1;
  • hardhat — с версии 0.2.0 до 1.1.0;
  • ipred — с версии 0.9-12 до 0.9-13;
  • openssl — с версии 2.0.0 до 2.0.2;
  • parallelly — с версии 1.31.1 до 1.32.0;
  • processx — с версии 3.5.3 до 3.6.1;
  • progressr — с версии 0.10.0 до 0.10.1;
  • proxy — с версии 0.4-26 до 0.4-27;
  • ps — с версии 1.7.0 до 1.7.1;
  • randomForest — с версии 4.7-1 до 4.7-1.1;
  • roxygen2 — с версии 7.1.2 до 7.2.0;
  • Rserve — с версии 1.8-10 до 1.8-11;
  • RSQLite — с версии 2.2.13 до 2.2.14;
  • sparklyr — с версии 1.7.5 до 1.7.7;
  • tinytex — с версии 0.38 до 0.40;
  • usethis — с версии 2.1.5 до 2.1.6;
  • xfun — с версии 0.30 до 0.31.
• Обновленные библиотеки Java:
  • io.delta.delta-sharing-spark_2.12 — с версии 0.4.0 до 0.5.0.

Apache Spark

Databricks Runtime 11.2 включает Apache Spark 3.3.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-40054] [SQL] Restore синтаксис обработки ошибок try_cast()
• [SPARK-39489] [CORE] Повышение эффективности ведения журнала событий JsonProtocol благодаря использованию Jackson вместо Json4s
• [SPARK-39319] [CORE][SQL] Создание контекстов запросов в составе SparkThrowable
• [SPARK-40085] [SQL] Использование класса ошибок INTERNAL_ERROR вместо IllegalStateException для указания ошибок
• [SPARK-40001] [SQL] Сделать записанные значения NULL в JSON DEFAULT columns записывать 'null' в хранилище
• [SPARK-39635] [SQL] Поддержка метрик драйверов в пользовательском API метрик DS версии 2
• [SPARK-39184] [SQL] Обработка результирующего массива меньшего размера в последовательностях дат и меток времени
• [SPARK-40019] [SQL] Рефакторинг комментария ArrayType containsNull и рефакторинг логики непонимания в выражении collectionOperator о containsNull
• [SPARK-39989] [SQL] Поддержка оценки column статистики, если это свертываемое выражение
• [SPARK-39926] [SQL] Исправлена ошибка в column поддержке по умолчанию для невекторизованных сканирований Parquet
• [SPARK-40052] [SQL] Обработка прямых буферов байтов в VectorizedDeltaBinaryPackedReader
• [SPARK-40044] [SQL] Исправление типа целевого интервала в ошибках переполнения во время приведения
• [SPARK-39835] [SQL] Исправление в устранении сортировок remove глобальная сортировка перед локальной сортировкой
• [SPARK-40002] [SQL] Не нажимайте limitwindow с помощью ntile
• [SPARK-39976] [SQL] ArrayIntersect должен правильно обрабатывать значение NULL в левом выражении
• [SPARK-39985] [SQL] Включить неявный columnvalues DEFAULT при вставке из DataFrame
• [SPARK-39776] [SQL] JOIN в подробной строке должен быть добавлен тип Join
• [SPARK-38901] [SQL] DS V2 поддерживает принудительную отправку прочих функций
• [SPARK-40028] [SQL][продолжение] Улучшение примеров строковых функций
• [SPARK-39983] [CORE][SQL] Не следует кэшировать несериализированные отношения широковещательной рассылки в драйвере
• [SPARK-39812] [SQL] Упрощение кода, которое создает AggregateExpression с toAggregateExpression
• [SPARK-40028] [SQL] Добавление примеров с двоичными данными для строковых выражений
• [SPARK-39981] [SQL] Отображение исключения QueryExecutionErrors.castingCauseOverflowErrorInTableInsert в Cast
• [SPARK-40007] [PYTHON][SQL] Добавление параметра режима в функции
• [SPARK-40008] [SQL] Поддержка приведения целочисленных значений к интервалам ANSI
• [SPARK-40003] [PYTHON][SQL] Добавление параметра медианы в функции
• [SPARK-39952] [SQL] Команда SaveIntoDataSourceCommand должна повторно кэшировать отношение результата
• [SPARK-39951] [SQL] Update Проверка V2 columnar Parquet для вложенных полей
• [SPARK-39775] [CORE][AVRO] Отключить проверку values по умолчанию при анализе схем Avro
• [SPARK-33236] [shuffle] Бэкпорт для DBR 11.x: включение службы перетасовки на основе push-уведомлений для сохранения состояния в базе данных на уровне NM, чтобы иметь возможность продолжить работу при перезапуске
• [SPARK-39836] [SQL] Упрощение V2ExpressionBuilder путем извлечения общего метода.
• [SPARK-39867] [SQL] Global limit не должны наследовать OrderPreservingUnaryNode
• [SPARK-39873] [SQL] RemoveOptimizeLimitZero и объединить его в EliminateLimits
• [SPARK-39961] [SQL] Сдвиг DS V2 преобразует Cast, если приведение является безопасным
• [SPARK-39872] [SQL] Изменение, связанное с использовании BytePackerForLong#unpack8Values с API ввода массива в VectorizedDeltaBinaryPackedReader
• [SPARK-39858] [SQL] Remove ненужные AliasHelper или PredicateHelper для некоторых правил
• [SPARK-39962] [WARMFIX][ES-393486][PYTHON][SQL] Применение проекции, если не указаны атрибуты группы
• [SPARK-39900] [SQL] Обработка частичного или отрицаемого условия в pushdown предиката двоичного формата
• [SPARK-39904] [SQL] Переименование inferDate в prefersDate, а также пояснение семантики параметра в источнике данных CSV
• [SPARK-39958] [SQL] Добавление журнала предупреждений, если не удается загрузить пользовательский объект метрики
• [SPARK-39936] [SQL] Store schema в свойствах Spark Views
• [SPARK-39932] [SQL] WindowExec должен очистить окончательный буфер partition
• [SPARK-37194] [SQL] Избегать ненужной сортировки в операции записи версии 1, если это не динамическая запись partition
• [SPARK-39902] [SQL] Добавление сведений о сканировании в узел сканирования плана Spark в SparkUI
• [SPARK-39865] [SQL] Показывать правильные сообщения об ошибках переполнения tableinsert
• [SPARK-39940] [SS] Refreshcatalogtable в потоковом запросе с приемником DSv1
• [SPARK-39827] [SQL] Использования класса ошибок ARITHMETIC_OVERFLOW при переполнении int в add_months()
• [SPARK-39914] [SQL] Добавление фильтра DS версии 2 в преобразование фильтра версии 1
• [SPARK-39857] [SQL] Ручной бэкпорт DBR 11.x; V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In 43454
• [SPARK-39840] [SQL][PYTHON] Исключение PythonArrowInput для симметрии с PythonArrowOutput
• [SPARK-39651] [SQL] Условие фильтра очистки, если сравнение с rand является детерминированным
• [SPARK-39877] [PYTHON] Добавить unpivot в API DataFrame PySpark
• [SPARK-39847] Исправление состояния гонки в RocksDBLoader.loadLibrary() в случае прерывания вызывающего потока
• [SPARK-39909] [SQL] Упорядочение проверки сведений об отправке для JDBCV2Suite
• [SPARK-39834] [SQL][SS] Включение статистики и ограничений по источнику для LogicalRDD, если он поступает из кадра данных
• [SPARK-39849] [SQL] Dataset.as(StructType) заполняет отсутствующие новые columns значением NULL
• [SPARK-39860] [SQL] Дополнительные выражения должны расширять предикат
• [SPARK-39823] [SQL][PYTHON] Переименование Dataset.as как Dataset.to и добавление DataFrame.to в PySpark
• [SPARK-39918] [SQL][MINOR] Замена слов "несопоставимый" на "несовместимый" в сообщении об ошибке
• [SPARK-39857] [SQL][3.3] V2ExpressionBuilder использует неправильный тип данных LiteralValue для предиката In
• [SPARK-39862] [SQL] Ручной перенос для PR 43654, предназначенный для DBR 11.x: Update SQLConf.DEFAULT_COLUMN_ALLOWED_PROVIDERS разрешить/denyALTER TABLE ... Добавьте команды COLUMN отдельно.
• [SPARK-39844] [SQL] Ручной бэкпорт для PR 43652, указывающий на DBR 11.x
• [SPARK-39899] [SQL] Исправление передачи сообщений parameters в InvalidUDFClassException
• [SPARK-39890] [SQL] Обеспечение наследования в TakeOrderedAndProjectExec из AliasAwareOutputOrdering
• [SPARK-39809] [PYTHON] Поддержка CharType в PySpark
• [SPARK-38864] [SQL] Добавление unpivot / расплава в набор данных
• [SPARK-39864] [SQL] Медленная регистрация ExecutionListenerBus
• [SPARK-39808] [SQL] Поддержка режима агрегатной функции
• [SPARK-39839] [SQL] Обработка особого случая null десятичной переменной нулевой длины с ненулевым смещением offsetAndSize при проверке структурной целостности UnsafeRow
• [SPARK-39875] [SQL] Изменение метода protected в последнем классе на private или package-visible
• [SPARK-39731] [SQL] Исправлена проблема в источниках данных CSV и JSON при синтаксическом анализе дат в формате "yyyyMdd" с помощью исправленной политики синтаксического анализа времени
• [SPARK-39805] [SS] Прекращение использования Trigger.Once и Promote Trigger.AvailableNow
• [SPARK-39784] [SQL] Поместите литерал values вправо от фильтра источника данных после преобразования выражения Catalyst в фильтр источника данных
• [SPARK-39672] [SQL][3.1] Исправление удаления проекта перед фильтрацией с помощью связанного вложенного запроса
• [SPARK-39552] [SQL] Унификация версий 1 и 2 DESCRIBE TABLE
• [SPARK-39806] [SQL] Доступ к _metadata на разделённых table может привести к сбою запроса
• [SPARK-39810] [SQL] Catalog.tableExists должен обрабатывать вложенное пространство имен
• [SPARK-37287] [SQL] Вытащить динамические partition и сортировку контейнеров из FileFormatWriter
• [SPARK-39469] [SQL] Определение типа даты для обработки CSV schema
• [SPARK-39148] [SQL] агрегированная отправка DS V2 может работать с OFFSET или LIMIT
• [SPARK-39818] [SQL] Исправлена ошибка в МАССИВе, структуре, типах MAP с values DEFAULT с полями NULL
• [SPARK-39792] [SQL] Добавление DecimalDivideWithOverflowCheck для десятичного среднего
• [SPARK-39798] [SQL] Замена toSeq.toArray на .toArray[Any] в конструкторе GenericArrayData
• [SPARK-39759] [SQL] Реализация listIndexes в JDBC (диалект H2)
• [SPARK-39385] [SQL] Поддерживает отправку REGR_AVGX и REGR_AVGY
• [SPARK-39787] [SQL] Используйте класс error при ошибке синтаксического анализа функции to_timestamp
• [SPARK-39760] [PYTHON] Поддержка Varchar в PySpark
• [SPARK-39557] [SQL] Ручной бэкпорт в DBR 11.x: поддержка типов ARRAY, STRUCT, MAP в качестве значений по умолчанию values
• [SPARK-39758] [SQL][3.3] Исправление NPE из функций regexp для недопустимых шаблонов
• [SPARK-39749] [SQL] Режим SQL ANSI: использование простого строкового представления при приведении десятичного числа к строке
• [SPARK-39704] [SQL] Реализация createIndex и dropIndex & indexExists в JDBC (диалект H2)
• [SPARK-39803] [SQL] Использование LevenshteinDistance вместо StringUtils.getLevenshteinDistance
• [SPARK-39339] [SQL] Поддержка типа TimestampNTZ в источнике файлов JDBC
• [SPARK-39781] [SS] Добавление поддержки для предоставления max_open_files поставщику хранилища состояний rocksdb
• [SPARK-39719] [R] Реализация databaseExists/getDatabase в SparkR поддерживает пространство имен 3L
• [SPARK-39751] [SQL] Переименование метрики hash aggregate key probes
• [SPARK-39772] [SQL] пространство имен должно иметь значение NULL, если база данных имеет значение NULL в старых конструкторах
• [SPARK-39625] [SPARK-38904][SQL] Добавление Dataset.as(StructType)
• [SPARK-39384] [SQL] Компиляция встроенных агрегатных функций линейной регрессии для диалекта JDBC
• [SPARK-39720] [R] Реализация tableExists/getTable в SparkR для пространства имен 3L
• [SPARK-39744] [SQL] Добавление функции REGEXP_INSTR
• [SPARK-39716] [R] Обеспечение поддержки пространства имен 3L в currentDatabase/setCurrentDatabase/listCatalogs в SparkR
• [SPARK-39788] [SQL] Переименование catalogName в dialectName для JdbcUtils
• [SPARK-39647] [CORE] Регистрация исполнителя с ESS перед регистрацией BlockManager
• [SPARK-39754] [CORE][SQL] Remove неиспользуемые import или ненужные {}
• [SPARK-39706] [SQL] Set отсутствует column со значением по умолчанию в качестве константы в ParquetColumnVector
• [SPARK-39699] [SQL] Более эффективная обработка выражений создания коллекций в CollapseProject
• [SPARK-39737] [SQL] PERCENTILE_CONT и PERCENTILE_DISC должны поддерживать агрегатный фильтр
• [SPARK-39579] [SQL][PYTHON][R] Обеспечение совместимости ListFunctions/getFunction/functionExists с пространством имен уровня 3
• [SPARK-39627] [SQL] При передаче JDBC версии 2 должен всегда использоваться API компиляции
• [SPARK-39748] [SQL][SS] Включение логического плана источника для LogicalRDD, если он поступает из кадра данных
• [SPARK-39385] [SQL] Преобразование агрегатных функций линейной регрессии для передачи
• [SPARK-39695] [SQL] Добавление функции REGEXP_SUBSTR
• [SPARK-39667] [SQL] Добавьте еще одно решение, если недостаточно памяти для сборки и трансляции table
• [SPARK-39666] [ES-337834][SQL] Использование UnsafeProjection.create для учета spark.sql.codegen.factoryMode в ExpressionEncoder
• [SPARK-39643] [SQL] Запретить вложенные запросы в values DEFAULT
• [SPARK-38647] [SQL] Добавление смеси SupportsReportOrdering в интерфейсе для сканирования (DataSourceV2)
• [SPARK-39497] [SQL] Улучшение исключения анализа отсутствующих ключей карты column
• [SPARK-39661] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
• [SPARK-39713] [SQL] Режим ANSI: добавление предложения использования try_element_at для исправления ошибки INVALID_ARRAY_INDEX
• [SPARK-38899] [SQL] DS V2 поддерживает отправку функций datetime
• [SPARK-39638] [SQL] Изменение использования ConstantColumnVector для хранения partitioncolumns в OrcColumnarBatchReader
• [SPARK-39653] [SQL] Очистка ColumnVectorUtils#populate(WritableColumnVector, InternalRow, int) из ColumnVectorUtils
• [SPARK-39231] [SQL] Используйте ConstantColumnVector вместо On/OffHeapColumnVector для хранения partitioncolumns в VectorizedParquetRecordReader
• [SPARK-39547] [SQL] V2SessionCatalog не должен вызывать исключение NoSuchDatabaseException в loadNamspaceMetadata
• [SPARK-39447] [SQL] Не следует использовать AssertionError в AdaptiveSparkPlanExec.doExecuteBroadcast
• [SPARK-39492] [SQL] Переработка MISSING_COLUMN
• [SPARK-39679] [SQL] TakeOrderedAndProjectExec должен учитывать порядок дочерних выходных данных
• [SPARK-39606] [SQL] Использование дочерней статистики для оценки оператора упорядочения
• [SPARK-39611] [PYTHON][PS] Исправление неправильных псевдонимов в array_ufunc
• [SPARK-39656] [SQL][3.3] Исправление неправильного пространства имен в DescribeNamespaceExec
• [SPARK-39675] [SQL] Переключение конфигурации spark.sql.codegen.factoryMode для тестирования на конфигурацию для внутреннего использования
• [SPARK-39139] [SQL] DS V2 поддерживает отправку DS V2 UDF
• [SPARK-39434] [SQL] Предоставление контекста запроса для ошибки среды выполнения при выходе индекса за границы массива
• [SPARK-39479] [SQL] DS V2 поддерживает передачу математических функций (не ANSI)
• [SPARK-39618] [SQL] Добавление функции REGEXP_COUNT
• [SPARK-39553] [CORE] Отмена регистрации нескольких потоков не должна приводить к NPE при использовании Scala 2.13
• [SPARK-38755] [PYTHON][3.3] Добавление файла для решения проблемы отсутствующих общих функций pandas
• [SPARK-39444] [SQL] Добавление OptimizeSubqueries в nonExcludableRules list
• [SPARK-39316] [SQL] Объединение PromotePrecision и CheckOverflow в двоичную арифметику с десятичными числами
• [SPARK-39505] [UI] Содержимое журнала Escape, отображаемое в пользовательском интерфейсе
• [SPARK-39448] [SQL] Добавление ReplaceCTERefWithRepartition в nonExcludableRuleslist
• [SPARK-37961] [SQL] Переопределение maxRows/maxRowsPerPartition для некоторых логических операторов
• [SPARK-35223] Отмена добавления IssueNavigationLink
• [SPARK-39633] [SQL] Поддержка метки времени в секундах для TimeTravel с помощью параметров кадра данных
• [SPARK-38796] [SQL] Update документация для строк числового формата с функциями {try_}to_number
• [SPARK-39650] [SS] Исправление неверного значения schema при устранении дублирования в потоковой передаче с обратной совместимостью.
• [SPARK-39636] [CORE][UI] Исправление нескольких ошибок в JsonProtocol, которые влияют на операции StorageLevels и task/Executor ResourceRequests, выполняемые вне кучи
• [SPARK-39432] [SQL] Возврат ELEMENT_AT_BY_INDEX_ZERO из element_at(*, 0)
• [SPARK-39349] Добавление централизованного метода CheckError для проверки ошибочного пути
• [SPARK-39453] [SQL] DS версии 2 поддерживает передачу различных неагрегатных функций (не ANSI)
• [SPARK-38978] [SQL] DS V2 поддерживает оператор push-OFFSET
• [SPARK-39567] [SQL] Поддержка интервалов ANSI в функциях с процентилями
• [SPARK-39383] [SQL] Поддержка columns ПО УМОЛЧАНИЮ в ALTER TABLE ALTER COLUMNS для источников данных версии 2
• [SPARK-39396] [SQL] Исправлена ошибка входа LDAP: «код ошибки 49 — недопустимый credentials»
• [SPARK-39548] [SQL] Команда CreateView с запросом с условием window столкнулась с ошибкой "не найдено определение" window
• [SPARK-39575] [AVRO] добавьте ByteBuffer#rewind после ByteBuffer#get в Avr...
• [SPARK-39543] Параметр DataFrameWriterV2 должен передаваться в свойства хранилища в случае отката к версии 1
• [SPARK-39564] [SS] Предоставление сведений о catalogtable логическому плану в потоковом запросе
• [SPARK-39582] [SQL] Исправление маркера "Since" для array_agg
• [SPARK-39388] [SQL] Повторное использование orcSchema при отправке предикатов Orc
• [SPARK-39511] [SQL] Улучшение локального limit 1 для правой части левой полу-join, если условие join пусто
• [SPARK-38614] [SQL] Не нажимайте limit через window, использующую percent_rank
• [SPARK-39551] [SQL] Добавление проверки недопустимого плана AQE
• [SPARK-39383] [SQL] Поддержка columns ПО умолчанию в ALTER TABLE ADD COLUMNS в источники данных версии 2
• [SPARK-39538] [SQL] Исключение создания ненужного средства ведения журнала SLF4J
• [SPARK-39383] [SQL] Ручной серверный порт в DBR 11.x: поддержка рефакторинга ПО УМОЛЧАНИю column для пропуска передачи основного анализатора вокруг
• [SPARK-39397] [SQL] Освобождение AliasAwareOutputExpression для поддержки псевдонима с выражением
• [SPARK-39496] [SQL] Обработка конструкции null в Inline.eval
• [SPARK-39545] [SQL] Изменение метода concat для ExpressionSet в Scala 2.13 с целью повышения производительности
• [SPARK-39340] [SQL] agg pushdown в DS версии 2 должно разрешать использование точек в имени columns верхнего уровня
• [SPARK-39488] [SQL] Упрощение обработки ошибок TempResolvedColumn
• [SPARK-38846] [SQL] Добавление явного сопоставления данных между числовым типом Teradata и десятичным типом Spark
• [SPARK-39520] [SQL] Переопределение метода -- для ExpressionSet в Scala 2.13
• [SPARK-39470] [SQL] Поддержка приведения интервалов ANSI к десятичным числам
• [SPARK-39477] [SQL] Remove "Количество запросов" из эталонных файлов SQLQueryTestSuite
• [SPARK-39419] [SQL] Исправление ошибке, приводящей к возникновению исключения ArraySort, когда блок сравнения возвращает значение NULL
• [SPARK-39061] [SQL] Set корректная нулевость для выходных атрибутов Inline
• [SPARK-39320] [SQL] Поддержка агрегатной функции MEDIAN
• [SPARK-39261] [CORE] Улучшение форматирования новой строки для сообщений об ошибках
• [SPARK-39355] [SQL] Одиночный column использует кавычки для создания НеразрешенногоАтрибута
• [SPARK-39351] [SQL] SHOW CREATE TABLE должны быть удалены свойства
• [SPARK-37623] [SQL] Поддержка агрегатной функции ANSI: regr_intercept
• [SPARK-39374] [SQL] Улучшение сообщения об ошибке для указанного пользователем columnlist
• [SPARK-39255] [SQL][3.3] Улучшение сообщений об ошибках
• [SPARK-39321] [SQL] Рефакторинг TryCast для использования RuntimeReplaceable
• [SPARK-39406] [PYTHON] Принятие массива NumPy в createDataFrame
• [SPARK-39267] [SQL] Очистка ненужного символа dsl
• [SPARK-39171] [SQL] Унификация выражения приведения
• [SPARK-28330] [SQL] Поддержка ANSI SQL: конструкция result offset в выражении запроса
• [SPARK-39203] [SQL] Перезаписать table расположение в абсолютный URI на основе URI базы данных
• [SPARK-39313] [SQL] toCatalystOrdering должен выдавать ошибку, если невозможно преобразовать V2Expression
• [SPARK-39301] [SQL][PYTHON] Использование localRelation и учет размера пакета Arrow в createDataFrame с оптимизацией Arrow
• [SPARK-39400] [SQL] Spark-sql должен remove dir ресурса hive во всех случаях

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 11.1.

Системная среда

• Операционная система: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14.
• Python: 3.9.5
• R: 4.1.3.
• Delta Lake: 1.2.1

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN от 15.08.2022.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)