Databricks Runtime 12.1 (EoS)

Следующие замечания о выпуске содержат сведения о Databricks Runtime 12.1 на платформе Apache Spark 3.3.1.

Databricks выпустила эту версию в январе 2023 года.

Новые функции и внесенные улучшения

• Функции таблицы Delta Lake, поддерживаемые для управления протоколами
• Прогнозные операции ввода-вывода для обновлений доступны в общедоступной предварительной версии
• Обозреватель каталогов теперь доступен всем пользователям
• Поддержка нескольких операторов с отслеживанием состояния в одном потоковом запросе
• Поддержка буферов протокола доступна в общедоступной предварительной версии
• Поддержка проверки подлинности реестра схем Confluent
• Поддержка обмена историей таблиц с долями Delta Sharing
• Поддержка потоковой передачи с разделами Delta Sharing
• Версия таблицы с использованием метки времени теперь поддерживается для таблиц Delta Sharing в каталогах
• поддержку КОГДА НЕ СООТВЕТСТВУЕТ ИСТОЧНИКУ для MERGE INTO
• Оптимизированный сбор статистических данных для CONVERT TO DELTA
• Поддержка Каталога Unity для восстановления таблиц после удаления

Функции таблицы Delta Lake, поддерживаемые для управления протоколами

Azure Databricks представила поддержку функций таблицы Delta Lake, которые содержат подробные флаги, указывающие, какие функции поддерживаются данной таблицей. См. статью Как Azure Databricks управляет совместимостью функций Delta Lake?.

Прогнозные операции ввода-вывода для обновлений доступны в общедоступной предварительной версии

Прогнозный ввод-вывод теперь ускоряет DELETE, MERGE, и UPDATE операции для таблиц Delta с векторами удаления, включенными для вычислений с поддержкой Photon. См. что такое прогнозный ввод-вывод?

Обозреватель каталогов теперь доступен всем пользователям

Обозреватель каталогов теперь доступен всем пользователям Azure Databricks при использовании Databricks Runtime 7.3 LTS и выше.

Поддержка нескольких операторов с отслеживанием состояния в одном потоковом запросе

Теперь пользователи могут связывать операторы с сохранением состояния в режиме добавления в потоковом запросе. Не все операторы полностью поддерживаются. Соединение интервала времени потоковой передачи и flatMapGroupsWithState не позволяет другим операторам с отслеживанием состояния выполнять цепочку.

Поддержка буферов протокола доступна в общедоступной предварительной версии

Вы можете использовать функции from_protobuf и to_protobuf для обмена данными между двоичными типами и типами структур. См. «Чтение и запись буферов протокола».

Поддержка аутентификации реестра схем Confluent

Интеграция Azure Databricks с Реестром схем Confluent теперь поддерживает адреса внешнего реестра схем с проверкой подлинности. Эта возможность доступна для функций from_avro, to_avro, from_protobuf и to_protobuf. См. статью Protobuf или Avro.

Поддержка совместного использования истории таблиц с помощью Delta Sharing

Теперь вы можете предоставить общий доступ к таблице с полным журналом с помощью Delta Sharing, что позволяет получателям выполнять временные запросы и обращаться к таблице, используя Spark Structured Streaming. WITH HISTORY рекомендуется вместо CHANGE DATA FEEDэтого, хотя последний продолжает поддерживаться. См. ALTER SHARE и Добавление таблиц в общий ресурс.

Поддержка потоковой передачи с использованием Delta Sharing для совместного использования данных

Структурированная потоковая передача Spark теперь работает с форматом deltasharing в таблице Delta Sharing, которая была передана с использованием WITH HISTORY.

Версия таблицы с использованием метки времени теперь поддерживается для таблиц Delta Sharing в каталогах

Теперь можно использовать синтаксис TIMESTAMP AS OF SQL в SELECT операторах, чтобы указать версию таблицы Delta Sharing, смонтированной в каталоге. Таблицы должны быть разделены с помощью WITH HISTORY.

Поддержка для случая, когда отсутствует совпадение по источнику для MERGE INTO

Теперь можно добавить WHEN NOT MATCHED BY SOURCE положения для MERGE INTO, чтобы обновить или удалить строки в выбранной таблице, которые не имеют совпадений в исходной таблице на основе условия слияния. Новое предложение доступно в SQL, Python, Scala и Java. См. MERGE INTO.

Оптимизированная коллекция статистики для CONVERT TO DELTA

Сбор статистики для CONVERT TO DELTA операции теперь гораздо быстрее. Это сокращает количество рабочих нагрузок, которые могли бы использовать NO STATISTICS, увеличивая тем самым эффективность.

Поддержка каталога Unity для восстановления таблиц

Эта функция изначально была выпущена в общедоступной предварительной версии. Это GA по состоянию на 25 октября 2023 года.

Теперь вы можете отменить удаление управляемой или внешней таблицы в существующей схеме в течение семи дней после удаления. См. UNDROP и SHOW TABLES DROPPED.

Обновления библиотек

• Обновленные библиотеки Python:
  • блокировка файлов от 3.8.0 до 3.8.2
  • platformdirs от 2.5.4 до 2.6.0
  • setuptools от 58.0.4 до 61.2.0
• Обновленные библиотеки R:
• Обновленные библиотеки Java:
  • io.delta.delta-sharing-spark_2.12 от 0.5.2 до 0.6.2
  • org.apache.hive.hive-storage-api от 2.7.2 до 2.8.1
  • org.apache.parquet.parquet-column с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
  • org.apache.parquet.common с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
  • org.apache.parquet.parquet-кодировка с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
  • org.apache.parquet.parquet-format-structures с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
  • org.apache.parquet.parquet-hadoop обновляется с версии 1.12.3-databricks-0001 до 1.12.3-databricks-0002
  • org.apache.parquet.parquet-jackson с 1.12.3-databricks-0001 до 1.12.3-databricks-0002
  • org.tukaani.xz от 1.8 до 1.9

Apache Spark

Databricks Runtime 12.1 включает Apache Spark 3.3.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 12.0 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-41405] [SC-119769][12.1.0] Отменить "[SC-119411][sql] Централизовать логику разрешения столбцов" и "[SC-117170][spark-41338][SQL] Обрабатывать внешние ссылки и обычные столбцы в одном пакете анализатора".
• [SPARK-41405] [SC-119411][sql] Централизация логики разрешения столбцов
• [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand должен правильно задать флаг перезаписи
• [SPARK-41659] [SC-119526][connect][12.X] Включите doctests в pyspark.sql.connect.readwriter
• [SPARK-41858] [SC-119427][sql] Исправление падения производительности средства чтения ORC из-за функции установки значения по умолчанию
• [SPARK-41807] [SC-119399][core] Удалить несуществующий класс ошибок: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] Присвоить имя _LEGACY_ERROR_TEMP_2141
• [SPARK-41571] [SC-119362][sql] Присвойте имя _LEGACY_ERROR_TEMP_2310
• [SPARK-41810] [SC-119373][connect] Определение имен из списка словарей в SparkSession.createDataFrame
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Перемещение документации и скрипта Spark Connect в dev/ и документацию по Python
• [SPARK-41534] [SC-119456][connect][SQL][12.x] Настройка начального клиентского модуля для Spark Connect
• [SPARK-41365] [SC-118498][ui][3.3] Страница пользовательского интерфейса этапов не загружается для прокси-сервера в определенной среде Yarn
• [SPARK-41481] [SC-118150][core][SQL] Повторно использовать INVALID_TYPED_LITERAL вместо _LEGACY_ERROR_TEMP_0020
• [SPARK-41049] [SC-119305][sql] Пересмотр обработки выражений с отслеживанием состояния
• [SPARK-41726] [SC-119248][sql] Удалить OptimizedCreateHiveTableAsSelectCommand
• [SPARK-41271] [SC-118648][sc-118348][SQL] Поддержка параметризованных запросов SQL по sql()
• [SPARK-41066] [SC-119344][connect][PYTHON] Реализация DataFrame.sampleBy и DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][sc-119012][SQL][все тесты] Выделить операцию записи версии 1 в WriteFiles
• [SPARK-41565] [SC-118868][sql] Добавьте класс ошибок UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] ФУНКЦИЯ DECODE возвращает неправильные результаты при передаче NULL
• [SPARK-41554] [SC-119274] исправление изменения десятичного масштаба при уменьшении масштаба на m...
• [SPARK-41065] [SC-119324][connect][PYTHON] Реализация DataFrame.freqItems и DataFrame.stat.freqItems
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] Возобновление тестов документации, а также добавление отсутствующего псевдонима столбца к count()
• [SPARK-41069] [SC-119310][connect][PYTHON] Реализация DataFrame.approxQuantile и DataFrame.stat.approxQuantile
• [SPARK-41809] [SC-119367][connect][Питон] Сделать функцию from_json поддерживающей DataType Schema
• [SPARK-41804] [SC-119382][sql] Выберите правильный размер элемента в InterpretedUnsafeProjection для массива определяемых пользователем объектов
• [SPARK-41786] [SC-119308][connect][Python] Удаление дублирующих вспомогательных функций
• [SPARK-41745] [SC-119378][spark-41789][12.X] Добавьте createDataFrame поддержку списка строк
• [SPARK-41344] [SC-119217][sql] Сделайте ошибку более ясной, если таблица не найдена в каталоге SupportsCatalogOptions
• [SPARK-41803] [SC-119380][connect][PYTHON] Добавить отсутствующую функцию log(arg1, arg2)
• [SPARK-41808] [SC-119356][connect][PYTHON] Создание параметров поддержки функций JSON
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] Добавить __getitem__ поддержку фильтрации и выбора
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] Реализовать поддержку None в операциях с колонками
• [SPARK-41440] [SC-119279][connect][PYTHON] Избегайте оператора кэша для общего примера.
• [SPARK-41785] [SC-119290][connect][PYTHON] Реализация GroupedData.mean
• [SPARK-41629] [SC-119276][connect] Поддержка расширений протокола в реляциях и выражениях
• [SPARK-41417] [SC-118000][core][SQL] Переименовать _LEGACY_ERROR_TEMP_0019 на INVALID_TYPED_LITERAL
• [SPARK-41533] [SC-119342][connect][12.X] Правильная обработка ошибок для сервера Spark Connect или клиента
• [SPARK-41292] [SC-119357][connect][12.X] Поддержка окна в модуле pyspark.sql.window
• [SPARK-41493] [SC-119339][connect][PYTHON] Создание параметров поддержки функций CSV
• [SPARK-39591] [SC-118675][ss] Асинхронное отслеживание хода выполнения
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Реализация Column.{withField, dropFields}
• [SPARK-41068] [SC-119268][connect][PYTHON] Реализовать DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] Включить doctests в pyspark.sql.connect.column
• [SPARK-41738] [SC-119170][connect] Смешение ClientId в кэше SparkSession
• [SPARK-41354] [SC-119194][connect] Добавление RepartitionByExpression в прототип
• [SPARK-41784] [SC-119289][connect][PYTHON] Добавление отсутствующих __rmod__ в столбце
• [SPARK-41778] [SC-119262][sql] Добавьте псевдоним "reduce" в ArrayAggregate
• [SPARK-41067] [SC-119171][connect][PYTHON] Реализовать DataFrame.stat.cov
• [SPARK-41764] [SC-119216][connect][PYTHON] Сделать внутреннее имя строки согласованным с FunctionRegistry
• [SPARK-41734] [SC-119160][connect] Добавление родительского сообщения для каталога
• [SPARK-41742] [SC-119263] Поддержка df.groupBy().agg({"*":"count"})
• [SPARK-41761] [SC-119213][connect][Python] Исправлены арифметические операции: __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][sql] Переименуйте UNSUPPORTED_CORRELATED_REFERENCE на CORRELATED_REFERENCE
• [SPARK-41751] [SC-119211][connect][PYTHON] Исправление Column.{isNull, isNotNull, eqNullSafe}
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] Реализация функции unwrap_udt
• [SPARK-41333] [SC-119195][spark-41737] Реализация GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] Исправление Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Поддержка неявного разрешения псевдонима латерального столбца в агрегации
• [SPARK-41529] [SC-119207][connect][12.X] Реализовать SparkSession.stop
• [SPARK-41729] [SC-119205][core][SQL][12.x] Переименование _LEGACY_ERROR_TEMP_0011 в UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES
• [SPARK-41717] [SC-119078][connect][12.X] Дедупликация печати и repr_html в LogicalPlan
• [SPARK-41740] [SC-119169][connect][PYTHON] Реализовать Column.name
• [SPARK-41733] [SC-119163][sql][SS] Применить обрезку на основе шаблона дерева для правила ResolveWindowTime
• [SPARK-41732] [SC-119157][sql][SS] Применение сокращения на основе шаблона дерева для правила окон сеанса
• [SPARK-41498] [SC-119018] Распространение метаданных через Union
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] Реализация метода доступа к столбцам
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_types должен поддерживать ArrayType
• [SPARK-41473] [SC-119092][connect][PYTHON] Реализация функции format_number
• [SPARK-41707] [SC-119141][connect][12.X] Реализация API каталога в Spark Connect
• [SPARK-41710] [SC-119062][connect][PYTHON] Реализовать Column.between
• [SPARK-41235] [SC-119088][sql][Python]Функция высокого порядка: реализация array_compact
• [SPARK-41518] [SC-118453][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] Реализация функции sequence
• [SPARK-41703] [SC-119060][connect][PYTHON] Объединение NullType и typed_null в Literal
• [SPARK-41722] [SC-119090][connect][PYTHON] Реализовать 3 отсутствующие функции окна времени
• [SPARK-41503] [SC-119043][connect][PYTHON] Реализация функций преобразования разделов
• [SPARK-41413] [SC-118968][sql] Избегайте перераспределения Storage-Partitioned при несоответствии ключей разделов, но совместимость выражений соединения обеспечена
• [SPARK-41700] [SC-119046][connect][PYTHON] Удалить FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_types должен поддерживать MapType
• [SPARK-41702] [SC-119049][connect][PYTHON] Добавление недопустимых операций со столбцами
• [SPARK-41660] [SC-118866][sql] Передавать только столбцы метаданных, если они используются
• [SPARK-41637] [SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] Реализуйте аккуматор для сбора метрик счетчика строк для сопоставления
• [SPARK-41647] [SC-119064][connect][12.X] Дедупликация докстрок в pyspark.sql.connect.functions.
• [SPARK-41701] [SC-119048][connect][PYTHON] Создание поддержки операций с колонками decimal
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] Реализация rollup, cube и pivot
• [SPARK-41635] [SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] Удаление дубликатов строк документации в pyspark.sql.connect.dataframe
• [SPARK-41688] [SC-118951][connect][PYTHON] Перемещение выражений в expressions.py
• [SPARK-41687] [SC-118949][connect] Дедупликация докстрок в pyspark.sql.connect.group
• [SPARK-41649] [SC-118950][connect] Удаление дубликатов docstring в pyspark.sql.connect.window
• [SPARK-41681] [SC-118939][connect] Выделение GroupedData в group.py
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Реализация функций Window
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] Поддержка op column datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] Включить устаревшие функции
• [SPARK-41673] [SC-118932][connect][PYTHON] Реализация Column.astype
• [SPARK-41364] [SC-118865][connect][PYTHON] Реализация функции broadcast
• [SPARK-41648] [SC-118914][connect][12.X] Дедупликация докстрингов в pyspark.sql.connect.readwriter
• [SPARK-41646] [SC-118915][connect][12.X] Удаление дубликатов докстрингов в pyspark.sql.connect.session
• [SPARK-41643] [SC-118862][connect][12.X] Дедупликация докстрингов в pyspark.sql.connect.column
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] Реализуйте остальные функции Lambda
• [SPARK-41441] [SC-118557][sql] Поддержка генерации без обязательных дочерних выходных данных для сопровождения внешних ссылок
• [SPARK-41669] [SC-118923][sql] Ранняя обрезка в canCollapseExpressions
• [SPARK-41639] [SC-118927][sql][PROTOBUF]: Удалить ScalaReflectionLock из SchemaConverters
• [SPARK-41464] [SC-118861][connect][PYTHON] Реализовать DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] Начальная реализация LambdaFunction
• [SPARK-41539] [SC-118802][sql] Переназначить статистику и ограничения против результата в логическом плане для LogicalRDD
• [SPARK-41396] [SC-118786][sql][PROTOBUF] Поддержка полей OneOf и проверки рекурсии
• [SPARK-41528] [SC-118769][connect][12.X] Объединить пространства имен для Spark Connect и PySpark API
• [SPARK-41568] [SC-118715][sql] Назначить имя для _LEGACY_ERROR_TEMP_1236
• [SPARK-41440] [SC-118788][connect][PYTHON] Реализовать DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] Добавление Spark Connect и protobuf в setup.py с указанием зависимостей
• [SPARK-27561] [SC-101081][12.x][SQL] Поддержка неявного разрешения псевдонима бокового столбца в Project
• [SPARK-41535] [SC-118645][sql] Правильно задать значение NULL для полей интервала календаря в InterpretedUnsafeProjection и InterpretedMutableProjection
• [SPARK-40687] [SC-118439][sql] Поддержка маскирования данных встроенной функции "маска"
• [SPARK-41520] [SC-118440][sql] Разделение шаблона дерева AND_OR на отдельные шаблоны дерева AND и OR
• [SPARK-41349] [SC-118668][connect][PYTHON] Реализация DataFrame.hint
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types должен поддерживать StructType.
• [SPARK-41334] [SC-118549][connect][PYTHON] Переместить SortOrder proto из отношений в выражения
• [SPARK-41387] [SC-118450][ss] Проверка текущего конечного смещения из источника данных Kafka для Trigger.AvailableNow
• [SPARK-41508] [SC-118445][core][SQL] Переименовать _LEGACY_ERROR_TEMP_1180 в UNEXPECTED_INPUT_TYPE и удалить _LEGACY_ERROR_TEMP_1179
• [SPARK-41319] [SC-118441][connect][PYTHON] Реализуйте Column.{when, otherwise} и функцию when с помощью UnresolvedFunction
• [SPARK-41541] [SC-118460][sql] Исправление вызова неправильного дочернего метода в SQLShuffleWriteMetricsReporter.decRecordsWritten()
• [SPARK-41453] [SC-118458][connect][PYTHON] Реализовать DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] Добавить "spark.sql.json.enablePartialResults", чтобы включить или отключить частичные результаты JSON
• [SPARK-41437] Revert "[SC-117601][sql] Не оптимизируйте входной запрос дважды для резервной записи версии 1".
• [SPARK-41472] [SC-118352][connect][PYTHON] Реализация остальных строковых и двоичных функций
• [SPARK-41526] [SC-118355][connect][PYTHON] Реализовать Column.isin
• [SPARK-32170] [SC-118384] [CORE] Улучшение прогнозирования посредством метрик задач этапа.
• [SPARK-41524] [SC-118399][ss] Дифференцировать SQLConf и extraOptions в StateStoreConf для использования в RocksDBConf
• [SPARK-41465] [SC-118381][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] Поддержка LongToUnsafeRowMap игнорирует DuplicatedKey
• [SPARK-41409] [SC-118302][core][SQL] Переименовать _LEGACY_ERROR_TEMP_1043 на WRONG_NUM_ARGS.WITHOUT_SUGGESTION
• [SPARK-41438] [SC-118344][connect][PYTHON] Реализовать DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] Не оптимизируйте входной запрос дважды для резервной записи версии 1
• [SPARK-41314] [SC-11717172][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] Переработка LiteralExpression для поддержки типа данных
• [SPARK-41448] [SC-118046] Создание согласованных идентификаторов заданий MR в FileBatchWriter и FileFormatWriter
• [SPARK-41456] [SC-117970][sql] Повышение производительности try_cast
• [SPARK-41495] [SC-118125][connect][PYTHON] Реализовать функции collection: P~Z
• [SPARK-41478] [SC-118167][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] Переделать сообщение об ошибке для NUM_COLUMNS_MISMATCH, чтобы сделать его более универсальным
• [SPARK-41404] [SC-118016][sql] Рефакторинг ColumnVectorUtils#toBatch, чтобы сделать ColumnarBatchSuite#testRandomRows тест более примитивным типом данных
• [SPARK-41468] [SC-118044][sql] Исправление обработки PlanExpression в EquivalentExpressions
• [SPARK-40775] [SC-118045][sql] Исправлены дублирующие записи описаний для сканирования файлов V2
• [SPARK-41492] [SC-118042][connect][PYTHON] Реализация функций MISC
• [SPARK-41459] [SC-118005][sql] исправить пустые выходные данные журнала операций сервера thrift
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjection следует использовать setDecimal для задания значений NULL для десятичных разрядов в небезопасной строке
• [SPARK-41376] [SC-117840][core][3.3] Исправьте логику проверки Netty preferDirectBufs при запуске исполнителя.
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] Реализация функций collection: E~M
• [SPARK-41389] [SC-117426][core][SQL] Повторно использовать WRONG_NUM_ARGS вместо _LEGACY_ERROR_TEMP_1044
• [SPARK-41462] [SC-117920][sql] Тип даты и метки времени может повысить до TimestampNTZ
• [SPARK-41435] [SC-117810][sql] Измените вызов invalidFunctionArgumentsError для curdate(), если expressions не пуст
• [SPARK-41187] [SC-118030][core] утечка памяти LiveExecutor в AppStatusListener в случае потери исполнителя
• [SPARK-41360] [SC-118083][core] Избегайте повторной регистрации BlockManager, если исполнитель был потерян
• [SPARK-41378] [SC-117686][sql] Поддержка статистики по столбцам в DS v2
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] Переопределение prettyName StringDecode
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] Реализация функций метки даты и времени
• [SPARK-41329] [SC-117975][connect] Устранить проблему с циклическими импортами в Spark Connect
• [SPARK-41477] [SC-118025][connect][PYTHON] Правильно определить тип данных литеральных целых чисел
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] Обеспечить поддержку схем и большего количества типов входных наборов данных в createDataFrame
• [SPARK-41475] [SC-117997][connect] Исправлена ошибка команды lint-scala и опечатка
• [SPARK-38277] [SC-117799][ss] Очистить записывающий пакет после фиксации хранилища состояний RocksDB
• [SPARK-41375] [SC-117801][ss] Избегайте пустых последних версий KafkaSourceOffset
• [SPARK-41412] [SC-118015][connect] Реализация Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] Реализация DataFrame.melt и DataFrame.unpivot
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] Рефакторинг тестов, связанных с колонками, для test_connect_column
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] Столбец должен поддерживать оператор !=
• [SPARK-40697] [SC-117806][sc-112787][SQL] Добавление заполнения символов на стороне чтения для учета внешних файлов данных
• [SPARK-41349] [SC-117594][connect][12.X] Реализовать DataFrame.hint
• [SPARK-41338] [SC-11717170][sql] Разрешать внешние ссылки и обычные столбцы в одном пакете анализатора
• [SPARK-41436] [SC-117805][connect][PYTHON] Имплементация функций collection: A~C
• [SPARK-41445] [SC-117802][connect] Реализовать DataFrameReader.parquet
• [SPARK-41452] [SC-117865][sql] to_char должен возвращать значение NULL, если формат имеет значение NULL
• [SPARK-41444] [SC-117796][connect] Поддержка read.json()
• [SPARK-41398] [SC-117508][sql] Ослабление ограничений на Storage-Partitioned JOIN, если ключи секций после фильтрации во время выполнения не соответствуют
• [SPARK-41228] [SC-117169][sql] Переименовать & Улучшить сообщение об ошибке для COLUMN_NOT_IN_GROUP_BY_CLAUSE.
• [SPARK-41381] [SC-117593][connect][PYTHON] Реализация функций count_distinct и sum_distinct
• [SPARK-41433] [SC-117596][connect] Сделать максимальный размер Arrow-пакета настраиваемым
• [SPARK-41397] [SC-117590][connect][PYTHON] Реализация части строковых и двоичных функций
• [SPARK-41382] [SC-117588][connect][PYTHON] Реализация функции product
• [SPARK-41403] [SC-117595][connect][PYTHON] Реализовать DataFrame.describe
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg() должен быть совместим
• [SPARK-41369] [SC-117584][connect] Добавление connect common в пересобранный JAR серверов.
• [SPARK-41411] [SC-117562][ss] Исправлена ошибка поддержки водяного знака для многостадийного оператора состояния
• [SPARK-41176] [SC-116630][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1042
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] Реализация агрегатных функций
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] Реализуйте обычные функции
• [SPARK-41305] [SC-117411][connect] Улучшение документации для команды proto
• [SPARK-41372] [SC-117427][connect][PYTHON] Реализовать DataFrame TempView
• [SPARK-41379] [SC-117420][ss][PYTHON] Предоставление клонированного сеанса Spark в DataFrame в пользовательской функции для приемника foreachBatch в PySpark
• [SPARK-41373] [SC-117405][sql][ERROR] Переименуйте CAST_WITH_FUN_SUGGESTION на CAST_WITH_FUNC_SUGGESTION
• [SPARK-41358] [SC-117417][sql] Метод рефакторинга ColumnVectorUtils#populate для использования PhysicalDataType вместо DataType
• [SPARK-41355] [SC-117423][sql] Решение проблемы проверки имени таблицы hive
• [SPARK-41390] [SC-117429][sql] Обновите скрипт, используемый для создания функции register в UDFRegistration
• [SPARK-41206] [SC-1172333][sc-116381][SQL] Переименуйте класс ошибок _LEGACY_ERROR_TEMP_1233 на COLUMN_ALREADY_EXISTS
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] Реализация математических функций
• [SPARK-40970] [SC-117308][connect][Питон] Поддержка List[Column] для аргумента Join's on
• [SPARK-41345] [SC-117178][connect] Добавить подсказку в Connect Proto
• [SPARK-41226] [SC-117194][sql][12.x] Рефакторинг типов Spark с внедрением физических типов
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] Добавление базовой поддержки DataFrameWriter
• [SPARK-41347] [SC-117173][connect] Add Cast to Expression proto
• [SPARK-41323] [SC-117128][sql] Поддержка current_schema
• [SPARK-41339] [SC-117171][sql] Закрыть и заново создать пакет записи RocksDB вместо простой очистки
• [SPARK-41227] [SC-117165][connect][PYTHON] Реализация перекрёстного соединения DataFrame
• [SPARK-41346] [SC-117176][connect][PYTHON] Реализация функций asc и desc
• [SPARK-41343] [SC-117166][connect] Перенос синтаксического анализа FunctionName на стороне сервера
• [SPARK-41321] [SC-117163][connect] Поддержка целевого поля для UnresolvedStar
• [SPARK-41237] [SC-117167][sql] Повторно использовать класс ошибок UNSUPPORTED_DATATYPE для _LEGACY_ERROR_TEMP_0030
• [SPARK-41309] [SC-116916][sql] Повторно использовать INVALID_SCHEMA.NON_STRING_LITERAL вместо _LEGACY_ERROR_TEMP_1093
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] Оптимизация использования конструктора StructType
• [SPARK-41335] [SC-117135][connect][PYTHON] Поддержка IsNull и IsNotNull для столбца
• [SPARK-41332] [SC-117131][connect][Python] Исправление nullOrdering в SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] Исправление отсутствия функции avg() для GroupBy в DF
• [SPARK-41327] [SC-117137][core] Исправление SparkStatusTracker.getExecutorInfos за счет переключения информации о памяти хранения на памяти/вне памяти
• [SPARK-41315] [SC-117129][connect][PYTHON] Реализовать DataFrame.replace и DataFrame.na.replace
• [SPARK-41328] [SC-117125][connect][PYTHON] Добавление логического и строкового API в столбец
• [SPARK-41331] [SC-117127][connect][PYTHON] Добавление orderBy и drop_duplicates
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal должен гарантировать, что блокировка разблокирована корректно
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] Изменение структуры "Столбец" для совместимости с API
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] Реализация DataFrame.withColumnRenamed
• [SPARK-41221] [SC-116607][sql] Добавьте класс ошибок INVALID_FORMAT
• [SPARK-41272] [SC-116742][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] Повторно использовать INVALID_SCHEMA вместо _LEGACY_ERROR_TEMP_1227
• [SPARK-41260] [SC-116880][python][SS][12.x] Приведение экземпляров NumPy к примитивным типам Python в обновлении GroupState
• [SPARK-41174] [SC-116609][core][SQL] Передача пользователям класса ошибок для недопустимого formatto_binary()
• [SPARK-41264] [SC-116971][connect][PYTHON] Расширить поддержку литералов для большего числа типов данных
• [SPARK-41326] [SC-116972] [CONNECT] Исправление отсутствия входных данных в процессе дедупликации
• [SPARK-41316] [SC-116900][sql] Включить хвостовую рекурсию по возможности
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] Поддержка строковых выражений в фильтре.
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] Реализовать DataFrame.withColumn(s)
• [SPARK-41182] [SC-116632][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] Перенести ошибки опций карты в классы ошибок
• [SPARK-40940] [SC-115993][12.x] Удалите средства проверки операторов с несколькими состояниями для потоковых запросов.
• [SPARK-41310] [SC-116885][connect][PYTHON] Реализовать DataFrame.toDF
• [SPARK-41179] [SC-116631][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] BHJ LeftAnti не обновляет numOutputRows при отключении кодогенерации
• [SPARK-41148] [SC-116878][connect][PYTHON] Реализация DataFrame.dropna и DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] Добавьте класс ошибок FAILED_FUNCTION_CALL
• [SPARK-41308] [SC-116875][connect][PYTHON] Улучшить DataFrame.count()
• [SPARK-41301] [SC-116786] [CONNECT] Унификация поведения для SparkSession.range()
• [SPARK-41306] [SC-116860][connect] Улучшена документация по выражению подключения
• [SPARK-41280] [SC-116733][connect] Реализовать функцию tail для DataFrame
• [SPARK-41300] [SC-116751] [CONNECT] Незаданная схема интерпретируется как схема
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] Переименовать RemoteSparkSession
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. toPandas не должен возвращать необязательный кадр данных pandas
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain должен выводить на экран и возвращать None
• [SPARK-41278] [SC-116732][connect] Очистка неиспользуемого квалифицированного атрибута в Expression.proto
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Удалите базу преобразования избыточной коллекции в коде Scala 2.13
• [SPARK-41261] [SC-116718][python][SS] Исправление проблемы для applyInPandasWithState, если столбцы группирования ключей не помещаются в порядок с самого раннего времени.
• [SPARK-40872] [SC-116717][3.3] Возврат к исходному блоку перетасовки, когда объединенный блок перетасовки push равен нулю по размеру
• [SPARK-41114] [SC-116628][connect] Поддержка локальных данных для LocalRelation
• [SPARK-41216] [SC-116678][connect][PYTHON] Реализовать DataFrame.{isLocal, isStreaming, printSchema, inputFiles}
• [SPARK-41238] [SC-116670][connect][PYTHON] Поддержка более встроенных типов данных
• [SPARK-41230] [SC-116674][connect][PYTHON] Удалить str из типа выражения агрегации
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] Оптимизированная реализация сбора на основе Arrow для потоковой передачи с сервера на клиент
• [SPARK-41222] [SC-116625][connect][PYTHON] Unify the typeing definitions
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] Отключите неподдерживаемые функции.
• [SPARK-41201] [SC-116526][connect][PYTHON] Реализация DataFrame.SelectExpr в клиенте Python
• [SPARK-41203] [SC-116258] [CONNECT] Поддержка Dataframe.tansform в клиенте Python.
• [SPARK-41213] [SC-116375][connect][PYTHON] Реализация DataFrame.__repr__ и DataFrame.dtypes
• [SPARK-41169] [SC-116378][connect][PYTHON] Реализация DataFrame.drop
• [SPARK-41172] [SC-116245][sql] Перенос неоднозначной ошибки ссылок в класс ошибок
• [SPARK-41122] [SC-116141][connect] API Explain может поддерживать различные режимы
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] Улучшение вывода типов PySpark в методе _merge_type
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] Унифицировать версию protobuf на сервере Spark Connect для использования той же основной версии.
• [SPARK-35531] [SC-116409][sql] Обновление статистики таблицы hive без необходимости преобразования
• [SPARK-41154] [SC-116289][sql] Неправильное кэширование связей для запросов с спецификацией перемещения по времени
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] Реализация DataFrame.isEmpty
• [SPARK-41135] [SC-116400][sql] Переименуйте UNSUPPORTED_EMPTY_LOCATION на INVALID_EMPTY_LOCATION
• [SPARK-41183] [SC-116265][sql] Расширить API для нормализации планов кэширования
• [SPARK-41054] [SC-116447][ui][CORE] Поддержка RocksDB в качестве KVStore в динамическом пользовательском интерфейсе
• [SPARK-38550] [SC-115223]Revert "[SQL][core] Использование дискового хранилища для сохранения дополнительных данных отладки для динамического пользовательского интерфейса".
• [SPARK-41173] [SC-116185][sql] Переместить require() из конструкторов строковых выражений
• [SPARK-41188] [SC-116242][core][ML] Установите executorEnv OMP_NUM_THREADS равным spark.task.cpus по умолчанию для процессов JVM выполняющего spark.
• [SPARK-41130] [SC-116155][sql] Переименуйте OUT_OF_DECIMAL_TYPE_RANGE на NUMERIC_OUT_OF_SUPPORTED_RANGE
• [SPARK-41175] [SC-116238][sql] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] Уменьшение преобразования коллекций при создании AttributeMap
• [SPARK-41139] [SC-115983][sql] Улучшение класса ошибок: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Требовать шадинг для jar-файлов Java-классов, улучшить обработку ошибок
• [SPARK-409999] [SC-116168] Распространение подсказок в вложенные запросы
• [SPARK-41017] [SC-116054][sql] Поддержка очистки столбцов с несколькими недетерминированными фильтрами
• [SPARK-40834] [SC-114773][sql] Использование SparkListenerSQLExecutionEnd для отслеживания окончательного состояния SQL в пользовательском интерфейсе
• [SPARK-41118] [SC-116027][sql] to_number/try_to_number должен возвращать null, если формат null
• [SPARK-39799] [SC-115984][sql] DataSourceV2: просмотр интерфейса каталога
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Избегайте внедрения Spark Connect в двоичном выпуске Apache Spark
• [SPARK-41048] [SC-116043][sql] Улучшение секционирования выходных данных и упорядочивания с помощью кэша AQE
• [SPARK-41198] [SC-116256][ss] Исправление метрик в потоковом запросе с источником потоковой передачи CTE и DSv1
• [SPARK-41199] [SC-116244][ss] Исправлена проблема с метриками при совместном использовании источника потоковой передачи DSv1 и источника потоковой передачи DSv2
• [SPARK-40957] [SC-116261][sc-114706] Добавление кэша в оперативной памяти в HDFSMetadataLog
• [SPARK-40940] Отменить «[SC-115993] Удаление средств проверки операторов с несколькими состояниями для потоковых запросов».
• [SPARK-41090] [SC-116040][sql] Выбросить исключение для db_name.view_name при создании временного представления с использованием API набора данных
• [SPARK-41133] [SC-116085][sql] Интеграция UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION в NUMERIC_VALUE_OUT_OF_RANGE
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] Дамп кода: 9 фиксаций
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] Компиляция Spark Connect как драйверного плагина с теневыми зависимостями
• [SPARK-41096] [SC-115812][sql] Поддержка чтения типа parquet FIXED_LEN_BYTE_ARRAY
• [SPARK-41140] [SC-115879][sql] Переименуйте класс ошибок _LEGACY_ERROR_TEMP_2440 на INVALID_WHERE_CONDITION
• [SPARK-40918] [SC-114438][sql] Несоответствие между FileSourceScanExec и Orc и ParquetFileFormat при создании столбчатого вывода
• [SPARK-41155] [SC-115991][sql] Добавление сообщения об ошибке в SchemaColumnConvertNotSupportedException
• [SPARK-40940] [SC-115993] Удалите средства проверки операторов с несколькими состояниями для потоковых запросов.
• [SPARK-41098] [SC-115790][sql] Переименуйте GROUP_BY_POS_REFERS_AGG_EXPR на GROUP_BY_POS_AGGREGATE
• [SPARK-40755] [SC-115912][sql] Миграция ошибок проверки типа при форматировании чисел в классы ошибок
• [SPARK-41059] [SC-115658][sql] Переименуйте _LEGACY_ERROR_TEMP_2420 на NESTED_AGGREGATE_FUNCTION
• [SPARK-41044] [SC-115662][sql] Преобразовать DATATYPE_MISMATCH.UNSPECIFIED_FRAME в INTERNAL_ERROR
• [SPARK-40973] [SC-115132][sql] Переименуйте _LEGACY_ERROR_TEMP_0055 на UNCLOSED_BRACKETED_COMMENT

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 12.1.

Системная среда

• Операционная система: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14.
• Python: 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из среза Microsoft CRAN от 11-11-2022.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)