Databricks Runtime 12.2 LTS

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 12.2 LTS, на базе Apache Spark 3.3.2.

Databricks выпустила эту версию в марте 2023 года.

Изменение поведения

[Критическое изменение] Для новой версии Python требуется обновление клиентов Python Databricks Connect версии 1

Чтобы применить необходимые исправления безопасности, версия Python в Databricks Runtime 12.2 LTS обновляется с 3.9.5 до 3.9.19. Поскольку эти изменения могут привести к ошибкам в клиентах, использующих определенные функции PySpark, все клиенты, использующие Databricks Connect V1 для Python с Databricks Runtime 12.2 LTS, должны быть обновлены до Python 3.9.7 или более поздней версии.

Новые функции и внесенные улучшения

• Python обновлен с версии 3.9.19 до 3.9.21
• Эволюция схемы Delta Lake поддерживает указание исходных столбцов в инструкциях слияния
• Структурированные рабочие нагрузки потоковой передачи поддерживаются в кластерах с режимом общего доступа
• Новые возможности прогнозного ввода-вывода
• Поддержка неявного псевдонима бокового столбца
• Новая функция forEachBatch
• Стандартные параметры подключения для федерации запросов
• Расширенная библиотека функций SQL для управления массивами
• Новая функция маски для анонимизации строк
• Распространенные условия ошибки теперь возвращают SQLSTATEs
• Вызов функций генератора в предложении FROM
• Общедоступная поддержка буферов протокола
• Переход к определению для переменных и функций записной книжки
• Быстрое исправление записной книжки для библиотек автоматического импорта
• Исправления ошибок

Python обновлен с версии 3.9.19 до 3.9.21

Версия Python в Databricks Runtime 12.2 LTS обновляется с 3.9.19 до 3.9.21.

Эволюция схемы Delta Lake поддерживает указание исходных столбцов в инструкциях слияния

Теперь можно указать столбцы, присутствующие только в исходной таблице, в действии вставки или обновления инструкций слияния при включении эволюции схемы. В Databricks Runtime 12.1 и ниже можно использовать только INSERT * действия или UPDATE SET * действия для эволюции схемы с слиянием. См. статью "Автоматическая эволюция схемы" для слияния Delta Lake.

Структурированные рабочие нагрузки потоковой передачи поддерживаются в кластерах с режимом общего доступа

Теперь вы можете использовать структурированную потоковую передачу для взаимодействия с каталогом Unity для вычислений с стандартным режимом доступа. Применяются некоторые ограничения. Узнайте , какие функции структурированной потоковой передачи поддерживают каталог Unity?.

Новые возможности прогнозного ввода-вывода

Поддержка фотона приемника Foreachbatch теперь доступна. Рабочие нагрузки, которые передаются из источника и объединяются в разностные таблицы или записываются в несколько приемников, теперь могут воспользоваться фотонализованным приемником Foreachbatch .

Поддержка неявного псевдонима бокового столбца

Azure Databricks теперь поддерживает неявный псевдоним бокового столбца по умолчанию. Теперь можно повторно использовать выражение, указанное ранее в том же SELECT списке. Например, учитываяSELECT 1 AS aa + 1 AS b, можно a разрешить вход a + 1 как ранее определенный1 AS a. Дополнительные сведения о разрешении имен см. в порядке разрешения. Чтобы отключить эту функцию, можно задать значение spark.sql.lateralColumnAlias.enableImplicitResolutionfalse.

Новая функция forEachBatch

Фотон теперь поддерживается при записи foreachBatch в приемник данных.

Стандартные параметры подключения для федерации запросов

Теперь можно использовать единый набор параметров (узел, порт, база данных, пользователь, пароль)для подключения к источникам данных, поддерживаемым в федерации запросов. Port является необязательным и использует номер порта по умолчанию для каждого источника данных, если не указано.

Расширенная библиотека функций SQL для управления массивами

Теперь можно удалить все элементы NULL из массива с помощью array_compact. Чтобы добавить элементы в массив, используйте array_append.

Новая функция маски для анонимизации строк

Вызовите функцию маски, чтобы анонимизировать конфиденциальные строковые значения.

Распространенные условия ошибки теперь возвращают SQLSTATEs

Большинство условий ошибки, которые Databricks Runtime теперь включают в себя документированные значения SQLSTATE , которые можно использовать для проверки ошибок в стандартном соответствии с SQL.

Вызов функций генератора в предложении FROM

Теперь можно вызвать функции генератора с табличным значением, такие как взрыв в регулярном FROM предложении запроса. Это выравнивает вызов функции генератора с другими встроенными и пользовательскими функциями таблицы.

Общедоступная поддержка буферов протокола

Вы можете использовать from_protobuf функции и to_protobuf функции для обмена данными между двоичными и типами структур. См . раздел "Чтение и запись буферов протокола".

Переход к определению для переменных и функций записной книжки

В записных книжках можно быстро перейти к определению переменной, функции или кода за %run инструкцией, щелкнув правой кнопкой мыши имя переменной или функции.

Быстрое исправление записной книжки для библиотек автоматического импорта

Записные книжки Databricks теперь предлагают функцию быстрого исправления для автоматически импортируемых библиотек. Если вы забыли импортировать библиотеку, например pandas, наведите указатель мыши на подчеркнутое предупреждение синтаксиса, а затем нажмите кнопку "Быстрое исправление", эта функция требует включения помощника Databricks в рабочей области.

Исправления ошибок

• Улучшена согласованность для поведения фиксации Delta для пустых транзакций, относящихся к updateкомандам deleteи merge командам. На WriteSerializable уровне изоляции команды, которые не приводят к изменениям, теперь создают пустую фиксацию. На уровне изоляции такие пустые Serializable транзакции теперь не создают фиксацию.

Изменения в работе

Изменения поведения с помощью новой функции псевдонима бокового столбца

Новая функция псевдонима бокового столбца приводит к изменениям поведения для следующих случаев при разрешении имен:

• Псевдоним бокового столбца теперь имеет приоритет над сопоставленными ссылками с тем же именем. Например, для этого запроса SELECT (SELECT c2 FROM (SELECT 1 AS c1, c1 AS c2) WHERE c2 > 5) FROM VALUES(6) AS t(c1)c1 внутренний c1 AS c2 элемент был разрешен в сопоставленную ссылкуt.c1, но теперь изменяется на псевдоним бокового столбца1 AS c1. Теперь запрос возвращается NULL.
• Псевдоним бокового столбца теперь имеет приоритет над параметрами функции с тем же именем. Например, CREATE OR REPLACE TEMPORARY FUNCTION func(x INT) RETURNS TABLE (a INT, b INT, c DOUBLE) RETURN SELECT x + 1 AS x, xx для функции в теле функции был разрешен параметр функции x, но изменяется на псевдоним x + 1 бокового столбца в теле функции. Теперь запрос SELECT * FROM func(1) возвращается 2, 2.
• Чтобы отключить функцию псевдонима бокового столбца, установите значение spark.sql.lateralColumnAlias.enableImplicitResolutionfalse. Дополнительные сведения см. в разделе "Разрешение имен".

Обновления библиотек

• Обновленные библиотеки Python:
  • блокировка файлов от 3.8.2 до 3.9.0
  • joblib от 1.1.0 до 1.1.1
  • platformdirs от 2.6.0 до 2.6.2
  • whatthepatch от 1.0.3 до 1.0.4
• Обновленные библиотеки R:
  • класс от 7.3-20 до 7.3-21
  • codetools от 0.2-18 до 0.2-19
  • МАСС с 7.3-58 до 7.3-58.2
  • nlme от 3.1-160 до 3.1-162
  • Rserve от 1.8-11 до 1.8-12
  • SparkR от 3.3.1 до 3.3.2

Изменения поведения

• Теперь пользователям необходимо иметь SELECT и MODIFY привилегии для любого файла при создании схемы с определенным расположением.

Apache Spark

Databricks Runtime 12.2 включает Apache Spark 3.3.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 12.1 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-42416] [SC-123205][sc-122851][SQL] Операции набора дат не должны повторно разрешать проанализированный логический план
• [SPARK-41848] Revert "[CHERRY-PICK][12.x][12.1][12.0][SC-120037][core] Исправление задачи с превышением расписания с помощью TaskResourceProfile".
• [SPARK-42162] [SC-122711][es-556261] Ввод выражения MultiCommutativeOp в качестве оптимизации памяти для канонизации больших деревьев коммутативных выражений
• [SPARK-42406] [SC-122998][protobuf][Cherry-pick] Исправлен параметр рекурсивной глубины для функций Protobuf
• [SPARK-42002] [SC-122476][connect][PYTHON] Реализация DataFrameWriterV2
• [SPARK-41716] [SC-122545][connect] Переименуйте _catalog_to_pandas на _execute_and_fetch в каталоге
• [SPARK-41490] [SC-121774][sql] Назначьте имя _LEGACY_ERROR_TEMP_2441
• [SPARK-41600] [SC-122538][spark-41623][SPARK-41612][connect] Реализация Catalog.cacheTable, isCached и uncache
• [SPARK-42191] [SC-121990][sql] Поддержка UDF функции «luhn_check»
• [SPARK-42253] [SC-121976][python] Добавьте тест для обнаружения повторяющегося класса ошибок
• [SPARK-42268] [SC-122251][connect][PYTHON] Добавить UserDefinedType в протосы
• [SPARK-42231] [SC-121841][sql] Превратить MISSING_STATIC_PARTITION_COLUMN в internalError
• [SPARK-42136] [SC-122554] Вычисление секционирования выходных данных RefactorHashJoinExec
• [SPARK-42158] [SC-121610][sql] Интеграция _LEGACY_ERROR_TEMP_1003 в FIELD_NOT_FOUND
• [SPARK-42192] [12.x][sc-121820][PYTHON] Перенос TypeError из pyspark/sql/dataframe.py в PySparkTypeError
• [SPARK-35240] Revert "[SC-118242][ss] Use CheckpointFileManager ...
• [SPARK-41488] [SC-121858][sql] Назначьте имя _LEGACY_ERROR_TEMP_1176 (и 1177)
• [SPARK-42232] [SC-1222267][sql] Переименовать класс ошибок: UNSUPPORTED_FEATURE.JDBC_TRANSACTION
• [SPARK-42346] [SC-122480][sql] Переопределение отдельных агрегатов после слияния вложенного запроса
• [SPARK-42306] [SC-122539][sql] Интеграция _LEGACY_ERROR_TEMP_1317 в UNRESOLVED_COLUMN.WITH_SUGGESTION
• [SPARK-42234] [SC-122354][sql] Переименовать класс ошибок: UNSUPPORTED_FEATURE.REPEATED_PIVOT
• [SPARK-42343] [SC-122437][core] Игнорировать IOException в handleBlockRemovalFailure, если SparkContext остановлен
• [SPARK-41295] [SC-122442][spark-41296][SQL] Переименовать классы ошибок
• [SPARK-42320] [SC-122478][sql] Присвоить имя _LEGACY_ERROR_TEMP_2188
• [SPARK-42255] [SC-122483][sql] Назначьте имя _LEGACY_ERROR_TEMP_2430
• [SPARK-42156] [SC-121851][connect] SparkConnectClient теперь поддерживает RetryPolicies
• [SPARK-38728] [SC-116723][sql] Проверьте класс ошибок: FAILED_RENAME_PATH
• [SPARK-40005] [12.X] Автономные примеры в PySpark
• [SPARK-39347] [SC-122457][ss] Исправление ошибки для вычисления временного окна, когда время события < 0
• [SPARK-42336] [SC-122458][core] Используйте getOrElse() вместо contains() в ResourceAllocator
• [SPARK-42125] [SC-121827][connect][PYTHON] Pandas UDF в Spark Connect
• [SPARK-42217] [SC-1222263][sql] Поддержка неявного псевдонима бокового столбца в запросах с окном
• [SPARK-35240] [SC-118242][ss] Используйте CheckpointFileManager для обработки файлов контрольных точек
• [SPARK-42294] [SC-1223337][sql] Включить значения столбцов по умолчанию в выходные данные DESCRIBE для таблиц версии 2
• [SPARK-41979] Возврат "Вернуться"[12.x][sc-121190][SQL] Добавьте отсутствующие точки для сообщений об ошибках в классах ошибок".
• [SPARK-42286] [SC-122336][sql] Возврат к предыдущему пути генерации кода для сложных выражений с использованием CAST
• [SPARK-42275] [SC-122249][connect][PYTHON] Избегайте использования встроенного списка, дикта в статической типизации
• [SPARK-41985] [SC-122172][sql] Централизовать больше правил разрешения столбцов
• [SPARK-42126] [SC-122330][python][CONNECT] Поддержать тип возврата в строках DDL для скалярных функций Python в Spark Connect
• [SPARK-42197] [SC-1223228][sc-121514][CONNECT] Повторно использует инициализацию JVM и отдельные группы конфигурации для установки в удаленном локальном режиме
• [SPARK-41575] [SC-120118][sql] Назначьте имя _LEGACY_ERROR_TEMP_2054
• [SPARK-41985] Revert "[SC-122172][sql] Centralize more column resolution rules"
• [SPARK-42123] [SC-122234][sc-121453][SQL] Добавить значения по умолчанию для столбцов в DESCRIBE и SHOW CREATE TABLE выходных данных
• [SPARK-41985] [SC-122172][sql] Централизовать больше правил разрешения столбцов
• [SPARK-42284] [SC-122233][connect] Убедитесь, что сборка сервера подключения создана перед выполнением клиентских тестов — SBT
• [SPARK-42239] [SC-121790][sql] Интеграция MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42278] [SC-122170][sql] DS V2 pushdown поддерживает скомпилирование диалектов JDBC SortOrder самостоятельно
• [SPARK-42259] [SC-122168][sql] ResolveGroupingAnalytics должны учитывать Python UDAF
• [SPARK-41979] Отменить "[12.x][sc-121190][SQL] Добавление отсутствующих точек для сообщений об ошибках в классах ошибок".
• [SPARK-42224] [12.x][sc-121708][CONNECT] Перенос TypeError в фреймворк ошибок для функций Spark Connect
• [SPARK-41712] [12.x][sc-121189][PYTHON][connect] Перенос ошибок Spark Connect в платформу ошибок PySpark.
• [SPARK-42119] [SC-121913][sc-121342][SQL] Добавление встроенных табличных функций inline и inline_outer
• [SPARK-41489] [SC-121713][sql] Назначьте имя _LEGACY_ERROR_TEMP_2415
• [SPARK-42082] [12.x][sc-121163][SPARK-41598][python][CONNECT] Введение PySparkValueError и PySparkTypeError
• [SPARK-42081] [SC-121723][sql] Улучшение проверки изменений плана
• [SPARK-42225] [12.x][sc-121714][CONNECT] Добавьте SparkConnectIllegalArgumentException для точной обработки ошибки Spark Connect.
• [SPARK-42044] [12.x][sc-121280][SQL] Исправлено неверное сообщение об ошибке для MUST_AGGREGATE_CORRELATED_SCALAR_SUBQUERY
• [SPARK-42194] [12.x][sc-121712][PS] Разрешить параметр столбцов при создании DataFrame с Series.
• [SPARK-42078] [12.x][sc-120761][PYTHON] Миграция ошибок, создаваемых JVM в PySparkException.
• [SPARK-42133] [12.x][sc-121250] Добавление базовых методов API набора данных в клиент SparkConnect Scala
• [SPARK-41979] [12.x][sc-121190][SQL] Добавить недостающие точки в сообщения об ошибках в классах ошибок.
• [SPARK-42124] [12.x][sc-121420][PYTHON][connect] Scalar Inline Python UDF в Spark Connect
• [SPARK-42051] [SC-121994][sql] Поддержка codegen для HiveGenericUDF
• [SPARK-42257] [SC-121948][core] Удаление неиспользуемой переменной внешней сортировки
• [SPARK-41735] [SC-121771][sql] Используйте МИНИМАЛЬНОЕ вместо STANDARD для SparkListenerSQLExecutionEnd
• [SPARK-42236] [SC-121882][sql] Уточнить NULLABLE_ARRAY_OR_MAP_ELEMENT
• [SPARK-42233] [SC-121775][sql] Улучшение сообщения об ошибке для PIVOT_AFTER_GROUP_BY
• [SPARK-42229] [SC-121856][core] Перенос SparkCoreErrors в классы ошибок
• [SPARK-42163] [SC-121839][sql] Исправление обрезки схемы для не свертываемого индекса массива или ключа карты
• [SPARK-40711] [SC-119990][sql] Добавление метрик размера разлива для окна
• [SPARK-42023] [SC-121847][spark-42024][CONNECT][python] Сделать createDataFrame поддерживающим AtomicType -> StringType приведение
• [SPARK-42202] [SC-121837][connect][Test] Улучшить логику остановки тестового сервера E2E
• [SPARK-41167] [SC-117425][sql] Повысить производительность оператора LIKE, создав предикат сбалансированного дерева выражений
• [SPARK-41931] [SC-121618][sql] Улучшено сообщение об ошибке для неполного определения сложного типа
• [SPARK-36124] [SC-121339][sc-110446][SQL] Поддержка вложенных запросов с корреляцией через UNION
• [SPARK-42090] [SC-121290][3.3] Введите число повторных попыток sasl в RetryingBlockTransferor
• [SPARK-42157] [SC-121264][core] spark.scheduler.mode=FAIR должен предоставлять планировщик FAIR
• [SPARK-41572] [SC-120772][sql] Присвоить имя _LEGACY_ERROR_TEMP_2149
• [SPARK-41983] [SC-1212224][sql] Переименовать & улучшить сообщение об ошибке для NULL_COMPARISON_RESULT
• [SPARK-41976] [SC-121024][sql] Улучшение сообщения об ошибке для INDEX_NOT_FOUND
• [SPARK-41994] [SC-121210][sc-120573] Назначение SQLSTATE (1/2)
• [SPARK-41415] [SC-121117][3.3] Повторные попытки запроса SASL
• [SPARK-38591] [SC-121018][sql] Добавление flatMapSortedGroups и cogroupSorted
• [SPARK-41975] [SC-120767][sql] Улучшение сообщения об ошибке для INDEX_ALREADY_EXISTS
• [SPARK-42056] [SC-121158][sql][PROTOBUF] Добавление отсутствующих параметров для функций Protobuf
• [SPARK-41984] [SC-120769][sql] Переименовать & улучшить сообщение об ошибке для RESET_PERMISSION_TO_ORIGINAL
• [SPARK-41948] [SC-121196][sql] Исправление NPE для классов ошибок: CANNOT_PARSE_JSON_FIELD
• [SPARK-41772] [SC-121176][connect][PYTHON] Исправление неправильного имени столбца в doctest withField
• [SPARK-41283] [SC-121175][connect][PYTHON] Добавить array_append для подключения
• [SPARK-41960] [SC-120773][sql] Назначьте имя _LEGACY_ERROR_TEMP_1056
• [SPARK-42134] [SC-121116][sql] Исправление getPartitionFiltersAndDataFilters() для обработки фильтров без ссылочных атрибутов
• [SPARK-42096] [SC-121012][connect] Некоторая очистка кода для модуля connect
• [SPARK-42099] [SC-121114][spark-41845][CONNECT][python] Исправление count(*) и count(col(*))
• [SPARK-42045] [SC-120958][sc-120450][SQL] режим ANSI SQL: функции Round и Bround должны выдавать ошибку в случае целочисленного переполнения
• [SPARK-42043] [SC-120968][connect] Результат клиента Scala с помощью тестов E2E
• [SPARK-41884] [SC-121022][connect] Поддержка наивного кортежа в виде вложенной строки
• [SPARK-42112] [SC-121011][sql][SS] Добавить проверку на null перед закрытием функции ContinuousWriteRDD#computedataWriter
• [SPARK-42077] [SC-120553][connect][PYTHON] Литерал должен вызывать TypeError для неподдерживаемого типа данных
• [SPARK-42108] [SC-120898][sql] Сделать так, чтобы анализатор преобразовывал Count(*) в Count(1)
• [SPARK-41666] [SC-120928][sc-119009][PYTHON] Поддержка параметризованного SQL по sql()
• [SPARK-40599] [SC-120930][sql] Ослабить тип правила multiTransform, чтобы альтернативы могли быть любыми типами Seq
• [SPARK-41574] [SC-120771][sql] Обновление _LEGACY_ERROR_TEMP_2009 как INTERNAL_ERROR.
• [SPARK-41579] [SC-120770][sql] Назначьте имя _LEGACY_ERROR_TEMP_1249
• [SPARK-41974] [SC-120766][sql] Превратить INCORRECT_END_OFFSET в INTERNAL_ERROR
• [SPARK-41530] [SC-120916][sc-118513][CORE] Переименовать MedianHeap в PercentileMap и поддерживать процентили.
• [SPARK-41757] [SC-120608][spark-41901][CONNECT] Исправление строкового представления класса Column
• [SPARK-42084] [SC-120775][sql] Избегайте утечки ограничения только для квалифицированного доступа
• [SPARK-41973] [SC-120765][sql] Присвоить имя _LEGACY_ERROR_TEMP_1311
• [SPARK-42039] [SC-120655][sql] SPJ: Remove Option in KeyGroupedPartitioning#partitionValuesOpt
• [SPARK-42079] [SC-120712][connect][PYTHON] Переименовать прото-сообщения для toDF и withColumnsRenamed
• [SPARK-42089] [SC-120605][connect][PYTHON] Исправьте проблемы с именем переменной в вложенных лямбда-функциях
• [SPARK-41982] [SC-120604][sql] Секции строк типа не должны рассматриваться как числовые типы
• [SPARK-40599] [SC-120620][sql] Добавление методов multiTransform в TreeNode для создания альтернативных вариантов
• [SPARK-42085] [SC-120556][connect][PYTHON] Сделать from_arrow_schema поддерживающим вложенные типы
• [SPARK-42057] [SC-120507][sql][PROTOBUF] Исправлено, как исключение обрабатывается в отчетах об ошибках.
• [SPARK-41586] [12.x][все тесты][SC-120544][python] Введение pyspark.errors и классов ошибок для PySpark.
• [SPARK-41903] [SC-120543][connect][PYTHON] Literal должен поддерживать 1-dim ndarray
• [SPARK-42021] [SC-120584][connect][PYTHON] Добавить поддержку createDataFrame для array.array
• [SPARK-41896] [SC-120506][sql] Фильтрация по индексу строк возвращает пустые результаты
• [SPARK-41162] [SC-119742][sql] Исправление анти- и полусоединения для самостоятельного соединения с агрегациями
• [SPARK-41961] [SC-120501][sql] Поддержка табличных функций с помощью LATERAL
• [SPARK-41752] [SC-120550][sql][UI] Сгруппировать вложенные выполнения в корневом выполнении
• [SPARK-42047] [SC-120586][spark-41900][CONNECT][python][12.X] Литерал должен поддерживать типы данных Numpy
• [SPARK-42028] [SC-120344][connect][PYTHON] Усечение меток времени наносекунд.
• [SPARK-42011] [SC-120534][connect][PYTHON] Реализовать DataFrameReader.csv
• [SPARK-41990] [SC-120532][sql] Используйте FieldReference.column вместо apply при преобразовании фильтров из версии 1 в версию 2
• [SPARK-39217] [SC-120446][sql] Обеспечивает поддержку DPP для стороны фильтрации, использующей оператор Union.
• [SPARK-42076] [SC-120551][connect][Python] Преобразование данных с коэффициентом arrow -> rows в conversion.py
• [SPARK-42074] [SC-120540][sql] Включить KryoSerializer в TPCDSQueryBenchmark для принудительной регистрации классов SQL
• [SPARK-42012] [SC-120517][connect][PYTHON] Реализовать DataFrameReader.orc
• [SPARK-41832] [SC-120513][connect][PYTHON] Исправить DataFrame.unionByName, добавить возможность отсутствия колонок
• [SPARK-38651] [SC-120514] [SQL] Добавлять spark.sql.legacy.allowEmptySchemaWrite
• [SPARK-41991] [SC-120406][sql] CheckOverflowInTableInsert должен принимать ExpressionProxy как дочерний
• [SPARK-41232] [SC-120073][sql][PYTHON] Добавление функции array_append
• [SPARK-42041] [SC-120512][spark-42013][CONNECT][python] DataFrameReader должен поддерживать список путей
• [SPARK-42071] [SC-120533][core] Регистрация scala.math.Ordering$Reverse в KyroSerializer
• [SPARK-41986] [SC-120429][sql] Внедрение шардинга в SinglePartition
• [SPARK-42016] [SC-120428][connect][PYTHON] Включить тесты, связанные с вложенным столбцом
• [SPARK-42042] [SC-120427][connect][PYTHON] DataFrameReader должен поддерживать схему StructType
• [SPARK-42031] [SC-120389][core][SQL] Очистка remove методов, которые не нуждаются в переопределении
• [SPARK-41746] [SC-120463][spark-41838][SPARK-41837][spark-41835][SPARK-41836][spark-41847][CONNECT][python] Реализовать поддержку вложенных типов для createDataFrame(rows/lists/tuples/dicts)
• [SPARK-41437] [SC-117601][sql][ВСЕ ТЕСТЫ] Не оптимизируйте входной запрос дважды для резервной записи версии 1
• [SPARK-41840] [SC-119719][connect][PYTHON] Добавьте отсутствующий псевдоним groupby
• [SPARK-41846] [SC-119717][connect][PYTHON] Включите doctests для оконных функций
• [SPARK-41914] [SC-120094][sql] FileFormatWriter материализует план AQE перед доступом к outputOrdering
• [SPARK-41805] [SC-119992][sql] Повторное использование выражений в WindowSpecDefinition
• [SPARK-41977] [SC-120269][spark-41978][CONNECT] SparkSession.range для передачи значений float в качестве аргументов
• [SPARK-42029] [SC-120336][connect] Добавить правила тенизации (шэйдинга) для Guava в connect-common, чтобы избежать сбоя запуска
• [SPARK-41989] [SC-120334][python] Избегайте нарушения конфигурации логирования из pyspark.pandas
• [SPARK-42003] [SC-120331][sql] Сокращение дубликата кода в ResolveGroupByAll
• [SPARK-41635] [SC-120313][sql] Исправление группы всех отчетов об ошибках
• [SPARK-41047] [SC-120291][sql] Улучшение документов для раунда
• [SPARK-41822] [SC-120122][connect] Настройка подключения gRPC для клиента Scala/JVM
• [SPARK-41879] [SC-120264][connect][Python] Сделать DataFrame.collect поддержку вложенных типов
• [SPARK-41887] [SC-120268][connect][PYTHON] Сделать так, чтобы DataFrame.hint принимал параметр типа список
• [SPARK-41964] [SC-120210][connect][PYTHON] Добавьте список неподдерживаемых функций ввода-вывода
• [SPARK-41595] [SC-120097][sql] Поддержка функции-генератора explode/explode_outer в предложении FROM
• [SPARK-41957] [SC-120121][connect][PYTHON] Включите doctest для DataFrame.hint
• [SPARK-41886] [SC-120141][connect][PYTHON] DataFrame.intersect выходные данные из doctest идут в другом порядке.
• [SPARK-41442] [SC-117795][sql][ВСЕ ТЕСТЫ] Обновлять значение SQLMetric только при объединении с корректной метрикой
• [SPARK-41944] [SC-120046][connect] Передача конфигураций при подключении к локальному удаленному режиму
• [SPARK-41708] [SC-119838][sql] Pull v1write information to WriteFiles
• [SPARK-41780] [SC-120000][sql] Должно выбрасываться исключение INVALID_PARAMETER_VALUE.PATTERN, если параметры regexp недопустимы
• [SPARK-41889] [SC-119975][sql] Присоединить первопричину к invalidPatternError, & рефакторинг классов ошибок INVALID_PARAMETER_VALUE
• [SPARK-41860] [SC-120028][sql] Создание классов вариантов AvroScanBuilder и JsonScanBuilder
• [SPARK-41945] [SC-120010][connect][Python] Python: клиент потерял данные столбца с помощью pyarrow.Table.to_pylist
• [SPARK-41690] [SC-119102][sc-119087][SQL][connect] Агностические кодировщики
• [SPARK-41354] [SC-119995][connect][PYTHON] Реализация repartitionByExpression
• [SPARK-41581] [SC-119997][sql] Обновление _LEGACY_ERROR_TEMP_1230 как INTERNAL_ERROR
• [SPARK-41928] [SC-119972][connect][PYTHON] Добавьте неподдерживаемый список для functions
• [SPARK-41933] [SC-119980][connect] Укажите локальный режим, который автоматически запускает сервер.
• [SPARK-41899] [SC-119971][connect][PYTHON] createDataFrame' должен уважать предоставленную пользователем схему DDL
• [SPARK-41936] [SC-119978][connect][PYTHON] Сделать withMetadata повторно использовать withColumns прототип
• [SPARK-41898] [SC-119931][connect][PYTHON] Проверка типов для параметров Window.rowsBetween и Window.rangeBetween на соответствие с pyspark
• [SPARK-41939] [SC-119977][connect][PYTHON] Добавьте неподдерживаемый список для функций catalog
• [SPARK-41924] [SC-119946][connect][PYTHON] Сделать так, чтобы StructType поддерживал метаданные и внедрить DataFrame.withMetadata
• [SPARK-41934] [SC-119967][connect][PYTHON] Добавьте неподдерживаемый список функций для session
• [SPARK-41875] [SC-119969][connect][PYTHON] Добавление тестовых вариантов для Dataset.to()
• [SPARK-41824] [SC-119970][connect][PYTHON] Игнорировать doctest для объяснения функции connect
• [SPARK-41880] [SC-119959][connect][PYTHON] Сделать функцию from_json принимать не литеральную схему
• [SPARK-41927] [SC-119952][connect][PYTHON] Добавьте список неподдерживаемых для GroupedData
• [SPARK-41929] [SC-119949][connect][PYTHON] Добавить функцию array_compact
• [SPARK-41827] [SC-119841][connect][PYTHON] Сделать GroupBy принять список столбцов
• [SPARK-41925] [SC-119905][sql] Включить spark.sql.orc.enableNestedColumnVectorizedReader по умолчанию
• [SPARK-41831] [SC-119853][connect][PYTHON] Сделать DataFrame.select принять список столбцов
• [SPARK-41455] [SC-119858][connect][PYTHON] Сделайте DataFrame.collect отменить сведения о часовом поясе
• [SPARK-41923] [SC-119861][connect][PYTHON] Добавить DataFrame.writeTo в неподдерживаемый список
• [SPARK-41912] [SC-119837][sql] Subquery не должно проверять CTE
• [SPARK-41828] [SC-119832][connect][PYTHON][12.x] Обеспечить createDataFrame поддержку пустого кадра данных
• [SPARK-41905] [SC-119848][connect] Поддержка имени в виде строк в срезе
• [SPARK-41869] [SC-119845][connect] Отклонить одну строку в dropDuplicates
• [SPARK-41830] [SC-119840][connect][PYTHON] Сделать DataFrame.sample принимать те же параметры, что и PySpark
• [SPARK-41849] [SC-119835][connect] Реализовать DataFrameReader.text
• [SPARK-41861] [SC-119834][sql] Сделать так, чтобы build() в ScanBuilders v2 возвращал типизированный скан
• [SPARK-41825] [SC-119710][connect][PYTHON] Включить тесты документации, связанные с DataFrame.show
• [SPARK-41855] [SC-119804][sc-119410][SPARK-41814][spark-41851][SPARK-41852][connect][PYTHON][12.x] Обеспечить правильную обработку None/NaN в createDataFrame
• [SPARK-41833] [SC-119685][spark-41881][SPARK-41815][connect][python] Сделать DataFrame.collect обрабатывать none/NaN/Array/Binary porperly
• [SPARK-39318] [SC-119713][sql] Удалить золотые файлы tpch-plan-stability WithStats
• [SPARK-41791] [SC-119745] Добавление новых типов столбцов метаданных источника файла
• [SPARK-41790] [SC-119729][sql] Правильно задать формат для чтения и записи «ПРЕОБРАЗОВАНИЯ»
• [SPARK-41829] [SC-119725][connect][PYTHON] Добавьте отсутствующий параметр упорядочивания в Sort и sortWithinPartitions
• [SPARK-41576] [SC-119718][sql] Присвойте имя _LEGACY_ERROR_TEMP_2051
• [SPARK-41821] [SC-119716][connect][PYTHON] Исправление теста документации для DataFrame.describe
• [SPARK-41871] [SC-119714][connect] Параметр подсказки dataFrame может быть str, float или int
• [SPARK-41720] [SC-119076][sql] Переименование UnresolvedFunc в UnresolvedFunctionName
• [SPARK-41573] [SC-119567][sql] Присвоить имя _LEGACY_ERROR_TEMP_2136
• [SPARK-41862] [SC-119492][sql] Исправлена ошибка правильности, связанная со значениями DEFAULT в средстве чтения Orc
• [SPARK-41582] [SC-119482][sc-118701][CORE][sql] Повторно использовать INVALID_TYPED_LITERAL вместо _LEGACY_ERROR_TEMP_0022

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 12.2.

Системная среда

• Операционная система: Ubuntu 20.04.5 LTS
• Java: Zulu 8.68.0.21-CA-linux64
• Scala: 2.12.15
• Python: 3.9.21
• R: 4.2.2
• Delta Lake: 2.2.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2022-11-11. Моментальный снимок больше недоступен.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)