Databricks Runtime 9.0 (EoS)

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 9.0 и Databricks Runtime 9.0 Photon на базе Apache Spark 3.1.2. Databricks выпустила эту версию в августе 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.

Корректировка

В предыдущей версии этих заметок о выпуске неправильно указано, что зависимости Apache Parquet обновлены с 1.10 до 1.12. На самом деле зависимости Parquet остаются в версии 1.10. Неверное примечание о выпуске удалено.

Новые функции и внесенные улучшения

• Новый API для сводных статистических данных о наборах данных (общедоступная предварительная версия)
• Упрощенная настройка внешнего источника данных для соединителя Azure Synapse
• Возможность ограничить сеанс до указанной длительности для соединителя Amazon Redshift
• Автозагрузчик
• SQL
• Поддержка R
• Возможность избежать повторов, указав начальное состояние для обработки структурированной потоковой передачи с отслеживанием состояния
• реализация команды Delta MERGE INTO с низким уровнем перетасовки теперь доступна (общедоступная версия для предварительного просмотра)

Новый API для сводных статистических данных о наборах данных (общедоступная предварительная версия)

Новая команда dbutils.data.summarize в служебных программах Databricks позволяет запустить задание Spark, которое автоматически вычислит сводную статистику по столбцам DataFrame Spark, а затем выведет результаты в интерактивном режиме. Эта функция доступна в Scala и Python. См. раздел Служебная работа для работы с данными (dbutils.data).

Упрощенная настройка внешнего источника данных для соединителя Azure Synapse

Новый externalDataSource параметр в соединителе Azure Synapse Analytics позволяет использовать предварительно подготовленный внешний источник данных для чтения из базы данных Azure Synapse. Благодаря параметру externalDataSource нет необходимости в ранее требуемом разрешении CONTROL.

При установке externalDataSource внешний источник данных и параметр tempDir, используемый для настройки временного хранилища, должны ссылаться на один и тот же контейнер в учетной записи хранения.

Возможность ограничить сеанс до указанной длительности для соединителя Amazon Redshift

Новый fs.s3a.assumed.role.session.duration параметр в запросе Amazon Redshift с помощью соединителя Azure Databricks позволяет при необходимости задать длительность сеанса, когда Redshift обращается к временному контейнеру S3 с предполагаемой ролью.

Автозагрузчик

• Оптимизированный вывод списка файлов
• Оптимизированное хранение данных изображений
• Эскизы изображений для двоичных файлов (общедоступная предварительная версия)
• События DirectoryRename обеспечивают возможность атомарной обработки нескольких файлов

Оптимизированный вывод списка файлов

Оптимизации Автозагрузчика обеспечивают повышение производительности и экономию затрат при перечислении вложенных каталогов в облачном хранилище, включая AWS S3, Azure Data Lake Storage 2-го поколения (ADLS 2-го поколения) и Google Cloud Storage (GCS).

Например, если у вас есть файлы, передаваемые как /some/path/YYYY/MM/DD/HH/fileName, чтобы найти все файлы в этих каталогах, автозагрузчик используется для параллельного перечисления всех подкаталогов, вызывая 365 (в день) * 24 (в час) = 8760 LIST вызовы каталога API к базовому хранилищу для каждого года каталога. За счет получения плоского ответа из этих хранилищ, Автозагрузчик сокращает количество вызовов API до количества файлов в хранилище, деленного на количество результатов, возвращаемых каждым вызовом API (1000 для S3, 5000 для ADLS 2-го поколения и 1024 для GCS), что значительно сокращает затраты на облачные ресурсы.

Оптимизированное хранение данных изображений

Автозагрузчик теперь может автоматически обнаруживать принимаемые данные изображений и оптимизировать их хранение в таблицах Delta для повышения производительности чтения и записи. См. статью о приеме изображений или двоичных данных в Delta Lake для ML.

Эскизы изображений для двоичных файлов (общедоступная предварительная версия)

Изображения в формате binaryFile, которые загружаются или сохраняются в виде таблиц Delta с помощью Автозагрузчика, имеют прикрепленные заметки, чтобы при отображении таблицы в записной книжке Azure Databricks отображались эскизы изображений. Дополнительные сведения см. в разделе Изображения.

События DirectoryRename обеспечивают возможность атомарной обработки нескольких файлов

Потоки Автозагрузчика, созданные в Databricks Runtime 9.0 и более поздних версий на Azure Data Lake Storage 2-го поколения настраивают уведомления о событиях для файлов таким образом, чтобы в них входили переименования каталогов и прослушивание событий RenameDirectory. С помощью переименований каталогов можно сделать так, чтобы несколько файлов атомарным образом появлялись в Автозагрузчике.

SQL

• Исключение столбцов в SELECT * (общедоступная предварительная версия)
• Скалярные функции SQL (общедоступная предварительная версия)
• Ссылки на предыдущие псевдонимы и столбцы во вложенных запросах FROM (общедоступная предварительная версия)

Исключение столбцов в SELECT * (общедоступная предварительная версия)

SELECT * теперь поддерживает ключевое слово EXCEPT, которое позволяет исключить указанные столбцы верхнего уровня из расширения. Например, SELECT * EXCEPT (b) FROM tbl из таблицы со схемой (a, b, c) разворачивается в (a, c).

Скалярные функции SQL (общедоступная предварительная версия)

CREATE FUNCTION теперь поддерживает скалярные функции SQL. Можно создать скалярные функции, которые принимают набор аргументов и возвращают одно значение скалярного типа. Тело функции SQL может быть любым выражением. Например:

CREATE FUNCTION square(x DOUBLE) RETURNS DOUBLE RETURN x * x;
SELECT square(2);

Дополнительные сведения см. в (SQL и Python).

Ссылки на предыдущие псевдонимы и столбцы во вложенных запросах FROM (общедоступная предварительная версия)

Теперь вложенным запросам в предложении FROM запроса может предшествовать ключевое слово LATERAL, которое позволяет им ссылаться на псевдонимы и столбцы в предыдущих элементах FROM. Например:

SELECT * FROM t1, LATERAL (SELECT * FROM t2 WHERE t1.c1 = t2.c1)

Ключевое слово LATERAL поддерживает INNER, CROSS и LEFT (OUTER) JOIN.

См. разделы Параметры и Параметры.

Поддержка R

Библиотеки R с областью действия записной книжки (общедоступная предварительная версия)

Библиотеки с областью действия записной книжки позволяют устанавливать библиотеки и создавать окружения в сеансе записной книжки. Такие библиотеки не влияют на другие записные книжки, работающие в том же кластере. Библиотеки доступны как на драйвере, так и на рабочем узле, поэтому вы можете ссылаться на них в определяемых пользователем функциях. См. Библиотеки R с областью действия записной книжки.

Предупреждающие сообщения в записных книжках R

Значение по умолчанию параметра warn теперь равно 1 в записных книжках R. В результате все предупреждения теперь предоставляются как часть результата команды. Дополнительные сведения о параметре warn см. в статье Настройки параметров.

Возможность избежать повторов, указав начальное состояние для обработки структурированной потоковой передачи с отслеживанием состояния

Теперь можно указать определяемое пользователем начальное состояние для структурированной обработки с отслеживанием состояния с помощью оператора [flat]MapGroupsWithState.

См. раздел "Указание начального состояния" для mapGroupsWithState.

Теперь доступна реализация команды Delta MERGE INTO с низким уровнем перемешивания (открытая предварительная версия).

Команда MERGE INTO в Delta имеет новую реализацию, которая сокращает перемешивание неизмененных строк. Это позволяет повысить производительность команды и сохранить существующую кластеризацию в таблице, например Z-упорядочивание. Чтобы включить слияние с малым перемешиванием, задайте для spark.databricks.delta.merge.enableLowShuffle значение true. Дополнительные сведения см. в статье Слияние с малым перемешиванием в Azure Databricks.

Исправления ошибок

• Вы больше не можете перезаписать представление, создав представление с тем же именем.

Обновления библиотек

• Обновленные библиотеки Python:
  • certifi с 2021.5.30 до 2020.12.5
  • chardet с 3.0.4 до 4.0.0
  • Cython с 0.29.21 до 0.29.23
  • decorator с 4.4.2 до 5.0.6
  • ipython с 7.19.0 до 7.22.0
  • joblib с 0.17.0 до 1.0.1
  • jupyter-client с 6.1.7 до 6.1.12
  • jupyter-core с 4.6.3 до 4.7.1
  • kiwisolver с 1.3.0 до 1.3.1
  • matplotlib с 3.2.2 до 3.4.2
  • pandas с 1.1.5 до 1.2.4
  • pip с 20.2.4 до 21.0.1
  • prompt-toolkit с 3.0.8 до 3.0.17
  • protobuf с 3.17.3 до 3.17.2
  • ptyprocess с 0.6.0 до 0.7.0
  • pyarrow с 1.0.1 до 4.0.0
  • Pygments с 2.7.2 до 2.8.1
  • pyzmq с 19.0.2 до 20.0.0
  • requests с 2.24.0 до 2.25.1
  • s3transfer с 0.3.6 до 0.3.7
  • scikit-learn с 0.23.2 до 0.24.1
  • scipy с 1.5.2 до 1.6.2
  • seaborn с 0.10.0 до 0.11.1
  • setuptools с 50.3.1 до 52.0.0
  • statsmodels с 0.12.0 до 0.12.2
  • tornado с 6.0.4 до 6.1
  • virtualenv с 20.2.1 до 20.4.1
  • wheel с 0.35.1 до 0.36.2
• Обновленные библиотеки R:
  • Matrix с 1.3-3 до 1.3-4

Apache Spark

Databricks Runtime 9.0 включает Apache Spark 3.1.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 8.4 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-35886] [SQL][3.1] PromotePrecision не должен перезаписывать genCode.
• [SPARK-35879] [CORE][SHUFFLE] Исправлено ухудшение производительности из-за collectFetchRequests.
• [SPARK-35817] [SQL][3.1] Восстановлена производительность запросов к широким таблицам Avro.
• [SPARK-35841] [SQL] Приведение строки к десятичному числу не работает, если…
• [SPARK-35783] [SQL] Список столбцов для чтения задается в конфигурации задачи, чтобы сократить объем операций чтения данных ORC.
• [SPARK-35576] [SQL][3.1] Скрыты конфиденциальные данные в результате выполнения команды Set.
• [SPARK-35449] [SQL][3.1] Извлекаются только общие выражения из значений CaseWhen, если задано значение elseValue.
• [SPARK-35288] [SQL] StaticInvoke находит метод без точных совпадений классов аргументов.
• [SPARK-34794] [SQL] Устранены проблемы с именем лямбда-переменной во вложенных функциях DataFrame.
• [SPARK-35278] [SQL] Invoke находит метод с правильным числом параметров.
• [SPARK-35226] [SQL] Поддержка параметра refreshKrb5Config в источниках данных JDBC.
• [SPARK-35244] [SQL] Invoke вызывает исходное исключение.
• [SPARK-35213] [SQL] Сохранение правильного порядка вложенных структур в связанных операциях withField.
• [SPARK-35087] [UI] Столбцы в таблице агрегированных метрики по исполнителю на странице сведений об этапе теперь отображаются правильно.
• [SPARK-35168] [SQL] mapred.reduce.tasks теперь shuffle.partitions, а не adaptive.coalescePartitions.initialPartitionNum.
• [SPARK-35127] [UI] При переключении между различными страницами сведений об этапе элемент записи на вновь открытой странице теперь не бывает пустым.
• [SPARK-35142] [PYTHON][ML] Исправлен неправильный тип возвращаемого значения для rawPredictionUDF в OneVsRestModel.
• [SPARK-35096] [SQL]: SchemaPruning соответствует конфигурации spark.sql.caseSensitive.
• [SPARK-34639] [SQL][3.1] RelationalGroupedDataset.alias не должен создавать UnresolvedAlias.
• [SPARK-35080] [SQL] Разрешено только подмножество коррелированных предикатов равенства при агрегировании вложенного запроса.
• [SPARK-35117] [UI] Индикатор выполнения изменен обратно для отображения соотношения выполняемых задач.
• [SPARK-35136] Удалено начальное значение NULL для LiveStage.info.
• [SPARK-34834] [NETWORK] Исправлена потенциальная утечка памяти Netty в TransportResponseHandler.
• [SPARK-35045] [SQL] Добавлен внутренний параметр для управления входным буфером однозначным образом.
• [SPARK-35014] Исправлен шаблон PhysicalAggregation, чтобы он не переписывал свертываемые выражения
• [SPARK-35019] [PYTHON][SQL] Исправлены несовпадения подсказок типа в pyspark.sql.*.
• [SPARK-34926] [SQL][3.1] PartitioningUtils.getPathFragment() учитывает значение секции, равное NULL.
• [SPARK-34630] [Python] Добавлена подсказка типа для pyspark.version.
• [SPARK-34963] [SQL] Исправлено удаление лишних вложенных столбцов для извлечения поля структуры без учета регистра из массива структуры.
• [SPARK-34988] [Core][3.1] Обновление Jetty для CVE-2021-28165.
• [SPARK-34922] [SQL][3.1] Использование функции сравнения относительной стоимости в CBO.
• [SPARK-34970] [SQL][SECURITY][3.1] Скрыты параметры map-type в выходных данных explain().
• [SPARK-34923] [SQL] Выходные данные метаданных должны быть пустыми для других планов.
• [SPARK-34949] [Core] Предотвращена повторная регистрация BlockManager при завершении работы исполнителя.
• [SPARK-34939] [Core] Исключение при ошибке получения, если невозможно десериализовать состояния вещательных состояний сопоставления.
• [SPARK-34909] [SQL] Исправлено преобразование отрицательного значения в неподписанное в conv().
• [SPARK-34845] [Core] ProcfsMetricsGetter не должен возвращать частичные метрики procfs.
• [SPARK-34814] [SQL] LikeSimplification должен поддерживать значение NULL.
• [SPARK-34876] [SQL] Заполнение defaultResult агрегатами, не допускающими значения NULL.
• [SPARK-34829] [SQL] Устранение результатов функций более высокого порядка.
• [SPARK-34840] [SHUFFLE] Исправлены случаи повреждения в объединенном перемешивании...
• [SPARK-34833] [SQL] Правильное применение заполнения справа для коррелированных вложенных запросов.
• [SPARK-34630] [PYTHON][SQL] Добавлена подсказка типа для pyspark.sql.Column.contains
• [SPARK-34763] [SQL] col(), $"name" и df("name") должны правильно обрабатывать имена столбцов с кавычками
• [SPARK-33482][SPARK-34756] [SQL] Исправлена проверка равенства FileScan
• [SPARK-34790] [Core] Отключено получение блоков перемешивания пакетами при включенном шифровании ввода-вывода.
• [SPARK-34803] [PYSPARK] Передача вызванной ошибки ImportError, если pandas или pyarrow не удалось выполнить импорт.
• [SPARK-34225] [CORE] Дальнейший код при передаче строки формы URI в AddFile или AddJar не кодируется дополнительно.
• [SPARK-34811] [CORE] Скрыт fs.s3a.access.key как секрет и токен.
• [SPARK-34796] [SQL][3.1] Инициализировать переменную счетчика для LIMIT кодового поколения в doProduce()
• [SPARK-34128] [SQL] Отключены нежелательные предупреждения TTransportException, связанные с THRIFT-4805.
• [SPARK-34776] [SQL] При удалении лишних вложенных столбцов не следует удалять атрибуты, созданные Window.
• [SPARK-34087] [3.1][SQL] Исправлена утечка памяти ExecutionListenerBus.
• [SPARK-34772] [SQL] RebaseDateTime loadRebaseRecords должны использовать загрузчик класса Spark вместо контекста.
• [SPARK-34719] [SQL][3.1] Правильное разрешение запроса представления с повторяющимися именами столбцов.
• [SPARK-34766] [SQL][3.1] Конфигурация maven не записывается для представлений.
• [SPARK-34731] [Core] ConcurrentModificationException не используется при скрытии свойств EventLoggingListener
• [SPARK-34737] [SQL][3.1] Приведение входного типа float к double в TIMESTAMP_SECONDS.
• [SPARK-34749] [SQL][3.1] Упрощение ResolveCreateNamedStruct.
• [SPARK-34768] [SQL] Соблюдение размера входного буфера по умолчанию в Univocity.
• [SPARK-34770] [SQL] InMemoryCatalog.tableExists не должно завершаться ошибкой, если база данных не существует
• [SPARK-34504] [SQL] Устранение ненужного разрешения временных представлений SQL для команд DDL.
• [SPARK-34727] [SQL] Устранение несоответствий при приведении типа float к метке времени.
• [SPARK-34723] [SQL] Правильный тип параметра для исключения части выражения в рамках всего этапа.
• [SPARK-34724] [SQL] Исправлена интерпретируемая оценка с помощью метода getMethod вместо getDeclaredMethod.
• [SPARK-34713] [SQL] Исправлено группирование по CreateStruct с ExtractValue.
• [SPARK-34697] [SQL] Разрешить DESCRIBE FUNCTION и SHOW FUNCTIONS объяснить о || (оператор объединения строк)
• [SPARK-34682] [SQL] Используется PrivateMethodTester вместо отражения.
• [SPARK-34682] [SQL] Исправлена регрессия при проверке ошибок канонизации в CustomShuffleReaderExec.
• [SPARK-34681] [SQL] Исправлена ошибка для полного внешнего перемешанного хэш-соединения при построении левой части с условием неравенства.
• [SPARK-34545] [SQL] Устранены проблемы с функцией valueCompare в pyrolite.
• [SPARK-34607] [SQL][3.1] Добавлен Utils.isMemberClass, чтобы исправить ошибку неправильно сформированного имени класса в jdk8u.
• [SPARK-34596] [SQL] используется Utils.getSimpleName, чтобы избежать попадения на неправильное имя класса в NewInstance.doGenCode.
• [SPARK-34613] [SQL] Исправлена ошибка, при которой представление на соответствует настройке отключении подсказки.
• [SPARK-32924] [WEBUI] Исправлена сортировка столбца длительности в пользовательском интерфейсе главной панели.
• [SPARK-34482] [СС] Исправлен активный SparkSession для StreamExecution.logicalPlan.
• [SPARK-34567] [SQL] CreateTableAsSelect должен обновлять метрики.
• [SPARK-34599] [SQL] Исправлена проблема, из-за которой INSERT INTO OVERWRITE не поддерживал столбцы секций, содержащие точку, в DSv2.
• [SPARK-34577] [SQL] Исправлено удаление/добавление столбцов для набора данных DESCRIBE NAMESPACE.
• [SPARK-34584] [SQL] Статический раздел должен также следовать StoreAssignmentPolicy при вставке в таблицы v2.
• [SPARK-34555] [SQL] Разрешение выходных данных метаданных из DataFrame.
• [SPARK-34534] Исправлен порядок blockId при использовании FetchShuffleBlocks для получения блоков
• [SPARK-34547] [SQL] Столбцы метаданных используются для разрешения только в качестве последнего средства.
• [SPARK-34417] [SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap завершается ошибкой, если в имени столбца есть точка.
• [SPARK-34561] [SQL] Исправлено удаление/добавление столбцов для набора данных DESCRIBE TABLE v2.
• [SPARK-34556] [SQL] Проверка дублирования столбцов статических секций должна выполняться с учетом регистра.
• [SPARK-34392] [SQL]: поддержка ZoneOffset +ч:мм в DateTimeUtils. getZoneId
• [SPARK-34550] [SQL]: пропуск нулевых значений InSet при отправке фильтра в хранилище метаданных Hive.
• [SPARK-34543] [SQL] Теперь конфигурация spark.sql.caseSensitive учитывается при разрешении спецификации секции в v1 SET LOCATION.
• [SPARK-34436] [SQL]: DPP поддерживает выражение LIKE ANY/ALL.
• [SPARK-34531] [Core: удален тег API Experimental в PrometheusServlet.
• [SPARK-34497] [SQL] Исправлены встроенные поставщики подключений JDBC для восстановления изменений контекста безопасности виртуальной машины Java.
• [SPARK-34515] [SQL] Исправлен NPE, если InSet содержит значение NULL во время getPartitionsByFilter.
• [SPARK-34490] [SQL] Исправлена ошибка анализа, если представление ссылается на удаленную таблицу.
• [SPARK-34473] [SQL] NPE не используется в DataFrameReader.schema(StructType).
• [SPARK-34384] [CORE] Добавлены недостающие документы для API ResourceProfile.
• [SPARK-34373] [SQL] startWithContext в HiveThriftServer2 теперь не зависает с проблемой состояния гонки
• [SPARK-20977] [CORE] Использование поля, отличного от конечного, для состояния CollectionAccumulator.
• [SPARK-34421] [SQL] Разрешение временных функций и представлений в представлениях с обобщенными табличными выражениями
• [SPARK-34431] [CORE] hive-site.xml загружается только один раз.
• [SPARK-34405] [CORE] Исправлено среднее значение timersLabels в классе PrometheusServlet.
• [SPARK-33438] [SQL] Объекты с определенными конфигурациями SQL для команды set -v инициализируются заранее.
• [SPARK-34158] Исправлен URL-адрес единственного разработчика Matel в pom.xml.
• [SPARK-34346] [CORE][SQL][3.1] Значение io.file.buffer.size, заданное spark.buffer.size, теперь не будет переопределено путем случайной загрузки hive-site.xml, что могло привести к ухудшению производительности.
• [SPARK-34359] [SQL][3.1] Добавьте устаревшую конфигурацию для восстановления выходной схемы SHOW DATABASES
• [SPARK-34331] [SQL] Ускорено разрешение метаданных DS v2.
• [SPARK-34318] [SQL][3.1] Dataset.colRegex подходит для имен и квалификаторов столбцов, которые содержат символы новой строки.
• [SPARK-34326] [CORE][SQL] Исправлены UT, добавленных в SPARK-31793, в зависимости от длины временного пути.
• [SPARK-34319] [SQL] Разрешение повторяющихся атрибутов для FlatMapCoGroupsInPandas/MapInPandas.
• [SPARK-34310] [CORE][SQL] map и flatten заменены на flatMap.
• [SPARK-34083] [SQL][3.1] Используются исходные определений TPCDS для столбцов char/varchar.
• [SPARK-34233] [SQL][3.1] Исправлено NPE для заполнения знаков в двоичном сравнении.
• [SPARK-34270] [СС] Объединение StateStoreMetrics теперь не переопределяет StateStoreCustomMetric.
• [SPARK-34144] [SQL] Исправлено исключение при попытке записи значений LocalDate и Instant в связь JDBC.
• [SPARK-34273] [CORE] Повторная регистрация BlockManager при остановке SparkContext теперь выполняется.
• [SPARK-34262] [SQL][3.1] Обновление кэшированных данных таблицы v1 в ALTER TABLE .. SET LOCATION.
• [SPARK-34275] [CORE][SQL][MLLIB] Фильтр и размер заменены на количество.
• [SPARK-34260] [SQL] Исправлено UnresolvedException при создании временного представления дважды.
• [SPARK-33867] [SQL] Значения Instant и LocalDate теперь обрабатываются при создании запросов SQL.
• [SPARK-34193] [CORE] Исправлено состояние гонки при списании диспетчера блока TorrentBroadcast.
• [SPARK-34221] [WEBUI] Если на странице пользовательского интерфейса не удастся выполнить этап, соответствующее сообщение об ошибке будет показано правильно.
• [SPARK-34236] [SQL] Исправление версии 2, перезапись статической секции со значением NULL вызывает ошибку: Не удалось преобразовать выражение в исходный фильтр: null.
• [SPARK-34212] [SQL] Исправлено неправильное считывание десятичных чисел из файлов Parquet.
• [SPARK-34244] [SQL] Удалена версия Scala функции regexp_extract_all.
• [SPARK-34235] [СС] spark.sql.hive сделан частным пакетом
• [SPARK-34232] [CORE] Скрыто событие SparkListenerEnvironmentUpdate в журнале
• [SPARK-34229] [SQL] Avro должен считывать десятичные значения со схемой файла.
• [SPARK-34223] [SQL] Исправлено NPE для статической секции со значением NULL в InsertIntoHadoopFsRelationCommand.
• [SPARK-34192] [SQL] Заполнение символами перемещено на сторону записи и удалена проверка длины на стороне чтения.
• [SPARK-34203] [SQL] Значения секции null преобразовываются в __HIVE_DEFAULT_PARTITION__ в каталоге In-Memory v1.
• [SPARK-33726] [SQL] Исправлены повторяющиеся имена полей во время агрегирования.
• [SPARK-34133] [Avro] При выполнении сопоставления полей Catalyst-to-Avro учитывается регистр.
• [SPARK-34187] [SS] Используется доступный диапазон смещений, полученный во время опроса при проверке смещений.
• [SPARK-34052] [SQL][3.1] сохраните текст SQL для временного представления, созданного с помощью "CACHE TABLE .. AS SELECT ..."
• [SPARK-34213] [SQL] Обновление кэшированных данных таблицы v1 в LOAD DATA.
• [SPARK-34191] [PYTHON][SQL] Добавлена типизация для перегрузки udf.
• [SPARK-34200] [SQL] Неоднозначная ссылка на столбец должна учитывать доступность атрибута.
• [SPARK-33813] [SQL][3.1] Устранена проблема, из-за которой источник JDBC не мог обрабатывать пространственные типы MS SQL Server.
• [SPARK-34178] [SQL] Копирование тегов для нового узла, созданного с помощью MultiInstanceRelation.newInstance.
• [SPARK-34005] [CORE][3.1] Обновление пиковых метрик памяти для каждого исполнителя в конце задачи.
• [SPARK-34115] [CORE] Выполняется проверка SPARK_TESTING как отложенного значения (lazy val), чтобы избежать замедления.
• [SPARK-34153] [SQL][3.1][3.0] Удалены неиспользуемые getRawTable() из HiveExternalCatalog.alterPartitions().
• [SPARK-34130] [SQL] Улучшена производительность заполнения char/varchar и проверки длины с помощью StaticInvoke.
• [SPARK-34027] [SQL][3.1] Обновление кэша в ALTER TABLE .. RECOVER PARTITIONS.
• [SPARK-34151] [SQL] java.io.File.toURL заменен на java.io.File.toURI.toURL.
• [SPARK-34140] [SQL][3.1] QueryCompilationErrors.scala перемещен в org/apache/spark/sql/errors.
• [SPARK-34080] [ML][PYTHON] Добавлен UnivariateFeatureSelector.
• [SPARK-33790] [CORE][3.1] Уменьшен вызов rpc для getFileStatus в SingleFileEventLogFileReader.
• [SPARK-34118] [CORE][SQL][3.1] Заменен фильтр и проверка на пустоту с помощью exists или forall.
• [SPARK-34114] [SQL] Удалена обрезка справа для проверки длины символов и заполнения на стороне чтения.
• [SPARK-34086] [SQL][3.1] Исправлена ошибка, при которой RaiseError создает слишком много кода и может привести к сбою генератора кода при проверке длины для char/varchar.
• [SPARK-34075] [SQL][CORE] Скрытые каталоги теперь не указываются для вывода секции.
• [SPARK-34076] [SQL] SQLContext.dropTempTabl больше не завершается ошибкой, если кэш не пуст.
• [SPARK-34084] [SQL][3.1] Исправлено автоматическое обновление статистики таблицы в ALTER TABLE .. ADD PARTITION.
• [SPARK-34090] [SS] Кэширование результата HadoopDelegationTokenManager.isServiceEnabled, используемого в KafkaTokenUtil.needTokenUpdate.
• [SPARK-34069] [CORE] Завершение задач барьера производится с учетом SPARK_JOB_INTERRUPT_ON_CANCEL.
• [SPARK-34091] [SQL] Должна быть возможность отключить получение перемешанного пакета после включения.
• [SPARK-34059] [SQL][CORE][3.1] Использование for/foreach вместо сопоставления, чтобы оно выполнялось безотложно.
• [SPARK-34002] [SQL] Исправлено использование кодировщика в ScalaUDF.
• [SPARK-34060] [SQL][3.1] Исправлено кэширование таблицы Hive при обновлении статистики с помощью ALTER TABLE .. DROP PARTITION.
• [SPARK-31952] [SQL] Исправлена метрика неправильного сброса памяти при выполнении статистической агрегирования.
• [SPARK-33591] [SQL][3.1] null распознается в значениях спецификации секции.
• [SPARK-34055] [SQL][3.1] Обновление кэша в ALTER TABLE .. ADD PARTITION.
• [SPARK-34039] [SQL][3.1] При ReplaceTable кэш должен становиться недействительным.
• [SPARK-34003] [SQL] Устранены конфликты правил между PaddingAndLengthCheckForCharVarchar и ResolveAggregateFunctions.
• [SPARK-33938] [SQL][3.1] Оптимизированы Like Any/All за счет LikeSimplification.
• [SPARK-34021] [R] Исправлены гиперссылки в документации SparkR для отправки CRAN.
• [SPARK-34011] [SQL][3.1][3.0] Обновление кэша в ALTER TABLE .. RENAME TO PARTITION.
• [SPARK-33948] [SQL] Исправлена ошибка CodeGen метода MapObjects.doGenCode в Scala 2.13.
• [SPARK-33635] [SS] Изменен порядок синхронизации KafkaTokenUtil.needTokenUpdate, чтобы устранить ухудшение производительности.
• [SPARK-33029] [CORE][WEBUI] Исправлено неверное отображение драйвера как исключенного на странице исполнителя пользовательского интерфейса.
• [SPARK-34015] [R] Исправлено время входа в gapply.
• [SPARK-34012] [SQL] Обеспечена согласованность поведения, если spark.sql.legacy.parser.havingWithoutGroupByAsWhere конфигурации соответствует руководству по миграции.
• [SPARK-33844] [SQL] [3,1] Команда InsertIntoHiveDir должна также проверить имя столбца.
• [SPARK-33935] [SQL] Исправлена функция стоимости CBO.
• [SPARK-33100] [SQL] Точка с запятой внутри комментария в квадратных скобках в spark-sql не учитывается.
• [SPARK-34000] [CORE] Исправлено stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException.
• [SPARK-33992] [SQL] Переопределен transformUpWithNewOutput для добавления allowInvokingTransformsInAnalyzer.
• [SPARK-33894] [SQL] Изменена видимость частных классов вариантов в mllib, чтобы избежать ошибок компиляции среды выполнения в Scala 2.13.
• [SPARK-33950] [SQL][3.1][3.0] Обновление кэша в ALTER TABLE .. DROP PARTITION v1.
• [SPARK-33980] [SS] char/varchar в spark.readStream.schema теперь не допускается.
• [SPARK-33945] [SQL][3.1] Обработка случайного начального значения, состоящего из дерева expr.
• [SPARK-33398] Исправлена загрузка моделей дерева для версий до Spark 3.0.
• [SPARK-33963] [SQL] HiveTableRelation без статистики таблицы теперь является каноническим.
• [SPARK-33906] [WEBUI] Исправлена ошибка с зависанием страницы пользовательского интерфейса исполнителя из-за неопределенности peakMemoryMetrics.
• [SPARK-33944] [SQL] Неправильное ведение журнала для ключей хранилища в параметрах SharedState.
• [SPARK-33936] [SQL][3.1] Добавление версии при добавлении интерфейсов соединителя.
• [SPARK-33916] [CORE] Исправлено смещение резервного хранилища и увеличено покрытие тестирования кодека сжатия.
• [SPARK-33899] [SQL][3.1] Исправлена ошибка утверждения в версии 1 SHOW TABLES/VIEWS на spark_catalog
• [SPARK-33901] [SQL] Устранена ошибка при отображении Char и Varchar после DDL.
• [SPARK-33897] [SQL] Не удается задать параметр cross в методе join.
• [SPARK-33907] [SQL][3.1] Лишние столбцы удаляются из JsonToStructs только в том случае, если параметры обработки пустые.
• [SPARK-33621][SPARK-33784] [SQL] [3.1] Добавьте способ внедрения правил перезаписи источника данных
• [SPARK-33900] [WEBUI] Исправлено отображение размера или числа записей при считывании в случайном порядке, если доступно только remotebytesread.
• [SPARK-33892] [SQL] Отображение char/varchar в DESC и SHOW CREATE TABLE
• [SPARK-33895] [SQL] Исправлен сбой Char и Varchar при MetaOperation в ThriftServer.
• [SPARK-33659] [SS] Задокументирование текущее поведение DataStreamWriter.toTable API.
• [SPARK-33893] [CORE] Диспетчер резервных блоков исключен из executorList.
• [SPARK-33277] [PYSPARK][SQL] ContextAwareIterator используется для прекращения потребления после выполнения задачи.
• [SPARK-33889] [SQL][3.1] Исправлено NPE из SHOW PARTITIONS в таблицах V2.
• [SPARK-33879] [SQL] Исправлена ошибка соответствия значений Char Varchar как столбцов секции.
• [SPARK-33877] [SQL] Справочные документы SQL для INSERT со списком столбцов
• [SPARK-33876] [SQL] Добавлена проверка длины для чтения char/varchar из таблиц с внешним расположением.
• [SPARK-33846] [SQL] Включены комментарии для вложенной схемы в StructType.toDDL.
• [SPARK-33860] [SQL] CatalystTypeConverters.convertToCatalyst соответствует специальному значению массива.
• [SPARK-33834] [SQL] Проверка ALTER TABLE ИЗМЕНЕНИЯ COLUMN с помощью Char и Varchar
• [SPARK-33853] [SQL] EXPLAIN CODEGEN и BenchmarkQueryTest не отображают код вложенных запросов
• [SPARK-33836] [SS][PYTHON] Предоставлены DataStreamReader.table и DataStreamWriter.toTable.
• [SPARK-33829] [SQL][3.1] При переименовании таблиц v2 повторно создается кэш.
• [SPARK-33756] [SQL] MapIterator для BytesToBytesMap теперь является идемпотентным.
• [SPARK-33850] [SQL] EXPLAIN FORMATTED не отображает план для вложенных запросов, если AQE включен
• [SPARK-33841] [CORE][3.1] Исправлена проблема с периодическим исчезновением заданий из SHS при высокой нагрузке.
• [SPARK-33593] [SQL] Средство чтения векторов теперь получает корректные данные со значением двоичной секции.
• [SPARK-26341] [WEBUI] Метрики памяти исполнителя предоставляются на уровне этапа, на вкладке "Этапы".
• [SPARK-33831] [UI] Обновление до jetty 9.4.34.
• [SPARK-33822] [SQL] Теперь в HashJoin используется метод CastSupport.cast.
• [SPARK-33774] [UI][CORE] "Back to Master" возвращает ошибку 500 в изолированном кластере.
• [SPARK-26199][SPARK-31517] [R] Исправлена стратегия обработки ... в mutate.
• [SPARK-33819] [CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader теперь использует package private.
• [SPARK-33697] [SQL] RemoveRedundantProjects теперь требует упорядочивание столбцов по умолчанию.
• [SPARK-33752] [SQL][3,1] getSimpleMessage из AnalysisException теперь не добавляет точку с запятой несколько раз.
• [SPARK-33788] [SQL][3.1][3.0][2.4] Теперь выдается исключение NoSuchPartitionsException из HiveExternalCatalog.dropPartitions().
• [SPARK-33803] [SQL] Сортировка свойств таблицы по ключу в команде DESCRIBE TABLE
• [SPARK-33786] [SQL] Уровень хранилища для кэша теперь учитывается при изменении имени таблицы.
• [SPARK-33273] [SQL] Исправлено состояние гонки при выполнении вложенного запроса.
• [SPARK-33653] [SQL][3.1] DSv2: REFRESHREFRESH TABLE должен повторно кэшировать таблицу.
• [SPARK-33777] [SQL] Сортировка выходных данных версии 2 SHOW PARTITIONS
• [SPARK-33733] [SQL] PullOutNondeterministic должен проверять и собирать детерминированное поле.
• [SPARK-33764] [SS] Интервал обслуживания хранилища состояний можно настроить в конфигурации SQL.
• [SPARK-33729] [SQL] При обновлении кэша в Spark не должен использовать кэшированный план при повторном кэшировании данных.
• [SPARK-33742] [SQL][3.1] Теперь выдается исключение PartitionsAlreadyExistException из HiveExternalCatalog.createPartitions().
• [SPARK-33706] [SQL] Требуется полностью заданный идентификатор секции в partitionExists().
• [SPARK-33740] [SQL] Конфигурации Hadoop в hive-site.xml могут переопределять уже существующие конфигурации Hadoop.
• [SPARK-33692] [SQL] Представление должно использовать захваченный каталог и пространство имен для функции поиска.
• [SPARK-33669] Устранено неправильное сообщение об ошибке из монитора состояния приложения YARN, когда sc.stop в режиме клиента YARN.
• [SPARK-32110] [SQL] Нормализованы особые числа с плавающей точкой в HyperLogLog++.
• [SPARK-33677] [SQL] Правило LikeSimplification пропускается, если шаблон содержит какие-либо escape-символы (escapeChar).
• [SPARK-33693] [SQL] spark.sql.hive.convertCTAS теперь не рекомендуется.
• [SPARK-33641] [SQL] Новые типы char/varchar в общедоступных API, которые создают неверные результаты, недействительны.
• [SPARK-32680] [SQL] Теперь не выполняется предварительная обработка V2 CTAS с неразрешенным запросом.
• [SPARK-33676] [SQL] Требуется точное сопоставление спецификации секции со схемой в версии 2 ALTER TABLE .. ADD/DROP PARTITION.
• [SPARK-33670] [SQL] Убедитесь, что поставщик секций — Hive в версии 1 SHOW TABLE EXTENDED
• [SPARK-33663] [SQL] Отмена кэширования теперь не вызывается в несуществующих временных представлениях.
• [SPARK-33667] [SQL] Теперь конфигурация spark.sql.caseSensitive учитывается при разрешении спецификации секции в v1 SHOW PARTITIONS.
• [SPARK-33652] [SQL] DSv2: DeleteFrom обновляет кэш.

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 9.0.

Системная среда

• Операционная система: Ubuntu 20.04.2 LTS
• Java: Zulu 8.54.0.21-CA-linux64
• Scala: 2.12.10
• Python: 3.8.10
• R: 4.1.0 (2021-05-18)
• Delta Lake 1.0.0

Установленные библиотеки Python

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 28.07.2021.

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)