Databricks Runtime 4.1 (EoS)

Databricks выпустила эту версию в мае 2018 года.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 4.1 на платформе Apache Spark.

Delta Lake

Databricks Runtime версии 4.1 включает значительные улучшения качества и функциональности Delta Lake. Databricks настоятельно рекомендует всем клиентам Delta Lake переход на новую среду выполнения. Этот выпуск останется в закрытой предварительной версии, но будет доступен до выхода предстоящего общедоступного выпуска.

Delta Lake теперь также доступен для пользователей Azure Databricks в закрытой предварительной версии. Обратитесь к своему менеджеру по работе с клиентами или зарегистрируйтесь по адресу https://databricks.com/product/databricks-delta.

Критические изменения

• Databricks Runtime 4.1 включает изменения в протоколе транзакций, необходимые для работы новых функций, таких как проверка. Таблицы, созданные с помощью Databricks Runtime 4.1, автоматически используют новую версию и не могут записываться в более старые версии Databricks Runtime. Чтобы воспользоваться преимуществами этих улучшений, необходимо обновить существующие таблицы. Чтобы обновить существующую таблицу, сначала обновите все задания, которые записываются в таблицу. Затем запустите:

  com.databricks.delta.Delta.upgradeTableProtocol("<path-to-table>" or "<tableName>")
  

  Дополнительные сведения см. в статье о том, как Azure Databricks управляет совместимостью функций Delta Lake?

• Записи теперь проверяются на соответствие текущей схеме таблицы вместо автоматического добавления столбцов, отсутствующих в целевой таблице. Чтобы включить предыдущее поведение, задайте для параметра mergeSchema значение true.

• Если вы используете более ранние версии Databricks Delta, то прежде, чем использовать Databricks Runtime 4.1, вам нужно обновить все задания. Если у вас возникает одна из этих ошибок, выполните обновление до Databricks Runtime 4.1:

  java.lang.NumberFormatException: For input string: "00000000000000....crc"
  scala.MatchError
  

• Таблицы больше не могут иметь столбцы, которые отличаются только по регистру.

• Теперь дельта-специфичные конфигурации таблиц должны иметь префикс delta..

Новые возможности

• управление схемами . Databricks Delta теперь проверяет добавления и перезаписи в существующую таблицу, чтобы гарантировать соответствие схемы.

  • Databricks Delta продолжает поддерживать автоматическую эволюцию схемы.
  • Databricks Delta теперь поддерживает следующий DDL для явного изменения схемы:
    • ALTER TABLE ADD COLUMN добавление новых столбцов в таблицу
    • ALTER TABLE CHANGE COLUMNS изменить порядок столбцов
    • ALTER TABLE [SET|UNSET] TBLPROPERTIES

  Для получения подробной информации см. применение схемы.

• расширенная поддержка DDL и таблиц

  • Полная поддержка DDL таблицы и saveAsTable(). Команды save() и saveAsTable() теперь имеют одинаковую семантику.
  • Все команды DDL и DML поддерживают имя таблицы и delta.`<path-to-table>`.
  • SHOW PARTITIONS
  • SHOW COLUMNS
  • DESC TABLE
  • Подробные сведения о таблице. Текущие версии средства чтения и записи таблицы можно просмотреть, выполнив DESCRIBE DETAIL. См. статью Как Azure Databricks управляет совместимостью функций Delta Lake?.
  • Сведения о таблице. Сведения о происхождении теперь доступны для каждой записи в таблицу. На боковой панели данных также показаны подробные сведения и история для таблиц Databricks Delta. Посмотрите сведения о таблице Delta Lake , используя команду описания.
  • Потоковые таблицы — потоковые DataFrames можно создать с помощью spark.readStream.format("delta").table("<table-name>").
  • Таблицы с возможностью только добавления записей — в Databricks Delta теперь реализована базовая поддержка управления данными. Для предотвращения удаления и изменения таблицы, установите свойство таблицы с параметрамиdelta.appendOnly=true.
  • Источник MERGE INTO: добавляет более комплексную поддержку в спецификацию исходного запроса MERGE. Например, можно указать в источнике LIMIT, ORDER BY и INLINE TABLE.
  • Полная поддержка ACL таблиц.

Улучшения производительности

• Снижение затрат на сбор статистики . Эффективность сбора статистики была улучшена, и статистика теперь собирается только для настраиваемого количества столбцов, для которых установлено значение 32 по умолчанию. Прирост производительности операций записи Databricks Delta до 100 % за счет сокращения расхода ресурсов на сбор статистики. Чтобы настроить количество столбцов, установите свойства таблицы delta.dataSkippingNumIndexedCols=<number-of-columns>.
• Поддержка ограничения на уровне запроса. Статистика используется для ограничения количества файлов, сканируемых для запросов, которые содержат LIMIT и предикаты по секционированным столбцам. Это относится к запросам в записных книжках из-за неявного ограничения limit=1000, применимого ко всем командам записной книжки.
• Принудительная фильтрация потоковой передачи исходных данных: теперь при запуске нового потока потоковая передача запросов задействует секционирование, что позволяет пропускать несущественные данные.
• Улучшенный параллелизм для команды OPTIMIZE: теперь команда - выполняется как одна задача Spark и будет использовать все возможности параллелизма, доступные в кластере (ранее действовало ограничение в 100 сжатых файлов за раз).
• Пропуск данных в DML: теперь команды UPDATE, DELETE и MERGE используют статистику при поиске файлов, которые требуют перезаписи.
• Уменьшение срока хранения контрольных точек: теперь контрольные точки хранятся два дня (журнал — по-прежнему 30), что позволяет сократить затраты на хранение журнала транзакций.

Поведение API

• insertInto(<table-name>) в Databricks Delta ведет себя так же, как и другие источники данных.
  • Если режим не указан или если режим mode равен ErrorIfExists, Ignoreили Append, то данные добавляются в таблицу Databricks Delta.
  • Если mode является Overwrite, удаляет все данные в существующей таблице и вставляет данные из DataFrame в таблицу Databricks Delta.
• Если есть кэширование, целевая таблица MERGE должна быть вручную удалена из кэша.

Повышение удобства использования

• Проверка миграции рабочей нагрузки— распространенные ошибки при переносе рабочих нагрузок в Databricks Delta теперь вызывают исключение, а не сбой:
  • Использование format("parquet") для чтения или записи таблицы.
  • Чтение или запись непосредственно в раздел (то есть /path/to/delta/part=1).
  • Очистка подкаталогов таблицы.
  • INSERT OVERWRITE DIRECTORY с использованием Parquet на таблице.
• Конфигурация с нечувствительностью к регистру - Параметры для DataFrame Reader/Writer и свойства таблицы теперь нечувствительны к регистру (включая как процесс чтения, так и процесс записи).
• Имена столбцов — имена столбцов таблицы теперь могут содержать точки.

Известные проблемы

• Вставки инструкций с несколькими вставками находятся в разных единицах работы, а не в одной транзакции.

Исправления ошибок

• Бесконечный цикл при запуске нового потока в быстро обновляемой таблице был исправлен.

Устаревшие элементы

Структурированная потоковая передача не обрабатывает входные данные, которые не являются добавлением и вызывает исключение, если какие-либо изменения происходят в таблице, используемой в качестве источника. Ранее это поведение можно было переопределить с помощью флага ignoreFileDeletion, но теперь это не рекомендуется. Используйте вместо этого ignoreDeletes или ignoreChanges. См. таблицу Delta в качестве источника.

Другие изменения и улучшения

• Добавлен модуль наблюдения за запросами для всех универсальных кластеров, созданных с помощью пользовательского интерфейса.
• На стороне драйвера улучшена производительность для кэша DBIO.
• Улучшена скорость декодирования Parquet за счет использования нового собственного декодера Parquet.
• Увеличена скорость исключения общих частей выражений.
• Улучшена производительность функции пропуска данных для объединения больших таблиц с небольшими таблицами (объединения таблиц фактов и измерений)
• display() теперь отображает столбцы, содержащие изображения, в виде богатого HTML.
• Усовершенствования для журналов, загрузки и регистрации моделей MLflow
  • DBML-local обновлен до последней версии 0.4.1;
  • исправлена ошибка, при которой модели экспортировались с заданным параметром threshold;
  • добавлена поддержка экспорта OneVsRestModel и GBTClassificationModel.
• Обновлены некоторые установленные библиотеки Python:
  • pip: с версии 9.0.1 до версии 10.0.0b2;
  • setuptools: с версии 38.5.1 до версии 39.0.1;
  • tornado: с версии 4.5.3 до версии 5.0.1;
  • wheel: с версии 0.30.0 до версии 0.31.0.
• Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.
• Пакет SDK для Azure Data Lake Store обновлен с версии 2.0.11 до версии 2.2.8.
• CUDA для кластеров GPU обновлен с версии 8.0 до версии 9.0, а CUDNN — с версии 6.0 до версии 7.0.

Apache Spark

Databricks Runtime 4.1 включает Apache Spark 2.3.0. Этот выпуск включает все исправления и улучшения, включенные в Databricks Runtime 4.0 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

• [SPARK-24007][SQL] EqualNullSafe для FloatType и DoubleType может привести к неправильному результату при генерации кода.
• [SPARK-23942][PYTHON] [SQL]: выполняет сбор данных в PySpark как действие для прослушивателя выполнений запросов.
• [SPARK-23815][CORE] Режим перезаписи динамических разделов в Spark может завершиться ошибкой записи выходных данных на многоуровневый раздел.
• [Spark-23748][СС]: устранена проблема с тем, что непрерывный процесс SS не поддерживает SubqueryAlias.
• [SPARK-23963][SQL] Правильно обрабатывать большое количество столбцов в запросе к текстовой таблице Hive
• [SPARK-23867][SCHEDULER]: использование droppedCount в logWarning.
• [SPARK-23816][CORE]: завершенные задачи должны игнорировать FetchFailures.
• [SPARK-23809][SQL] Active SparkSession следует задать с помощью getOrCreate
• [Spark-23966][SS]: рефакторинг всей логики записи файла контрольных точек в общем интерфейсе CheckpointFileManager.
• [SPARK-21351][SQL] Обновление nullability на основе выходных данных дочерних объектов
• [SPARK-23847][PYTHON] [SQL]: в PySpark добавлены asc_nulls_first, asc_nulls_last.
• [SPARK-23822][SQL] Улучшено сообщение об ошибке для несоответствий схемы Parquet
• SPARK-23823[SQL]: сохранение оригинала в transformExpression.
• SPARK-23838[WEBUI]: отображение запуска SQL-запроса как завершенного на вкладке SQL.
• SPARK-23802[SQL]: PropagateEmptyRelation может оставлять план запроса в неразрешенном состоянии.
• [SPARK-23727][SQL]: поддержка принудительной отправки фильтров для DateType в Parquet.
• [SPARK-23574][SQL]: отчет о SinglePartition в DataSourceV2ScanExec при наличии ровно 1 фабрики модулей чтения данных.
• [SPARK-23533][SS]: добавлена поддержка изменения параметра startOffset для ContinuousDataReader.
• [SPARK-23491][SS] Удаление явной отмены задания из перенастройки непрерывного выполнения
• SPARK-23040[CORE]: возвращает прерываемый итератор для модуля чтения в случайном порядке.
• SPARK-23827[SS]: команда StreamingJoinExec должна выполняться так, чтобы входные данные разделялись на определенное количество разделов.
• [SPARK-23639][SQL]: получение маркера до клиента хранилища метаданных инициализации в CLI SparkSQL.
• SPARK-23806: Broadcast.unpersist может вызвать фатальное исключение при использовании...
• SPARK-23599[SQL]: использование RandomUUIDGenerator в выражении Uuid.
• SPARK-23599[SQL]: добавлен генератор UUID из псевдослучайных чисел.
• SPARK-23759[UI]: невозможно связать пользовательский интерфейс Spark с конкретным именем узла или IP-адреса.
• [SPARK-23769][CORE] Удалите комментарии, которые необязательно отключают проверку Scalastyle
• SPARK-23614[SQL]: исправлен неверный обмен повторного использования при использовании кэширования.
• [SPARK-23760][SQL] CodegenContext.withSubExprEliminationExprs должны правильно сохранять и восстанавливать состояние CSE.
• SPARK-23729[CORE]: учет фрагмента универсального кода ресурса (URI) при разрешении проблем пакетов glob.
• [SPARK-23550][CORE]: очистка служебных программ.
• SPARK-23288[SS]: с помощью приемника Parquet исправлены выходные показатели.
• SPARK-23264[SQL]: исправлена ошибка scala.MatchError в literals.sql.out.
• SPARK-23649[SQL]: пропуск символов, запрещенных в UTF-8.
• [SPARK-23691][PYTHON] Используйте утилиту sql_conf в тестах PySpark, где это возможно
• SPARK-23644[CORE][UI]: использование абсолютного пути для вызова REST в SHS.
• [SPARK-23706][PYTHON] spark.conf.get(value, default=None) должен производить None в PySpark
• SPARK-23623[SS]: избегание параллельного использования кэшированных потребителей в CachedKafkaConsumer.
• SPARK-23670[SQL]: устранена проблема утечки памяти в SparkPlanGraphWrapper.
• SPARK-23608[CORE][WEBUI]: добавлена синхронизация в SHS между функциями attachSparkUI и detachSparkUI во избежание проблемы параллельной модификации в обработчиках Jetty.
• SPARK-23671[CORE]: исправлено условия для включения пула потоков SHS.
• SPARK-23658[LAUNCHER]: InProcessAppHandle использует в getLogger неверный класс.
• SPARK-23642[DOCS]: подкласс AccumulatorV2 — исправление isZero scaladoc.
• SPARK-22915[MLLIB]: тесты потоковой передачи для spark.ml.feature от N до Z.
• SPARK-23598[SQL]: методы в BufferedRowIterator сделаны общедоступными, чтобы при выполнении большого запроса не возникала ошибка времени выполнения.
• [SPARK-23546][SQL] Рефакторинг методов и значений без состояния в CodegenContext
• [SPARK-23523][SQL]: исправлен неверный результат, выдаваемый правилом OptimizeMetadataOnlyQuery.
• SPARK-23462[SQL]: оптимизировано сообщение об ошибке отсутствующего поля в StructType.
• SPARK-23624[SQL]: пересмотрен документ по методу pushFilters в Datasource версии 2.
• SPARK-23173[SQL]: исправлена проблема с созданием поврежденных файлов Parquet при загрузке данных из JSON.
• [SPARK-23436][SQL] Определить секцию как дату, только если ее можно преобразовать в дату
• [SPARK-23406][SS]: включены самосоединения типа поток-поток.
• [SPARK-23490][SQL] Проверьте storage.locationUri с существующей таблицей в CreateTable
• SPARK-23524: большие локальные блоки в случайном порядке не должны проверяться на предмет ошибок.
• [SPARK-23525][SQL] Поддержка ALTER TABLE CHANGE COLUMN COMMENT для внешней таблицы Hive
• SPARK-23434[SQL]: Spark не должен предупреждать каталог метаданных о пути к файлу HDFS.
• SPARK-23457[SQL]: прослушиватели завершения задач сначала регистрируются в ParquetFileFormat.
• SPARK-23329[SQL]: исправлена документация по тригонометрическим функциям.
• SPARK-23569[PYTHON]: pandas_udf разрешено работать с аннотированными функциям стиля python3.
• SPARK-23570[SQL]: Spark 2.3.0 добавлен в HiveExternalCatalogVersionsSuite.
• [SPARK-23517][PYTHON]: если возникает _pyspark.util.exception_message, Py4JJavaError оставляет след на стороне Java.
• [SPARK-23508][CORE]: исправлен BlockmanagerId, когда blockManagerIdCache вызывает oom.
• [SPARK-23448][SQL]: в документе разъяснено поведение средства синтаксического анализа JSON и CSV.
• [Spark-23365][CORE]: число исполнителей при завершении простаивающих исполнителей больше не корректируется.
• [Spark-23438][DSTREAMS]: устранена проблема потери данных DStreams за счет использования WAL при сбоях драйвера.
• [Spark-23475][UI]: добавлено отображение пропущенных этапов.
• [SPARK-23518][SQL]: исключено предоставление доступа к хранилищу метаданных в случаях, когда пользователям нужно только читать и записывать кадры данных.
• [SPARK-23406][SS]: включены самосоединения типа поток-поток.
• [Spark-23541][SS]: источнику Kafka разрешено считывать данные с большей степенью параллелизма, чем количество секций статей.
• [SPARK-23097][SQL][SS]: перенос источника текстовых сокетов в версию 2.
• [SPARK-23362][SQL][SS]: перенос источника микропакетов Kafka в версию 2.
• [SPARK-23445]: выполнен рефакторинг ColumnStat.
• [SPARK-23092][SQL]: перенос MemoryStream в API DataSource версии 2.
• [SPARK-23447][SQL]: очистка шаблона codegen для Literal.
• [Spark-23366]: улучшение пути для оперативного чтения в ReadAheadInputStream.
• [Spark-22624][PYSPARK]: раскрыто секционирования диапазонов в случайном порядке.

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 4.1.

Системная среда

• Операционная система: Ubuntu 16.04.4 LTS
• Java: 1.8.0_162
• Scala: 2.11.8
• Python: 2.7.12 для кластеров Python 2 и 3.5.2 для кластеров Python 3.
• R: R версии 3.4.4 (15.03.2018)
• Кластеры GPU: установлены следующие библиотеки GPU NVIDIA:
  • Драйвер Tesla 375.66
  • CUDA 9.0
  • cuDNN 7.0

Установленные библиотеки Python

Installed R Libraries

Установленные библиотеки Java и Scala (версия кластера Scala 2.11)