Databricks Runtime 4.0 (EoS)

Databricks выпустила эту версию в марте 2018 года.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 4.0 на платформе Apache Spark.

Изменения и улучшения

• Источник данных JSON теперь пытается автоматически определить кодировку, вместо того чтобы предполагать использование UTF-8. В случаях, когда автоматическое обнаружение завершается неудачно, пользователи могут указать параметр CharSet, чтобы применять определенную кодировку. См. раздел Автоматическое обнаружение кодировки.
• Оценка и прогнозирование с помощью конвейеров Spark MLlib в структурированной потоковой передаче полностью поддерживаются.
• Экспорт модели Машинного обучения Databricks полностью поддерживается. С помощью этой функции можно обучить модель MLlib Spark на модулях данных, экспортировать ее с помощью вызова функции и использовать библиотеку Databricks в системе по выбору для импорта модели и оценки новых данных.
• Новая реализация источника данных Spark предлагает масштабируемый доступ для чтения и записи в Azure Synapse Analytics. См. Spark — соединитель Azure Synapse Analytics.
• Схема функции from_json теперь всегда преобразуется в допускает значение NULL. Иными словами, все поля, включая вложенные, допускают значение NULL. Это обеспечивает совместимость данных со схемой, предотвращая повреждение после записи данных в Parquet, когда в данных отсутствует поле, а предоставленная пользователем схема объявляет поле как не допускающее значения NULL.
• Обновлены некоторые установленные библиотеки Python:
  • futures: с 3.1.1 до 3.2.0;
  • pandas: с 0.18.1 до 0.19.2;
  • pyarrow: с 0.4.1 до 0.8.0;
  • setuptools: с 38.2.3 до 38.5.1;
  • tornado: с 4.5.2 до 4.5.3.
• Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.
• Обновлен пакет SDK AWS для Java с 1.11.126 до 1.11.253.
• обновлен драйвер JDBC SQL Server с 6.1.0.jre8 до 6.2.2.jre8.
• Обновлен драйвер JDBC PostgreSQL с 9.4-1204-jdbc41 до 42.1.4.

Apache Spark

Databricks Runtime 4.0 включает Apache Spark 2.3.0.

SQL Core, PySpark и Spark

Основные возможности

• Векторизированный модуль чтения ORC: [SPARK-16060]: добавлена поддержка нового модуля чтения ORC, который значительно улучшает пропускную способность сканирования ORC с помощью векторизации (в 2–5 раз). Чтобы включить модуль чтения, пользователи могут задать для spark.sql.orc.impl значение native.
• Сервер журнала Spark версии 2: [SPARK-18085]: новая серверная часть сервера журнала Spark (SHS), обеспечивающая лучшую масштабируемость для крупномасштабных приложений с более эффективным механизмом хранения событий.
• API источника данных версии 2: [SPARK-15689][SPARK-22386]: экспериментальный API для подключения новых источников данных в Spark. Новый API пытается устранить некоторые ограничения API версии 1 и предназначен для упрощения разработки высокопроизводительных, простых в обслуживании и расширяемых внешних источников данных. Этот API все еще находится в состоянии активной разработки, и следует ожидать критических изменений.
• Улучшения производительности PySpark: [SPARK-22216][SPARK-21187]: значительные улучшения производительности и совместимости в Python благодаря быстрой сериализации данных и векторизированному выполнению.

Производительность и стабильность

• [SPARK-21975]: поддержка гистограммы в оптимизаторе на основе затрат.
• [SPARK-20331]: улучшенная поддержка отправки вниз предиката для удаления лишних секций Hive.
• [SPARK-19112]: поддержка кодека сжатия ZStandard.
• [SPARK-21113]: поддержка упреждающего входного потока для чтения, чтобы уменьшить затраты на операции дискового ввода-вывода в модуле чтения сброса.
• [SPARK-22510][SPARK-22692][SPARK-21871]: улучшенная стабилизация платформы CodeGen, чтобы избежать достижения предельного размера байтового кода виртуальной машины Java, составляющего 64 КБ, для метода Java и ограничения пула констант компилятора Java.
• [SPARK-23207]: Исправлена давняя ошибка в Spark, из-за которой последовательное перемешивание и изменение секций в DataFrame могли привести к неверным ответам в определенных случаях.
• [SPARK-22062][SPARK-17788][SPARK-21907]: исправлены различные причины ошибок нехватки памяти.
• [SPARK-22489][SPARK-22916][SPARK-22895][SPARK-20758][SPARK-22266][SPARK-19122][SPARK-22662][SPARK-21652]: улучшения оптимизатора и планировщика на основе правил.

Другие важные изменения

• [SPARK-20236]: поддержка семантики перезаписи динамических секций в стиле Hive.
• [SPARK-4131]: поддержка в INSERT OVERWRITE DIRECTORY записи данных непосредственно в файловую систему из запроса.
• [SPARK-19285][SPARK-22945][SPARK-21499][SPARK-20586][SPARK-20416][SPARK-20668]: улучшения определяемых пользователем функций.
• [SPARK-20463][SPARK-19951][SPARK-22934][SPARK-21055][SPARK-17729][SPARK-20962][SPARK-20963][SPARK-20841][SPARK-17642][SPARK-22475][SPARK-22934]: улучшенное соответствие SQL ANSI и совместимость с Hive.
• [SPARK-20746]: более полные встроенные функции SQL.
• [SPARK-21485]: создание документации Spark SQL для встроенных функций.
• [SPARK-19810]: удалена поддержка Scala 2.10.
• [SPARK-22324]: обновление Arrow до 0.8.0 и Netty до 4.1.17.

Структурированная потоковая передача

Непрерывная обработка

• Новый механизм выполнения, который может выполнять запросы потоковой передачи со сквозной задержкой меньше миллисекунду за счет изменения только одной строки пользовательского кода. Чтобы узнать больше, ознакомьтесь с руководством по программированию.

Соединения "поток — поток"

• Возможность соединения двух потоков данных и буферизации строк до тех пор, пока соответствующие кортежи не поступят в другой поток. Предикаты можно использовать со столбцами времени события, чтобы привязать объем состояния, который необходимо хранить.

API для потоковой передачи версии 2

• Экспериментальный API для подключения новых источников и приемников, который подходит для пакетной, микропакетной и непрерывной обработки. Этот API все еще находится в состоянии активной разработки, и следует ожидать критических изменений.

MLlib

Ключевые моменты

• Прогнозирование Машинного обучения теперь работает со структурированной потоковой передачей с использованием обновленных API. Подробные сведения приведены ниже.

Новые и улучшенные API

• [SPARK-21866]: встроенная поддержка чтения изображений в DataFrame (Scala/Java/Python).
• [SPARK-19634]: функции DataFrame для описательных сводных статистических данных по векторным столбцам (Scala/Java).
• [SPARK-14516]: ClusteringEvaluator для настройки алгоритмов кластеризации, поддерживающих метрики с силуэтом по косинусу и эвклидовому расстоянию (Scala/Java/Python).
• [SPARK-3181]: надежная линейная регрессия с функцией потерь Хьюбера (Scala/Java/Python).
• [SPARK-13969]: преобразователь FeatureHasher (Scala/Java/Python).
• Поддержка нескольких столбцов для нескольких преобразователей функций:
  • [SPARK-13030]: OneHotEncoderEstimator (Scala/Java/Python)
  • [SPARK-22397]: QuantileDiscretizer (Scala/Java)
  • [SPARK-20542]: Bucketizer (Scala/Java/Python)
• [SPARK-21633] и [SPARK-21542]: улучшенная поддержка пользовательских компонентов конвейера в Python.

Новые функции

• [SPARK-21087]: CrossValidator и TrainValidationSplit могут собирать все модели при подгонке (Scala/Java). Это позволяет проверять или сохранять все модели с подгонкой.
• [SPARK-19357]: метаалгоритмы CrossValidator, TrainValidationSplit и OneVsRest поддерживают параметр параллелизма для подгонки нескольких вложенных моделей в параллельных заданиях Spark.
• [SPARK-17139]: сводка по модели для мультиноминальной логистической регрессии (Scala/Java/Python).
• [SPARK-18710]: добавлено смещение в GLM.
• [SPARK-20199]: добавлен параметр featureSubsetStrategy в GBTClassifier и GBTRegressor. Использование его для работы со вложенными выборками функций может значительно повысить скорость обучения. Этот параметр является ключевым преимуществом xgboost.

Другие важные изменения

• [SPARK-22156]: исправлено масштабирование скорости обучения Word2Vec с итерациями num. Новая скорость обучения установлена в соответствии с исходным кодом Word2Vec на языке C и должна давать лучшие результаты обучения.
• [SPARK-22289]: добавлена поддержка JSON для параметров матрицы (исправлена ошибка с сохраняемостью Машинного обучения с LogisticRegressionModel при использовании границ для коэффициентов.)
• [SPARK-22700]: Bucketizer.transform неправильно удаляет строку, содержащую NaN. Если параметру handleInvalid было присвоено значение "skip" (пропустить), то Bucketizer пропускал запись с допустимым значением во входном столбце, если в другом (неактуальном) столбце было указано значение NaN.
• [SPARK-22446]: из-за оптимизатора Catalyst в StringIndexerModel иногда возникало неправильное исключение "Unseen label" (Невидимая метка), если для handleInvalid было задано значение "error" (ошибка). Это могло произойти для отфильтрованных данных, из-за отправки предиката, что приводило к ошибкам даже после того, как недопустимые строки уже были отфильтрованы из входного набора данных.
• [SPARK-21681]: исправлена ошибка в пограничных случаях в мультиноминальной логистической регрессии, которая приводила к неверным коэффициентам, если у некоторых функций была нулевая дисперсия.
• Основные оптимизации:
  • [SPARK-22707]: уменьшено потребления памяти для CrossValidator.
  • [SPARK-22949]: уменьшено потребления памяти для TrainValidationSplit.
  • [SPARK-21690]: Imputer должен обучать данные с помощью одного прохода.
  • [SPARK-14371]: OnlineLDAOptimizer избегает сбора статистики для драйвера для каждого минипакета.

SparkR

Основной целью SparkR в выпуске 2.3.0 было повышение стабильности определяемых пользователем функций и добавление нескольких новых оболочек SparkR вокруг существующих API:

Основные возможности

• Улучшенная четность функций между SQL и R
• [SPARK-22933]: API структурированной потоковой передачи для withWatermark, trigger, partitionBy и соединения потока с потоком.
• [SPARK-21266]: поддержка определяемой пользователем функции SparkR со схемой в формате DDL.
• [SPARK-20726][SPARK-22924][SPARK-22843]: несколько новых оболочек API для DataFrame.
• [SPARK-15767][SPARK-21622][SPARK-20917][SPARK-20307][SPARK-20906]: несколько новых оболочек API для SparkML.

GraphX

Оптимизации

• [SPARK-5484]: Pregel теперь периодически создает контрольные точки, чтобы избежать StackOverflowErrors.
• [SPARK-21491]: небольшое повышение производительности в нескольких местах.

Устаревшие элементы

Python

• [SPARK-23122]: register* теперь не рекомендуется использовать для определяемых пользователем функций в SQLContext и Catalog в PySpark.

MLlib

• [SPARK-13030]: OneHotEncoder теперь не рекомендуется использовать. Он будет удален в версии 3.0. Он заменен на OneHotEncoderEstimator. OneHotEncoderEstimator будет переименован OneHotEncoder в версии 3.0 (но OneHotEncoderEstimator будет оставлен в виде псевдонима).

Изменения в работе

SparkSQL

• [SPARK-22036]: по умолчанию арифметические операции между десятичными числами возвращают округленное значение, если точное представление невозможно (вместо возврата NULL в предыдущих версиях).
• [SPARK-22937]: если все входные данные являются двоичными, elt() SQL возвращает выходные данные в виде двоичных данных. В противном случае возвращается строка. В предыдущих версиях он всегда возвращает строку, независимо от типов входных данных.
• [SPARK-22895]: детерминированные предикаты объединения или фильтра, которые находятся после первых недетерминированных предикатов, также отправляются вниз или через дочерние операторы, если это возможно. В предыдущих версиях эти фильтры не подходили для отправки вниз предиката.
• [SPARK-22771]: если все входные данные являются двоичными, functions.concat() возвращает выходные данные в виде двоичных данных. В противном случае возвращается строка. В предыдущих версиях он всегда возвращает строку, независимо от типов входных данных.
• [SPARK-22489]: если какая-либо из сторон соединения поддерживает трансляцию, предпочтительно транслировать таблицу, явно указанную в подсказке трансляции.
• [SPARK-22165]: вывод столбца секции ранее находил неправильный общий тип для различных выводимых типов. Например, ранее он выбирал тип double как общий тип для типа double и типа date. Теперь он находит правильный общий тип для таких конфликтов. Дополнительные сведения см. в руководстве по миграции.
• [SPARK-22100]: функция percentile_approx ранее принимала входные данные типа numeric и выводила результаты типа double. Теперь он поддерживает тип date, timestamp и numeric в качестве входных данных. Тип результата также меняется на тот же, что и тип входных данных, что лучше подходит для процентилей.
• [SPARK-21610]: запросы из необработанных файлов JSON/CSV запрещены, если столбцы, на которые имеются ссылки, содержат только внутренний поврежденный столбец записи (по умолчанию используется имя _corrupt_record). Вместо этого можно выполнить кэширование или сохранение проанализированных результатов, а затем отправить тот же запрос.
• [SPARK-23421]: начиная с версий Spark 2.2.1 и 2.3.0 схема всегда выводится во время выполнения, если таблицы источников данных содержат столбцы, которые существуют как в схеме секции, так и в схеме данных. Выводимая схема не имеет секционированных столбцов. При чтении таблицы Spark учитывает значения секций этих перекрывающихся столбцов вместо значений, хранящихся в файлах источника данных. В выпуске 2.2.0 и 2.1.x выводимая схема секционирована, но данные таблицы невидимы для пользователей (т. е. результирующий набор пуст).

PySpark

• [SPARK-19732]: na.fill() или fillna также принимает логическое значение и заменяет значения NULL на логические значения. В предыдущих версиях Spark PySpark просто пропускал его и возвращал исходный DataSet/DataFrame.
• [SPARK-22395]: pandas 0.19.2 или более новой версии требуется для использования функций, связанных с pandas, таких как toPandas, createDataFrame из DataFrame pandas и т. д.
• [SPARK-22395]: поведение значений меток времени для функций, связанных с pandas, было изменено, чтобы учитывать часовой пояс сеанса, который не учитывался в предыдущих версиях.
• [SPARK-23328]: df.replace не позволяет опускать value, если to_replace не является словарем. Ранее можно было опустить value в других случаях и использовать None по умолчанию, что противоречит логики и может вызвать ошибки.

MLlib

• Критические изменения API: иерархия классов и признаков для сводных данных модели логистической регрессии была изменена на более понятную и лучше соответствующую добавлению сводных данных нескольких классов. Это критическое изменение пользовательского кода, которое приводит LogisticRegressionTrainingSummary к BinaryLogisticRegressionTrainingSummary. Вместо этого пользователи должны использовать метод model.binarySummary. Дополнительные сведения см. в [SPARK-17139] (обратите внимание, что это API @Experimental). Это не влияет на метод сводки Python, который по-прежнему будет правильно работать как для мультиноминальных, так и для логических вариантов.
• [SPARK-21806]: BinaryClassificationMetrics.pr(): первая точка (0,0, 1,0) является ошибочной и заменена на (0,0, p), где точность p соответствует наименьшей точке полноты.
• [SPARK-16957]: деревья принятия решений теперь используют взвешенные средние точки при выборе раздельных значений. Это может привести к изменению результатов обучения модели.
• [SPARK-14657]: RFormula без перехвата теперь выводит ссылочную категорию при кодировании строковых компонентов, чтобы соответствовать исходному поведению R. Это может привести к изменению результатов обучения модели.
• [SPARK-21027]: параллелизм по умолчанию, используемый в OneVsRest, теперь имеет значение 1 (т. е. последовательный). В 2.2 и более ранних версиях для уровня параллелизма был задан размер пула потоков по умолчанию в Scala. Это может изменить производительность.
• [SPARK-21523]: Breeze обновлен до 0.13.2. Это включает важное исправление ошибки в поиск строки Wolfe для L-BFGS.
• [SPARK-15526]: зависимость JPMML теперь затенена.
• Изменения в поведении, возникающие в результате исправления ошибок см. также в разделе "Исправления ошибок".

Известные проблемы

• [SPARK-23523][SQL]: исправлен неверный результат, который вызвало правило OptimizeMetadataOnlyQuery.
• [SPARK-23406]: исправлены ошибки в самосоединениях между потоками.

Обновления в рамках обслуживания

См. Служебные обновления Databricks Runtime 4.0.

Системная среда

• Операционная система: Ubuntu 16.04.4 LTS
• Java: 1.8.0_151
• Scala: 2.11.8
• Python: 2.7.12 (или 3.5.2 при использовании Python 3)
• R: R версии 3.4.3 (2017-11-30)
• Кластеры GPU: установлены следующие библиотеки GPU NVIDIA:
  • Драйвер Tesla 375.66
  • CUDA 8.0
  • CUDNN 6.0

Установленные библиотеки Python

Установленные библиотеки R

Установленные библиотеки Java и Scala (версия кластера Scala 2.11)