Поделиться через

Databricks Runtime 8.0 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

Databricks выпустила эту версию в марте 2021 года.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 8.0 на платформе Apache Spark 3.1.1.

Новые возможности

Databricks Runtime 8.0 включает Apache Spark 3.1.1. Более подробную информацию см. в разделе Apache Spark.

Усовершенствования

Если формат не указан, теперь по умолчанию используется формат Delta.

В Databricks Runtime 8.0 формат по умолчанию изменен на delta, чтобы упростить создание разностной таблицы. Если при создании таблицы с помощью команд SQL или API {Dataset|DataFrame}.{read|readStream|write|writeTo|writeStream} формат не задан, по умолчанию используется формат delta.

Delta Lake обеспечивает более высокую производительность по сравнению с Parquet, повышает надежность данных благодаря эффективной проверке схем, ограничениям по качеству и гарантиям выполнения транзакций. Delta Lake позволяет упростить конвейеры данных благодаря объединению структурированной потоковой передачи и пакетной обработки в одном источнике данных.

Хотя для хранения данных в Databricks рекомендуется использовать Delta Lake, устаревшие рабочие процессы могут требовать миграции на Delta Lake. Сведения о переносе существующих рабочих процессов см. в статье Что такое Delta Lake?.

Новый интервал триггера по умолчанию для структурированной потоковой передачи сокращает затраты.

Если не задать интервал триггера с помощью параметра Trigger.ProcessingTime в потоковых запросах, то для интервала устанавливается значение 500 мс. Ранее интервал по умолчанию составлял 0 мс. Это изменение должно сократить количество пустых триггеров и снизить затраты на облачное хранилище, например на получение списка.

Использование функции преобразования LDA со сквозной передачей учетных данных (общедоступная предварительная версия)

Теперь функцию преобразования LDA можно использовать в кластере, настроенном для проверки подлинности со сквозной передачей учетных данных.

Для кластеров с одним пользователем, настроенных для сквозной передачи учетных данных, больше не требуется применять доверенные файловые системы (общедоступная предварительная версия)

Вам больше не нужно настраивать локальные файловые системы в качестве доверенных при использовании стандартного кластера или кластера заданий, настроенного для сквозной передачи учетных данных с одним пользователем. Это изменение приводит к снятию ненужных ограничений файловой системы при выполнении заданий в кластере с одним пользователем.

Обновления библиотек

Apache Spark

Databricks Runtime 8.0 включает Apache Spark 3.1.1.

В этом разделе рассматриваются следующие вопросы.

Ядро и Spark SQL

Выделить

Улучшения совместимости с ANSI SQL

  • Поддержка типа данных char/varchar (SPARK-33480)
  • Режим ANSI: ошибки времени выполнения вместо возврата значения NULL (SPARK-33275)
  • Режим ANSI: новые правила синтаксиса явного приведения (SPARK-33354)
  • Добавление стандартной команды SQL SET TIME ZONE (SPARK-32272)
  • Унификация синтаксиса создания таблиц SQL (SPARK-31257)
  • Объединение схем работы временного и постоянного представлений (SPARK-33138)
  • Поддержка списка столбцов в операторе INSERT (SPARK-32976)
  • Поддержка вложенных комментариев ANSI в скобках (SPARK-28880)

Улучшения в плане производительности

  • Локальное чтение данных из локального узла без службы смещения (SPARK-32077)
  • Удаление избыточных операций сортировки перед повторным секционированием узлов (SPARK-32276)
  • Частичная отправка предикатов (SPARK-32302, SPARK-32352)
  • Отправка фильтров с помощью команды expand (SPARK-33302)
  • Отправка большего числа возможных предикатов через соединение и преобразование CNF (SPARK-31705)
  • Удаление смещения путем сохранения секционирования выходных разделов для широковещательного хэш-соединения (SPARK-31869)
  • Удаление смещения путем улучшения переупорядочения ключей соединения (SPARK-32282)
  • Удаление смещения путем нормализации секционирования и порядка сортировки выходных данных (SPARK-33399)
  • Улучшение хэш-соединения с перетасовкой (SPARK-32461)
    • Сохранение смещенного секционирования хэш-соединений на стороне сборки (SPARK-32330)
    • Сохранение упорядочения хэш-соединения на стороне потока (BHJ и SHJ) (SPARK-32383)
    • Объединение контейнеризованных таблиц для объединения со слиянием и сортировкой (SPARK-32286)
    • Добавление генератора кода для смещенного хэш-соединения (SPARK-32421)
    • Поддержка полного внешнего соединения в смещенном хэш-соединении (SPARK-32399)
  • Поддержка исключения части выражения в проекте с полноэтапной генерацией кода (SPARK-33092)
  • Поддержка исключения части выражения в условных выражениях (SPARK-33337)
  • Поддержка исключения части выражения для оценки интерпретируемого выражения (SPARK-33427)
  • Поддержка исключения части выражения для интерпретируемого предиката (SPARK-33540)
  • Другие правила оптимизатора
    • Правило ExtractSingleColumnNullAwareAntiJoin (SPARK-32290)
    • Правило EliminateNullAwareAntiJoin (SPARK-32573)
    • Правило EliminateAggregateFilter (SPARK-32540)
    • Правило UnwrapCastInBinaryComparison (SPARK-32858)
    • Правило DisableUnnecessaryBucketedScan (SPARK-32859)
    • Правило CoalesceBucketsInJoin (SPARK-31350)
    • Удаление ненужных вложенных полей из генерации без проекта (SPARK-29721)
    • Удаление ненужных вложенных полей из агрегата и расширения (SPARK-27217)
    • Удаление ненужных вложенных полей из повторного секционирования по выражению и соединению (SPARK-31736)
    • Удаление ненужных вложенных полей с использованием косметических вариантов (SPARK-32163)
    • Удаление ненужных вложенных полей из окна и сортировки (SPARK-32059)
    • Оптимизация размера CreateArray/CreateMap до размера дочерних элементов (SPARK-33544)

Улучшения в плане расширяемости

  • Добавление API SupportsPartitions в DataSourceV2 (SPARK-31694)
  • Добавление API SupportsMetadataColumns в DataSourceV2 (SPARK-31255)
  • Обеспечение возможности подключения сериализации кэша SQL (SPARK-32274)
  • Добавление параметра purge в TableCatalog.dropTable для каталога версии 2 (SPARK-33364)

Улучшения соединителей

  • Улучшение фильтра секции хранилища метаданных Hive (SPARK-33537)
    • Поддержка фильтров "содержит", "начинается с" и "заканчивается на" (SPARK-33458)
    • Поддержка фильтров по типу даты (SPARK-33477)
    • Поддержка фильтров по неравенству (SPARK-33582)
  • Паркет
    • Разрешение на использование сложного типа в типе ключа схемы в Parquet (SPARK-32639)
    • Разрешение на сохранение и загрузку INT96 в Parquet без перемещения изменений в другую ветвь (SPARK-33160)
  • ОРК
    • Отправка предиката вложенных столбцов для ORC (SPARK-25557)
    • Обновление Apache ORC до 1.5.12 (SPARK-33050)
  • CSV
    • Использование текстового источника данных SQL во время вывода схемы CSV (SPARK-32270)
  • JSON — .
    • Поддержка отправки фильтров в источнике данных JSON (SPARK-30648)
  • JDBC
    • Реализация API каталога для JDBC (SPARK-32375, SPARK-32579, SPARK-32402, SPARK-33130)
    • Создание API для разработчиков для поставщика проверки подлинности JDBC (SPARK-32001)
    • Добавление возможности отключения поставщика подключений JDBC (SPARK-32047)
  • Avro
    • Поддержка отправки фильтров в источнике данных Avro (SPARK-32346)

Усовершенствования функций

  • Удаление узла (SPARK-20624)
    • Базовая платформа (SPARK-20628)
    • Миграция блоков RDD во время вывода из эксплуатации (SPARK-20732)
    • Корректный вывод из эксплуатации в рамках динамического масштабирования (SPARK-31198)
    • Миграция блоков смещения во время вывода из эксплуатации (SPARK-20629)
    • Завершение работы исполнителя только по завершении миграции задач и блоков (SPARK-31197)
    • Поддержка резервного хранилища во время вывода из эксплуатации (SPARK-33545)
  • Новые встроенные функции
  • усовершенствование команды EXPLAIN (SPARK-32337, SPARK-31325)
  • Параметр для отключения заданных пользователем подсказок (SPARK-31875)
  • Поддержка синтаксиса REPLACE COLUMNS в стиле Hive (SPARK-30613)
  • Поддержка операторов LIKE ANY и LIKE ALL (SPARK-30724)
  • Поддержка MATCHED и NOT MATCHED в MERGE INTO без ограничений (SPARK-32030)
  • Поддержка литералов float с суффиксами F (SPARK-32207)
  • Поддержка синтаксиса RESET для сброса единственной конфигурации (SPARK-32406)
  • Поддержка выражения фильтра для одновременного использования DISTINCT (SPARK-30276)
  • Поддержка команды изменения таблицы и добавления/удаления раздела для DSv2 (SPARK-32512)
  • Поддержка подзапросов NOT IN во вложениях условиях OR (SPARK-25154)
  • Поддержка команды REFRESH FUNCTION (SPARK-31999)
  • Добавление методов sameSemantics и sementicHash в набор данных (SPARK-30791)
  • Поддержка составного типа класса case в UDF (SPARK-31826)
  • Поддержка перечисления в кодировщиках (SPARK-32585)
  • Поддержка интерфейсов API withField и dropFields вложенных полей (SPARK-31317, SPARK-32511)
  • Поддержка заполнения значениями NULL отсутствующих столбцов в unionByName (SPARK-29358)
  • Поддержка использования указанных параметров в DataFrameReader.table (SPARK-32592, SPARK-32844)
  • Поддержка расположения HDFS в spark.sql.hive.metastore.jars (SPARK-32852)
  • Встроенная поддержка параметра --archives (SPARK-33530, SPARK-33615)
  • Расширение API ExecutorPlugin путем включения методов для событий запуска и окончания задачи (SPARK-33088)

Другие важные изменения

  • Добавление функции поиска на сайта документации Spark (SPARK-33166)
  • Обновление Apache Arrow до 2.0.0 (SPARK-33213)
  • Включение API времени Java 8 на сервере thrift (SPARK-31910)
  • Включение API времени Java 8 в UDF (SPARK-32154)
  • Проверка переполнения для общей суммы с дробными значениями (SPARK-28067)
  • Исправление конфликтов фиксации в режиме перезаписи динамического раздела (SPARK-27194, SPARK-29302)
  • Удаление упоминаний терминов slave (подчиненный), blacklist (черный список) и whitelist (белый список) (SPARK-32004, SPARK-32036, SPARK-32037)
  • Удаление проверки размера результата задачи для этапа смещения карты (SPARK-32470)
  • Обобщение ExecutorSource для предоставления предоставленных пользователем схем файловой системы (SPARK-33476)
  • Добавление StorageLevel.DISK_ONLY_3 (SPARK-32517)
  • Предоставление метрик памяти исполнителя в пользовательском веб-интерфейсе для исполнителей (SPARK-23432)
  • Предоставление метрик памяти исполнителя на уровне этапа на вкладке "Этапы" (SPARK-26341)
  • Исправление явно задаваемого значения spark.ui.port в режиме кластера YARN (SPARK-29465)
  • Добавление конфигурации spark.submit.waitForCompletion для управления завершением spark-submit в режиме автономного кластера (SPARK-31486)
  • Настройка yarn.Client для вывода прямых ссылок в stdout/stderr драйвера (SPARK-33185)
  • Устранение утечки памяти при сбое сохранения элементов трансляции (SPARK-32715)
  • Обеспечение возможности настройки времени ожидания пульса драйвера BlockManagerMaster (SPARK-34278)
  • Унификация и завершение алгоритмов работы кэша (SPARK-33507)

PySpark

Проект Zen

  • Проект Zen: повышение удобства использования Python (SPARK-32082)
  • Поддержка подсказок для типов PySpark (SPARK-32681)
  • Переработка документации по PySpark (SPARK-31851)
  • Переход на формат документации NumPy (SPARK-32085)
  • Вариант установки для пользователей PyPI (SPARK-32017)
  • Отмена статуса нерекомендуемой операции для вывода схемы DataFrame из списка словарей (SPARK-32686)
  • Упрощение сообщения об исключении из пользовательских функций Python (SPARK-33407)

Другие важные изменения

  • Дедупликация детерминированных вызовов PythonUDF (SPARK-33303)
  • Поддержка функций более высокого порядка в функциях PySpark (SPARK-30681)
  • Поддержка API записи v2x для источников данных (SPARK-29157)
  • Поддержка percentile_approx в функциях PySpark (SPARK-30569)
  • Поддержка inputFiles в объекте DataFrame PySpark (SPARK-31763)
  • Поддержка withField в столбце PySpark (SPARK-32835)
  • Поддержка dropFields в столбце PySpark (SPARK-32511)
  • Поддержка nth_value в функциях PySpark (SPARK-33020)
  • Поддержка acosh, asinh и atanh (SPARK-33563)
  • Поддержка метода getCheckpointDir в PySpark SparkContext (SPARK-33017)
  • Поддержка заполнения значениями NULL отсутствующих столбцов в unionByName (SPARK-32798)
  • Обновление cloudpickle до версии 1.5.0 (SPARK-32094)
  • Добавление поддержки MapType для PySpark с Arrow (SPARK-24554)
  • DataStreamReader.table и DataStreamWriter.toTable (SPARK-33836)

Структурированная потоковая передача

Улучшения в плане производительности

  • Кэширование полученного списка файлов за пределами maxFilesPerTrigger как непрочитанных файлов (SPARK-30866)
  • Оптимизация логики в журнале источника файлового потока и метаданных приемника (SPARK-30462)
  • Предотвращение двукратного чтения компактного журнала метаданных при перезапуске запрос из компактного пакета (SPARK-30900)

Усовершенствования функций

  • Добавление API DataStreamReader.table (SPARK-32885)
  • Добавление API DataStreamWriter.toTable (SPARK-32896)
  • Левостороннее половинное соединение "поток-поток" (SPARK-32862)
  • Полное внешнее соединение "поток-поток" (SPARK-32863)
  • Новый параметр для периода удержания выходных файлов (SPARK-27188)
  • Поддержка сервера истории для структурированной потоковой передачи Spark (SPARK-31953)
  • Добавление проверки схемы состояния при перезапуске запроса (SPARK-27237)

Другие важные изменения

  • Добавление проверки схемы для хранилища состояний потоковой передачи (SPARK-31894)
  • Поддержка использования другого кодека сжатия в хранилище состояний (SPARK-33263)
  • Бесконечное ожидание соединителя Kafka из-за того, что метаданные не обновлялись (SPARK-28367)
  • Обновление Kafka до версии 2.6.0 (SPARK-32568)
  • Поддержка разбиения на страницы для страниц пользовательского интерфейса структурированной потоковой передачи (SPARK-31642, SPARK-30119)
  • Сведения о состоянии в пользовательском интерфейсе структурированной потоковой передачи (SPARK-33223)
  • Сведения о разрыве для водяного знака в пользовательском интерфейсе структурированной потоковой передачи (SPARK-33224)
  • Предоставление сведений о настраиваемых метриках состояния в пользовательском интерфейсе SS (SPARK-33287)
  • Добавление новой метрики для количества строк более поздних, чем водяной знак (SPARK-24634)

MLlib

Советы

  • Входные векторы блокирования LinearSVC (SPARK-30642)
  • Входные векторы блокирования LogisticRegression (SPARK-30659)
  • Входные векторы блокирования LinearRegression (SPARK-30660)
  • Входные векторы блокирования AFT (SPARK-31656)
  • Добавление поддержки для правил связей в ML (SPARK-19939)
  • Добавление сводки по обучению для LinearSVCModel (SPARK-20249)
  • Добавление сводки для RandomForestClassificationModel (SPARK-23631)
  • Добавление сводки по обучению для FMClassificationModel (SPARK-32140)
  • Добавление сводки для MultilayerPerceptronClassificationModel (SPARK-32449)
  • Добавление FMClassifier в SparkR (SPARK-30820)
  • Добавление оболочки LinearRegression для SparkR (SPARK-30818)
  • Добавление оболочки FMRegressor в SparkR (SPARK-30819)
  • Добавление оболочки SparkR для vector_to_array (SPARK-33040)
  • Адаптивное блокирование экземпляров — LinearSVC (SPARK-32907)
  • Реализация поддержки серверного оценщика Python в средстве чтения/записи CrossValidator/TrainValidateSplit/OneVsRest (SPARK-33520)
  • Повышение производительности ML ALS recommendForAll для GEMV (SPARK-33518)
  • Добавление UnivariateFeatureSelector (SPARK-34080)

Другие важные изменения

  • Сводки вычислений GMM и обновление распределений в одном задании (SPARK-31032)
  • Удаление зависимости ChiSqSelector для mllib.ChiSqSelectorModel (SPARK-31077)
  • Сведение результирующего объекта DataFrame тестов в testChiSquare (SPARK-31301)
  • Оптимизация MinHash keyDistance (SPARK-31436)
  • Оптимизация KMeans на основе неравенства треугольников (SPARK-31007)
  • Добавление поддержки весов в ClusteringEvaluator (SPARK-31734)
  • Добавление getMetrics в оценщики (SPARK-31768)
  • Добавление поддержки весов экземпляров в LinearRegressionSummary (SPARK-31944)
  • Добавление задаваемого пользователем столбца в CrossValidator (SPARK-31777)
  • Четность значений по умолчанию параметров ML в признаке и настройке (SPARK-32310)
  • Исправление двойного кэширования в KMeans/BiKMeans (SPARK-32676)
  • Оптимизация преобразования aft (SPARK-33111)
  • Оптимизация преобразования FeatureHasher (SPARK-32974)
  • Добавление функции array_to_vector для столбца DataFrame (SPARK-33556)
  • Четность значений по умолчанию параметров ML в классификации, регрессии, кластеризации и fpm (SPARK-32310)
  • Summary.totalIterations больше maxIters (SPARK-31925)
  • Оптимизация прогнозирования моделей дерева (SPARK-32298)

SparkR

  • Добавление интерфейса SparkR для функций более высокого порядка (SPARK-30682)
  • Поддержка заполнения значениями NULL отсутствующих столбцов в unionByName (SPARK-32798)
  • Поддержка withColumn в функциях SparkR (SPARK-32946)
  • Поддержка timestamp_seconds в функциях SparkR (SPARK-32949)
  • Поддержка nth_value в функциях SparkR (SPARK-33030)
  • Минимальная версия Arrow увеличена до 1.0.0 (SPARK-32452)
  • Поддержка array_to_vector в функциях SparkR (SPARK-33622)
  • Поддержка acosh, asinh и atanh (SPARK-33563)
  • Поддержка from_avro и to_avro (SPARK-33304)

Обновления в рамках обслуживания

См. раздел Служебные обновления Databricks Runtime 8.0.

Системная среда

  • Операционная система: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.50.0.51-CA-Linux64 (сборка 1.8.0_275-B01)
  • Scala: 2.12.10
  • Python: 3.8.8 (обновлено с версии 3.8.6 26 мая, обновление в рамках обслуживания 26 мая 2021 г.)
  • R: версия R 4.0.3 (2020-10-10)
  • Delta Lake: 0.8.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2020.12.5 cffi 1.14.3 chardet 3.0.4
криптография 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.1 docutils 0.15.2
entrypoints 0,3 filelock 3.0.12 idna 2,10
ipykernel 5.3.4 ipython 7.19.0 ipython-genutils 0.2.0
jedi 0.17.2 jmespath 0.10.0 joblib 0.17.0
jupyter-client 6.1.7 jupyter-core 4.6.3 kiwisolver 1.3.0
koalas 1.5.0 matplotlib 3.2.2 numpy 1.19.2
pandas 1.1.3 parso 0.7.0 patsy 0.5.1
pexpect 4.8.0 pickleshare 0.7.5 pip 20.2.4
prompt-toolkit 3.0.8 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.1 pyzmq 19.0.2
requests 2.24.0 s3transfer 0.3.3 scikit-learn 0.23.2
scipy 1.5.2 мореборн 0.10.0 setuptools 50.3.1
six 1.15.0 statsmodels 0.12.0 threadpoolctl 2.1.0
tornado 6.0.4 traitlets 5.0.5 urllib3 1.25.11
virtualenv 20.2.1 wcwidth 0.2.5 wheel 0.35.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 02.11.2020.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.2.1
base 4.0.3 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 большой двоичный объект 1.2.1
загрузка 1.3-25 заваривать 1.0–6 brio 1.1.0
метла 0.7.2 вызывающий объект 3.5.1 крышка 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-17
cli 2.2.0 clipr 0.7.1 cluster 2.1.0
codetools 0.2-18 colorspace 2.0-0 commonmark 1,7
компилятор 4.0.3 config 0,3 covr 3.5.1
cpp11 0.2.4 карандаш 1.3.4 учетные данные 1.3.0
переходный разговор 1.1.0.1 curl 4.3 data.table 1.13.4
наборы данных 4.0.3 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 средства разработки 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0,16
многоточие 0.3.1 evaluate 0,14 вентиляторы 0.4.1
Farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 иностранный 0.8-79 forge 0.2.0
fs 1.5.0 будущее 1.21.0 Универсальные шаблоны 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
клей 1.4.2 Говер 0.2.2 графика 4.0.3
grDevices 4.0.3 grid 4.0.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
высокий 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Итераторы 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-18 трикотажный 1,30
маркирование 0.4.2 later 1.1.0.1 решётка 0.20-41
Lava 1.6.8.1 lazoval 0.2.2 жизненный цикл 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1,1 МАССАЧУСЕТС 7.3-53 «Матрица» 1.2-18
memoise 1.1.0 оплаты 4.0.3 mgcv 1.8-33
мим 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-151 nnet 7.3-14
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.0.3
parallelly 1.22.0 столб 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 хвалить 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Ход выполнения 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 Рецепты 0.1.15
реванш 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-7 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 весы 1.1.1
селектор 0.4-2 sessioninfo 1.1.1 форма 1.4.5
блестящий 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.0 пространственный 7.3-11 Сплайны 4.0.3
sqldf 0.4-11 SQUAREM 2020.5 stats 4.0.3
статистика4 4.0.3 stringi 1.5.3 stringr 1.4.0
выживание 3.2-7 sys 3,4 tcltk 4.0.3
ОбучениеDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
TimeDate 3043.102 tinytex 0,28 средства 4.0.3
usethis 2.0.0 utf8 1.1.4 служебные программы 4.0.3
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 усы 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.0
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1,6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0–M20
org.apache.directory.api api-util 1.0.0–M20
org.apache.directory.server apacheds-i18n 2.0.0–M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0–M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet parquet-column 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity скорость 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.34.v20201102
org.eclipse.jetty jetty-continuation 9.4.34.v20201102
org.eclipse.jetty jetty-http 9.4.34.v20201102
org.eclipse.jetty jetty-io 9.4.34.v20201102
org.eclipse.jetty jetty-jndi 9.4.34.v20201102
org.eclipse.jetty jetty-plus 9.4.34.v20201102
org.eclipse.jetty jetty-proxy 9.4.34.v20201102
org.eclipse.jetty jetty-security 9.4.34.v20201102
org.eclipse.jetty jetty-server 9.4.34.v20201102
org.eclipse.jetty jetty-servlet 9.4.34.v20201102
org.eclipse.jetty jetty-servlets 9.4.34.v20201102
org.eclipse.jetty jetty-util 9.4.34.v20201102
org.eclipse.jetty jetty-webapp 9.4.34.v20201102
org.eclipse.jetty jetty-xml 9.4.34.v20201102
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.0
org.roaringbitmap shims 0.9.0
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark неиспользованный 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52