Поделиться через

Databricks Runtime 7.3 LTS (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

Databricks выпустила эту версию в сентябре 2020 года. В октябре 2020 г. было объявлено о долгосрочной поддержке (LTS).

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 7.3 LTS на платформе Apache Spark 3.0.

Сведения о миграции из Databricks Runtime 6.x см. в руководстве по миграции Databricks Runtime 7.x (EoS).

Новые возможности

Функции и улучшения Delta Lake

В этом выпуске реализованы следующие функции и улучшения Delta Lake:

В этом разделе

Оптимизация производительности Delta Lake значительно сокращает затраты

Этот выпуск включает ряд оптимизаций, которые снижают время на выполнение операций Delta Lake с секунд до десятков миллисекунд. Чтобы включить эти оптимизации, необходимо обновить все кластеры, которые записывают и считывают таблицу Delta до Databricks Runtime 7.3 LTS или более поздней версии.

Дополнительные сведения и предостережения см. в разделе Расширенные контрольные точки для запросов с низкой задержкой.

Теперь доступны метрики клонирования

Метрики операций клонирования теперь записываются и могут быть просмотрены с помощью инструкции DESCRIBE HISTORY. Подробности см. в разделе Обзор сведений о таблице Delta Lake с описаниями.

Усовершенствования MERGE INTO в Delta Lake

  • Слияние теперь поддерживает любое количество предложений MATCHED и NOT MATCHED.
  • Запросы слияния, которые безусловно удаляют соответствующие строки, больше не вызывают ошибок при наличии нескольких совпадений.

Выбор начального положения для источника структурированной потоковой передачи Delta Lake

Соединитель потоковой передачи Delta Lake Structured Streaming теперь поддерживает startingVersion и startingTimestamp параметры, чтобы указать начальную точку потокового запроса без обработки всей таблицы. Дополнительные сведения см. в разделе Указание начальной позиции.

Адаптивное выполнение запроса

Адаптивное выполнение запросов (AQE) — это платформа повторной оптимизации запросов, которая динамически корректирует планы запросов во время выполнения на основе собранной статистики времени выполнения. В Databricks Runtime 7.3 LTS возможности AQE включены по умолчанию. Теперь вы можете испытать все функции AQE в действии. Дополнительные сведения см. в разделе Адаптивное выполнение запросов.

Усовершенствования

Автозагрузчик

  • Теперь поддерживается Azure Data Lake Storage 1-го поколения в режиме вывода каталогов
  • Если формат файла text или binaryFile вам больше не нужно предоставить схему. Так как два формата файлов имеют фиксированную схему, автозагрузчик может автоматически использовать фиксированную схему.

Новый контроль длины столбца для соединителя Azure Synapse Analytics

Теперь можно использовать новый параметр maxbinlength для управления длиной столбцов BinaryType. Этот параметр преобразуется в VARBINARY(maxbinlength).

Предыдущий (не настраиваемый) по умолчанию был VARBINARY(MAX), что вызвало проблемы при создании таблиц с двоичными столбцами и схемой индексирования по умолчанию. Создание таблицы завершится неудачей, так как индекс columnstore по умолчанию не поддерживает MAX в строковых и бинарных столбцах.

Упрощенное преобразование pandas в Spark

Чтобы включить следующие улучшения, задайте конфигурацию Spark spark.databricks.execution.pandasZeroConfConversion.enabled.

  • Функция createDataFrame(pandas_df) оптимизирована в Azure Databricks.
  • Если выполнить преобразование невозможно (или его невозможно выполнить эффективно), отображается предупреждение.

Новый параметр maxResultSize в вызове toPandas()

Новый параметр конфигурации (spark.databricks.driver.localMaxResultSize) позволяет управлять значением maxResultSize для вызова df.toPandas(). Ограничение временно изменяется на max(spark.driver.maxResultSize, spark.databricks.driver.localMaxResultSize). Значение по умолчанию для параметра конфигурации — физический объем памяти, деленный на 4.

Если размер результата df.toPandas() больше spark.driver.maxResultSize и меньше spark.databricks.driver.localMaxResultSize, выводится предупреждение.

Этот параметр конфигурации влияет только на объекты DataFrame, созданные вызовом df.toPandas().

Примечание.

spark.databricks.driver.localMaxResultSize вступает в силу, только если параметр spark.databricks.execution.pandasZeroConfConversion.enabled имеет значение true.

Возможность отладки пользовательских функций pandas и PySpark

Если в записной книжке Azure Databricks произошел сбой pandas или PySpark UDF, сообщение об ошибке теперь содержит номер строки, в котором произошел сбой кода и сведения о первопричине.

Обновления библиотек

  • Обновленные библиотеки Python:
    • Обновление koalas с версии 1.1.0 до 1.2.0
    • Обновление pyarrow с версии 0.15.1 до 1.0.1.
  • Обновлены несколько установленных библиотек R. См. Установленные библиотеки R.
  • В качестве сборки OpenJDK 8 вместо Ubuntu OpenJDK 8 используется Zulu OpenJDK 8.

Apache Spark

Databricks Runtime 7.3 LTS включает Apache Spark 3.0.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 7.2 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-32302][SPARK-28169] [SQL] Частично понижают дизъюнктивные предикаты через соединения/разделы
  • [SPARK-32337] [SQL] Отображение исходного плана в строке дерева плана AQE
  • [SPARK-30662] Возврат изменений API для HasBlockSize
  • [SPARK-32620] [SQL] Сброс метрики numPartitions при включении DPP
  • [SPARK-32646] [SQL] Отправка предиката ORC должна корректно работать с анализом без учета регистра
  • [SPARK-32676] [ML] Исправление ошибки с двойным кэшированием в KMeans/BiKMeans
  • [SPARK-32092] [ML][PYSPARK] Удален связанный код foldCol
  • [SPARK-32594] [SQL] Переопределение get() и использование юлианского календаря в DaysWritable
  • [SPARK-32608] [SQL] Значение преобразования скрипта ROW FORMAT DELIMIT должно быть отформатировано
  • [SPARK-32092] [ML][PYSPARK] Исправление параметров, не копируемых в CrossValidatorModel.copy(), read() и write()
  • [SPARK-32672] [SQL] Исправьте повреждение данных в логическом сжатии битов
  • [SPARK-32663] [CORE] Следует избегать отдельного закрытия TransportClients в пуле (закрытие должно осуществляться через пул)
  • [SPARK-32621] [SQL] Опция «path» может вызвать проблемы при определении схемы в источниках данных CSV/JSON.
  • [SPARK-28863] [SQL] Нельзя использовать физический план повторно
  • [SPARK-32608] [SQL] Значение преобразования скрипта ROW FORMAT DELIMIT должно быть отформатировано
  • [SPARK-28863] [SQL] Добавлено значение AlreadyPlanned, чтобы избежать повторного анализа V1FallbackWriters
  • [SPARK-32451] [R] Поддержка Apache Arrow 1.0.0
  • [SPARK-32652] [SQL] ObjectSerializerPruning завершается ошибкой для RowEncoder
  • [SPARK-32518] [CORE] CoarseGrainedSchedulerBackend.maxNumConcurrentTasks теперь учитывает все типы ресурсов
  • [SPARK-32559] [SQL] Исправлена логика усечения в UTF8String.toInt/toLong, которая неправильно обрабатывала символы, отличные от ASCII
  • [SPARK-32625] [SQL] В журнал заносится сообщение об ошибке при возврате в режим интерпретатора
  • [SPARK-32543] [R] Удалить использование arrow::as_tibble в SparkR
  • [SPARK-31703] [SQL] Значения float/double Parquet RLE неправильно считываются на платформах с обратным порядком байтов
  • [SPARK-32586] [SQL] Исправлено сообщение об ошибке NumberFormatException при включенной кодировке ANSI
  • [SPARK-32456] [SS] Проверка Distinct в предположении, что это агрегат для структурированной потоковой передачи
  • [SPARK-32576] [SQL] Поддержка типа PostgreSQL bpchar и типа массива символов
  • [SPARK-32559] [SQL] Исправлена логика усечения в UTF8String.toInt/toLong, которая неправильно обрабатывала символы, отличные от ASCII
  • [SPARK-32560] [SQL] Улучшено сообщение об исключении в InsertIntoHiveTable.processInsert
  • [SPARK-32546] [SQL] Получение имен таблиц непосредственно из таблиц Hive
  • [SPARK-32529] [CORE] Исправлена ошибка с прерыванием проверки журнала Historyserver из-за изменения состояния приложения
  • [SPARK-32003] [CORE] При использовании внешней службы смешения отменяется регистрация выходных данных для исполнителя при сбое выборки после потери исполнителя
  • [SPARK-32160] [CORE][PYSPARK] Изменено имя конфигурации для переключения значения параметра "разрешить/запретить" SparkContext в исполнителях
  • [SPARK-32160] [CORE][PYSPARK] Добавлена конфигурация для переключения значения параметра "разрешить/запретить" для создания SparkContext в исполнителях
  • [SPARK-32083] [SQL] AQE не должен выполнять объединение секций для SinglePartition
  • [SPARK-32509] [SQL] Игнорирование неиспользуемого фильтра DPP True при канонизации
  • [SPARK-32332] [SQL] Поддержка обмена по столбцам
  • [SPARK-32227] Исправлена ошибка регрессии в load-spark-env.cmd со Spark 3.0.0
  • [SPARK-32478] [R][SQL] Сообщение об ошибке, показывающее несоответствие схемы в gapply с векторизацией Arrow
  • [SPARK-32030] [SQL] Поддержка неограниченных предложений MATCHED и NOT MATCHED в MERGE INTO в средство синтаксического анализа SQL
  • [SPARK-32175] [CORE] Корректировка последовательности между инициализацией для ExecutorPlugin и запуском потока пульса
  • [SPARK-32283] [CORE] Kryo теперь поддерживает несколько модулей регистрации пользователей
  • [SPARK-32424] [SQL] Исправление ошибки с автоматическим изменением данных при синтаксическом анализе метки времени, если происходит переполнение f
  • [SPARK-32430] [SQL] Расширение SparkSessionExtensions для внедрения правил в подготовку этапа запроса AQE
  • [SPARK-32310] [ML][PYSPARK] Паритет значений параметров ML по умолчанию
  • [SPARK-32237] [SQL] Разрешение подсказки в CTE
  • [SPARK-32280][SPARK-32372] [SQL] ResolveReferences.dedupRight должен переписать атрибуты только для узлов-предков плана конфликтов.
  • [SPARK-32364] [SQL] Добавление в toMap для возврата originalMap и документации
  • [SPARK-32364] [SQL] Использование CaseInsensitiveMap для параметров DataFrameReader/Writer
  • [SPARK-32377] [SQL] Объект CaseInsensitiveMap должен быть детерминированным для добавления
  • [SPARK-32365] [SQL] Добавление граничного условия для отрицательного значения индекса в regexp_extract
  • [SPARK-32368] [SQL] pathGlobFilter, recursiveFileLookup и basePath теперь учитывают регистр
  • [SPARK-32344] [SQL] Невычислимое выражение установлено в FIRST/LAST ignoreNullsExpr в различных агрегатах
  • [SPARK-32234] [SQL] Команды SQL Spark завершаются сбоем при выборе таблиц ORC

Обновления в рамках обслуживания

См. раздел Служебные обновления Databricks Runtime 7.3 LTS.

Системная среда

  • Операционная система: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.48.0.53-CA-linux64 (сборка 1.8.0_265-b11)
  • Scala: 2.12.10
  • Python: 3.7.5
  • R: R версии 3.6.3 (29.02.2020)
  • Delta Lake: 0.7.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
asn1crypto 1.3.0 backcall 0.1.0 boto3 1.12.0
botocore 1.15.0 certifi 2020.6.20 cffi 1.14.0
chardet 3.0.4 криптография 2.8 cycler 0.10.0
Cython 0.29.15 decorator 4.4.1 docutils 0.15.2
entrypoints 0,3 idna 2.8 ipykernel 5.1.4
ipython 7.12.0 ipython-genutils 0.2.0 jedi 0.14.1
jmespath 0.10.0 joblib 0.14.1 jupyter-client 5.3.4
jupyter-core 4.6.1 kiwisolver 1.1.0 koalas 1.2.0
matplotlib 3.1.3 numpy 1.18.1 pandas 1.0.1
parso 0.5.2 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 pip 20.0.2 prompt-toolkit 3.0.3
psycopg2 2.8.4 ptyprocess 0.6.0 pyarrow 1.0.1
pycparser 2,19 Pygments 2.5.2 PyGObject 3.26.1
pyOpenSSL 19.1.0 pyparsing 2.4.6 PySocks 1.7.1
python-apt 1.6.5+ubuntu0.3 python-dateutil 2.8.1 pytz 2019.3
pyzmq 18.1.1 requests 2.22.0 s3transfer 0.3.3
scikit-learn 0.22.1 scipy 1.4.1 мореборн 0.10.0
setuptools 45.2.0 six 1.14.0 ssh-import-id 5.7
statsmodels 0.11.0 tornado 6.0.3 traitlets 4.3.3
unattended-upgrades 0,1 urllib3 1.25.8 virtualenv 16.7.10
wcwidth 0.1.8 wheel 0.34.2

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft CRAN 2020-07-14.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.1.8
base 3.6.3 base64enc 0.1-3 BH 1.72.0-3
bit 1.1-15.2 bit64 0.9-7 большой двоичный объект 1.2.1
загрузка 1.3-25 заваривать 1.0–6 метла 0.7.0
вызывающий объект 3.4.3 крышка 6.0-86 cellranger 1.1.0
chron 2.3-55 class 7.3-17 cli 2.0.2
clipr 0.7.0 cluster 2.1.0 codetools 0.2-16
colorspace 1.4-1 commonmark 1,7 компилятор 3.6.3
config 0,3 covr 3.5.0 карандаш 1.3.4
переходный разговор 1.1.0.1 curl 4.3 таблица данных 1.12.8
наборы данных 3.6.3 DBI 1.1.0 dbplyr 1.4.4
desc 1.2.0 средства разработки 2.3.0 digest 0.6.25
dplyr 0.8.5 DT 0,14 многоточие 0.3.1
evaluate 0,14 вентиляторы 0.4.1 Farver 2.0.3
fastmap 1.0.1 forcats 0.5.0 foreach 1.5.0
иностранный 0.8-76 forge 0.2.0 fs 1.4.2
Универсальные шаблоны 0.0.2 ggplot2 3.3.2 gh 1.1.0
git2r 0.27.1 glmnet 3.0-2 globals 0.12.5
клей 1.4.1 Говер 0.2.2 графика 3.6.3
grDevices 3.6.3 grid 3.6.3 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
высокий 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.1 httpuv 1.5.4 httr 1.4.1
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.2 Итераторы 1.0.12
jsonlite 1.7.0 KernSmooth 2.23-17 трикотажный 1,29
маркирование 0,3 later 1.1.0.1 решётка 0.20-41
Lava 1.6.7 lazoval 0.2.2 жизненный цикл 0.2.0
lubridate 1.7.9 magrittr 1.5 Markdown 1,1
МАССАЧУСЕТС 7.3-52 «Матрица» 1.2-18 memoise 1.1.0
оплаты 3.6.3 mgcv 1.8-32 мим 0,9
ModelMetrics 1.2.2.2 modelr 0.1.8 munsell 0.5.0
nlme 3.1-149 nnet 7.3-14 numDeriv 2016.8-1.1
openssl 1.4.2 parallel 3.6.3 столб 1.4.6
pkgbuild 1.1.0 pkgconfig 2.0.3 pkgload 1.1.0
plogr 0.2.0 plyr 1.8.6 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.16.2 processx 3.4.3
prodlim 2019.11.13 Ход выполнения 1.2.2 promises 1.1.1
proto 1.0.0 ps 1.3.3 purrr 0.3.4
r2d3 0.2.3 R6 2.4.1 randomForest 4.6-14
rappdirs 0.3.1 rcmdcheck 1.3.3 RColorBrewer 1.1-2
Rcpp 1.0.5 readr 1.3.1 readxl 1.3.1
Рецепты 0.1.13 реванш 1.0.1 rematch2 2.1.2
remotes 2.1.1 reprex 0.3.0 reshape2 1.4.4
rex 1.2.0 rjson 0.2.20 rlang 0.4.7
rmarkdown 2.3 RODBC 1.3-16 roxygen2 7.1.1
rpart 4.1-15 rprojroot 1.3-2 Rserve 1.8-7
RSQLite 2.2.0 rstudioapi 0,11 rversions 2.0.2
rvest 0.3.5 весы 1.1.1 селектор 0.4-2
sessioninfo 1.1.1 форма 1.4.4 блестящий 1.5.0
sourcetools 0.1.7 sparklyr 1.3.1 SparkR 3.0.0
пространственный 7.3-11 Сплайны 3.6.3 sqldf 0.4-11
SQUAREM 2020.3 stats 3.6.3 статистика4 3.6.3
stringi 1.4.6 stringr 1.4.0 выживание 3.1-12
sys 3,3 tcltk 3.6.3 ОбучениеDemos 2,10
testthat 2.3.2 tibble 3.0.3 tidyr 1.1.0
tidyselect 1.1.0 tidyverse 1.3.0 TimeDate 3043.102
tinytex 0,24 средства 3.6.3 usethis 1.6.1
utf8 1.1.4 служебные программы 3.6.3 uuid 0.1-4
vctrs 0.3.1 viridisLite 0.3.0 усы 0,4
withr 2.2.0 xfun 0,15 xml2 1.3.2
xopen 1.0.0 xtable 1.8-4 yaml 2.2.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.4-3
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.2.8
com.microsoft.sqlserver mssql-jdbc 8.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.8.3
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1,6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.47.Final
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.12.8
net.snowflake spark-snowflake_2.12 2.8.1-spark_3.0
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.7.1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 0.15.1
org.apache.arrow arrow-memory 0.15.1
org.apache.arrow arrow-vector 0.15.1
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1.8.1
org.apache.commons commons-crypto 1.0.0
org.apache.commons commons-lang3 3,9
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0–M20
org.apache.directory.api api-util 1.0.0–M20
org.apache.directory.server apacheds-i18n 2.0.0–M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0–M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-common 2.3.7
org.apache.hive hive-exec-core 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-metastore 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.1
org.apache.hive hive-vector-code-gen 2.3.7
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.orc orc-core 1.5.10
org.apache.orc orc-mapreduce 1.5.10
org.apache.orc orc-shims 1.5.10
org.apache.parquet паркетный столбец 1.10.1-databricks6
org.apache.parquet parquet-common 1.10.1-databricks6
org.apache.parquet parquet-encoding 1.10.1-databricks6
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks6
org.apache.parquet parquet-jackson 1.10.1-databricks6
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.velocity скорость 1.5
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.18.v20190429
org.eclipse.jetty jetty-continuation 9.4.18.v20190429
org.eclipse.jetty jetty-http 9.4.18.v20190429
org.eclipse.jetty jetty-io 9.4.18.v20190429
org.eclipse.jetty jetty-jndi 9.4.18.v20190429
org.eclipse.jetty jetty-plus 9.4.18.v20190429
org.eclipse.jetty jetty-proxy 9.4.18.v20190429
org.eclipse.jetty jetty-security 9.4.18.v20190429
org.eclipse.jetty jetty-server 9.4.18.v20190429
org.eclipse.jetty jetty-servlet 9.4.18.v20190429
org.eclipse.jetty jetty-servlets 9.4.18.v20190429
org.eclipse.jetty jetty-util 9.4.18.v20190429
org.eclipse.jetty jetty-webapp 9.4.18.v20190429
org.eclipse.jetty jetty-xml 9.4.18.v20190429
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.6.6
org.json4s json4s-core_2.12 3.6.6
org.json4s json4s-jackson_2.12 3.6.6
org.json4s json4s-scalap_2.12 3.6.6
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.1.2
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.7.45
org.roaringbitmap shims 0.7.45
org.rocksdb rocksdbjni 6.2.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark неиспользованный 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.7.5
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52