Поделиться через

Databricks Runtime 8.4 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 8.4 и Databricks Runtime 8.4 Photon на базе Apache Spark 3.1.2. Databricks выпустила эту версию в июле 2021 года. Photon сейчас находится в режиме общедоступной предварительной версии.

Новые функции и внесенные улучшения

Функции и улучшения Delta Lake

Канал данных изменений в дельта-таблице (GA)

Теперь поток изменений данных в таблице Delta общедоступен. Он представляет изменения на уровне строк между разными версиями таблицы. При включении дополнительные сведения записываются относительно изменений на уровне строк для каждой операции записи в таблице. См. статью Использование веб-канала изменений данных Delta Lake в Azure Databricks.

Легкая загрузка общих таблиц Delta с помощью Databricks Runtime

Соединитель Apache Spark для общего доступа к Delta 0.1.0 теперь доступен в Databricks Runtime. Вы можете загрузить общую таблицу с помощью spark.read.format("deltaSharing").load(uri) напрямую без подключения соединителя Delta Sharing Spark к кластеру.

Больше таблиц получают выгоды от динамической очистки файлов

Функция динамической очистки файлов была настроена так, чтобы срабатывать для таблиц с меньшим количеством файлов. См. раздел Динамическое удаление файлов.

Повышение производительности благодаря автоматической настройке размера целевого файлов

Размер целевого файла для таблиц Delta теперь настраивается автоматически на основе размера таблицы. Ранее размер целевого файла для OPTIMIZE и OPTIMIZE ZORDER BY составлял 1 ГБ. При автонастройке на основе размера таблицы, таблицы Delta до 2,56 ТБ будут использовать 256 МБ в качестве целевого размера. Таблицы размером более 10TB будут использовать 1 ГБ, как и раньше. Таблицы между этими размерами будут использовать целевые размеры, которые пропорционально увеличиваются с размером таблицы. Сведения о настройке Delta Lake для управления размером файла данных.

Дополнительные способы указания таблиц в DeltaTable.forName

DeltaTable.forName теперь поддерживает использование delta.`<path>` для идентификации таблиц.

Надежная потоковая запись с несколькими таблицами с помощью foreachBatch

Теперь поддерживаются идемпотентные операции записи потоковой передачи Delta в команде foreachBatch(). Дополнительные сведения см. в разделе Idempotent multi-table writes.

Повышенная производительность обработки запросов на чтение в определенных рабочих нагрузках за счет настройки контрольных точек

Дельта Lake теперь настраивает частоту контрольных точек. Вместо создания контрольных точек с фиксированным интервалом Delta теперь динамически корректирует частоту контрольных точек с учетом определенных триггеров событий. Это повышает производительность запросов на чтение в рабочих нагрузках, где ранее не была доступна оптимизация пропуска данных. Чтобы использовать эти оптимизации, обновите задания, которые записывают данные в версию Delta Lake на Databricks Runtime 8.4. Дополнительные контрольные точки см. в разделе "Включение расширенных контрольных точек" для запросов структурированной потоковой передачи.

Создание GroupState для тестирования определяемых пользователем функций структурированной потоковой передачи

До настоящего момента только механизм структурированной потоковой передачи может создавать экземпляры GroupState. Таким образом, для всех модульных тестов определяемой пользователем функции требуется выполнение потокового запроса в Apache Spark.

Теперь можно создавать экземпляры GroupState с помощью TestGroupState.create(…). Это позволяет протестировать определяемую пользователем функцию в ходе простых модульных тестов, не требующих запуска Spark. См. протестируйте функцию обновления mapGroupsWithState. В частности, он создает экземпляры типа TestGroupState, которые расширяют интерфейс GroupState с помощью дополнительных методов для интроспектинга внутреннего состояния после применения пользовательской функции.

Функции и усовершенствования автозагрузчика

Настройка выполнения задним числом для захвата пропущенных файлов

Автозагрузчик теперь поддерживает асинхронное выполнение операций задним числом для захвата файлов, которые могли быть пропущены при отправке уведомлений о файлах. Системы хранения файлов и системы уведомлений не гарантируют 100% доставки всех событий файлов. Поэтому в модулях данных рекомендуется включить периодическое выполнение задним числом для захвата всех данных с помощью автозагрузчика. Используйте параметр cloudFiles.backfillInterval, чтобы запланировать регулярное выполнение задним числом с использованием ваших данных. См. Стандартные параметры Автозагрузчика.

Объем привязанного хранилища для потоков большого объема

Теперь можно настроить автоматический загрузчик для истечения срока действия и удаления записей в RocksDB, чтобы ограничить объем его хранилища в расположении контрольной точки. В Databricks не рекомендуется использовать этот параметр, если вы не принимаете данные со скоростью миллионов файлов в час. Неправильная настройка этого параметра или попытка его настройки может привести к множеству проблем с качеством данных, таких как игнорирование необработанных файлов или дублирование некоторых файлов вместо их однократной обработки. Дополнительные сведения см. в разделе Хранение событий.

Упрощенная конфигурация с поддержкой без пути

Контейнеры S3

Теперь можно указать очередь SQS, которая получает события из нескольких путей или контейнеров S3. Если указать URL-адрес очереди SQS, то параметр path не требуется для этого варианта использования. Автозагрузчик конструирует пути S3, используя контейнер и ключ из событий S3. Чтобы читать файлы через точки подключения DBFS, можно использовать cloudFiles.pathRewrites для изменения префиксов пути в DBFS. Это необязательно, если вы не обращаетесь к данным в разных учетных записях с помощью AssumeRole.

См. раздел Параметры уведомлений о файлах.

Контейнеры Azure Data Lake Storage 2-го поколения

Теперь можно указать очередь Azure, которая получает события из нескольких контейнеров. Если указать имя очереди Azure, параметр path не требуется. По умолчанию автозагрузчики создают пути ADLS 2-го поколения с помощью контейнера и ключа в событиях файла. Если вы хотите использовать пути WASB или точки подключения DBFS, можно использовать cloudFiles.pathRewrites для изменения префиксов пути.

См. раздел Параметры уведомлений о файлах.

Обновление соединителей

  • Соединитель Snowflake Spark обновлен до версии 2.9.0.
  • Шифрование KMS теперь поддерживается в операторе UNLOAD соединителя Redshift.

Исправления ошибок

  • Исправлена проблема с кластерами, включенными с помощью управления доступом к таблицам, где select * from folder может отображать содержимое папки, даже если у пользователя нет разрешения на доступ к файлам.
  • Владельцы неадминистрированных баз данных теперь могут удалять не принадлежащие таблицы в базах данных. Это устраняет проблему, из-за которой владельцы баз данных не смогли удалить базу данных, если в базе данных существовали не принадлежащие таблицы.

Обновления библиотек

  • Обновленные библиотеки Python:
    • обновление certifi с версии 2020.12.5 до версии 2021.5.30.
    • обновление distill с версии 0.3.1 до версии 0.3.2
    • обновление koalas с версии 1.8.0 до 1.8.1.
    • обновление protobuf с версии 3.17.0 до 3.17.3
  • Обновленные библиотеки R:
    • обновление базовой версии с версии 4.0.4 до 4.1.0
    • обновление загрузки с версии 1.3-27 до 1.3-28
    • обновление класса с 7.3-18 до 7.3-19
    • обновление кластера с версии 2.1.1 до 2.1.2
    • обновление компилятора с версии 4.0.4 до 4.1.0
    • обновление наборов данных с версии 4.0.4 до 4.1.0
    • обновление графики с версии 4.0.4 до 4.1.0
    • обновление grDevices с версии 4.0.4 до 4.1.0
    • обновление сетки с версии 4.0.4 до 4.1.0
    • обновление KernSmooth с версии 2.23-18 до 2.23-20
    • обновление lattice с версии 0.20-41 до 0.20-44
    • обновление MASS с версии 7.3-53.1 до 7.3-54
    • обновление Matrix с версии 1.3-2 до 1.3-3
    • обновление методов с версии 4.0.4 до 4.1.0
    • обновление mgcv с версии 1.8-33 до 1.8-35
    • обновление nnet с версии 7.3-15 до 7.3-16
    • обновление parallel с версии 4.0.4 до 4.1.0
    • обновление Rserve с версии 1.8-7 до 1.8-8
    • обновление SparkR с версии 3.1.1 до 3.1.2
    • обновление сплайнов с версии 4.0.4 до 4.1.0
    • обновление статистики с версии 4.0.4 до 4.1.0
    • обновление stats4 с версии 4.0.4 до 4.1.0
    • обновление survival с версии 3.2-7 до 3.2-11
    • обновление tcltk с версии 4.0.4 до 4.1.0
    • обновление инструментов с версии 4.0.4 до 4.1.0
    • обновление служебных программ с версии 4.0.4 до 4.1.0
  • Обновленные библиотеки Java:
    • snowflake-jdbc с версии 3.12.8 до 3.13.3
    • spark-snowflake_2.12 с версии 2.8.1-spark_3.0 до 2.9.0-spark_3.1
    • RoaringBitmap с версии 0.9.0 до 0.9.14
    • shims с версии 0.9.0 до 0.9.14
    • rocksdbjni с версии 6.2.2 до 6.20.3

Apache Spark

Databricks Runtime 8.4 включает Apache Spark 3.1.2. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 8.3 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-35792] [SQL] Представление не должно захватывать конфигурации, используемые в RelationConversions
  • [SPARK-35700] [SQL] Чтение таблицы char/varchar в формате orc, созданной и записанной внешними системами
  • [SPARK-35636] [SQL] Ссылки на ключи лямбда-выражения не добавляются за пределами лямбда-функции
  • [SPARK-35800] [Cherry Pick] Улучшение тестирования GroupState за счет TestGroupState
  • [SPARK-35391] Устранение утечки памяти в ExecutorAllocationListener
  • [SPARK-35799] [CherryPick] Исправление измерения метрики allUpdatesTimeMs в FlatMapGroupsWithStateExec
  • [SPARK-35763] [SS] Удалить зависимость перечисления подкласса StateStoreCustomMetric
  • [SPARK-35791 [SQL] Правильное освобождение текущей карты для соединения ANTI с учетом NULL
  • [SPARK-35695] [SQL] Сбор наблюдаемых метрик из кэшированных и адаптивных поддеревьев выполнения
  • [SPARK-35767] [SQL] Запрет на двукратное исполнение дочернего плана в CoalesceExec
  • [SPARK-35746] [UI] Исправление taskid в шкале времени события задачи для страницы этапа
  • [SPARK-35673] [SQL] Исправление определенного пользователем указания и нераспознанного указания во вложенном запросе.
  • [SPARK-35714] [CORE] Исправление ошибки для взаимоблокировки во время завершения работы исполнителя
  • [SPARK-35689] [SS] Добавление предупреждения журнала, когда keyWithIndexToValue возвращает нулевое значение
  • [SPARK-35589] [CORE][3.1] BlockManagerMasterEndpoint не должен игнорировать файл случайного выбора (только индекс) во время обновления
  • [SPARK-35643] [PYTHON] Исправлена неоднозначная ссылка в функции functions.py column()
  • [SPARK-35652] [SQL] joinWith на двух таблицах, созданных из одной таблицы
  • [SPARK-35679] [SQL] Переполнение instantToMicros
  • [SPARK-35602] [SS] Обновить схему состояния, чтобы иметь возможность принимать JSON большой длины
  • [SPARK-35653] [SQL] Исправлен интерпретируемый путь CatalystToExternalMap, который завершался сбоем для отображения с классами case в качестве ключей или значений.
  • [SPARK-35296] [SQL] Разрешение работы Dataset.observe даже в том случае, если CollectMetricsExec в задаче обрабатывает несколько секций.
  • [SPARK-35659] [SS] Запрет записи нулевого значения в StateStore
  • [SPARK-35665] [SQL] Разрешение UnresolvedAlias в CollectMetrics
  • [SPARK-35558] Оптимизация для получения нескольких квантилей
  • [SPARK-35621] [SQL] Добавление усечения идентификатора правила в правиле TypeCoercion
  • [SPARK-35077] [SQL] Перенос в transformWithPruning для оставшихся правил оптимизатора
  • [SPARK-35610] [CORE] Исправление утечки памяти из-за перехватчика завершения работы при остановке исполнителя
  • [SPARK-35544] [SQL] Добавление усечения шаблона дерева в правила анализатора
  • [SPARK-35566] [SS] Исправление выходных строк StateStoreRestoreExec
  • [SPARK-35454] [SQL][3.1] Один LogicalPlan может соответствовать нескольким идентификаторам набора данных
  • [SPARK-35538] [SQL] Перенос сайтов вызова transformAllExpressions для использования transformAllExpressionsWithPruning
  • [SPARK-35106] [Core][SQL] Предотвращение сбоев при переименовании из-за несуществующего каталога назначения
  • [SPARK-35287] [SQL] Разрешение RemoveRedundantProjects сохранять ProjectExec, чтобы создать UnsafeRow для DataSourceV2ScanRelation
  • [SPARK-35495] [R] Изменение программы обслуживания SparkR для CRAN
  • [SPARK-27991] [CORE] Откладывание запроса на принесение в Netty OOM
  • [SPARK-35171] [R] Объявление пакета разметки в качестве зависимости для пакета SparkR
  • [SPARK-35454] [SQL] Один LogicalPlan может соответствовать нескольким идентификаторам набора данных
  • [SPARK-35298] [SQL] Перенос в transformWithPruning для в Optimizer.scala
  • [SPARK-35480] [SQL] Сделать percentile_approx работать со сводной таблицей
  • [SPARK-35093] [SQL] AQE теперь использует план newQueryStage как ключ для поиска кэшированных операций обмена для повторного использования
  • [SPARK-35146] [SQL] Перенос в transformWithPruning или resolveWithPruning для правил в finishAnalysis.scala
  • [SPARK-35411] [SQL] Добавление важной информации во время сериализации TreeNode в формат JSON
  • [SPARK-35294] [SQL] Добавление усечения дерева с обходом в прямом порядке в правила с выделенными файлами в оптимизаторе
  • [SPARK-34897] [SQL][3.1] Поддержка согласования схем на основе индекса после обрезки вложенных столбцов
  • [SPARK-35144] [SQL] Перенос в transformWithPruning для правил объекта
  • [SPARK-35155] [SQL] Добавление усечения идентификатора правила в правила анализатора
  • [SPARK-35382] [PYTHON] Устранение проблем с именем переменной лямбда-выражения во вложенных функциях DataFrame в API Python.
  • [SPARK-35359] [SQL] Вставка данных с типом данных char/varchar завершится ошибкой, если длина данных превышает допустимую длину
  • [SPARK-35381] [R] Устранение проблем с именем переменной лямбда-выражения во вложенных функциях высшего порядка в API-интерфейсах R

Системная среда

  • Операционная система: Ubuntu 18.04.5 LTS
  • Java: Zulu 8.54.0.21-CA-linux64
  • Scala: 2.12.10
  • Python: 3.8.8
  • R: 4.1.0 (2021-05-18)
  • Delta Lake 1.0.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
appdirs 1.4.4 asn1crypto 1.4.0 backcall 0.2.0
boto3 1.16.7 botocore 1.19.7 brotlipy 0.7.0
certifi 2021.5.30 cffi 1.14.3 chardet 3.0.4
криптография 3.1.1 cycler 0.10.0 Cython 0.29.21
decorator 4.4.2 distlib 0.3.2 docutils 0.15.2
entrypoints 0,3 facets-overview 1.0.0 filelock 3.0.12
idna 2,10 ipykernel 5.3.4 ipython 7.19.0
ipython-genutils 0.2.0 jedi 0.17.2 jmespath 0.10.0
joblib 0.17.0 jupyter-client 6.1.7 jupyter-core 4.6.3
kiwisolver 1.3.0 koalas 1.8.1 matplotlib 3.2.2
numpy 1.19.2 pandas 1.1.5 parso 0.7.0
patsy 0.5.1 pexpect 4.8.0 pickleshare 0.7.5
pip 20.2.4 график 4.14.3 prompt-toolkit 3.0.8
protobuf 3.17.3 psycopg2 2.8.5 ptyprocess 0.6.0
pyarrow 1.0.1 pycparser 2,20 Pygments 2.7.2
pyOpenSSL 19.1.0 pyparsing 2.4.7 PySocks 1.7.1
python-dateutil 2.8.1 pytz 2020.5 pyzmq 19.0.2
requests 2.24.0 retrying 1.3.3 s3transfer 0.3.6
scikit-learn 0.23.2 scipy 1.5.2 мореборн 0.10.0
setuptools 50.3.1 six 1.15.0 statsmodels 0.12.0
threadpoolctl 2.1.0 tornado 6.0.4 traitlets 5.0.5
urllib3 1.25.11 virtualenv 20.2.1 wcwidth 0.2.5
wheel 0.35.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 02.11.2020.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.2.1
base 4.1.0 base64enc 0.1-3 BH 1.72.0-3
bit 4.0.4 bit64 4.0.5 большой двоичный объект 1.2.1
загрузка 1.3-28 заваривать 1.0–6 brio 1.1.0
метла 0.7.2 вызывающий объект 3.5.1 крышка 6.0-86
cellranger 1.1.0 chron 2.3-56 class 7.3-19
cli 2.2.0 clipr 0.7.1 cluster 2.1.2
codetools 0.2-18 colorspace 2.0-0 commonmark 1,7
компилятор 4.1.0 config 0,3 covr 3.5.1
cpp11 0.2.4 карандаш 1.3.4 верительные грамоты 1.3.0
переходный разговор 1.1.0.1 curl 4.3 таблица данных 1.13.4
наборы данных 4.1.0 DBI 1.1.0 dbplyr 2.0.0
desc 1.2.0 средства разработки 2.3.2 diffobj 0.3.2
digest 0.6.27 dplyr 1.0.2 DT 0,16
многоточие 0.3.1 evaluate 0,14 вентиляторы 0.4.1
Farver 2.0.3 fastmap 1.0.1 forcats 0.5.0
foreach 1.5.1 иностранный 0.8-81 forge 0.2.0
fs 1.5.0 будущее 1.21.0 Универсальные шаблоны 0.1.0
gert 1.0.2 ggplot2 3.3.2 gh 1.2.0
gitcreds 0.1.1 glmnet 4.0-2 globals 0.14.0
клей 1.4.2 Говер 0.2.2 графика 4.1.0
grDevices 4.1.0 grid 4.1.0 gridExtra 2.3
gsubfn 0,7 gtable 0.3.0 haven 2.3.1
высокий 0,8 hms 0.5.3 htmltools 0.5.0
htmlwidgets 1.5.3 httpuv 1.5.4 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ini 0.3.1
ipred 0.9-9 isoband 0.2.3 Итераторы 1.0.13
jsonlite 1.7.2 KernSmooth 2.23-20 трикотажный 1,30
маркирование 0.4.2 later 1.1.0.1 решётка 0.20-44
Lava 1.6.8.1 lazoval 0.2.2 жизненный цикл 0.2.0
listenv 0.8.0 lubridate 1.7.9.2 magrittr 2.0.1
Markdown 1,1 МАССАЧУСЕТС 7.3-54 «Матрица» 1.3-3
memoise 1.1.0 оплаты 4.1.0 mgcv 1.8-35
мим 0,9 ModelMetrics 1.2.2.2 modelr 0.1.8
munsell 0.5.0 nlme 3.1-152 nnet 7.3-16
numDeriv 2016.8-1.1 openssl 1.4.3 parallel 4.1.0
parallelly 1.22.0 столб 1.4.7 pkgbuild 1.1.0
pkgconfig 2.0.3 pkgload 1.1.0 plogr 0.2.0
plyr 1.8.6 хвалить 1.0.0 prettyunits 1.1.1
pROC 1.16.2 processx 3.4.5 prodlim 2019.11.13
Ход выполнения 1.2.2 promises 1.1.1 proto 1.0.0
ps 1.5.0 purrr 0.3.4 r2d3 0.2.3
R6 2.5.0 randomForest 4.6-14 rappdirs 0.3.1
rcmdcheck 1.3.3 RColorBrewer 1.1-2 Rcpp 1.0.5
readr 1.4.0 readxl 1.3.1 Рецепты 0.1.15
реванш 1.0.1 rematch2 2.1.2 remotes 2.2.0
reprex 0.3.0 reshape2 1.4.4 rex 1.2.0
rlang 0.4.9 rmarkdown 2.6 RODBC 1.3-17
roxygen2 7.1.1 rpart 4.1-15 rprojroot 2.0.2
Rserve 1.8-8 RSQLite 2.2.1 rstudioapi 0,13
rversions 2.0.2 rvest 0.3.6 весы 1.1.1
селектор 0.4-2 sessioninfo 1.1.1 форма 1.4.5
блестящий 1.5.0 sourcetools 0.1.7 sparklyr 1.5.2
SparkR 3.1.1 пространственный 7.3-11 Сплайны 4.1.0
sqldf 0.4-11 SQUAREM 2020.5 stats 4.1.0
статистика4 4.1.0 stringi 1.5.3 stringr 1.4.0
выживание 3.2-11 sys 3,4 tcltk 4.1.0
ОбучениеDemos 2,10 testthat 3.0.0 tibble 3.0.4
tidyr 1.1.2 tidyselect 1.1.0 tidyverse 1.3.0
TimeDate 3043.102 tinytex 0,28 средства 4.1.0
usethis 2.0.0 utf8 1.1.4 служебные программы 4.1.0
uuid 0.1-4 vctrs 0.3.5 viridisLite 0.3.0
waldo 0.2.3 усы 0,4 withr 2.3.0
xfun 0,19 xml2 1.3.2 xopen 1.0.0
xtable 1.8-4 yaml 2.2.1 zip 2.1.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.11.655
com.amazonaws aws-java-sdk-cloudformation 1.11.655
com.amazonaws aws-java-sdk-cloudfront 1.11.655
com.amazonaws aws-java-sdk-cloudhsm 1.11.655
com.amazonaws aws-java-sdk-cloudsearch 1.11.655
com.amazonaws aws-java-sdk-cloudtrail 1.11.655
com.amazonaws aws-java-sdk-cloudwatch 1.11.655
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.11.655
com.amazonaws aws-java-sdk-codedeploy 1.11.655
com.amazonaws aws-java-sdk-cognitoidentity 1.11.655
com.amazonaws aws-java-sdk-cognitosync 1.11.655
com.amazonaws aws-java-sdk-config 1.11.655
com.amazonaws aws-java-sdk-core 1.11.655
com.amazonaws aws-java-sdk-datapipeline 1.11.655
com.amazonaws aws-java-sdk-directconnect 1.11.655
com.amazonaws aws-java-sdk-directory 1.11.655
com.amazonaws aws-java-sdk-dynamodb 1.11.655
com.amazonaws aws-java-sdk-ec2 1.11.655
com.amazonaws aws-java-sdk-ecs 1.11.655
com.amazonaws aws-java-sdk-efs 1.11.655
com.amazonaws aws-java-sdk-elasticache 1.11.655
com.amazonaws aws-java-sdk-elasticbeanstalk 1.11.655
com.amazonaws aws-java-sdk-elasticloadbalancing 1.11.655
com.amazonaws aws-java-sdk-elastictranscoder 1.11.655
com.amazonaws aws-java-sdk-emr 1.11.655
com.amazonaws aws-java-sdk-glacier 1.11.655
com.amazonaws aws-java-sdk-glue 1.11.655
com.amazonaws aws-java-sdk-iam 1.11.655
com.amazonaws aws-java-sdk-importexport 1.11.655
com.amazonaws aws-java-sdk-kinesis 1.11.655
com.amazonaws aws-java-sdk-kms 1.11.655
com.amazonaws aws-java-sdk-lambda 1.11.655
com.amazonaws aws-java-sdk-logs 1.11.655
com.amazonaws aws-java-sdk-machinelearning 1.11.655
com.amazonaws aws-java-sdk-marketplacemeteringservice 1.11.655
com.amazonaws aws-java-sdk-opsworks 1.11.655
com.amazonaws aws-java-sdk-rds 1.11.655
com.amazonaws aws-java-sdk-redshift 1.11.655
com.amazonaws aws-java-sdk-route53 1.11.655
com.amazonaws aws-java-sdk-s3 1.11.655
com.amazonaws aws-java-sdk-ses 1.11.655
com.amazonaws aws-java-sdk-simpledb 1.11.655
com.amazonaws aws-java-sdk-simpleworkflow 1.11.655
com.amazonaws aws-java-sdk-sns 1.11.655
com.amazonaws aws-java-sdk-sqs 1.11.655
com.amazonaws aws-java-sdk-ssm 1.11.655
com.amazonaws aws-java-sdk-storagegateway 1.11.655
com.amazonaws aws-java-sdk-sts 1.11.655
com.amazonaws aws-java-sdk-support 1.11.655
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.11.655
com.amazonaws jmespath-java 1.11.655
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.10.0
com.fasterxml.jackson.core jackson-core 2.10.0
com.fasterxml.jackson.core jackson-databind 2.10.0
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.10.0
com.fasterxml.jackson.datatype jackson-datatype-joda 2.10.0
com.fasterxml.jackson.module jackson-module-paranamer 2.10.0
com.fasterxml.jackson.module jackson-module-scala_2.12 2.10.0
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.joshelser dropwizard-metrics-hadoop-metrics2-reporter 0.1.2
com.github.luben zstd-jni 1.4.8-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.2.4
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 1.4.195
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.0.3
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.9.5
com.twitter chill_2.12 0.9.5
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 3.1.0
commons-beanutils commons-beanutils 1.9.4
commons-cli commons-cli 1.2
commons-codec commons-codec 1,10
commons-collections commons-collections 3.2.2
commons-configuration commons-configuration 1,6
commons-dbcp commons-dbcp 1.4
commons-digester commons-digester 1.8
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.4
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
hive-2.3__hadoop-2.7 jets3t-0.7 liball_deps_2.12
hive-2.3__hadoop-2.7 zookeeper-3.4 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.10
io.delta delta-sharing-spark_2.12 0.1.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.51.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.servlet javax.servlet-api 3.1.0
javax.servlet.jsp jsp-api 2.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.5
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-2.7 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8-1
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.8.2
org.apache.avro avro-ipc 1.8.2
org.apache.avro avro-mapred-hadoop2 1.8.2
org.apache.commons commons-compress 1,20
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3,10
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.7.1
org.apache.curator curator-framework 2.7.1
org.apache.curator curator-recipes 2.7.1
org.apache.derby derby 10.12.1.1
org.apache.directory.api api-asn1-api 1.0.0–M20
org.apache.directory.api api-util 1.0.0–M20
org.apache.directory.server apacheds-i18n 2.0.0–M15
org.apache.directory.server apacheds-kerberos-codec 2.0.0–M15
org.apache.hadoop hadoop-annotations 2.7.4
org.apache.hadoop hadoop-auth 2.7.4
org.apache.hadoop hadoop-client 2.7.4
org.apache.hadoop hadoop-common 2.7.4
org.apache.hadoop hadoop-hdfs 2.7.4
org.apache.hadoop hadoop-mapreduce-client-app 2.7.4
org.apache.hadoop hadoop-mapreduce-client-common 2.7.4
org.apache.hadoop hadoop-mapreduce-client-core 2.7.4
org.apache.hadoop hadoop-mapreduce-client-jobclient 2.7.4
org.apache.hadoop hadoop-mapreduce-client-shuffle 2.7.4
org.apache.hadoop hadoop-yarn-api 2.7.4
org.apache.hadoop hadoop-yarn-client 2.7.4
org.apache.hadoop hadoop-yarn-common 2.7.4
org.apache.hadoop hadoop-yarn-server-common 2.7.4
org.apache.hive hive-beeline 2.3.7
org.apache.hive hive-cli 2.3.7
org.apache.hive hive-jdbc 2.3.7
org.apache.hive hive-llap-client 2.3.7
org.apache.hive hive-llap-common 2.3.7
org.apache.hive hive-serde 2.3.7
org.apache.hive hive-shims 2.3.7
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.7
org.apache.hive.shims hive-shims-common 2.3.7
org.apache.hive.shims hive-shims-scheduler 2.3.7
org.apache.htrace htrace-core 3.1.0-incubating
org.apache.httpcomponents httpclient 4.5.6
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.4.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.5.12
org.apache.orc orc-mapreduce 1.5.12
org.apache.orc orc-shims 1.5.12
org.apache.parquet Паркетный столбец 1.10.1-databricks9
org.apache.parquet parquet-common 1.10.1-databricks9
org.apache.parquet parquet-encoding 1.10.1-databricks9
org.apache.parquet parquet-format 2.4.0
org.apache.parquet parquet-hadoop 1.10.1-databricks9
org.apache.parquet parquet-jackson 1.10.1-databricks9
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm7-shaded 4.15
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.4.14
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-jaxrs 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.jackson jackson-xc 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.36.v20210114
org.eclipse.jetty jetty-continuation 9.4.36.v20210114
org.eclipse.jetty jetty-http 9.4.36.v20210114
org.eclipse.jetty jetty-io 9.4.36.v20210114
org.eclipse.jetty jetty-jndi 9.4.36.v20210114
org.eclipse.jetty jetty-plus 9.4.36.v20210114
org.eclipse.jetty jetty-proxy 9.4.36.v20210114
org.eclipse.jetty jetty-security 9.4.36.v20210114
org.eclipse.jetty jetty-server 9.4.36.v20210114
org.eclipse.jetty jetty-servlet 9.4.36.v20210114
org.eclipse.jetty jetty-servlets 9.4.36.v20210114
org.eclipse.jetty jetty-util 9.4.36.v20210114
org.eclipse.jetty jetty-util-ajax 9.4.36.v20210114
org.eclipse.jetty jetty-webapp 9.4.36.v20210114
org.eclipse.jetty jetty-xml 9.4.36.v20210114
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2,30
org.glassfish.jersey.containers jersey-container-servlet-core 2,30
org.glassfish.jersey.core jersey-client 2,30
org.glassfish.jersey.core jersey-common 2,30
org.glassfish.jersey.core jersey-server 2,30
org.glassfish.jersey.inject jersey-hk2 2,30
org.glassfish.jersey.media jersey-media-jaxb 2,30
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M5
org.json4s json4s-core_2.12 3.7.0-M5
org.json4s json4s-jackson_2.12 3.7.0-M5
org.json4s json4s-scalap_2.12 3.7.0-M5
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.1.4
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.10
org.scala-lang scala-library_2.12 2.12.10
org.scala-lang scala-reflect_2.12 2.12.10
org.scala-lang.modules scala-collection-compat_2.12 2.1.1
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.0
org.scalanlp breeze_2.12 1.0
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark неиспользованный 1.0.0
org.springframework spring-core 4.1.4.RELEASE
org.springframework spring-test 4.1.4.RELEASE
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.5
org.typelevel algebra_2.12 2.0.0-M2
org.typelevel cats-kernel_2.12 2.0.0-M4
org.typelevel machinist_2.12 0.6.8
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0-M1
org.typelevel spire-platform_2.12 0.17.0-M1
org.typelevel spire-util_2.12 0.17.0-M1
org.typelevel spire_2.12 0.17.0-M1
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.2
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1
xmlenc xmlenc 0,52