Databricks Runtime 5.4 (EoS)
Примечание.
Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.
Databricks выпустила эту версию в июне 2019 года.
В следующих заметках о выпуске содержатся сведения о Databricks Runtime 5.4 на платформе Apache Spark.
Новые возможности
Delta Lake в Azure Databricks добавляет функцию автомат Optimize (общедоступная предварительная версия)
Сейчас при записи данных в облачное хранилище вам требуется сжать файлы для оптимальной производительности ввода-вывода. Вам нужно определить правильный размер файлов, как часто сжимать файлы, какого размера кластер использовать и т. д. Чтобы решить этот класс проблем, мы рады представить Auto Optimize с Delta Lake на платформе Azure Databricks. Во время каждой записи в Delta tablesмы автоматически определяем правильные размеры файлов и упаковываем файлы, чтобы вам не приходилось беспокоиться об оптимизации макета хранилища. При записи, если параметр auto-optimizetrue, Azure Databricks автоматически определяет, требуется ли optimize и оптимизирует небольшие файлы. Дополнительные сведения см. в разделе "Настройка Delta Lake" для управления размером файла данных.
Программы библиотек общедоступны
Программы библиотек уже общедоступны. Эта функция позволяет управлять библиотеками Python из области действия сеанса записной книжки. См. служебную программу библиотеки (dbutils.library) (устаревшую версию).
Общедоступная версия Databricks Connect
Решение Databricks Connect уже общедоступно. Эта функция является клиентской библиотекой Spark, которая позволяет вам подключать предпочтительную IDE (IntelliJ, Eclipse, PyCharm, RStudio), сервер записных книжек (Zeppelin, Jupyter) и другие пользовательские приложения к кластерам Azure Databricks и выполнять код Spark. См. статью Databricks Connect.
Источник данных двоичных файлов
Источник данных двоичных файлов считывает двоичные файлы и преобразует каждый файл в отдельную запись с необработанным содержимым и метаданными файла. Теперь вы можете эффективно считывать любые файлы в DataFrame Spark без открытия содержимого файлов. Это особенно полезно, если вам нужно использовать Spark для загрузки крупных файлов, например изображений, с целью оценки. См. статью Двоичный файл.
Усовершенствования
Кэширование дисков
Кэширование диска теперь предварительно настроено для экземпляров Lsv2. Но кэш не включен по умолчанию. Сведения о том, как включить его, см. в разделе Включение или отключение кэша диска.
Сквозная передача учетных данных Azure AD в Azure Data Lake Storage 2-го поколения
Теперь поддерживается подключение файловой системы Azure Data Lake Storage (ADLS) 2-го поколения с учетными данными идентификатора Microsoft Entra. См. раздел Azure Data Lake Storage 2-го поколения.
Выполнено обновление R до версии 3.6.0.
Базовый код R обновлен с версии 3.5.2 до 3.6.0.
Apache Spark
Databricks Runtime 5.4 включает Apache Spark 2.4.3. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 5.3 (EoS), а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:
- [SPARK-27596][SQL] Параметр "query" JDBC не работает для Oracle Database.
- [SPARK-27240][PYTHON] Теперь используется DataFrame pandas для аргумента типа структуры в UDF Scalar pandas.
- [SPARK-26745][SQL][TESTS] Тестовый случай JsonSuite: пустая строка -> 0 записей.
- [SPARK-25535][CORE] Реализовано временное решение для неправильной обработки ошибок в commons-crypto.
- [SPARK-26891][YARN] Исправлен неточный тест в YarnSchedulerBackendSuite.
- [SPARK-27563][SQL][TEST] автоматически get последних версий Spark в HiveExternalCatalogVersionsSuite
- [SPARK-27494][SS] Null values не работает в источнике Kafka версии 2
- [SPARK-27550][TEST] test-dependencies.sh теперь не использует профиль kafka-0-8 для Scala-2.12.
- [SPARK-26992][STS] Исправлен пул планировщика STS для корректной доставки.
- [SPARK-27544][PYTHON][TEST] Исправлен скрипт теста Python для работы со сборкой Scala-2.12.
- [SPARK-27539][SQL] Исправлена неточная оценка статистических выходных данных с column, содержащей значение NULL values
- [SPARK-27469][BUILD] Зависимости commons-beanutils унифицированы до последней версии 1.9.3.
- [SPARK-27419][FOLLOWUP][DOCS] Добавлено примечание об изменении spark.executor.heartbeatInterval в соответствии с руководством по миграции.
- [SPARK-27496][CORE] Критические ошибки также должны отсылаться обратно отправителю.
- [SPARK-25079][PYTHON] update установить версию исполняемого файла Python3 на 3.6.x
- [SPARK-27163][PYTHON] Улучшена и консолидирована функциональность UDF pandas.
- [SPARK-27403][SQL] Исправление updateTableStats для updatetable статистики так, чтобы всегда использовать новые значения или оставить пустыми.
- [SPARK-27479][BUILD] Скрыта документация по API для org.apache.spark.util.kvstore.
- [SPARK-27446][R] При доступности используется существующая конфигурация Spark.
- [SPARK-27453] partitionBy передается как параметры в DataFrameWriter.
- [SPARK-27454][SPARK-27454][HOT-FIX][ML][SQL] Отбор изменений (исправление сбоя в источнике данных образов Spark при обнаружении некоторых недопустимых образов).
- [SPARK-27351][SQL] Неправильная оценка выходных данныхRows после агрегирования с значением NULL column
- [SPARK-27314][SQL] Теперь выполняется дедупликация exprIds для Union.
- [SPARK-27394][WEBUI] Теперь при необходимости выполняется очистка LiveEntity при получении SparkListenerExecutorMetricsUpdate (исправление для предыдущей версии 2.4).
- [SPARK-27406][SQL] Сериализация UnsafeArrayData завершается сбоем, если два компьютера имеют разный размер Oops.
- [SPARK-27419][CORE] Теперь не допускается приведение интервала пакетов пульса к секундам (2.4).
- [SPARK-27391][SS] Теперь не выполняется инициализация lazy val в задании ContinuousExecution.
- [SPARK-27390][CORE][SQL][TEST] Исправлено несоответствие имен пакетов.
- [SPARK-27358][UI] Update jQuery до 1.12.x, чтобы получить исправления безопасности
- [SPARK-27216][CORE] Выполнено обновление RoaringBitmap до версии 0.7.45 для исправления проблемы с небезопасными ser/dser в Kryo.
- [SPARK-27382][SQL][TEST] Update тестирование Spark 2.4.x на HiveExternalCatalogVersionsSuite
- [SPARK-27338][CORE] Исправлена взаимоблокировка между UnsafeExternalSorter и TaskMemoryManager.
- [SPARK-27338][CORE][FOLLOWUP] remove пробел в конце
- [SPARK-27338][CORE] Исправлена взаимоблокировка в UnsafeExternalSorter.SpillableIterator при одновременной блокировке UnsafeExternalSorter.SpillableIterator и TaskMemoryManager.
- [SPARK-27346][SQL] Смягчено условие утверждения новой строки в поле "examples" в ExpressionInfo.
- [SPARK-26998][CORE] Remove конфигурация SSL на рабочих узлах
- [SPARK-27244][CORE][TEST][FOLLOWUP] toDebugString скрывает конфиденциальные сведения.
- [SPARK-27267][Продолжение] Update манифест зависимостей hadoop-2.6
- [SPARK-27267][CORE] Update snappy, чтобы избежать ошибок при распаковке пустых сериализованных данных
- [SPARK-27301][DSTREAM] Сокращен жизненный цикл кэширования FileSystem до внутренней области метода очистки.
- [SPARK-27244][CORE] Скрытие паролей при использовании параметра logConf=true.
- [SPARK-26208][SQL] Теперь в пустые CSV-файлы добавляются заголовки, если header=true.
- [SPARK-27275][CORE] Исправлено потенциальное повреждение в EncryptedMessage.transferTo (2.4).
- [SPARK-23836][PYTHON] Добавлена поддержка для возврата StructType в UDF Scalar pandas.
- [SPARK-26961][CORE] Включена возможность параллельной загрузки классов.
- [SPARK-27274][DOCS] Исправлены ссылки на scala 2.11 в документации 2.4.1+; поддержка Note 2.11 прекращена в 2.4.1+.
- [SPARK-27198][CORE] Исправлено несоответствие интервалов пакетов пульса в драйвере и исполнителе.
- [SPARK-27094][YARN] Временное решение проблемы, связанной с тем, что RackResolver поглощает прерывание потока.
- [SPARK-24935][SQL] Исправлен UDAF Hive с двумя буферами агрегирования.
- [SPARK-27160][SQL] Исправлен DecimalType при создании фильтров ORC.
- [SPARK-26606][CORE] Реализована надлежащая обработка параметров драйвера при отправке в режим изолированного кластера через устаревший клиент.
- [SPARK-27221][SQL] Улучшено сообщение об ошибке assert в TreeNode.parseToJson (5.x).
- [SPARK-27102][R][PYTHON][CORE] Remove ссылки на Scala-коды Python в Scala-кодах R
- [SPARK-27159][SQL] update диалект сервера mssql для поддержки двоичного типа
- [SPARK-27112][CORE]: установите порядок использования ресурсов между потоками для устранения взаимоблокировок, возникающих при попытке завершить работу экзекьюторов из-за динамического распределения ресурсов или блокировки list
- [SPARK-27178][K8S] Добавлен пакет nss для исправления тестов.
- [SPARK-27045][SQL] Вкладка SQL в пользовательском интерфейсе отображает фактический SQL, а не сайт вызова в случае со SparkSQLDriver.
- [SPARK-27119][SQL] Не выводить schema при чтении Hive SerDe table со встроенным источником данных
- [SPARK-27165][SPARK-27107][BUILD][SQL] Обновлена версия Apache ORC до 1.5.5.
- [SPARK-26742][K8S] Update версии клиента k8s до версии 4.1.2
- [SPARK-26927][CORE] Исполнитель теперь проверяется на активность при обработке событий в динамическом диспетчере выделения.
- [SPARK-27097][CHERRY-PICK 2.4] Теперь не допускается встраивание зависящих от платформы смещений прямо в сгенерированный для целого этапа код.
- [SPARK-27111][SS] Исправлена гонка, в которой непрерывный запрос мог завершаться сбоем с исключением InterruptedException (5.x).
- [SPARK-27111][SS] Исправлена гонка, в которой непрерывный запрос мог завершаться сбоем с исключением InterruptedException.
- [SPARK-27080][SQL] Исправлена ошибка при использовании mergeWithMetastoreSchema с универсальным сравнением в нижнем регистре.
- [SPARK-26604][CORE] Очищена регистрация канала для StreamManager.
- [SPARK-27016][SQL][BUILD] Все предупреждения antlr теперь обрабатываются как ошибки при создании анализатора из файла grammar sql.
- [SPARK-25863][SPARK-21871][SQL] Теперь выполняется проверка того, пуста ли статистика размера кода, в updateAndGetCompilationStats.
- [SPARK-27078][SQL] Исправление ошибки NoSuchFieldError при чтении материализованных представлений Hive views
- [SPARK-27019][SQL][WEBUI] onJobStart с запуском после onExecutionEnd не должно перезаписывать хранилище ключей.
- [SPARK-27065][CORE] избежать нескольких активных руководителей set задач на этапе
- [SPARK-24669][SQL] Аннулировать tables в случае DROP DATABASE CASCADE
- [SPARK-26932][DOC] Добавлено предупреждение для проблемы со средством чтения ORC для Hive 2.1.1.
- [SPARK-25139][SPARK-18406][CORE] Теперь ошибки NonFatal не приводят к завершению работы исполнителя в PythonRunner
Обновления в рамках обслуживания
См. пакет обновления Databricks Runtime 5.4.
Системная среда
- Операционная система: Ubuntu 16.04.6 LTS
- Java: 1.8.0_191.
- Scala: 2.11.12
- Python: 2.7.12 для кластеров Python 2 и 3.5.2 для кластеров Python 3.
- R: R версии 3.6.0 (26.04.2019)
-
Кластеры GPU: установлены следующие библиотеки GPU NVIDIA:
- Драйвер Tesla 375.66
- CUDA 9.0
- cuDNN 7.0
Примечание.
Scala 2.12 поддерживается в Apache Spark 2.4, но не поддерживается в Databricks Runtime 5.4.
Установленные библиотеки Python
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| ansi2html | 1.1.1 | argparse | 1.2.1 | backports-abc | 0,5 |
| boto | 2.42.0 | boto3 | 1.4.1 | botocore | 1.4.70 |
| brewer2mpl | 1.4.1 | certifi | 2016.2.28 | cffi | 1.7.0 |
| chardet | 2.3.0 | colorama | 0.3.7 | configobj | 5.0.6 |
| криптография | 1.5 | cycler | 0.10.0 | Cython | 0.24.1 |
| decorator | 4.0.10 | docutils | 0,14 | enum34 | 1.1.6 |
| et-xmlfile | 1.0.1 | freetype-py | 1.0.2 | funcsigs | 1.0.2 |
| fusepy | 2.0.4 | фьючерсы | 3.2.0 | ggplot | 0.6.8 |
| html5lib | 0,999 | idna | 2.1 | ipaddress | 1.0.16 |
| ipython | 2.2.0 | ipython-genutils | 0.1.0 | jdcal | 1.2 |
| Jinja2 | 2.8 | jmespath | 0.9.0 | llvmlite | 0.13.0 |
| lxml | 3.6.4 | MarkupSafe | 0,23 | matplotlib | 1.5.3 |
| mpld3 | 0,2 | msgpack-python | 0.4.7 | ndg-httpsclient | 0.3.3 |
| numba | 0.28.1 | numpy | 1.11.1 | openpyxl | 2.3.2 |
| pandas | 0.19.2 | pathlib2 | 2.1.0 | patsy | 0.4.1 |
| pexpect | 4.0.1 | pickleshare | 0.7.4 | Pillow | 3.3.1 |
| pip | 19.1.1 | ply | 3,9 | prompt-toolkit | 1.0.7 |
| psycopg2 | 2.6.2 | ptyprocess | 0.5.1 | py4j | 0.10.3 |
| pyarrow | 0.8.0 | pyasn1 | 0.1.9 | pycparser | 2,14 |
| Pygments | 2.1.3 | PyGObject | 3.20.0 | pyOpenSSL | 16.0.0 |
| pyparsing | 2.2.0 | pypng | 0.0.18 | Python | 2.7.12 |
| python-dateutil | 2.5.3 | python-geohash | 0.8.5 | pytz | 2016.6.1 |
| requests | 2.11.1 | s3transfer | 0.1.9 | scikit-learn | 0.18.1 |
| scipy | 0.18.1 | scour | 0,32 | мореборн | 0.7.1 |
| setuptools | 41.0.1 | simplejson | 3.8.2 | simples3 | 1.0 |
| singledispatch | 3.4.0.3 | six | 1.10.0 | statsmodels | 0.6.1 |
| tornado | 5.1.1 | traitlets | 4.3.0 | urllib3 | 1.19.1 |
| virtualenv | 16.1.0 | wcwidth | 0.1.7 | wheel | 0.33.3 |
| wsgiref | 0.1.2 |
Установленные библиотеки R
| Библиотека | Версия | Библиотека | Версия | Библиотека | Версия |
|---|---|---|---|---|---|
| abind | 1.4-5 | askpass | 1,1 | assertthat | 0.2.1 |
| внутренние порты | 1.1.3 | base | 3.6.0 | base64enc | 0.1-3 |
| BH | 1.69.0-1 | bit | 1.1–14 | bit64 | 0.9-7 |
| bitops | 1.0–6 | большой двоичный объект | 1.1.1 | загрузка | 1.3-20 |
| заваривать | 1.0–6 | вызывающий объект | 3.2.0 | автомобиль | 3.0-2 |
| carData | 3.0-2 | крышка | 6.0-82 | cellranger | 1.1.0 |
| chron | 2.3-53 | class | 7.3-15 | cli | 1.1.0 |
| clipr | 0.5.0 | clisymbols | 1.2.0 | cluster | 2.0.8 |
| codetools | 0.2-16 | colorspace | 1.4-1 | commonmark | 1,7 |
| компилятор | 3.6.0 | config | 0,3 | карандаш | 1.3.4 |
| curl | 3,3 | данные.table | 1.12.0 | наборы данных | 3.6.0 |
| DBI | 1.0.0 | dbplyr | 1.3.0 | desc | 1.2.0 |
| средства разработки | 2.0.1 | digest | 0.6.18 | doMC | 1.3.5 |
| dplyr | 0.8.0.1 | многоточие | 0.1.0 | вентиляторы | 0.4.0 |
| forcats | 0.4.0 | foreach | 1.4.4 | иностранный | 0.8-71 |
| forge | 0.2.0 | fs | 1.2.7 | gbm | 2.1.5 |
| Универсальные шаблоны | 0.0.2 | ggplot2 | 3.1.0 | gh | 1.0.1 |
| git2r | 0.25.2 | glmnet | 2.0-16 | клей | 1.3.1 |
| Говер | 0.2.0 | графика | 3.6.0 | grDevices | 3.6.0 |
| grid | 3.6.0 | gridExtra | 2.3 | gsubfn | 0,7 |
| gtable | 0.3.0 | h2o | 3.22.1.1 | haven | 2.1.0 |
| hms | 0.4.2 | htmltools | 0.3.6 | htmlwidgets | 1,3 |
| httr | 1.4.0 | hwriter | 1.3.2 | hwriterPlus | 1.0-3 |
| ini | 0.3.1 | ipred | 0.9-8 | Итераторы | 1.0.10 |
| jsonlite | 1,6 | KernSmooth | 2.23-15 | маркирование | 0,3 |
| решётка | 0.20-38 | Lava | 1.6.5 | lazoval | 0.2.2 |
| littler | 0.3.7 | lme4 | 1.1-21 | lubridate | 1.7.4 |
| magrittr | 1.5 | mapproj | 1.2.6 | maps | 3.3.0 |
| Maptools | 0.9-5 | МАССАЧУСЕТС | 7.3-51.1 | «Матрица» | 1.2-17 |
| MatrixModels | 0.4-1 | memoise | 1.1.0 | оплаты | 3.6.0 |
| mgcv | 1.8-28 | мим | 0,6 | minqa | 1.2.4 |
| ModelMetrics | 1.2.2 | munsell | 0.5.0 | mvtnorm | 1.0-10 |
| nlme | 3.1-139 | nloptr | 1.2.1 | nnet | 7.3-12 |
| numDeriv | 2016.8-1 | openssl | 1,3 | openxlsx | 4.1.0 |
| parallel | 3.6.0 | pbkrtest | 0.4-7 | столб | 1.3.1 |
| pkgbuild | 1.0.3 | pkgconfig | 2.0.2 | pkgKitten | 0.1.4 |
| pkgload | 1.0.2 | plogr | 0.2.0 | plyr | 1.8.4 |
| хвалить | 1.0.0 | prettyunits | 1.0.2 | pROC | 1.14.0 |
| processx | 3.3.0 | prodlim | 2018.04.18 | Ход выполнения | 1.2.0 |
| proto | 1.0.0 | ps | 1.3.0 | purrr | 0.3.2 |
| quantreg | 5,38 | R.methodsS3 | 1.7.1 | R.oo | 1.22.0 |
| R.utils | 2.8.0 | r2d3 | 0.2.3 | R6 | 2.4.0 |
| randomForest | 4.6-14 | rappdirs | 0.3.1 | rcmdcheck | 1.3.2 |
| RColorBrewer | 1.1-2 | Rcpp | 1.0.1 | RcppEigen | 0.3.3.5.0 |
| RcppRoll | 0.3.0 | RCurl | 1.95-4.12 | readr | 1.3.1 |
| readxl | 1.3.1 | Рецепты | 0.1.5 | реванш | 1.0.1 |
| remotes | 2.0.2 | reshape2 | 1.4.3 | rio | 0.5.16 |
| rlang | 0.3.3 | RODBC | 1.3-15 | roxygen2 | 6.1.1 |
| rpart | 4.1-15 | rprojroot | 1.3-2 | Rserve | 1.8-6 |
| RSQLite | 2.1.1 | rstudioapi | 0.10 | весы | 1.0.0 |
| sessioninfo | 1.1.1 | sp | 1.3-1 | sparklyr | 1.0.0 |
| SparkR | 2.4.3 | SparseM | 1.77 | пространственный | 7.3-11 |
| Сплайны | 3.6.0 | sqldf | 0.4-11 | SQUAREM | 2017.10-1 |
| statmod | 1.4.30 | stats | 3.6.0 | статистика4 | 3.6.0 |
| stringi | 1.4.3 | stringr | 1.4.0 | выживание | 2.43-3 |
| sys | 3.1 | tcltk | 3.6.0 | ОбучениеDemos | 2,10 |
| testthat | 2.0.1 | tibble | 2.1.1 | tidyr | 0.8.3 |
| tidyselect | 0.2.5 | TimeDate | 3043.102 | средства | 3.6.0 |
| usethis | 1.4.0 | utf8 | 1.1.4 | служебные программы | 3.6.0 |
| viridisLite | 0.3.0 | усы | 0.3-2 | withr | 2.1.2 |
| xml2 | 1.2.0 | xopen | 1.0.0 | yaml | 2.2.0 |
| zip | 2.0.1 |
Установленные библиотеки Java и Scala (версия кластера Scala 2.11)
| ИД группы | Идентификатор артефакта | Версия |
|---|---|---|
| antlr | antlr | 2.7.7 |
| com.amazonaws | amazon-kinesis-client | 1.8.10 |
| com.amazonaws | aws-java-sdk-autoscaling | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudformation | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudfront | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudhsm | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudsearch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudtrail | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatch | 1.11.313 |
| com.amazonaws | aws-java-sdk-cloudwatchmetrics | 1.11.313 |
| com.amazonaws | aws-java-sdk-codedeploy | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitoidentity | 1.11.313 |
| com.amazonaws | aws-java-sdk-cognitosync | 1.11.313 |
| com.amazonaws | aws-java-sdk-config | 1.11.313 |
| com.amazonaws | aws-java-sdk-core | 1.11.313 |
| com.amazonaws | aws-java-sdk-datapipeline | 1.11.313 |
| com.amazonaws | aws-java-sdk-directconnect | 1.11.313 |
| com.amazonaws | aws-java-sdk-directory | 1.11.313 |
| com.amazonaws | aws-java-sdk-dynamodb | 1.11.313 |
| com.amazonaws | aws-java-sdk-ec2 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ecs | 1.11.313 |
| com.amazonaws | aws-java-sdk-efs | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticache | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticbeanstalk | 1.11.313 |
| com.amazonaws | aws-java-sdk-elasticloadbalancing | 1.11.313 |
| com.amazonaws | aws-java-sdk-elastictranscoder | 1.11.313 |
| com.amazonaws | aws-java-sdk-emr | 1.11.313 |
| com.amazonaws | aws-java-sdk-glacier | 1.11.313 |
| com.amazonaws | aws-java-sdk-glue | 1.11.313 |
| com.amazonaws | aws-java-sdk-iam | 1.11.313 |
| com.amazonaws | aws-java-sdk-importexport | 1.11.313 |
| com.amazonaws | aws-java-sdk-kinesis | 1.11.313 |
| com.amazonaws | aws-java-sdk-kms | 1.11.313 |
| com.amazonaws | aws-java-sdk-lambda | 1.11.313 |
| com.amazonaws | aws-java-sdk-logs | 1.11.313 |
| com.amazonaws | aws-java-sdk-machinelearning | 1.11.313 |
| com.amazonaws | aws-java-sdk-opsworks | 1.11.313 |
| com.amazonaws | aws-java-sdk-rds | 1.11.313 |
| com.amazonaws | aws-java-sdk-redshift | 1.11.313 |
| com.amazonaws | aws-java-sdk-route53 | 1.11.313 |
| com.amazonaws | aws-java-sdk-s3 | 1.11.313 |
| com.amazonaws | aws-java-sdk-ses | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpledb | 1.11.313 |
| com.amazonaws | aws-java-sdk-simpleworkflow | 1.11.313 |
| com.amazonaws | aws-java-sdk-sns | 1.11.313 |
| com.amazonaws | aws-java-sdk-sqs | 1.11.313 |
| com.amazonaws | aws-java-sdk-ssm | 1.11.313 |
| com.amazonaws | aws-java-sdk-storagegateway | 1.11.313 |
| com.amazonaws | aws-java-sdk-sts | 1.11.313 |
| com.amazonaws | aws-java-sdk-support | 1.11.313 |
| com.amazonaws | aws-java-sdk-swf-libraries | 1.11.22 |
| com.amazonaws | aws-java-sdk-workspaces | 1.11.313 |
| com.amazonaws | jmespath-java | 1.11.313 |
| com.carrotsearch | hppc | 0.7.2 |
| com.chuusai | shapeless_2.11 | 2.3.2 |
| com.clearspring.analytics | потоковая передача | 2.7.0 |
| com.databricks | Rserve | 1.8-3 |
| com.databricks | dbml-local_2.11 | 0.5.0-db8-spark2.4 |
| com.databricks | dbml-local_2.11-tests | 0.5.0-db8-spark2.4 |
| com.databricks | jets3t | 0.7.1–0 |
| com.databricks.scalapb | compilerplugin_2.11 | 0.4.15–9 |
| com.databricks.scalapb | scalapb-runtime_2.11 | 0.4.15–9 |
| com.esotericsoftware | kryo-shaded | 4.0.2 |
| com.esotericsoftware | minlog | 1.3.0 |
| com.fasterxml | classmate | 1.0.0 |
| com.fasterxml.jackson.core | jackson-annotations | 2.6.7 |
| com.fasterxml.jackson.core | jackson-core | 2.6.7 |
| com.fasterxml.jackson.core | jackson-databind | 2.6.7.1 |
| com.fasterxml.jackson.dataformat | jackson-dataformat-cbor | 2.6.7 |
| com.fasterxml.jackson.datatype | jackson-datatype-joda | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-paranamer | 2.6.7 |
| com.fasterxml.jackson.module | jackson-module-scala_2.11 | 2.6.7.1 |
| com.github.fommil | jniloader | 1,1 |
| com.github.fommil.netlib | core | 1.1.2 |
| com.github.fommil.netlib | native_ref-java | 1,1 |
| com.github.fommil.netlib | native_ref-java-natives | 1,1 |
| com.github.fommil.netlib | native_system-java | 1,1 |
| com.github.fommil.netlib | native_system-java-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_ref-linux-x86_64-natives | 1,1 |
| com.github.fommil.netlib | netlib-native_system-linux-x86_64-natives | 1,1 |
| com.github.luben | zstd-jni | 1.3.2-2 |
| com.github.rwl | jtransforms | 2.4.0 |
| com.google.code.findbugs | jsr305 | 2.0.1 |
| com.google.code.gson | gson | 2.2.4 |
| com.google.guava | guava | 15,0 |
| com.google.protobuf | protobuf-java | 2.6.1 |
| com.googlecode.javaewah | JavaEWAH | 0.3.2 |
| com.h2database | h2 | 1.3.174 |
| com.jcraft | jsch | 0.1.50 |
| com.jolbox | bonecp | 0.8.0.RELEASE |
| com.microsoft.azure | azure-data-lake-store-sdk | 2.2.8 |
| com.microsoft.azure | служба хранилища Azure | 5.2.0 |
| com.microsoft.sqlserver | mssql-jdbc | 6.2.2.jre8 |
| com.ning | compress-lzf | 1.0.3 |
| com.sun.mail | javax.mail | 1.5.2 |
| com.thoughtworks.paranamer | paranamer | 2.8 |
| com.trueaccord.lenses | lenses_2.11 | 0,3 |
| com.twitter | chill-java | 0.9.3 |
| com.twitter | chill_2.11 | 0.9.3 |
| com.twitter | parquet-hadoop-bundle | 1.6.0 |
| com.twitter | util-app_2.11 | 6.23.0 |
| com.twitter | util-core_2.11 | 6.23.0 |
| com.twitter | util-jvm_2.11 | 6.23.0 |
| com.typesafe | config | 1.2.1 |
| com.typesafe.scala-logging | scala-logging-api_2.11 | 2.1.2 |
| com.typesafe.scala-logging | scala-logging-slf4j_2.11 | 2.1.2 |
| com.univocity | univocity-parsers | 2.7.3 |
| com.vlkan | flatbuffers | 1.2.0-3f79e055 |
| com.zaxxer | HikariCP | 3.1.0 |
| commons-beanutils | commons-beanutils | 1.7.0 |
| commons-beanutils | commons-beanutils-core | 1.8.0 |
| commons-cli | commons-cli | 1.2 |
| commons-codec | commons-codec | 1,10 |
| commons-collections | commons-collections | 3.2.2 |
| commons-configuration | commons-configuration | 1,6 |
| commons-dbcp | commons-dbcp | 1.4 |
| commons-digester | commons-digester | 1.8 |
| commons-httpclient | commons-httpclient | 3.1 |
| commons-io | commons-io | 2.4 |
| commons-lang | commons-lang | 2.6 |
| commons-logging | commons-logging | 1.1.3 |
| commons-net | commons-net | 3.1 |
| commons-pool | commons-pool | 1.5.4 |
| info.ganglia.gmetric4j | gmetric4j | 1.0.7 |
| io.airlift | aircompressor | 0.10 |
| io.dropwizard.metrics | metrics-core | 3.1.5 |
| io.dropwizard.metrics | metrics-ganglia | 3.1.5 |
| io.dropwizard.metrics | metrics-graphite | 3.1.5 |
| io.dropwizard.metrics | metrics-healthchecks | 3.1.5 |
| io.dropwizard.metrics | metrics-jetty9 | 3.1.5 |
| io.dropwizard.metrics | metrics-json | 3.1.5 |
| io.dropwizard.metrics | metrics-jvm | 3.1.5 |
| io.dropwizard.metrics | metrics-log4j | 3.1.5 |
| io.dropwizard.metrics | metrics-servlets | 3.1.5 |
| io.netty | netty | 3.9.9.Final |
| io.netty | netty-all | 4.1.17.Final |
| io.prometheus | simpleclient | 0.0.16 |
| io.prometheus | simpleclient_common | 0.0.16 |
| io.prometheus | simpleclient_dropwizard | 0.0.16 |
| io.prometheus | simpleclient_servlet | 0.0.16 |
| io.prometheus.jmx | коллектор | 0,7 |
| javax.activation | activation | 1.1.1 |
| javax.annotation | javax.annotation-api | 1.2 |
| javax.el | javax.el-api | 2.2.4 |
| javax.jdo | jdo-api | 3.0.1 |
| javax.servlet | javax.servlet-api | 3.1.0 |
| javax.servlet.jsp | jsp-api | 2.1 |
| javax.transaction | jta | 1,1 |
| javax.validation | validation-api | 1.1.0.Final |
| javax.ws.rs | javax.ws.rs-api | 2.0.1 |
| javax.xml.bind | jaxb-api | 2.2.2 |
| javax.xml.stream | stax-api | 1.0–2 |
| javolution | javolution | 5.5.1 |
| jline | jline | 2.14.6 |
| joda-time | joda-time | 2.9.3 |
| log4j | apache-log4j-extras | 1.2.17 |
| log4j | log4j | 1.2.17 |
| maven-trees | hive-exec-with-glue | hive-12679-patch_deploy |
| maven-trees | hive-exec-with-glue | hive-exec_shaded |
| net.hydromatic | eigenbase-properties | 1.1.5 |
| net.razorvine | pyrolite | 4.13 |
| net.sf.jpam | jpam | 1,1 |
| net.sf.opencsv | opencsv | 2.3 |
| net.sf.supercsv | super-csv | 2.2.0 |
| net.snowflake | snowflake-ingest-sdk | 0.9.5 |
| net.snowflake | snowflake-jdbc | 3.6.15 |
| net.snowflake | spark-snowflake_2.11 | 2.4.10-spark_2.4 |
| net.sourceforge.f2j | arpack_combined_all | 0,1 |
| org.acplt | oncrpc | 1.0.7 |
| org.antlr | ST4 | 4.0.4 |
| org.antlr | antlr-runtime | 3,4 |
| org.antlr | antlr4-runtime | 4,7 |
| org.antlr | stringtemplate | 3.2.1 |
| org.apache.ant | ant | 1.9.2 |
| org.apache.ant | ant-jsch | 1.9.2 |
| org.apache.ant | ant-launcher | 1.9.2 |
| org.apache.arrow | arrow-format | 0.10.0 |
| org.apache.arrow | arrow-memory | 0.10.0 |
| org.apache.arrow | arrow-vector | 0.10.0 |
| org.apache.avro | avro | 1.8.2 |
| org.apache.avro | avro-ipc | 1.8.2 |
| org.apache.avro | avro-mapred-hadoop2 | 1.8.2 |
| org.apache.calcite | calcite-avatica | 1.2.0-incubating |
| org.apache.calcite | calcite-core | 1.2.0-incubating |
| org.apache.calcite | calcite-linq4j | 1.2.0-incubating |
| org.apache.commons | commons-compress | 1.8.1 |
| org.apache.commons | commons-crypto | 1.0.0 |
| org.apache.commons | commons-lang3 | 3.5 |
| org.apache.commons | commons-math3 | 3.4.1 |
| org.apache.curator | curator-client | 2.7.1 |
| org.apache.curator | curator-framework | 2.7.1 |
| org.apache.curator | curator-recipes | 2.7.1 |
| org.apache.derby | derby | 10.12.1.1 |
| org.apache.directory.api | api-asn1-api | 1.0.0–M20 |
| org.apache.directory.api | api-util | 1.0.0–M20 |
| org.apache.directory.server | apacheds-i18n | 2.0.0–M15 |
| org.apache.directory.server | apacheds-kerberos-codec | 2.0.0–M15 |
| org.apache.hadoop | hadoop-annotations | 2.7.3 |
| org.apache.hadoop | hadoop-auth | 2.7.3 |
| org.apache.hadoop | hadoop-client | 2.7.3 |
| org.apache.hadoop | hadoop-common | 2.7.3 |
| org.apache.hadoop | hadoop-hdfs | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-app | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-common | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-core | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-jobclient | 2.7.3 |
| org.apache.hadoop | hadoop-mapreduce-client-shuffle | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-api | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-client | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-common | 2.7.3 |
| org.apache.hadoop | hadoop-yarn-server-common | 2.7.3 |
| org.apache.htrace | htrace-core | 3.1.0-incubating |
| org.apache.httpcomponents | httpclient | 4.5.4 |
| org.apache.httpcomponents | httpcore | 4.4.8 |
| org.apache.ivy | ivy | 2.4.0 |
| org.apache.orc | orc-core-nohive | 1.5.2 |
| org.apache.orc | orc-mapreduce-nohive | 1.5.2 |
| org.apache.orc | orc-shims | 1.5.2 |
| org.apache.parquet | паркет-column | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-common | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-encoding | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-format | 2.4.0 |
| org.apache.parquet | parquet-hadoop | 1.10.1.1-databricks3 |
| org.apache.parquet | parquet-jackson | 1.10.1.1-databricks3 |
| org.apache.thrift | libfb303 | 0.9.3 |
| org.apache.thrift | libthrift | 0.9.3 |
| org.apache.xbean | xbean-asm6-shaded | 4,8 |
| org.apache.zookeeper | zookeeper | 3.4.6 |
| org.codehaus.jackson | jackson-core-asl | 1.9.13 |
| org.codehaus.jackson | jackson-jaxrs | 1.9.13 |
| org.codehaus.jackson | jackson-mapper-asl | 1.9.13 |
| org.codehaus.jackson | jackson-xc | 1.9.13 |
| org.codehaus.janino | commons-compiler | 3.0.10 |
| org.codehaus.janino | janino | 3.0.10 |
| org.datanucleus | datanucleus-api-jdo | 3.2.6 |
| org.datanucleus | datanucleus-core | 3.2.10 |
| org.datanucleus | datanucleus-rdbms | 3.2.9 |
| org.eclipse.jetty | jetty-client | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-continuation | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-http | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-io | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-jndi | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-plus | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-proxy | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-security | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-server | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlet | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-servlets | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-util | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-webapp | 9.3.20.v20170531 |
| org.eclipse.jetty | jetty-xml | 9.3.20.v20170531 |
| org.fusesource.leveldbjni | leveldbjni-all | 1.8 |
| org.glassfish.hk2 | hk2-api | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-locator | 2.4.0-b34 |
| org.glassfish.hk2 | hk2-utils | 2.4.0-b34 |
| org.glassfish.hk2 | osgi-resource-locator | 1.0.1 |
| org.glassfish.hk2.external | aopalliance-repackaged | 2.4.0-b34 |
| org.glassfish.hk2.external | javax.inject | 2.4.0-b34 |
| org.glassfish.jersey.bundles.repackaged | jersey-guava | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet | 2.22.2 |
| org.glassfish.jersey.containers | jersey-container-servlet-core | 2.22.2 |
| org.glassfish.jersey.core | jersey-client | 2.22.2 |
| org.glassfish.jersey.core | jersey-common | 2.22.2 |
| org.glassfish.jersey.core | jersey-server | 2.22.2 |
| org.glassfish.jersey.media | jersey-media-jaxb | 2.22.2 |
| org.hibernate | hibernate-validator | 5.1.1.Final |
| org.iq80.snappy | snappy | 0,2 |
| org.javassist | javassist | 3.18.1-GA |
| org.jboss.logging | jboss-logging | 3.1.3.GA |
| org.jdbi | jdbi | 2.63.1 |
| org.joda | joda-convert | 1,7 |
| org.jodd | jodd-core | 3.5.2 |
| org.json4s | json4s-ast_2.11 | 3.5.3 |
| org.json4s | json4s-core_2.11 | 3.5.3 |
| org.json4s | json4s-jackson_2.11 | 3.5.3 |
| org.json4s | json4s-scalap_2.11 | 3.5.3 |
| org.lz4 | lz4-java | 1.4.0 |
| org.mariadb.jdbc | mariadb-java-client | 2.1.2 |
| org.mockito | mockito-all | 1.9.5 |
| org.objenesis | objenesis | 2.5.1 |
| org.postgresql | postgresql | 42.1.4 |
| org.roaringbitmap | RoaringBitmap | 0.7.45 |
| org.roaringbitmap | shims | 0.7.45 |
| org.rocksdb | rocksdbjni | 5.2.1 |
| org.rosuda.REngine | REngine | 2.1.0 |
| org.scala-lang | scala-compiler_2.11 | 2.11.12 |
| org.scala-lang | scala-library_2.11 | 2.11.12 |
| org.scala-lang | scala-reflect_2.11 | 2.11.12 |
| org.scala-lang.modules | scala-parser-combinators_2.11 | 1.1.0 |
| org.scala-lang.modules | scala-xml_2.11 | 1.0.5 |
| org.scala-sbt | test-interface | 1.0 |
| org.scalacheck | scalacheck_2.11 | 1.12.5 |
| org.scalactic | scalactic_2.11 | 3.0.3 |
| org.scalanlp | breeze-macros_2.11 | 0.13.2 |
| org.scalanlp | breeze_2.11 | 0.13.2 |
| org.scalatest | scalatest_2.11 | 3.0.3 |
| org.slf4j | jcl-over-slf4j | 1.7.16 |
| org.slf4j | jul-to-slf4j | 1.7.16 |
| org.slf4j | slf4j-api | 1.7.16 |
| org.slf4j | slf4j-log4j12 | 1.7.16 |
| org.spark-project.hive | hive-beeline | 1.2.1.spark2 |
| org.spark-project.hive | hive-cli | 1.2.1.spark2 |
| org.spark-project.hive | hive-jdbc | 1.2.1.spark2 |
| org.spark-project.hive | hive-metastore | 1.2.1.spark2 |
| org.spark-project.spark | неиспользованный | 1.0.0 |
| org.spire-math | spire-macros_2.11 | 0.13.0 |
| org.spire-math | spire_2.11 | 0.13.0 |
| org.springframework | spring-core | 4.1.4.RELEASE |
| org.springframework | spring-test | 4.1.4.RELEASE |
| org.tukaani | xz | 1.5 |
| org.typelevel | machinist_2.11 | 0.6.1 |
| org.typelevel | macro-compat_2.11 | 1.1.1 |
| org.xerial | sqlite-jdbc | 3.8.11.2 |
| org.xerial.snappy | snappy-java | 1.1.7.3 |
| org.yaml | snakeyaml | 1,16 |
| oro | oro | 2.0.8 |
| software.amazon.ion | ion-java | 1.0.2 |
| stax | stax-api | 1.0.1 |
| xmlenc | xmlenc | 0,52 |