Поделиться через

Databricks Runtime 10.5 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 10.5 на платформе Apache Spark 3.2.1. Databricks выпустила эту версию в мае 2022 года.

Новые функции и внесенные улучшения

SQL: новые функции to_number и try_to_number

Функции to_number и try_to_number позволяют преобразовывать символьные представления чисел в различных форматах в формат DECIMAL.

SQL: новая функция try_sum

В отличие от sum, агрегатная функция try_sum возвращает значение NULL вместо ошибки при переполнении.

SQL: функции Update, ceil, ceilingи floor

Функции ceil, ceiling и floor теперь поддерживают второй необязательный аргумент, позволяющий указать требуемую точность округления.

SQL: новые агрегатные функции regr_avgx и regr_avgy

Новые агрегатные функции regr_avgx и regr_avgy поддерживают линейные регрессии.

SQL: функции Update, contains, startswithи endswith

Функции contains, startswith и endswith теперь поддерживают в качестве входных данных не только строки, но и двоичные типы данных.

SQL: новая функция array_size

Новая функция array_size вычисляет размер массива.

CatalogUnity: вывод SQL LIST удаляет is_directorycolumn и добавляет завершающий / для путей к каталогам (публичная предварительная версия)

Выходные данные инструкции SQL LIST для перечисления путей, управляемых Unity Catalog, изменились. is_directory column больше не отображается. Вместо этого пути, представляющие каталоги, теперь заканчиваются косой чертой (/) для path и namecolumns. Это изменение предназначено для обеспечения согласованности с выходными данными команды dbutils.fs.ls.

Автозагрузчик: новая функция SQL CLOUD_FILES_STATE

Новую функцию CLOUD_FILES_STATE можно использовать для запроса внутреннего состояния потока автозагрузчика. См. раздел Запрашивание файлов, обнаруженных автозагрузчиком.

Автозагрузчик: поддержка уведомлений о файлах теперь общедоступна

Поддержка уведомлений о файлах для автозагрузчика в Google Cloud теперь является общедоступной.

Delta Lake: новый параметр maxRecordsPerFile для максимального числа записей в одном файле

При использовании API DataFrame для записи в Delta tableможно использовать опцию maxRecordsPerFile, чтобы указать максимальное количество записей в одном файле. Указание значения нуля или отрицательной величины не означает limit. Сведения о настройке Delta Lake для управления размером файла данных.

Прекращение поддержки Koalas

Koalas больше не поддерживается. Koalas предоставляет API pandas на основе Apache Spark. Проект Koalas разрабатывался сообществом и был доступен в виде API pandas в Spark начиная с версии Apache Spark 3.2. Проект Koalas по-прежнему предустановлен в Databricks Runtime 10.5, но он больше не будет предустанавливаться начиная со следующей версии Databricks Runtime.

Дополнительные сведения об API pandas в Spark см. по следующим ссылкам:

Новые _metadatacolumn для всех форматов файлов

Вы можете get сведения о метаданных для входных файлов с помощью _metadatacolumn. _metadata column скрыта. Этот column доступен для всех форматов входных файлов. Чтобы включить _metadatacolumn в возвращенный DataFrame, необходимо явно ссылаться на этот column в запросе. См. метаданные файла column.

Тестирование конвейера Delta Live Tables с помощью Databricks Runtime 10.5

Databricks Runtime 10.5 теперь является поддерживаемой версией preview для Delta Live Tables. Чтобы протестировать ваш конвейер с помощью Databricks Runtime 10.5, задайте set для параметра channel на preview в настройках вашего конвейера.

Исправления ошибок

  • Исправлено отображение результатов метрик numUpdatedRows и numCopiedRows для операций update в Delta tables с включенной фиксацией изменений данных (CDC).

Обновления библиотек

  • Обновленные библиотеки Python:
    • plotly — с версии 5.5.0 до 5.6.0.
  • Обновленные библиотеки R:
    • base — с версии 4.1.2 до 4.1.3;
    • caret — с версии 6.0-90 до 6.0-91;
    • cluster — с версии 2.1.2 до 2.1.3;
    • commonmark — с версии 1.7 до 1.8.0;
    • compiler  — с версии 4.1.2 до 4.1.3;
    • crayon — с версии 1.5.0 до 1.5.1;
    • datasets — с версии 4.1.2 до 4.1.3;
    • desc — с версии 1.4.0 до 1.4.1;
    • fansi — с версии 1.0.2 до 1.0.3;
    • glue — с версии 1.6.1 до 1.6.2;
    • graphics — с версии 4.1.2 до 4.1.3;
    • grDevices — с версии 4.1.2 до 4.1.3;
    • grid — с версии 4.1.2 до 4.1.3;
    • knitr — с версии 1.37 до 1.38;
    • MASS — с версии 7.3-55 до 7.3-56;
    • Matrix — с версии 1.4-0 до 1.4-1;
    • methods — с версии 4.1.2 до 4.1.3;
    • mgcv — с версии 1.8-39 до 1.8-40;
    • nlme — с версии 3.1-155 до 3.1-157;
    • openssl — с версии 1.4.6 до 2.0.0;
    • parallel — с версии 4.1.2 до 4.1.3;
    • plyr — с версии 1.8.6 до 1.8.7;
    • processx — с версии 3.5.2 до 3.5.3;
    • r2d3 — с версии 0.2.5 до 0.2.6;
    • Rcpp — с версии 1.0.8 до 1.0.8.3;
    • rlang — с версии 1.0.1 до 1.0.2;
    • rmarkdown — с версии 2.11 до 2.13;
    • RSQLite — с версии 2.2.10 до 2.2.11;
    • sass — с версии 0.4.0 до 0.4.1;
    • splines — с версии 4.1.2 до 4.1.3;
    • stats — с версии 4.1.2 до 4.1.3;
    • stats4 — с версии 4.1.2 до 4.1.3;
    • tcltk — с версии 4.1.2 до 4.1.3;
    • tools — с версии 4.1.2 до 4.1.3;
    • utils — с версии 4.1.2 до 4.1.3;
    • uuid — с версии 1.0-3 до 1.0-4;
    • waldo — с версии 0.3.1 до 0.4.0;
    • withr — с версии 2.4.3 до 2.5.0;
    • xfun — с версии 0.29 до 0.30.
  • Обновленные библиотеки Java:
    • com.h2database.h2 — с версии 1.4.195 до 2.1.210;
    • org.apache.hadoop.hadoop-client-api — с версии 3.3.1-databricks до 3.3.2-databricks;
    • org.apache.hadoop.hadoop-client-runtime — с версии 3.3.1 до 3.3.2.
    • org.rocksdb.rocksdbjni — с версии 6.24.2 до 6.20.3

Apache Spark

Databricks Runtime 10.5 включает Apache Spark 3.2.1. Этот выпуск включает в себя все исправления и улучшения Spark, добавленные в Databricks Runtime 10.4 LTS, а также следующие дополнительные исправления ошибок и улучшения Spark:

  • [SPARK-38354] [SC-97886] Revert "[SQL] Добавление метрики хэш-проб для перетасовки хэша join"
  • [SPARK-38484] [SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Инструментирование SQL-модуля PySpark с использованием общего средства ведения журнала.
  • [SPARK-38333] [SQL] Выражение PlanExpression должно пропускать функцию addExprTree в исполнителе.
  • [SPARK-38646] [PYTHON][10.x] Извлечение признака для функций Python.
  • [SPARK-38674] [PHOTON] Добавление метрики в PhotonSubqueryBroadcastExec.
  • [SPARK-38787] [SS] Замените найденное значение на ненулевой элемент в оставшейся list ключа и remove оставшихся пустых элементов из values в хранилище keyWithIndexToValue для соединений потокового потока
  • [SPARK-38446] [Core] Исправлена взаимоблокировка между ExecutorClassLoader и FileDownloadCallback, вызванная Log4j.
  • [SPARK-38705] [SQL] Использование функции identifier в команде создания и удаления функций
  • [SPARK-38684] [SS] Исправлена проблема с правильностью при использовании внешнего join потока с поставщиком хранилища состояний RocksDB
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase не удается найти ту строку offset, у которой входные данные не являются нулем
  • [SPARK-38204] [SS] Использование StatefulOpClusteredDistribution для операторов с отслеживанием состояния с учетом обратной совместимости.
  • [SPARK-38616] [SQL] Отслеживание текста запроса SQL в Catalyst TreeNode.
  • [SPARK-38600] [SQL] Включение unit в строку SQL в TIMESTAMPADD/DIFF.
  • [SPARK-34805] [SQL] Распространение метаданных из вложенной columns в псевдоним
  • [SPARK-38535] [SQL] Добавление перечисления datetimeUnit и его использование в TIMESTAMPADD/DIFF.
  • [SPARK-38415] [SQL] Update тип результата histogram_numeric (x, y) для того, чтобы x == входному типу
  • [SPARK-38148] [SQL] Не добавляйте динамическую partition обрезку, если существует статическая partition обрезка
  • [SPARK-37527] [SQL] Компиляция COVAR_POP, COVAR_SAMP и CORR в H2Dialet.
  • [SPARK-38510] [SQL] Повторные попытки ClassSymbol.selfType для обхода циклических ссылок.
  • [SPARK-38509] [SQL] Отмена регистрации функций TIMESTAMPADD/DIFF и removeDATE_ADD/DIFF
  • [SPARK-38504] [SQL] TimestampNTZ не читается как TimestampLTZ.
  • [SPARK-38526] [SQL] Исправление неверного имени псевдонима функции для RuntimeReplaceable.
  • [SPARK-38335] [SQL] Реализация поддержки синтаксического анализа для columnvalues DEFAULT
  • [SPARK-38593] [SS] Перенос метрики числа удаленных поздних событий в SessionWindowStateStoreSaveExec.
  • [SPARK-38549] [SS] Добавление numRowsDroppedByWatermark в SessionWindowStateStoreRestoreExec.
  • [SPARK-38583] [SQL] Restore поведение to_timestamp, которое позволяет числовым типам
  • [SPARK-38481] [SQL] Замена исключения переполнения Java из TIMESTAMPADD на исключение Spark.
  • [SPARK-37753] [SQL] Логика точной настройки для понижения хэша трансляции join в DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH должны поддерживать как строковые, так и двоичные типы.
  • [SPARK-38345] [SQL] Добавление функции SQL ARRAY_SIZE.
  • [SPARK-38385] [SQL] Улучшение сообщений об ошибках "пустой оператор" и <EOF> в ParseException.
  • [SPARK-37614] [SQL] Поддержка агрегатной функции ANSI: regr_avgx & regr_avgy
  • [SPARK-38560] [SQL] Если Sum, Count, Any сопровождаются distinct, невозможно частично выполнить включение статических вычислений.
  • [SPARK-38360] [SQL][SS][PYTHON] Добавление функции exists для TreeNode для устранения повторяющихся шаблонов кода.
  • [SPARK-38385] [SQL] Улучшение сообщений об ошибках "несовпадение входных данных" из ANTLR.
  • [SPARK-38240] [SQL] Улучшение RuntimeReplaceable и добавление руководства по добавлению новых функций.
  • [SPARK-38542] [SQL]UnsafeHashedRelation должно сериализовать numKeys.
  • [SPARK-38521] [SQL] Замена partitionOverwriteMode со строки на переменную в Scala.
  • [SPARK-38558] [SQL] Remove ненужные приведения между типами Integer и IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly поддерживает свертываемые выражения.
  • [SPARK-38410] [SQL] Поддержка указывает начальное partition число для повторного балансировки
  • [SPARK-38107] [SQL] Классы ошибок теперь используются в ошибках компиляции определяемых пользователем функций Python/pandas.
  • [SPARK-38354] [SQL] Добавление метрики для хеш-зондов при перетасовке хешей join
  • [SPARK-38112] [SQL] Теперь классы ошибок используются в ошибках выполнения обработки меток даты и времени.
  • [SPARK-38361] [SQL] Добавление фабричного метода getConnection в JDBCDialect.
  • [SPARK-37865] [SQL] Исправлена ошибка правильности дедупликации объединения.
  • [SPARK-38298] [SQL][Tests] Исправлены DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite в режиме ANSI.
  • [SPARK-38407] [SQL] Приведение ANSI: ослаблено ограничение на приведение ненулевых сложных типов.
  • [SPARK-38352] [SQL] Исправлены DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite в режиме ANSI.
  • [SPARK-38054] [SQL] Поддерживает пространства имен list в диалекте JDBC версии 2 MySQL
  • [SPARK-37960] [SQL] Новая платформа для представления выражений-катализаторов в API DS версии 2.
  • [SPARK-38103] [SQL] Перенос анализа ошибок преобразования на новую платформу обработки ошибок.
  • [SPARK-38519] [SQL] Исключение AQE должно учитывать SparkFatalException.
  • [SPARK-38528] [SQL] итеративно проходить по агрегированной последовательности при построении проекта list в ExtractGenerator
  • [SPARK-38320] [SS] Исправлено время ожидания flatMapGroupsWithState в пакете с данными для ключа.
  • [SPARK-38442] [SQL] Исправлены ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite в режиме ANSI.
  • [SPARK-38268] [SQL] Скрытие поля failOnError в методе toString в Abs/CheckOverflow.
  • [SPARK-37949] [SQL] Усовершенствование оценки статистики повторной балансировки.
  • [SPARK-38450] [SQL] Исправлены HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite в режиме ANSI.
  • [SPARK-38501] [SQL] Исправлены сбои тестов thriftserver в режиме ANSI.
  • [SPARK-37895] [SQL] Фильтр отправляет column с кавычками columns
  • [SPARK-38449] [SQL] Избегать вызова createTable при ignoreIfExists=true и table существует
  • [SPARK-38406] [SQL] Повышение производительности ShufflePartitionsUtil createSkewPartitionSpecs.
  • [SPARK-37947] [SQL] Извлечение генератора из выражения GeneratorOuter, содержащегося в операторе Generate.
  • [SPARK-38309] [CORE] Исправлены метрики процентиля SHS shuffleTotalReads и shuffleTotalBlocks.
  • [SPARK-38412] [SS] Исправлена последовательность from и to в StateSchemaCompatibilityChecker.
  • [SPARK-38267] [CORE][SQL][SS] Сопоставления шаблонов в логических выражениях заменены условными операторами.
  • [SPARK-38104] [SQL] Перенос ошибок синтаксического анализа window в новую систему ошибок
  • [SPARK-38434] [SQL] Исправлена семантика метода CheckAnalysis.getDataTypesAreCompatibleFn.
  • [SPARK-38033] [SS] Обработка структурированной потоковой передачи не может быть запущена, так как commitId и offsetId не согласованы.
  • [SPARK-38378] [SQL] Рефакторинг определения грамматики ANTLR в отдельные файлы Parser и Lexer.
  • [SPARK-37475] [SQL] Добавление параметра масштабирования в функции floor и ceil.
  • [SPARK-38411] [CORE] Использование UTF-8, если doMergeApplicationListingInternal считывает журналы событий.
  • [SPARK-36553] [ML] KMeans не вычисляет вспомогательную статистику при больших значениях K.
  • [SPARK-38393] [SQL] Удаление GenSeq/GenMap после прекращения поддержки.
  • [SPARK-38389] [SQL] Добавление псевдонимов DATEDIFF() и DATE_DIFF() для TIMESTAMPDIFF().
  • [SPARK-33206] [CORE][3.2] Исправлено вычисление веса кэша индекса Shuffle для небольших файлов индекса.
  • [SPARK-38353] [PYTHON] Инструментирование магических методов enter иexit для API Pandas в Spark.
  • [SPARK-38323] [SQL][Streaming] Поддержка скрытых метаданных файлов при потоковой передаче.
  • [SPARK-38138] [SQL] Материализация вложенных запросов QueryPlan.
  • [SPARK-38094] Включить сопоставление имен schemacolumn по идентификаторам полей
  • [SPARK-37923] [SQL] Generatepartition преобразования для BucketSpec в анализаторе
  • [SPARK-38363] [SQL] Избежание ошибки времени выполнения в Dataset.summary()/Dataset.describe() при включенном режиме ANSI.
  • [SPARK-38284] [SQL] Добавлена функция TIMESTAMPDIFF().
  • [SPARK-38251] [SQL] Изменение Cast.toString на cast вместо ansi_cast в режиме ANSI.
  • [SPARK-38314] [SQL] Исправлена ошибка чтения файлов Parquet после записи скрытых метаданных файлов

См. статью Обновления в рамках обслуживания Databricks Runtime 10.5.

Системная среда

  • Операционная система: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.8.10
  • R: 4.1.3.
  • Delta Lake: 1.2.1

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
Antergos Linux 2015.10 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
async-generator 1,10 attrs 20.3.0 backcall 0.2.0
bidict 0.21.4 bleach 3.3.0 boto3 1.16.7
botocore 1.19.7 certifi 2020.12.5 cffi 1.14.5
chardet 4.0.0 cycler 0.10.0 Cython 0.29.23
dbus-python 1.2.16 decorator 5.0.6 defusedxml 0.7.1
distlib 0.3.4 distro-info 0.23ubuntu1 entrypoints 0,3
facets-overview 1.0.0 filelock 3.6.0 idna 2,10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koalas 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 записная книжка 6.3.0 numpy 1.20.1
во внешнем виде 20,9 pandas 1.2.4 pandocfilters 1.4.3
parso 0.7.0 patsy 0.5.1 pexpect 4.8.0
pickleshare 0.7.5 Pillow 8.2.0 pip 21.0.1
график 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser 2,20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
requests 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 мореборн 0.11.1
Send2Trash 1.5.0 setuptools 52.0.0 six 1.15.0
ssh-import-id 5,10 statsmodels 0.12.2 tenacity 8.0.1
terminado 0.9.4 testpath 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets 5.0.5 unattended-upgrades 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth 0.2.5
webencodings 0.5.1 wheel 0.36.2 widgetsnbextension 3.5.1

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Microsoft Cran от 28.03.2022.

Библиотека Версия Библиотека Версия Библиотека Версия
askpass 1,1 assertthat 0.2.1 внутренние порты 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 большой двоичный объект 1.2.2 загрузка 1.3-28
заваривать 1.0-7 brio 1.1.3 метла 0.7.12
bslib 0.3.1 cachem 1.0.6 вызывающий объект 3.7.0
крышка 6.0-91 cellranger 1.1.0 chron 2.3-56
class 7.3-20 cli 3.2.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 компилятор 4.1.3 config 0.3.1
cpp11 0.4.2 карандаш 1.5.1 credentials 1.3.2
curl 4.3.2 данные.table 1.14.2 наборы данных 4.1.3
DBI 1.1.2 dbplyr 2.1.1 desc 1.4.1
средства разработки 2.4.3 diffobj 0.3.5 digest 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
многоточие 0.3.2 evaluate 0,15 вентиляторы 1.0.3
Farver 2.1.0 fastmap 1.1.0 fontawesome 0.2.2
forcats 0.5.1 foreach 1.5.2 иностранный 0.8-82
forge 0.2.0 fs 1.5.2 будущее 1.24.0
future.apply 1.8.1 gargle 1.2.0 Универсальные шаблоны 0.1.2
gert 1.5.0 ggplot2 3.3.5 gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 globals 0.14.0
клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.0
Говер 1.0.0 графика 4.1.3 grDevices 4.1.3
grid 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 hardhat 0.2.0 haven 2.4.3
высокий 0,9 hms 1.1.1 htmltools 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 ids 1.0.1
ini 0.3.1 ipred 0.9-12 isoband 0.2.5
Итераторы 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 трикотажный 1.38 маркирование 0.4.2
later 1.3.0 решётка 0.20-45 Lava 1.6.10
жизненный цикл 1.0.1 listenv 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1,1 МАССАЧУСЕТС 7.3-56
«Матрица» 1.4-1 memoise 2.0.1 оплаты 4.1.3
mgcv 1.8-40 мим 0,12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.0
parallel 4.1.3 parallelly 1.30.0 столб 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 Ход выполнения 1.2.2 progressr 0.10.0
promises 1.2.0.1 proto 1.0.0 proxy 0.4-26
ps 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl 1.3.1
Рецепты 0.2.0 реванш 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2,13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0,13
rversions 2.1.1 rvest 1.0.2 sass 0.4.1
весы 1.1.1 селектор 0.4-2 sessioninfo 1.2.2
форма 1.4.6 блестящий 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 пространственный 7.3-11
Сплайны 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
stats 4.1.3 статистика4 4.1.3 stringi 1.7.6
stringr 1.4.0 выживание 3.2-13 sys 3,4
tcltk 4.1.3 ОбучениеDemos 2,10 testthat 3.1.2
tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 TimeDate 3043.102 tinytex 0,37
средства 4.1.3 tzdb 0.2.0 usethis 2.1.5
utf8 1.2.2 служебные программы 4.1.3 uuid 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vroom 1.5.7
waldo 0.4.0 усы 0,4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 zip 2.2.0

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib core 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.2
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.2
javax.xml.stream stax-api 1.0–2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
maven-trees hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pyrolite 4.30
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 2.0.0
org.apache.arrow arrow-memory-core 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow arrow-vector 2.0.0
org.apache.avro avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons commons-text 1,6
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop hadoop-client-runtime 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy ivy 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet паркет-column 1.12.0-databricks-0004
org.apache.parquet parquet-common 1.12.0-databricks-0004
org.apache.parquet parquet-encoding 1.12.0-databricks-0004
org.apache.parquet parquet-format-structures 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty jetty-continuation 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty jetty-plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty jetty-security 9.4.43.v20210629
org.eclipse.jetty jetty-server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty jetty-webapp 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-api 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-client 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-common 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet 2.34
org.glassfish.jersey.containers jersey-container-servlet-core 2.34
org.glassfish.jersey.core jersey-client 2.34
org.glassfish.jersey.core jersey-common 2.34
org.glassfish.jersey.core jersey-server 2.34
org.glassfish.jersey.inject jersey-hk2 2.34
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap shims 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark неиспользованный 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1