Поделиться через

Databricks Runtime 12.0 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см. в истории завершения поддержки. Для всех версий среды выполнения Databricks, которые поддерживаются, смотрите заметки о релизах и совместимости Databricks Runtime.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 12.0, на базе Apache Spark 3.3.1.

Databricks выпустила эту версию в декабре 2022 года.

Новые функции и внесенные улучшения

Predictive I/O доступен в общей доступности.

Предсказательный ввод-вывод теперь общедоступен. Дополнительные сведения см. в разделе "Что такое прогнозный ввод-вывод?".

Photon writer поддерживает сжатие zstd

Нативный драйвер Photon теперь поддерживает кодек сжатия zstd, если zstd включен путем установки spark.sql.parquet.compression.codec в zstd.

Поддержка ресурсного профиля для задач на уровне этапа в автономных кластерах

Теперь можно использовать планирование на уровне этапа в автономных кластерах при отключении динамического выделения. Чтобы использовать эту функцию, укажите ресурсы задач для каждого этапа с ResourceProfileBuilder.

Поддержка SQL для выборочной перезаписи с помощью REPLACE WHERE

Теперь можно выборочно перезаписать данные, соответствующие произвольному выражению в таблице Delta, используя следующий шаблон.

INSERT INTO table_name REPLACE WHERE predicate append_relation

См. произвольную выборочную перезапись с replaceWhereв.

Теперь в SQL поддерживаются подложки

Теперь можно указать подложки с помощью интерфейса SQL DLT и в запросах SQL к потоковым кадрам данных. См. пункт WATERMARK.

Профилирование памяти PySpark

Профилирование памяти теперь включено для определяемых пользователем функций PySpark. Это предоставляет информацию об увеличении памяти, использовании памяти и количестве вхождений для каждой строки кода в функции, определяемой пользователем.

Динамическая обрезка для DELETE и UPDATE

При использовании вычислительных ресурсов с поддержкой Photon, DELETE и UPDATE теперь используют динамическую проектировку файлов и отсечение разделов, где это улучшает производительность. Например, динамическая очистка включена при использовании меньшей исходной таблицы для обновления или удаления строк в более крупной таблице.

Удаление метрик на уровне строк для операций языка обработки секционированных данных

С секционированных предикатов пользователи теперь могут проверять, сколько строк удаляются при выполнении операций языка обработки данных (DML), таких как DELETE, TRUNCATEи replaceWhere.

Исправления ошибок

Исправлена проблема с анализом JSON в автозагрузчике, в которой все столбцы были оставлены в виде строк. Ранее cloudFiles.inferColumnTypes было не задано или установлено на false, и JSON содержал вложенные объекты.

Обновления библиотек

  • Обновленные библиотеки Python:
    • argon2-cffi от 20.1.0 до 21.3.0
    • attrs от 21.2.0 до 21.4.0
    • backports.entry-points-selectable от 1.1.1 до 1.2.0
    • отбеливать от 4.0.0 до 4.1.0
    • boto3 от 1.21.18 до 1.21.32
    • botocore от 1.24.18 до 1.24.32
    • cffi от 1.14.6 до 1.15.0
    • Перейдите с версии 8.0.3 на версию 8.0.4
    • cycler от 0.10.0 до 0.11.0
    • Cython от 0.29.24 до 0.29.28
    • debugpy от 1.4.1 до 1.5.1
    • декоратор от 5.1.0 до 5.1.1
    • точки входа от 0,3 до 0,4
    • idna от 3.2 до 3.3
    • ipykernel от 6.12.1 до 6.15.3
    • ipython от 7.32.0 до 8.5.0
    • ipywidgets от 7.7.0 до 7.7.2
    • jedi от 0.18.0 до 0.18.1
    • joblib от 1.0.1 до 1.1.0
    • jsonschema от 3.2.0 до 4.4.0
    • kiwisolver от 1.3.1 до 1.3.2
    • matplotlib от 3.4.3 до 3.5.1
    • nbclient от 0.5.3 до 0.5.13
    • nbconvert от 6.1.0 до 6.4.4
    • nbformat от 5.1.3 до 5.3.0
    • nest-asyncio от 1.5.1 до 1.5.5
    • записная книжка от 6.4.5 до 6.4.8
    • numpy от 1.20.3 до 1.21.5
    • упаковка от 21.0 до 21.3
    • pandas от 1.3.4 до 1.4.2
    • pandocfilters от 1.4.3 до 1.5.0
    • parso от 0.8.2 до 0.8.3
    • Подушка от 8.4.0 до 9.0.1
    • platformdirs от 2.5.2 до 2.5.4
    • plotly с 5.9.0 до 5.6.0
    • prometheus-client от 0.11.0 до 0.13.1
    • protobuf от 4.21.5 до 3.19.4
    • pycparser от 2.20 до 2.21
    • Pygments от 2.10.0 до 2.11.2
    • pyodbc от 4.0.31 до 4.0.32
    • pyzmq от 22.2.1 до 22.3.0
    • запросы от 2.26.0 до 2.27.1
    • s3transfer от 0.5.2 до 0.5.0
    • scikit-learn от 0.24.2 до 1.0.2
    • scipy от 1.7.1 до 1.7.3
    • statsmodels от 0.12.2 до 0.13.2
    • terminado от 0.9.4 до 0.13.1
    • tomli от 2.0.1 до 1.2.2
    • traitlets версии с 5.1.0 до 5.1.1
    • urllib3 от 1.26.7 до 1.26.9
    • widgetsnbextension от 3.6.0 до 3.6.1
  • Обновленные библиотеки R:
    • база от 4.1.3 до 4.2.2
    • пиво от 1.0-7 до 1.0-8
    • bslib от 0.4.0 до 0.4.1
    • callr от 3.7.2 до 3.7.3
    • chron от 2.3-57 до 2.3-58
    • cli от 3.3.0 до 3.4.1
    • кластер с 2.1.3 по 2.1.4
    • commonmark от 1.8.0 до 1.8.1
    • компилятор от 4.1.3 до 4.2.2
    • cpp11 от 0.4.2 до 0.4.3
    • Крейон с 1.5.1 до 1.5.2
    • curl от 4.3.2 до 4.3.3
    • data.table от 1.14.2 до 1.14.4
    • наборы данных от 4.1.3 до 4.2.2
    • desc от 1.4.1 до 1.4.2
    • средства разработки от 2.4.4 до 2.4.5
    • дайджест от 0.6.29 до 0.6.30
    • e1071 от 1.7-11 до 1.7-12
    • оценка от 0,16 до 0,18
    • fontawesome от 0.3.0 до 0.4.0
    • будущее от 1.28.0 до 1.29.0
    • future.apply от 1.9.1 до 1.10.0
    • gargle с 1.2.0 до 1.2.1
    • gert от 1.8.0 до 1.9.1
    • ggplot2 от 3.3.6 до 3.4.0
    • gh от 1.3.0 до 1.3.1
    • gitcreds от 0.1.1 до 0.1.2
    • графика от 4.1.3 до 4.2.2
    • grDevices от 4.1.3 до 4.2.2
    • сетка от 4.1.3 до 4.2.2
    • httpuv от 1.6.5 до 1.6.6
    • isoband от 0.2.5 до 0.2.6
    • jsonlite от 1.8.0 до 1.8.3
    • лава от 1.6.10 до 1.7.0
    • жизненный цикл от 1.0.1 до 1.0.3
    • lubridate от 1.8.0 до 1.9.0
    • markdown от 1.1 до 1.3
    • МАСС с 7.3-56 до 7,3-58
    • Матрица от 1.4-1 до 1.5-1
    • Методы от 4.1.3 до 4.2.2
    • mgcv от 1,8-40 до 1,8-41
    • nlme от 3.1-157 до 3.1-160
    • nnet от 7.3-17 до 7.3-18
    • opensl от 2.0.2 до 2.0.4
    • параллельная от 4.1.3 до 4.2.2
    • pkgload от 1.3.0 до 1.3.1
    • processx от 3.7.0 до 3.8.0
    • ps от 1.7.1 до 1.7.2
    • purrr от 0.3.4 до 0.3.5
    • ragg от 1.2.2 до 1.2.4
    • RcppEigen от 0.3.3.9.2 до 0.3.3.9.3
    • readr от 2.1.2 до 2.1.3
    • рецепты от 1.0.1 до 1.0.3
    • rlang от 1.0.5 до 1.0.6
    • rmarkdown от 2.16 до 2.18
    • rpart от 4.1.16 до 4.1.19
    • RSQLite от 2.2.16 до 2.2.18
    • блестящий от 1.7.2 до 1.7.3
    • SparkR — с версии 3.3.0 до 3.3.1;
    • сплайны от 4.1.3 до 4.2.2
    • статистика от 4.1.3 до 4.2.2
    • stats4 от 4.1.3 до 4.2.2
    • sys от 3.4 до 3.4.1
    • tcltk от 4.1.3 до 4.2.2
    • testthat от 3.1.4 до 3.1.5
    • tidyr от 1.2.0 до 1.2.1
    • tidyselect от 1.1.2 до 1.2.0
    • TimeDate от 4021.104 до 4021.106
    • tinytex от 0,41 до 0,42
    • инструменты от 4.1.3 до 4.2.2
    • utils от 4.1.3 до 4.2.2
    • vctrs от 0.4.1 до 0.5.0
    • vroom от 1.5.7 до 1.6.0
    • xfun от 0,32 до 0,34
    • yaml от 2.3.5 до 2.3.6
    • zip от 2.2.0 до 2.2.2
  • Обновленные библиотеки Java:
    • com.fasterxml.jackson.core.jackson-databind с 2.13.4 до 2.13.4.2
    • org.apache.parquet.parquet-column с 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.parquet.common с 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.parquet.parquet-кодировка с 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.parquet.parquet-format-structures от 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.parquet.parquet-hadoop с 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.parquet.parquet-jackson с 1.12.0-databricks-0007 до 1.12.3-databricks-0001
    • org.apache.yetus.audience-annotations от 0.5.0 до 0.13.0

Apache Spark

Databricks Runtime 12.0 включает Apache Spark 3.3.1. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 11.3 LTS, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-40844] [SC-116996][12.x][12.0][12.0.0] Отменить “[SC-113542][ss] Изменить значение по умолчанию в конфигурации получения смещения Kafka”.
  • [SPARK-40646] [SC-116061] Откат изменений из “[SC-113379][sql] Исправление возврата частичных результатов в источнике данных JSON и в JSON функциях”.
  • [SPARK-41195] [SC-116305][sql] Поддержка PIVOT/UNPIVOT с присоединенными таблицами
  • [SPARK-41178] [SC-116139][sql] Исправление приоритета правил синтаксического анализа между JOIN и запятыми
  • [SPARK-41072] [SC-116140][sc-116044][SC-115852][sql][SS] Добавьте класс ошибок STREAM_FAILED в StreamingQueryException
  • [SPARK-40921] Revert "[SC-115140][sc-114585][SQL] Добавить предложение WHEN NOT MATCHED BY SOURCE в MERGE INTO
  • [SPARK-37980] [SC-115758] [SQL] Расширение столбца METADATA для поддержки индексов строк для файлов Parquet
  • [SPARK-41055] [SC-115582][sql] Переименуйте _LEGACY_ERROR_TEMP_2424 на GROUP_BY_AGGREGATE
  • [SPARK-41101] [SC-115849][python][PROTOBUF] Поддержка имен классов сообщений для PYSPARK-PROTOBUF
  • [SPARK-40956] [SC-115867] SQL эквивалент команды для перезаписи DataFrame.
  • [SPARK-41095] [SC-115659][sql] Преобразование неразрешенных операторов во внутренние ошибки
  • [SPARK-41144] [SC-115866][sql] Неразрешенная подсказка не должна вызывать сбой запроса
  • [SPARK-41137] [SC-115858][sql] Переименовать LATERAL_JOIN_OF_TYPE на INVALID_LATERAL_JOIN_TYPE
  • [SPARK-40998] [SC-114754][sql] Переименуйте класс ошибок _LEGACY_ERROR_TEMP_0040 на INVALID_IDENTIFIER
  • [SPARK-41015] [SC-115130][sql][PROTOBUF] Юнит-тест на проверку null для генератора данных
  • [SPARK-40769] [SC-114923][core][SQL] Миграция сбоев проверки типов агрегатных выражений в классы ошибок
  • [SPARK-41043] [SC-115183][sql] Переименуйте класс ошибок _LEGACY_ERROR_TEMP_2429 на NUM_COLUMNS_MISMATCH
  • [SPARK-40777] [SC-114855][sql][PROTOBUF] Поддержка импорта Protobuf и перемещение классов ошибок.
  • [SPARK-41019] [SC-114987][sql] Укажите контекст запроса для failAnalysis()
  • [SPARK-41027] [SC-115131][sql] Используйте UNEXPECTED_INPUT_TYPE вместо MAP_FROM_ENTRIES_WRONG_TYPE
  • [SPARK-40476] [SC-115868][sc-111163][ML][sql] Уменьшить размер операции перетасовки ALS
  • [SPARK-41134] [SC-115851][sql] Улучшение сообщения об ошибках внутренних процессов
  • [SPARK-37980] Отмена "[SQL] Расширение столбца METADATA для поддержки индексов строк для файлов Parquet"
  • [SPARK-41109] [SC-115788][sql] Переименуйте класс ошибок _LEGACY_ERROR_TEMP_1216 на INVALID_LIKE_PATTERN
  • [SPARK-40984] [SC-115844][core][SQL] Использовать NON_FOLDABLE_INPUT вместо FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
  • [SPARK-41029] [SC-115828][sql] Оптимизация использования конструктора GenericArrayData для Scala 2.13
  • [SPARK-40697] [SC-113648][sql] Добавление символьного заполнения на стороне чтения для покрытия внешних файлов данных
  • [SPARK-40978] [SC-114574][sql] Миграция failAnalysis() без контекста в классы ошибок
  • [SPARK-40663] [SC-114586][sql] Перенос ошибок выполнения на классы ошибок: _LEGACY_ERROR_TEMP_2251-2275
  • [SPARK-38959] [SC-115672][sc-112707][SQL] DS V2: поддержка фильтрации групп среды выполнения в командах уровня строк
  • [SPARK-40372] [SC-115668][sql] Миграция сбоев типов массива на классы ошибок
  • [SPARK-41038] [SC-115371][sql] Переименуйте MULTI_VALUE_SUBQUERY_ERROR на SCALAR_SUBQUERY_TOO_MANY_ROWS
  • [SPARK-40965] [SC-114443][sql] Переименуйте класс ошибок _LEGACY_ERROR_TEMP_1208 на FIELD_NOT_FOUND
  • [SPARK-40748] [SC-114696][sql] Перенос сбоев при проверке типов условий в классы ошибок
  • [SPARK-40371] [SC-114557][sql] Перенос ошибок проверки типа NthValue и NTile в классы ошибок
  • [SPARK-41092] [SC-115547][sql] Не используйте идентификатор для сопоставления единиц интервала
  • [SPARK-41009] [SC-115360][sql] Переименуйте класс ошибок _LEGACY_ERROR_TEMP_1070 на LOCATION_ALREADY_EXISTS
  • [SPARK-37980] [SQL] Расширение столбца METADATA для поддержки индексов строк для файлов Parquet
  • [SPARK-40967] [SC-114448][sql] Миграция failAnalysis() на классы ошибок
  • [SPARK-34265] [SC-115486][sc-113788][PYTHON][sql] Инструментирование определяемых пользователем функций Python с помощью метрик SQL
  • [SPARK-41012] [SC-114873][sql] Переименуйте _LEGACY_ERROR_TEMP_1022 на ORDER_BY_POS_OUT_OF_RANGE
  • [SPARK-41042] [SC-115142][sql] Переименуйте PARSE_CHAR_MISSING_LENGTH на DATATYPE_MISSING_SIZE
  • [SPARK-40752] [SC-114442][sql] Миграция сбоев проверки типов для различных выражений в классы ошибок.
  • [SPARK-37945] [SC-115534][sql][CORE] Использование классов ошибок в ошибках выполнения арифметических операций
  • [SPARK-40374] [SC-114705][sql] Перенос ошибок проверки типов создателей на классы ошибок
  • [SPARK-41056] [SC-115354][r] Исправлено новое поведение R_LIBS_SITE, введенное в R 4.2
  • [SPARK-41041] [SC-115357][sql] Интеграция _LEGACY_ERROR_TEMP_1279 в TABLE_OR_VIEW_ALREADY_EXISTS
  • [SPARK-40663] [SC-114852][sql] Перенос ошибок выполнения в классы ошибок: _LEGACY_ERROR_TEMP_2201-2225
  • [SPARK-41020] [SC-114984][sql] Переименуйте класс ошибок _LEGACY_ERROR_TEMP_1019 на STAR_GROUP_BY_POS
  • [SPARK-41035] [SC-115233][sql] Не исправлять свертываемые дочерние элементы агрегатных функций в RewriteDistinctAggregates
  • [SPARK-39778] [SC-114353][sql] Улучшение классов ошибок и сообщений
  • [SPARK-40798] [SC-113782][sql] Изменение раздела должно проверить значение storeAssignmentPolicy
  • [SPARK-40810] [SC-113533][sql] Использовать SparkIllegalArgumentException вместо IllegalArgumentException в CreateDatabaseCommand & AlterDatabaseSetLocationCommand
  • [SPARK-40921] [SC-115140][sc-114585][SQL] Добавить предложение WHEN NOT MATCHED BY SOURCE в MERGE INTO
  • [SPARK-40360] [SC-114965] исключения ALREADY_EXISTS и NOT_FOUND
  • [SPARK-41007] [SC-115085][sql] Добавить отсутствующий сериализатор для java.math.BigInteger
  • [SPARK-40751] [SC-114254][sql] Мигрировать типовые ошибки функций высокого порядка в классы ошибок
  • [SPARK-40248] [SC-114704][sql] Использовать большее количество битов для создания фильтра Блум
  • [SPARK-41040] [SC-115145][ss] Исправление сбоя потокового запроса самостоятельного объединения при использовании readStream.table
  • [SPARK-32380] [SC-114966][sql] Исправление доступа к таблице HBase с помощью Hive из Spark
  • [SPARK-40749] [SC-114860][sql] Перенос ошибок проверки типов генераторов на классы ошибок
  • [SPARK-40925] [SC-114445][sql][SS][warmfix][12.x] Исправление в операторе с сохранением состояния для позднего выполнения...
  • [SPARK-40654] [SC-112783] Удаление временных строк журнала
  • [SPARK-40742] [SC-114913][sc-112646][CORE][sql] Исправление предупреждений компиляции Java, связанных с универсальным типом
  • [SPARK-40657] [SC-113642][cherry-pick] Добавьте поддержку классов Java в Protob...
  • [SPARK-40898] [SC-113932][sql] Заключайте имена функций в кавычки в сообщениях об ошибках несоответствия типов данных
  • [SPARK-40760] [SC-113750][sql] Перенос ошибок проверки типов выражений интервала в классы ошибок
  • [SPARK-36114] [SC-113771][sql] Поддержка вложенных запросов с соответствующими предикатами неравенства
  • [SPARK-40856] [SC-113738][sql] Обновление шаблона ошибки WRONG_NUM_PARAMS
  • ru-RU: [SPARK-40759] [SC-114251][sql] Перенос ошибок проверки типа временного окна на классы ошибок
  • [SPARK-40750] [SC-113812][sql] Перенос сбоев проверок типов математических выражений в классы ошибок
  • [SPARK-40756] [SC-113749][sql] Перевод ошибок проверки типов строковых выражений в классы ошибок
  • [SPARK-40768] [SC-113640][sql] Перенос ошибок проверки типа bloom_filter_agg() в классы ошибок
  • [SPARK-40369] [SC-113402][core][SQL] Перенос ошибок проверки типа вызовов с использованием рефлексии на классы ошибок
  • [SPARK-39445] [SQL] Удалите окно, если windowExpressions пусто при обрезке столбцов
  • [SPARK-40761] [SC-113245][sql] Перенос ошибок проверки типов процентильных выражений в классы ошибок.
  • [SPARK-40361] [SC-112789][sql] Перенос ошибок проверки арифметического типа на классы ошибок
  • [SPARK-40714] [SC-112576][sql] Удалить PartitionAlreadyExistsException
  • [SPARK-40702] [SC-112437][sql] Исправление спецификаций секций в PartitionsAlreadyExistException
  • [SPARK-40358] [SC-112631][sql] Перенос сбоев проверки типов коллекций в классы ошибок
  • [SPARK-40910] [SC-114259][sql] Замените UnsupportedOperationException на SparkUnsupportedOperationException
  • [SPARK-39876] [SC-112429][sql] Добавление UNPIVOT в синтаксис SQL
  • [SPARK-39783] [SC-113389][sql] Указывать qualifiedName для оформления обратных апострофов в отношении кандидатов на столбцы в сообщениях об ошибках
  • [SPARK-40663] [SC-112520][sql] Перенос ошибок выполнения в классы ошибок: _LEGACY_ERROR_TEMP_2026-2282
  • [SPARK-40975] [SC-114555][sql] Переименуйте класс ошибок _LEGACY_ERROR_TEMP_0021 на UNSUPPORTED_TYPED_LITERAL
  • [SPARK-37935] [SC-114472][sql] Устранение отдельных полей подклассов ошибок
  • [SPARK-40944] [SC-114530][sql] Ослабление ограничения на упорядочение параметров столбцов CREATE TABLE
  • [SPARK-40815] [SC-114528][sql] Добавление DelegateSymlinkTextInputFormat для обхода ошибки SymlinkTextInputSplit
  • [SPARK-40933] [SC-114441][sql] Reimplement df.stat.{cov, corr} со встроенными функциями SQL
  • [SPARK-40932] [SC-114439][core] Исправить проблему с тем, что сообщения о сбоях для allGather переопределяются.
  • [SPARK-39312] [SQL] Использовать встроенный в Parquet предикат In для проталкивания фильтра вниз
  • [SPARK-40862] [SC-114352][sql] Поддержка не агрегированных вложенных запросов в RewriteCorrelatedScalarSubquery
  • [SPARK-40963] [SC-114446][sql] Корректно установить свойство nullable в проекте, созданном ExtractGenerator
  • [SPARK-40663] [SC-112295][sql] Перемещение ошибок выполнения в классы ошибок: _LEGACY_ERROR_TEMP_2000-2024
  • [SPARK-40892] [SC-114347][sql][SS] Смягчить требование правила window_time — разрешить несколько вызовов функции window_time
  • [SPARK-40540] [SC-111639][sql] Перенос ошибок компиляции на классы ошибок: _LEGACY_ERROR_TEMP_1100-1347
  • [SPARK-40924] [SC-114258][sql] Исправление для unhex, если входные данные имеют нечетное число символов
  • [SPARK-40821] [SC-113754][sql][CORE][python][SS] Введите функцию window_time для извлечения времени события из столбца окна
  • [SPARK-40800] [SC-113772][sql] Всегда встроенные выражения в OptimizeOneRowRelationSubquery
  • [SPARK-40900] [SC-114006][sql] Переосуществить frequentItems, используя операции с DataFrame
  • [SPARK-40735] [SC-114022][sc-112657] Последовательно вызывайте bash с помощью /usr/bin/env bash в сценариях, чтобы сделать код более переносимым
  • [SPARK-40773] [SC-113091][sql] Refactor checkCorrelationsInSubquery
  • [SPARK-40615] [SC-113400][sql] Проверка неподдерживаемых типов данных при декорреляции вложенных запросов
  • [SPARK-40660] [SC-112293][core][SQL] Переключение на XORShiftRandom для распространения элементов
  • [SPARK-40540] [SC-113926][sc-1113331][SQL] Перенос ошибок компиляции на классы ошибок
  • [SPARK-40551] [SC-113135][sql] DataSource V2: добавление API для операций на уровне строк на основе разностных данных
  • [SPARK-39391] [SC-110676][core] Повторное использование классов Секционатора
  • [SPARK-40368] [SC-113396][sql] Миграция сбоев проверки типа фильтра Блума на классы ошибок
  • [SPARK-39146] [SC-111814][core][SQL] Введите локальный синглтон для ObjectMapper, который может использоваться повторно
  • [SPARK-40357] [SC-113786][sc-111352][SQL] Модернизация сбоев проверки типа окна в класс ошибок
  • [SPARK-40874] [SC-113756][python] Исправление широковещательных трансляций в UDF Python при включении шифрования
  • [SPARK-40359] [SC-113770][sc-111146][SQL] Перемещение неудачных проверок типа в выражениях CSV/JSON в классы ошибок
  • [SPARK-40880] [SC-113764][sql] summary переосуществить с операциями с DataFrame
  • [SPARK-40877] [SC-113763][sql] crosstab переосуществить с использованием операций с данными фреймами
  • [SPARK-40382] [SC-113098][sql] Группировать различные агрегатные выражения по семантически эквивалентным дочерним элементам в RewriteDistinctAggregates
  • [SPARK-40826] [SC-113532][ss] Добавить дополнительную проверку переименования файла контрольной точки
  • [SPARK-40829] [SC-113426][sql] STORED AS serde в CREATE TABLE LIKE представлении не работает
  • [SPARK-40844] [SC-113542][ss] Перевернуть значение по умолчанию для конфигурации смещения Kafka
  • [SPARK-40488] [SC-113568][sc-111160] Не обёртывайте исключения, возникающие при сбое записи в источник данных
  • [SPARK-40560] [SC-113631][sc-111335][SQL] Переименовать message в messageTemplate в формате ошибок STANDARD
  • [SPARK-40618] [SC-113096][sql] Исправлена ошибка в правиле MergeScalarSubqueries с вложенными запросами с помощью отслеживания ссылок
  • [SPARK-40530] [SC-113528][sc-111332][SQL] Добавить API разработчика, связанные с ошибками
  • [SPARK-40806] [SC-113250][sql] Исправление опечатки: CREATE TABLE -> REPLACE TABLE
  • [SPARK-40646] [SC-113379][sql] Исправление проблемы с возвратом частичных результатов в источнике данных JSON и функциях JSON
  • [SPARK-40654] [Cherry-pick][sc-112783][SQL] Поддержка Protobuf для Spark – из…
  • [SPARK-40753] [SC-113539][sql] Исправлена ошибка в тестовом случае для операции каталога
  • [SPARK-40765] [SC-113056][sql] Оптимизация избыточной операции fs в методе CommandUtils#calculateSingleLocationSize#getPathSize
  • [SPARK-40114] [ES-479282][r][11.X] Arrow 9.0.0 поддержка в SparkR
  • [SPARK-40479] [SC-110935][sql] Перенос непредвиденной ошибки типа ввода в класс ошибок
  • [SPARK-40473] [SC-113388][sc-111141][SQL] Перенос ошибок синтаксического анализа на классы ошибок
  • [SPARK-39853] [SC-111867][core] Поддержка профиля ресурсов задачи уровня стадии для автономного кластера при отключенном динамическом выделении (обратная портировка из PR-47157)
  • [SPARK-40407] [SC-111161][sql] Исправление потенциального отклонения данных, вызванного df.repartition
  • [SPARK-40425] [SC-110840][sql] DROP TABLE не требуется выполнять поиск таблиц
  • [SPARK-40703] [SC-113242][sql] Введение перемешивания в SinglePartition для улучшения параллелизма
  • [SPARK-40640] [SC-113138][core] SparkHadoopUtil для задания источника параметров конфигурации hadoop/hive
  • [SPARK-39062] [11.x][core] Добавление поддержки планирования ресурсов на уровне этапа для автономного кластера
  • [SPARK-33861] [SC-109877]Отменить “[SQL] Упрощение условного предиката”
  • [SPARK-40667] [SC-113136][sql] Рефакторинг параметров источника данных
  • [SPARK-40370] [SC-110677][sql] Миграция ошибок проверок типа в классы ошибок в CAST
  • [SPARK-40611] [SC-113105][sql] Повышение производительности setInterval & getInterval для UnsafeRow
  • [SPARK-40733] [SC-113126][sql] Задать фиксированный порядок содержимого SERDEPROPERTIES в результате выполнения ShowCreateTableAsSerdeCommand
  • [SPARK-40585] [SC-112180][sql] Поддержка двойных кавычек для идентификаторов
  • [SPARK-40772] [SC-112992][sql] Улучшить spark.sql.adaptive.skewJoin.skewedPartitionFactor для поддержки значений Double
  • [SPARK-40565] [SC-112417][sql] Не отправлять недетерминированные фильтры в источники файлов версии 2
  • [SPARK-8731] [SC-112784] Beeline не работает с параметром -e при запуске в фоновом режиме
  • [SPARK-35242] [SC-111398][sql] Поддержка изменения базы данных каталога сеансов по умолчанию
  • [SPARK-40426] [SC-110672][sql] Возвращает карту из SparkThrowable.getMessageParameters
  • [SPARK-40494] [SC-112655][sc-111025][CORE][sql][ML][Mllib] Оптимизация производительности шаблона кода keys.zipWithIndex.toMap
  • [SPARK-40521] [SC-112430][sql] Возврат только существующих разделов в PartitionsAlreadyExistException из команды создания раздела в Hive
  • [SPARK-40705] [SC-112567][sql] Обработка случая использования изменяемого массива при преобразовании строки в JSON для Scala 2.13
  • [SPARK-39895] [SC-112590][sql][PYTHON] Поддерживает удаление нескольких столбцов
  • [SPARK-40607] [SC-112296][core][SQL][mllib][SS] Удаление избыточных операций интерполятора строк
  • [SPARK-40420] [SC-112604][sc-110569][SQL] Сортировка параметров сообщения об ошибке по именам в форматах JSON
  • [SPARK-40403] [SC-110564][sql] Вычисление небезопасного размера массива с использованием длинных значений, чтобы избежать отрицательного размера в сообщении об ошибке
  • [SPARK-40482] [SC-110831][sql] Revert SPARK-24544 Print actual failure cause when look up function failed
  • [SPARK-40400] [SC-112555][sc-110397][SQL] Передать параметры сообщения об ошибке исключениям в виде карт
  • [SPARK-40628] [SC-112414][sql] Не переносите сложное условие полусоединения или антисоединения через проектирование
  • [SPARK-40562] [SC-111455][sql] Добавить spark.sql.legacy.groupingIdWithAppendedUserGroupBy
  • [SPARK-40501] [SC-1113333][sql] Добавление PushProjectionThroughLimit для оптимизатора
  • [SPARK-39200] [SC-111244][core] Реализовать использование readFully в Fallback Storage для чтения содержимого
  • [SPARK-38717] [SC-111241][sql] Обработка поведения сохранения регистра спецификации бакета Hive
  • [SPARK-40385] [SC-111123][sql] Исправить интерпретируемый путь для конструктора объекта-компаньона
  • [SPARK-40216] [SC-112413][sql] Извлечение общего метода ParquetUtils.prepareWrite для дедупликации кода в ParquetFileFormat и ParquetWrite
  • [SPARK-40636] [SC-112160][core] Исправление ошибок, оставшихся в журнале shuffles в BlockManagerDecommissioner
  • [SPARK-40617] [SC-112009] Исправление состояния гонки при обработке записей ExecutorMetricsPoller на этапе TCMP
  • [SPARK-40618] [SC-112046][sql] Исправлена ошибка в правиле MergeScalarSubqueries с вложенными запросами
  • [SPARK-40612] [SC-111933][core] Исправление субъекта, используемого для обновления маркера делегирования в диспетчерах ресурсов, отличных от YARN
  • [SPARK-40595] [SC-111662][sql] Улучшение сообщений об ошибке для неиспользуемых CTE отношений
  • [SPARK-40314] [SC-111879][sql][PYTHON] Добавление scala и python биндингов для inline и inline_outer
  • [SPARK-40416] [SC-110945][sql] Перемещение сообщений об ошибках выражения вложенного запроса CheckAnalysis для использования новой платформы ошибок
  • [SPARK-40318] [SC-111865][sc-109986][SQL] try_avg() должен вызывать исключения из дочернего элемента
  • [SPARK-40509] [SC-111644][ss][PYTHON] Добавление примера для applyInPandasWithState
  • [SPARK-40310] [SC-111329][sc-109842][SQL] try_sum() должен выбрасывать исключения, порожденные дочерними процессами
  • [SPARK-40016] [SQL] Удаление ненужных TryEval в реализации try_sum()
  • [SPARK-40527] [SC-1112224][sql] Сохранить имена полей структуры или ключи карты в CreateStruct
  • [SPARK-38098] [SC-1111178][python] Добавление поддержки ArrayType вложенного StructType в преобразование на основе стрелок
  • [SPARK-40324] [SC-111359][sc-110293][SQL] Предоставление контекста запросов в AnalysisException
  • [SPARK-40492] [SC-111324][ss] Выполнить обслуживание перед выгрузкой StateStore при потоковой передаче
  • [SPARK-40487] [SC-111124][sql] Сделать выполнение defaultJoin в BroadcastNestedLoopJoinExec параллельным
  • [SPARK-40474] [SC-111273][sql] Правильное поведение вывода схемы CSV и анализа данных для столбцов со смешанными датами и метками времени
  • [SPARK-40508] [SC-111066][sql] Рассматривать неизвестное секционирование как UnknownPartitioning
  • [SPARK-40496] [SC-111234][sc-111013][SQL] Исправлены настройки для управления "enableDateTimeParsingFallback"
  • [SPARK-40435] [SC-111214][ss][PYTHON] Добавление наборов тестов для applyInPandasWithState в PySpark
  • [SPARK-40434] [SC-111125][python] Реализация applyInPandasWithState в PySpark

Обновления в рамках обслуживания

См. обновления обслуживания Databricks Runtime 12.0.

Системная среда

  • Операционная система: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.64.0.19-CA-linux64
  • Scala: 2.12.14.
  • Python: 3.9.5
  • R: 4.2.2
  • Delta Lake: 2.2.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0 asttokens 2.0.5
атрибуты 21.4.0 обратный вызов 0.2.0 backports.entry-points-selectable 1.2.0
beautifulsoup4 4.11.1 черный 22.3.0 отбеливатель 4.1.0
boto3 1.21.32 botocore 1.24.32 сертификат 2021.10.8
cffi 1.15.0 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 криптография 3.4.8 циклер 0.11.0
Cython 0.29.28 dbus-python 1.2.16 debugpy 1.5.1
декоратор 5.1.1 defusedxml 0.7.1 distlib 0.3.6
точки входа 0,4 выполнение 0.8.3 фасеты-обзор 1.0.0
fastjsonschema 2.16.2 блокировка файла 3.8.0 шрифтовые инструменты 4.25.0
idna 3,3 ipykernel 6.15.3 ipython 8.5.0
ipython-genutils 0.2.0 ipywidgets 7.7.2 джедай 0.18.1
Jinja2 2.11.3 jmespath 0.10.0 joblib 1.1.0
jsonschema 4.4.0 jupyter-client (клиент Jupyter) 6.1.12 jupyter_core 4.11.2
jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0 kiwisolver 1.3.2
MarkupSafe 2.0.1 matplotlib 3.5.1 matplotlib-inline 0.1.2
mistune 0.8.4 mypy-extensions 0.4.3 nbclient 0.5.13
nbconvert 6.4.4 nbformat 5.3.0 nest-asyncio 1.5.5
записная книжка 6.4.8 numpy 1.21.5 упаковка 21,3
pandas 1.4.2 pandocfilters 1.5.0 парсо 0.8.3
pathspec 0.9.0 простак 0.5.2 pexpect 4.8.0
pickleshare 0.7.5 подушка 9.0.1 pip 21.2.4
platformdirs 2.5.4 график 5.6.0 prometheus-client 0.13.1
prompt-toolkit 3.0.20 protobuf 3.19.4 psutil 5.8.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
pyarrow 7.0.0 pycparser 2.21 Pygments 2.11.2
PyGObject 3.36.0 pyodbc 4.0.32 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.3.0 запросы 2.27.1 requests-unixsocket 0.2.0
s3transfer 0.5.0 scikit-learn 1.0.2 scipy 1.7.3
мореборн 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
шесть 1.16.0 сита для супа 2.3.1 ssh-import-id (импортировать идентификатор SSH) 5,10
stack-data 0.2.0 statsmodels 0.13.2 упорство 8.0.1
завершено 0.13.1 тестовый путь 0.5.0 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tomli 1.2.2 tornado 6.1
traitlets 5.1.1 typing_extensions 4.1.1 автоматические обновления 0,1
urllib3 1.26.9 virtualenv 20.8.0 wcwidth 0.2.5
веб-кодировки 0.5.1 колесо 0.37.0 widgetsnbextension 3.6.1

Установленные библиотеки R

Библиотеки R устанавливаются из снимка Microsoft CRAN от 2022-11-11.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 10.0.0 askpass 1,1 assertthat 0.2.1
внутренние порты 1.4.1 база 4.2.2 base64enc 0.1-3
бит 4.0.4 bit64 4.0.5 BLOB 1.2.3
загрузка 1.3-28 заваривать 1,0–8 жизнерадостность 1.1.3
метла 1.0.1 bslib 0.4.1 cachem 1.0.6
вызывающий объект 3.7.3 каретка 6.0-93 cellranger 1.1.0
chron 2.3-58 класс 7.3-20 cli 3.4.1
клипр 0.8.0 часы 0.6.1 кластер 2.1.4
codetools 0.2-18 цветовое пространство 2.0-3 commonmark 1.8.1
компилятор 4.2.2 конфигурация 0.3.1 cpp11 0.4.3
карандаш 1.5.2 учетные данные 1.3.2 curl 4.3.3
data.table 1.14.4 наборы данных 4.2.2 DBI 1.1.3
dbplyr 2.2.1 описание 1.4.2 средства разработки 2.4.5
diffobj 0.3.5 обзор 0.6.30 свет, направленный вниз 0.4.2
dplyr 1.0.10 dtplyr 1.2.2 e1071 1.7-12
многоточие 0.3.2 оценивать 0,18 фанаты 1.0.3
Farver 2.1.1 fastmap 1.1.0 fontawesome 0.4.0
forcats 0.5.2 foreach 1.5.2 иностранный 0.8-82
кузница / ковать / создавать (context-dependent) 0.2.0 fs 1.5.2 будущее 1.29.0
future.apply 1.10.0 полоскать 1.2.1 Дженерики 0.1.3
gert 1.9.1 ggplot2 3.4.0 gh 1.3.1
gitcreds 0.1.2 glmnet 4.1-4 глобальные переменные 0.16.1
клей 1.6.2 googledrive 2.0.0 googlesheets4 1.0.1
Говер 1.0.0 графика 4.2.2 grDevices 4.2.2
сетка 4.2.2 gridExtra 2.3 gsubfn 0,7
gtable 0.3.1 каска 1.2.0 убежище 2.5.1
выше 0,9 hms 1.1.2 htmltools 0.5.3
htmlwidgets 1.5.4 httpuv 1.6.6 httr 1.4.4
идентификаторы 1.0.1 ini 0.3.1 ipred 0.9-13
isoband 0.2.6 Итераторы 1.0.14 jquerylib 0.1.4
jsonlite 1.8.3 KernSmooth 2.23-20 knitr 1,40
маркирование 0.4.2 позже 1.3.0 решётка 0.20-45
лава 1.7.0 жизненный цикл 1.0.3 listenv 0.8.0
lubridate 1.9.0 magrittr 2.0.3 Markdown 1,3
масса 7.3-58 «Матрица» 1.5-1 memoise 2.0.1
методы 4.2.2 mgcv 1.8-41 мим 0,12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.9
munsell 0.5.0 nlme 3.1-160 nnet 7.3-18
numDeriv 2016.8-1.1 openssl 2.0.4 параллель 4.2.2
параллельно 1.32.1 столб 1.8.1 pkgbuild 1.3.1
pkgconfig 2.0.3 pkgdown 2.0.6 pkgload 1.3.1
plogr 0.2.0 plyr 1.8.7 хвалить 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.8.0
prodlim 2019.11.13 profvis 0.3.7 Ход выполнения 1.2.2
progressr 0.11.0 обещания 1.2.0.1 прото 1.0.0
прокси (сервер) 0.4-27 п.с. 1.7.2 purrr 0.3.5
r2d3 0.2.6 R6 2.5.1 ragg 1.2.4
randomForest 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.9 RcppEigen 0.3.3.9.3
readr 2.1.3 readxl 1.4.1 Рецепты 1.0.3
реванш 1.0.1 rematch2 2.1.2 пульты 2.4.2
воспроизводимый пример 2.0.2 reshape2 1.4.4 rlang 1.0.6
rmarkdown 2.18 RODBC 1.3-19 roxygen2 7.2.1
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.2.18 rstudioapi 0,14 rversions 2.1.2
rvest 1.0.3 дерзость 0.4.2 весы 1.2.1
селектор 0.4-2 информация о сессии 1.2.2 форма 1.4.6
блестящий 1.7.3 sourcetools 0.1.7 sparklyr 1.7.8
SparkR 3.3.1 пространственный 7.3-11 Сплайны 4.2.2
sqldf 0.4-11 SQUAREM 2021.1 статистика 4.2.2
статистика4 4.2.2 stringi 1.7.8 stringr 1.4.1
выживание 3.4-0 sys 3.4.1 systemfonts 1.0.4
tcltk 4.2.2 testthat 3.1.5 формирование текста 0.3.6
tibble 3.1.8 tidyr 1.2.1 tidyselect 1.2.0
tidyverse 1.3.2 изменение времени 0.1.1 ВремяДата 4021.106
tinytex 0,42 инструменты 4.2.2 tzdb 0.3.0
urlchecker 1.0.1 используйте это 2.1.6 utf8 1.2.2
утилиты 4.2.2 универсальный уникальный идентификатор (UUID) 1.1-0 vctrs 0.5.0
viridisLite 0.4.1 врум 1.6.0 waldo 0.4.0
усы 0,4 withr 2.5.0 xfun 0,34
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.6 ZIP 2.2.2

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws Клиент Amazon Kinesis 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support (поддержка SDK для Java от AWS) 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics поток 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware крио-затенённый 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml одноклассник/одноклассница 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1,1
com.github.fommil.netlib ядро 1.1.2
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java-natives 1,1
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java-natives 1,1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1,1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1,1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava гуава 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger профайлер 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.ning compress-lzf 1,1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer паранэймер 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe конфиг 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload Загрузка файлов в Commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib BLAS 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift воздушный компрессор 0.21
io.delta delta-sharing-spark_2.12 0.5.2
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics Метрики-Чек здоровья 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics метрики JVM 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver (компонент для сетевых приложений) 4.1.74.Final
io.netty netty-tcnative-классы 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллекционер 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation активация 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction API транзакций 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine соление 1.2
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.22
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4,8
org.antlr stringtemplate 3.2.1
org.apache.ant муравей 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow формат стрелки 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow стрелка-вектор 7.0.0
org.apache.avro авро 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1,21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator куратор-клиент 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator рецепты куратора 2.13.0
org.apache.derby дерби 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api (интерфейс прикладного программирования для хранения данных в hive) 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy плющ 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.7.6
org.apache.orc orc-mapreduce 1.7.6
org.apache.orc orc-shims 1.7.6
org.apache.parquet Паркет-колонка 1.12.3-databricks-0001
org.apache.parquet parquet-common 1.12.3-databricks-0001
org.apache.parquet паркет-энкодинг 1.12.3-databricks-0001
org.apache.parquet структуры формата паркета 1.12.3-databricks-0001
org.apache.parquet parquet-hadoop 1.12.3-databricks-0001
org.apache.parquet parquet-jackson 1.12.3-databricks-0001
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4,20
org.apache.yetus аннотации для аудитории 0.13.0
org.apache.zookeeper смотритель зоопарка 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms (модуль DataNucleus для работы с базами данных) 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty джетти-продолжение 9.4.46.v20220331
org.eclipse.jetty «jetty-http» 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty Прокси-сервер Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty сервер Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty веб-приложение Jetty 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket сервер веб-сокетов 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 локатор ресурсов OSGi 1.0.3
org.glassfish.hk2.external «aopalliance-repackaged» 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core сервер Jersey 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains аннотации 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap прокладки 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt тестовый интерфейс 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark неиспользованный 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1