Поделиться через

Databricks Runtime 15.0 (EoS)

  • Статья

Примечание.

Поддержка этой версии databricks Runtime закончилась. Сведения о дате окончания поддержки см . в журнале завершения поддержки. Все поддерживаемые версии среды выполнения Databricks см. в заметках о выпуске Databricks Runtime и совместимости.

В следующих заметках о выпуске содержатся сведения о Databricks Runtime 15.0, на базе Apache Spark 3.5.0.

Databricks выпустила эту версию в марте 2024 года.

Критические изменения

Функция PySpark spark.sql() теперь завершается ошибкой для недопустимых типов аргументов

В Databricks Runtime 15.0 и более поздних версиях параметр args для именованных или позиционных параметров, передаваемых функции spark.sql(), должен быть словарем или списком. Если передается любой другой тип объекта, возникает следующая ошибка: PySparkTypeError: [INVALID_TYPE] Argument `args` should not be a <arg_type>

Хранение библиотек в корневом каталоге DBFS не рекомендуется и отключено по умолчанию

Чтобы повысить безопасность библиотек в рабочей области Azure Databricks, хранение файлов библиотек в корне DBFS устарело и отключено по умолчанию, начиная с Databricks Runtime 15.0. Databricks рекомендует отправлять все библиотеки, в том числе библиотеки Python, JAR-файлы и соединители Spark, в файлы рабочей области, тома каталога Unity или с помощью репозитория пакетов. Рекомендации по отправке библиотек.

Чтобы повторно включить хранение библиотек в корневом каталоге DBFS, задайте следующий параметр конфигурации Spark: spark.databricks.driver.dbfsLibraryInstallationAllowed true.

Версия Python по умолчанию обновляется с версии 3.10 до 3.11

При использовании Databricks Runtime 15.0 версия Python по умолчанию — 3.11.0. Список обновленных библиотек Python см. в разделе Обновление библиотек.

JDK 11 удален

Как было объявлено ранее, JDK 11 удаляется из Databricks Runtime 15.0 и более поздних версий. Databricks рекомендует обновить до JDK 17 при обновлении до Databricks Runtime 15.0 и более поздних версий. См . пакет SDK Databricks для Java.

Python REPL теперь завершается корректно

При использовании Databricks Runtime 15.0 процесс REPL записной книжки теперь завершается корректно при выходе. Это приводит к тому, что любые невзирые крючки будут соблюдаться. Например, в рабочем процессе с несколькими задачами записной книжки Python перехватчики, зарегистрированные в первой задаче, выполняются до выполнения второй задачи записной книжки Python.

Новые функции и внесенные улучшения

Теперь * (звездная) клаузула поддерживается в клаузуле WHERE.

Теперь можно использовать предложение star (*) в предложении WHERE для ссылки на все столбцы из списка SELECT. Например, SELECT * FROM VALUES(1, 2) AS T(a1, a2) WHERE 1 IN(T.*).

Конфигурация spark.sql.json.enablePartialResults теперь включена по умолчанию

Конфигурация spark.sql.json.enablePartialResults Spark теперь включена по умолчанию, позволяя средство синтаксического анализа JSON правильно обрабатывать ошибки синтаксического анализа для сложных типов, таких как структура, карта и массив, без удаления оставшихся полей. Это изменение устраняет проблему согласованности для источников данных JSON с обрезкой столбцов.

Теперь библиотеки кластеров поддерживают файлы requirements.txt

Теперь можно установить библиотеки кластеров с помощью файла requirements.txt, хранящегося в файле рабочей области или томе каталога Unity. В файл может ссылаться на другие файлы. В кластерах режима общего доступа без изоляции поддерживаются только пакеты PyPI. Дополнительные сведения см. в статье Библиотеки кластера.

Интерфейс командной строки Databricks теперь доступен в веб-терминале

Теперь вы можете использовать интерфейс командной строки Databricks из веб-терминала в записной книжке. Записная книжка должна быть подключена к кластеру в режиме общего доступа с одним пользователем или без изоляции. Дополнительные сведения см. в разделе "Использование веб-терминала" и интерфейса командной строки Databricks.

Добавление репозиториев Python по умолчанию в конфигурации кластера

В Databricks Runtime 15.0 и более поздних версиях можно настроить глобальные параметры pip index-url и extra-index-url для установки библиотек, относящихся к кластерам или записным книжкам, при настройке кластера или создании политики кластера. Для этого задайте переменные среды DATABRICKS_PIP_INDEX_URL и DATABRICKS_PIP_EXTRA_INDEX_URL.

Обновления библиотек

  • Обновленные библиотеки Python:
    • черный от 22.6.0 до 23.3.0
    • boto3 от 1.24.28 до 1.34.39
    • botocore от 1.27.96 до 1.34.39
    • сертификат от 2022.12.7 до 2023.7.22
    • криптография от 39.0.1 до 41.0.3
    • databricks-sdk от 0.1.6 до 0.20.0
    • distlib от 0.3.7 до 0.3.8
    • googleapis-common-protos с 1.62.0 до 1.63.0
    • grpcio от 1.48.2 до 1.60.0
    • grpcio-status от 1.48.1 до 1.60.0
    • importlib-metadata от 4.6.4 до 6.0.0
    • ipykernel от 6.25.0 до 6.25.1
    • ipython от 8.14.0 до 8.15.0
    • ipywidgets от 7.7.2 до 8.0.4
    • jupyter_core от 5.2.0 до 5.3.0
    • jupyterlab-мини-приложения с 1.0.0 до 3.0.5
    • matplotlib от 3.7.0 до 3.7.2
    • pandas от 1.5.3 до 2.0.3
    • pip от 22.3.1 до 23.2.1
    • platformdirs от 2.5.2 до 3.10.0
    • protobuf от 4.24.0 до 4.24.1
    • pyarrow от 8.0.0 до 14.0.1
    • Pygments от 2.11.2 до 2.15.1
    • pyodbc от 4.0.32 до 4.0.38
    • запросы от 2.28.1 до 2.31.0
    • s3transfer от 0.6.2 до 0.10.0
    • scikit-learn от 1.1.1 до 1.3.0
    • scipy от 1.10.0 до 1.11.1
    • setuptools от 65.6.3 до 68.0.0
    • statsmodels от 0.13.5 до 0.14.0
    • настойчивость от 8.1.0 до 8.2.2
    • торнадо от 6.1 до 6.3.2
    • typing_extensions от 4.4.0 до 4.7.1
    • urllib3 от 1.26.14 до 1.26.16
    • virtualenv от 20.16.7 до 20.24.2
    • widgetsnbextension от 3.6.1 до 4.0.5
    • zipp от 1.0.0 до 3.11.0
  • Обновленные библиотеки R:
    • стрелка от 12.0.1 до 14.0.0.2
    • askpass от 1.1 до 1.2.0
    • база от 4.3.1 до 4.3.2
    • пиво от 1.0-8 до 1.0-10
    • brio от 1.1.3 до 1.1.4
    • bslib от 0.5.0 до 0.6.1
    • cli от 3.6.1 до 3.6.2
    • commonmark от 1.9.0 до 1.9.1
    • компилятор от 4.3.1 до 4.3.2
    • конфигурация от 0.3.1 до 0.3.2
    • cpp11 от 0.4.4 до 0.4.7
    • учетные данные от 1.3.2 до 2.0.1
    • curl от 5.0.1 до 5.2.0
    • data.table от 1.14.8 до 1.15.0
    • наборы данных от 4.3.1 до 4.3.2
    • DBI от 1.1.3 до 1.2.1
    • dbplyr от 2.3.3 до 2.4.0
    • desc от 1.4.2 до 1.4.3
    • дайджест от 0.6.33 до 0.6.34
    • dplyr от 1.1.2 до 1.1.4
    • e1071 от 1.7-13 до 1.7-14
    • оценка от 0,21 до 0,23
    • вентиляторы от 1.0.4 до 1.0.6
    • fontawesome от 0.5.1 до 0.5.2
    • fs от 1.6.2 до 1.6.3
    • будущее от 1.33.0 до 1.33.1
    • future.apply от 1.11.0 до 1.11.1
    • гигль с 1.5.1 до 1.5.2
    • gert от 1.9.2 до 2.0.1
    • ggplot2 от 3.4.2 до 3.4.4
    • glmnet от 4.1-7 до 4.1-8
    • клей от 1.6.2 до 1.7.0
    • графика от 4.3.1 до 4.3.2
    • grDevices от 4.3.1 до 4.3.2
    • сетка от 4.3.1 до 4.3.2
    • gtable от 0.3.3 до 0.3.4
    • hardhat от 1.3.0 до 1.3.1
    • haven от 2.5.3 до 2.5.4
    • htmltools от 0.5.5 до 0.5.7
    • htmlwidgets от 1.6.2 до 1.6.4
    • httpuv от 1.6.11 до 1.6.14
    • httr от 1.4.6 до 1.4.7
    • httr2 от 0.2.3 до 1.0.0
    • jsonlite от 1.8.7 до 1.8.8
    • трикотаж от 1,43 до 1,45
    • метка от 0.4.2 до 0.4.3
    • позже от 1.3.1 до 1.3.2
    • лава от 1.7.2.1 до 1.7.3
    • жизненный цикл от 1.0.3 до 1.0.4
    • прослушивание от 0.9.0 до 0.9.1
    • lubridate от 1.9.2 до 1.9.3
    • markdown от 1.7 до 1.12
    • Методы от 4.3.1 до 4.3.2
    • opensl от 2.0.6 до 2.1.1
    • параллельная от 4.3.1 до 4.3.2
    • pkgbuild от 1.4.2 до 1.4.3
    • pkgload от 1.3.2.1 до 1.3.4
    • plyr от 1.8.8 до 1.8.9
    • prettyunits от 1.1.1 до 1.2.0
    • pROC от 1.18.4 до 1.18.5
    • processx от 3.8.2 до 3.8.3
    • prodlim от 2023.03.31 до 2023.08.28
    • ход выполнения от 1.2.2 до 1.2.3
    • progressr от 0.13.0 до 0.14.0
    • обещания от 1.2.0.1 до 1.2.1
    • ps от 1.7.5 до 1.7.6
    • purrr от 1.0.1 до 1.0.2
    • ragg от 1.2.5 до 1.2.7
    • Rcpp от 1.0.11 до 1.0.12
    • RcppEigen от 0.3.3.9.3 до 0.3.3.9.4
    • readr от 2.1.4 до 2.1.5
    • рецепты от 1.0.6 до 1.0.9
    • повторное совпадение с 1.0.1 по 2.0.0
    • удаленные от 2.4.2 до 2.4.2.1
    • reprex от 2.0.2 до 2.1.0
    • rlang от 1.1.1 до 1.1.3
    • rmarkdown от 2.23 до 2.25
    • RODBC от 1.3-20 до 1.3-23
    • roxygen2 от 7.2.3 до 7.3.1
    • rprojroot от 2.0.3 до 2.0.4
    • Rserve от 1.8-11 до 1.8-13
    • RSQLite от 2.3.1 до 2.3.5
    • sass от 0.4.6 до 0.4.8
    • Масштабирование от 1.2.1 до 1.3.0
    • блестящий от 1.7.4.1 до 1.8.0
    • sparklyr от 1.8.1 до 1.8.4
    • splines от 4.3.1 до 4.3.2
    • статистика от 4.3.1 до 4.3.2
    • статистика4 от 4.3.1 до 4.3.2
    • stringi от 1.7.12 до 1.8.3
    • stringr от 1.5.0 до 1.5.1
    • systemfonts от 1.0.4 до 1.0.5
    • tcltk от 4.3.1 до 4.3.2
    • testthat от 3.1.10 до 3.2.1
    • тексты с 0.3.6 до 0.3.7
    • tidyr от 1.3.0 до 1.3.1
    • изменение времени с 0.2.0 до 0.3.0
    • TimeDate от 4022.108 до 4032.109
    • tinytex от 0,45 до 0,49
    • средства от 4.3.1 до 4.3.2
    • utf8 от 1.2.3 до 1.2.4
    • utils от 4.3.1 до 4.3.2
    • uuid от 1.1-0 до 1.2-0
    • vctrs от 0.6.3 до 0.6.5
    • vroom от 1.6.3 до 1.6.5
    • waldo от 0.5.1 до 0.5.2
    • withr от 2.5.0 до 3.0.0
    • xfun от 0,39 до 0,41
    • xml2 от 1.3.5 до 1.3.6
    • yaml от 2.3.7 до 2.3.8
    • zip от 2.3.0 до 2.3.1
  • Обновленные библиотеки Java:
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 с 2.15.1 до 2.16.0
    • com.google.flatbuffers.flatbuffers-java с 1.12.0 до 23.5.26
    • com.typesafe.config от 1.2.1 до 1.4.3
    • org.apache.ant.ant от 1.9.16 до 1.10.11
    • org.apache.ant.ant-aph с 1.9.16 по 1.10.11
    • org.apache.ant-launcher от 1.9.16 до 1.10.11
    • org.apache.arrow.arrow-format от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-memory-core от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-memory-netty от 12.0.1 до 15.0.0
    • org.apache.arrow.arrow-vector от 12.0.1 до 15.0.0
    • org.apache.avro.avro с 1.11.2 до 1.11.3
    • org.apache.avro.avro-ipc с 1.11.2 до 1.11.3
    • org.apache.avro.avro-mapred с 1.11.2 до 1.11.3
    • org.apache.log4j.log4j-1.2-api от 2.20.0 до 2.22.1
    • org.apache.log4j.log4j-api с 2.20.0 до 2.22.1
    • org.apache.log4j.log4j-core с 2.20.0 до 2.22.1
    • org.apache.log4j.log4j-slf4j2-impl от 2.20.0 до 2.22.1
    • org.postgresql.postgresql с 42.6.0 до 42.6.1

Apache Spark

Databricks Runtime 15.0 включает Apache Spark 3.5.0. Этот выпуск включает все исправления и улучшения Spark, включенные в Databricks Runtime 14.3 LTS, а также следующие дополнительные исправления ошибок и улучшения, внесенные в Spark:

  • [SPARK-45527] [DBRRM-805][ES-1073714] Возврат "[SC-151626][CORE] Использование дроби для вычисления ресурсов"
  • [SPARK-47102] [DBRRM-803][SC-158253][SQL] Добавление флага конфигурации COLLATION_ENABLED
  • [SPARK-46973] [SC-158140][DBRRM-777][SQL] Пропустить поиск таблицы версии 2, если таблица находится в кэше таблиц версии 1
  • [SPARK-46808] [SC-154113][PYTHON] Уточнение классов ошибок в Python с помощью функции автоматической сортировки
  • [SPARK-47251] [SC-158291][PYTHON] Блокировать недопустимые типы из аргумента args команды sql
  • [SPARK-47251] [SC-158121][PYTHON] Блокировать недопустимые типы из аргумента args команды sql
  • [SPARK-47108] [SC-157204][CORE] Задайте derby.connection.requireAuthentication явно как false в интерфейсах командной строки.
  • [SPARK-45599] [SC-157537][CORE] Использование равенства объектов в OpenHashSet
  • [SPARK-47099] [SC-157352][SQL] Используйте ordinalNumber для равномерного задания значения paramIndex для класса ошибок UNEXPECTED_INPUT_TYPE
  • [SPARK-46558] [SC-151363][CONNECT] Извлечение вспомогательной функции для устранения повторяющегося кода, извлекаемого MessageParameters из ErrorParamsGrpcExceptionConverter
  • [SPARK-43117] [SC-156177][CONNECT] Создание ProtoUtils.abbreviate повторяющихся полей поддержки
  • [SPARK-46342] [SC-150283][SQL] IllegalStateException Замена SparkException.internalError на sql
  • [SPARK-47123] [SC-157412][CORE] JDBCRDD неправильно обрабатывает ошибки в getQueryOutputSchema
  • [SPARK-47189] [SC-157667][SQL] Изменить имена ошибок и текста в столбцах
  • [SPARK-45789] [SC-157101][SQL] Поддержка DESCRIBE TABLE для столбцов кластеризации
  • [SPARK-43256] [SC-157699][SQL] Удаление класса ошибок _LEGACY_ERROR_TEMP_2021
  • [SPARK-47201] [SC-157782][PYTHON][CONNECT] sameSemantics проверяет типы входных данных
  • [SPARK-47183] [SC-157660][PYTHON] Исправление класса ошибок для sameSemantics
  • [SPARK-47179] [SC-157663][SQL] Улучшение сообщения об ошибке из SparkThrowableSuite для улучшения отладки
  • [SPARK-46965] [SC-155791][CORE] Возврат logTypeUtils.getLog
  • [SPARK-46832] [SC-156774][SQL] Введение выражений сортировки и сортировки
  • [SPARK-46946] [SC-155721][SQL] Поддержка трансляции нескольких ключей фильтрации в DynamicPruning
  • [SPARK-47079] [VARIANT-22][SC-157598][PYTHON][SQL][CONNECT] Добавление сведений о типе variant в PySpark
  • [SPARK-47101] [SC-157360][SQL] Разрешить использовать запятую в именах столбцов верхнего уровня и удалить проверку определения вложенных типов в HiveExternalCatalog.verifyDataSchema
  • [SPARK-47173] [SC-157571][SS][пользовательский интерфейс] Исправление опечатки в объяснении пользовательского интерфейса потоковой передачи
  • [SPARK-47113] [SC-157348][CORE] Восстановление логики исправления конечной точки S3A SPARK-35878
  • [SPARK-47130] [SC-157462][CORE] Использование listStatus для обхода сведений о расположении блока при очистке журналов драйверов
  • [SPARK-43259] [SC-157368][SQL] Назначьте имя классу ошибок _LEGACY_ERROR_TEMP_2024
  • [SPARK-47104] [SC-157355][SQL] TakeOrderedAndProjectExec должен инициализировать небезопасную проекцию
  • [SPARK-47137] [SC-157463][PYTHON][CONNECT] Добавление getAll в spark.conf для четности функций с Scala
  • [SPARK-46924] [SC-154905][CORE] Кнопка "Исправить Load New " в Master/HistoryServer пользовательском интерфейсе журнала
  • [SPARK-47069] [SC-157370][PYTHON][CONNECT] Введение spark.profile.show/dump в профилирование на основе SparkSession
  • [SPARK-46812] [SC-157075][SQL][PYTHON] Создание mapInPandas / mapInArrow поддержки ResourceProfile
  • [SPARK-46833] [SC-155866][SQL] Параметры сортировки — введение в CollationFactory, предоставляющее правила сравнения и хэширования для поддерживаемых параметров сортировки
  • [SPARK-47057] [SC-157036][PYTHON] Повторное тестирование данных MyPy
  • [SPARK-46934] [SC-157084][SQL] Циклический обход чтения и записи для типа структуры с специальными символами с помощью HMS
  • [SPARK-46727] [SC-153472][SQL] Порт classifyException() в диалектах JDBC на классах ошибок
  • [SPARK-46964] [SC-155740][SQL] Изменение сигнатуры ошибки выполнения запроса hllInvalidLgK на получение целого числа в качестве 4-го аргумента
  • [SPARK-46949] [SC-155719][SQL] Поддержка CHAR/VARCHAR с помощью ResolveDefaultColumns
  • [SPARK-46972] [SC-1558888][SQL] Исправлена асимметричная замена char/varchar в V2SessionCatalog.createTable
  • [SPARK-47014] [SC-156778][PYTHON][CONNECT] Реализация методов dumpPerfProfiles и dumpMemoryProfiles sparkSession
  • [SPARK-46689] [SC-156221][SPARK-46690][PYTHON][CONNECT] Поддержка профилирования версии 2 в группе или cogroup applyInPandas/applyInArrow
  • [SPARK-47040] [SC-156773][CONNECT] Разрешить скрипту Spark Connect Server ожидать
  • [SPARK-466888] [SC-156113][SPARK-46691][PYTHON][CONNECT] Поддержка профилирования версии 2 в агрегатных пользовательских файлах Pandas
  • [SPARK-47004] [SC-156499][CONNECT] Добавлены дополнительные тесты в ClientStreamingQuerySuite для увеличения охвата тестов клиента Scala
  • [SPARK-46994] [SC-156169][PYTHON] Рефакторинг PythonWrite для подготовки к поддержке потоковой записи источника данных Python
  • [SPARK-46979] [SC-156587][SS] Добавьте поддержку указания кодировщика ключей и значений отдельно, а также для каждого семейства col в поставщике хранилища состояний RocksDB
  • [SPARK-46960] [SC-155940][SS] Тестирование нескольких входных потоков с помощью оператора TransformWithState
  • [SPARK-46966] [SC-156112][Python] Добавьте API UDTF для метода анализа, чтобы указать подмножество входных столбцов таблицы для выбора
  • [SPARK-46895] [SC-155950][CORE] Замена таймера на один поток запланированного исполнителя
  • [SPARK-46967] [SC-155815][CORE][пользовательский интерфейс] Скрытие и Thread Dump выполнение Heap Histogram исполнителей в Dead пользовательском Executors интерфейсе
  • [SPARK-46512] [SC-155826][CORE] Оптимизация считывания при использовании сортировки и объединения.
  • [SPARK-46958] [SC-155942][SQL] Добавление отсутствующих часовых поясов для принудительного выполнения значений по умолчанию
  • [SPARK-46754] [SC-153830][SQL][AVRO] Исправление разрешения кода сжатия в определении таблицы avro и параметрах записи
  • [SPARK-46728] [SC-154207][PYTHON] Проверка правильной установки Pandas
  • [SPARK-43403] [SC-154216][пользовательский интерфейс] Убедитесь, что старый SparkUI в HistoryServer был отключен перед загрузкой нового
  • [SPARK-39910] [SC-156203][SQL] Делегирование квалификации пути к файловой системе во время глоббинга пути к файлу DataSource
  • [SPARK-470000] [SC-156123] Возврат "[SC-156123][CORE] Использование getTotalMemorySize...
  • [SPARK-46819] [SC-154560][CORE] Перемещение категорий ошибок и состояний в JSON
  • [SPARK-46997] [SC-156175][CORE] Включить spark.worker.cleanup.enabled по умолчанию
  • [SPARK-46865] [SC-156168][SS] Добавление пакетной поддержки для оператора TransformWithState
  • [SPARK-46987] [SC-156040][CONNECT] ProtoUtils.abbreviate избегайте ненужных операций setField
  • [SPARK-46970] [SC-155816][CORE] Перезапись OpenHashSet#hasher с помощью pattern matching
  • [SPARK-46984] [SC-156024][PYTHON] Удалить pyspark.copy_func
  • [SPARK-470000] [SC-156123][CORE] Использование getTotalMemorySize в WorkerArguments
  • [SPARK-46980] [SC-155914][SQL][ДОПОЛНИТЕЛЬНЫЙ] Избегайте использования внутренних API в сквозных тестах кадра
  • [SPARK-46931] Возврат "[SC-155661][PS] Реализация {Frame, Series}.to_hdf"
  • [SPARK-46618] [SC-153828][SQL] Улучшение сообщений об ошибках для ошибки DATA_SOURCE_NOT_FOUND
  • [SPARK-46849] [SC-154586][SQL] Запуск оптимизатора на значениях по умолчанию для столбцов CREATE TABLE
  • [SPARK-46911] [SC-155724][SS] Добавление оператора deleteIfExists в StatefulProcessorHandleImpl
  • [SPARK-43273] [SQL] Поддержка lz4raw кодека сжатия для Parquet
  • [SPARK-47002] [SC-156223][Python] Возвращает лучшее сообщение об ошибке, если поле метода UDTF "analyze" "orderBy" случайно возвращает список строк
  • [SPARK-46890] [SC-155802][SQL] Исправлена ошибка синтаксического анализа CSV с наличием значений по умолчанию и усечением столбцов.
  • [SPARK-46977] [SC-155892][CORE] Неудачный запрос на получение маркера из одного nameNode не должен пропускать последующие запросы маркера
  • [SPARK-46608] [SC-151806][SQL] Восстановление обратной совместимости JdbcDialect.classifyException
  • [SPARK-46908] [SC-155702][SQL] Предложение "Звезда поддержки" в предложении WHERE
  • [SPARK-46908] [SC-155702][SQL] Предложение "Звезда поддержки" в предложении WHERE
  • [SPARK-46852] [SC-155665][SS] Удаляется использование явного кодировщика ключей и его неявная передача оператору transformWithState.
  • [SPARK-46864] [SC-155669][SS] Подключение произвольного состоянияV2 к новой платформе классов ошибок
  • [SPARK-45807] [SC-155706][SQL] Возврат представления после вызова replaceView(.).)
  • [SPARK-46899] [SC-154651][CORE] Удаление API POST из MasterWebUI, когда spark.ui.killEnabled — false
  • [SPARK-46868] [SC-154539][CORE] Поддержка пользовательского интерфейса журнала рабочей роли Spark
  • [SPARK-46931] [SC-155661][PS] Орудие {Frame, Series}.to_hdf
  • [SPARK-46940] [SC-155667][CORE] Удаление неиспользуемых updateSparkConfigFromProperties и isAbsoluteURI в o.a.s.u.Utils
  • [SPARK-46929] [SC-155659][CORE][CONNECT][SS] Использование ThreadUtils.shutdown для закрытия пулов потоков
  • [SPARK-46400] [SC-155658][CORE][SQL] Если в локальном репозитории maven есть поврежденные файлы, пропустите этот кэш и повторите попытку.
  • [SPARK-46932] [SC-155655] Очистка импорта в pyspark.pandas.test_*
  • [SPARK-46683] [SC-154120] Создание генератора вложенных запросов, создающего вложенные запросы, чтобы увеличить охват тестирования
  • [SPARK-46914] [SC-154776][UI] Сократить имя приложения в сводной таблице на странице Истории
  • [SPARK-46831] [SC-154699][SQL] Параметры сортировки — расширение StringType и PhysicalStringType с полем collationId
  • [SPARK-46816] [SC-154415][SS] Добавьте базовую поддержку нового оператора произвольного управления состоянием, типа одно значение состояния, нескольких переменных состояния и базовой поддержки семейств столбцов для RocksDBStateStoreProvider с/без контрольных точек журнала изменений.
  • [SPARK-46925] [SC-154890][PYTHON][CONNECT] Добавьте предупреждение, определяющее установку memory_profiler для профилирования памяти
  • [SPARK-46927] [SC-154904][PYTHON] Правильное выполнение assertDataFrameEqual работы без PyArrow
  • [SPARK-46021] [SC-148987][CORE] Поддержка отмены будущих заданий, принадлежащих группе заданий
  • [SPARK-46747] [SC-154789][SQL] Избегайте сканирования в getTableExistsQuery для диалектов JDBC
  • [SPARK-46904] [SC-154704][пользовательский интерфейс] Исправлена проблема с отображением сводки пользовательского интерфейса журнала
  • [SPARK-46870] [SC-154541][CORE] Поддержка пользовательского интерфейса главного журнала Spark
  • [SPARK-46893] [SC-154780][UI] Удаление встроенных скриптов из описания пользовательского интерфейса
  • [SPARK-46910] [SC-154760][PYTHON] Устранение требований JDK в установке PySpark
  • [SPARK-46907] [SC-154736][CORE] Отображение расположения журнала драйверов на сервере журнала Spark
  • [SPARK-46902] [SC-154661][пользовательский интерфейс] Исправлен пользовательский интерфейс сервера журнала Spark для использования не экспортированного набораAppLimit
  • [SPARK-46687] [SC-154725][PYTHON][CONNECT] Базовая поддержка профилировщика памяти на основе SparkSession
  • [SPARK-46623] [SC-153831][CORE][MLLIB][SQL] Замена SimpleDateFormat на DateTimeFormatter
  • [SPARK-46875] [SC-154627][SQL] mode Если значение равно null, NullPointException необходимо not создать исключение
  • [SPARK-46872] [SC-154543][CORE] Восстановление log-view.js , не относясь к модулю
  • [SPARK-46883] [SC-154629][CORE] API поддержки /json/clusterutilization
  • [SPARK-46886] [SC-154630][CORE] Включить spark.ui.prometheus.enabled по умолчанию
  • [SPARK-46873] [SC-154638][SS] Не повторно создайте новый StreamingQueryManager для одного сеанса Spark
  • [SPARK-46829] [SC-154419][CORE] Удалить createExecutorEnv из SparkEnv
  • [SPARK-46827] [SC-154280][CORE] Создание RocksDBPersistenceEngine символьной ссылки
  • [SPARK-46903] [SC-154662][CORE] Поддержка пользовательского интерфейса журнала журнала Spark
  • [SPARK-46874] [SC-154646][PYTHON] Удаление зависимости pyspark.pandas из assertDataFrameEqual
  • [SPARK-46889] [SC-154639][CORE] Проверка spark.master.ui.decommission.allow.mode параметра
  • [SPARK-46850] [SC-154443][SQL] Преобразование _LEGACY_ERROR_TEMP_2102 в UNSUPPORTED_DATATYPE
  • [SPARK-46704] [SC-153323][CORE][UI] Исправление MasterPage для сортировки таблицы Running Drivers по столбцу Duration правильно
  • [SPARK-46796] [SC-154279][SS] Убедитесь, что для загрузки версии RocksDB используются правильные удаленные файлы (упомянутые в metadata.zip)
  • [SPARK-468888] [SC-154636][CORE] Исправление Master , чтобы отклонить /workers/kill/ запросы, если списание отключено
  • [SPARK-46818] [SC-154422][SQL] Улучшение сообщений об ошибках для диапазона с неотложными входными данными
  • [SPARK-46898] [SC-154649][CONNECT] Упрощение преобразования функции protobuf в Планировщике
  • [SPARK-46828] [SC-154413][SQL] Удаление недопустимого утверждения удаленного режима для оболочки Spark SQL
  • [SPARK-46733] [SC-154274][CORE] Упрощение BlockManager операцией выхода зависит только от потока прерываний.
  • [SPARK-46777] [SC-154016][SS] Структура рефакторинга StreamingDataSourceV2Relation катализатора, которая будет более включена в пакетную версию
  • [SPARK-46515] [SC-151716] Добавление функции MONTHNAME
  • [SPARK-46823] [SC-154276][CONNECT][PYTHON] LocalDataToArrowConversion должен проверить допустимость значений NULL
  • [SPARK-46787] [SC-154404][CONNECT] bloomFilter Функция должна вызывать AnalysisException недопустимые входные данные
  • [SPARK-46779] [SC-154045][SQL] InMemoryRelation Экземпляры одного кэшированного плана должны быть семантически эквивалентны
  • [SPARK-45827] [SC-153973] Запретить секционирование по столбцу Variant
  • [SPARK-46797] [SC-154085][CORE] Переименование spark.deploy.spreadOut в spark.deploy.spreadOutApps
  • [SPARK-46094] [SC-153421] Поддержка профилирования JVM исполнителя
  • [SPARK-46746] [SC-153557][SQL][AVRO] Присоединение расширения codec к файлам источника данных avro
  • [SPARK-46698] [SC-153288][CORE] Замените таймер одним потоком запланированным исполнителем для ConsoleProgressBar.
  • [SPARK-46629] [SC-153835] Исправление для типа DDL типа STRUCT, не допускающее значение NULL, и комментарий
  • [SPARK-46750] [SC-153772][CONNECT][PYTHON] Очистка кода API кадра данных
  • [SPARK-46769] [SC-153979][SQL] Уточнение вывода схемы, связанного с метками времени
  • [SPARK-46765] [SC-153904][PYTHON][CONNECT] Укажите shuffle тип данных seed
  • [SPARK-46579] [SC-151481][SQL] Url-адрес Redact JDBC в ошибках и журналах
  • [SPARK-46686] [SC-153875][PYTHON][CONNECT] Базовая поддержка профилировщика UDF на основе SparkSession
  • [SPARK-46748] Вернуть "[SC-153800][CORE] Удалить *sla***.sh scri...
  • [SPARK-46707] [SC-153833][SQL] Добавлено вызываемое поле для выражений для улучшения pushdown предиката
  • [SPARK-46519] [SC-151278][SQL] Очистка неиспользуемых классов ошибок из error-classes.json файла
  • [SPARK-46677] [SC-153426][SQL][CONNECT] Исправление dataframe["*"] разрешения
  • [SPARK-46317] [SC-150184][PYTHON][CONNECT] Совпадение с незначительным поведением в SparkSession с полным покрытием теста
  • [SPARK-46748] [SC-153800][CORE] Удалить скрипты *sla***.sh
  • [SPARK-46663] [SC-153490][PYTHON] Отключение профилировщика памяти для UDF pandas с помощью итераторов
  • [SPARK-46410] [SC-150776][SQL] Назначение классов ошибок/подклассов jdbcUtils.classifyException
  • [SPARK-46277] [SC-150126][PYTHON] Проверка URL-адресов запуска с помощью настроенной конфигурации
  • [SPARK-46612] [SC-153536][SQL] Не преобразуйте строку типа массива, полученную из драйвера jdbc
  • [SPARK-46254] [SC-149788][PYTHON] Удаление устаревших версий Python 3.8/3.7
  • [SPARK-46490] [SC-151335][SQL] Требовать классы ошибок в SparkThrowable подклассах
  • [SPARK-46383] [SC-153274][SC-147443][ТЕПЛОФИКС] Сокращение использования кучи драйверов путем уменьшения срока существования TaskInfo.accumulables()
  • [SPARK-46541] [SC-153109][SQL][CONNECT] Исправлена неоднозначная ссылка на столбец при самостоятельном соединении
  • [SPARK-46381] [SC-150495][SQL] Перенос подклассов AnalysisException в классы ошибок
  • [SPARK-46351] [SC-150335][SQL] Требовать класс ошибок в AnalysisException
  • [SPARK-46220] [SC-149689][SQL] Ограничение наборов символов в decode()
  • [SPARK-46369] [SC-150340][CORE] Удалить ссылку kill из драйверов RELAUNCHING в MasterPage
  • [SPARK-46052] [SC-153284][CORE] Удалить функцию TaskScheduler.killAllTaskAttempts
  • [SPARK-46536] [SC-153164][SQL] Поддержка GROUP BY calendar_interval_type
  • [SPARK-46675] [SC-153209][SQL] Удалить неиспользуемый inferTimestampNTZ в ParquetReadSupport
  • [SPARK-46717] [SC-153423][CORE] Упрощение ReloadingX509TrustManager операции выхода зависит только от потока прерываний.
  • [SPARK-46722] [SC-153438][CONNECT] Добавьте тест относительно обратной проверки совместимости для StreamingQueryListener в Spark Connect (Scala/PySpark)
  • [SPARK-46187] [SC-149580][SQL] Выравнивание реализации codegen и некодегенов StringDecode
  • [SPARK-46258] [SC-149799][CORE] Добавлять RocksDBPersistenceEngine
  • [SPARK-46216] [SC-149676][CORE] Улучшение FileSystemPersistenceEngine поддержки сжатия
  • [SPARK-46189] [SC-149567][PS][SQL] Сравнение и арифметика между теми же типами в различных агрегатных функциях Pandas, чтобы избежать ошибок в режиме интерпретации
  • [SPARK-46184] [SC-149563][CORE][SQL][CONNECT][MLLIB] Уменьшение глубины стека путем замены Option.isDefined на Option.isEmpty
  • [SPARK-46700] [SC-153329][CORE] Подсчет последнего разлива для метрики разлива диска с перемешиванием байтов
  • [SPARK-45642] [SC-150286][CORE][SQL] Фиксировать FileSystem.isFile & FileSystem.isDirectory is deprecated
  • [SPARK-46640] [SC-153272][SQL] Исправление RemoveRedundantAlias путем исключения атрибутов вложенных запросов
  • [SPARK-46681] [SC-153287][CORE] Рефакторинг ExecutorFailureTracker#maxNumExecutorFailures , чтобы избежать вычисления defaultMaxNumExecutorFailures при MAX_EXECUTOR_FAILURES настройке
  • [SPARK-46695] [SC-153289][SQL][HIVE] Всегда устанавливайте параметр hive.execution.engine для mr
  • [SPARK-46325] [SC-150228][CONNECT] Удалите ненужные функции переопределения при создании WrappedCloseableIterator в ResponseValidator#wrapIterator
  • [SPARK-46232] [SC-149699][PYTHON] Перенесите все оставшиеся значения ValueError в платформу ошибок PySpark.
  • [SPARK-46547] [SC-153174][SS] Проглотить неустранимое исключение в задаче обслуживания, чтобы избежать взаимоблокировки между потоком обслуживания и оператором агрегирования потоковой передачи
  • [SPARK-46169] [SC-149373][PS] Назначьте соответствующие номера JIRA для отсутствующих параметров из API DataFrame.
  • [SPARK-45857] [SC-148096][SQL] Принудительное применение классов ошибок в подклассах AnalysisException

Поддержка драйвера ODBC/JDBC Databricks

Databricks поддерживает драйверы ODBC/JDBC, выпущенные за последние 2 года. Скачайте недавно выпущенные драйверы и обновление (скачайте ODBC, скачайте JDBC).

Обновления в рамках обслуживания

Ознакомьтесь с обновлениями обслуживания Databricks Runtime 15.0.

Системная среда

  • Операционная система: Ubuntu 22.04.4 LTS
  • Java: Zulu 8.74.0.17-CA-linux64
  • Scala: 2.12.15
  • Python: 3.11.0
  • R: 4.3.2
  • Delta Lake: 3.1.0

Установленные библиотеки Python

Библиотека Версия Библиотека Версия Библиотека Версия
asttokens 2.0.5 astunparse 1.6.3 azure-core 1.30.1
azure-storage-blob 12.19.1 azure-storage-file-datalake 12.14.0 backcall 0.2.0
black 23.3.0 blinker 1.4 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 certifi 2023.7.22
cffi 1.15.1 chardet 4.0.0 charset-normalizer 2.0.4
щелчок 8.0.4 cloudpickle 2.2.1 comm 0.1.2
контурная диаграмма 1.0.5 криптография 41.0.3 cycler 0.11.0
Cython 0.29.32 databricks-sdk 0.20.0 dbus-python 1.2.18
debugpy 1.6.7 decorator 5.1.1 distlib 0.3.8
entrypoints 0,4 executing 0.8.3 facets-overview 1.1.1
filelock 3.13.1 шрифтовые инструменты 4.25.0 gitdb 4.0.11
GitPython 3.1.42 google-api-core 2.17.1 google-auth 2.28.2
google-cloud-core 2.4.1 google-cloud-storage 2.15.0 google-crc32c 1.5.0
google-resumable-media 2.7.0 googleapis-common-protos 1.63.0 grpcio 1.60.0
grpcio-status 1.60.0 httplib2 0.20.2 idna 3,4
importlib-metadata 6.0.0 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipywidgets 8.0.4 isodate 0.6.1
jedi 0.18.1 jeepney 0.7.1 jmespath 0.10.0
joblib 1.2.0 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-widgets 3.0.5 нажатие клавиш 23.5.0 kiwisolver 1.4.4
launchpadlib 1.10.16 lazr.restfulclient 0.14.4 lazr.uri 1.0.6
matplotlib 3.7.2 matplotlib-inline 0.1.6 mlflow-skinny 2.11.1
more-itertools 8.10.0 mypy-extensions 0.4.3 nest-asyncio 1.5.6
numpy 1.23.5 oauthlib 3.2.0 во внешнем виде 23,2
pandas 2.0.3 parso 0.8.3 pathspec 0.10.3
patsy 0.5.3 pexpect 4.8.0 pickleshare 0.7.5
Pillow 9.4.0 pip 23.2.1 platformdirs 3.10.0
график 5.9.0 prompt-toolkit 3.0.36 protobuf 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 14.0.1 pyasn1 0.4.8
pyasn1-modules 0.2.8 pyccolo 0.0.52 pycparser 2.21
pydantic 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 pyodbc 4.0.38 pyparsing 3.0.9
python-dateutil 2.8.2 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyYAML 6,0 pyzmq 23.2.0 requests 2.31.0
rsa 4,9 s3transfer 0.10.0 scikit-learn 1.3.0
scipy 1.11.1 мореборн 0.12.2 SecretStorage 3.3.1
setuptools 68.0.0 six 1.16.0 smmap 5.0.1
sqlparse 0.4.4 ssh-import-id 5,11 stack-data 0.2.0
statsmodels 0.14.0 tenacity 8.2.2 threadpoolctl 2.2.0
tokenize-rt 4.2.1 tornado 6.3.2 traitlets 5.7.1
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
unattended-upgrades 0,1 urllib3 1.26.16 virtualenv 20.24.2
wadllib 1.3.6 wcwidth 0.2.5 wheel 0.38.4
widgetsnbextension 4.0.5 zipp 3.11.0

Установленные библиотеки R

Библиотеки R устанавливаются из моментального снимка Posit диспетчер пакетов CRAN 2023-02-10.

Библиотека Версия Библиотека Версия Библиотека Версия
Стрелка 14.0.0.2 askpass 1.2.0 assertthat 0.2.1
внутренние порты 1.4.1 base 4.3.2 base64enc 0.1-3
bigD 0.2.0 bit 4.0.5 bit64 4.0.5
bitops 1.0-7 большой двоичный объект 1.2.4 загрузка 1.3-28
заваривать 1.0-10 brio 1.1.4 метла 1.0.5
bslib 0.6.1 cachem 1.0.8 вызывающий объект 3.7.3
крышка 6.0-94 cellranger 1.1.0 chron 2.3-61
class 7.3-22 cli 3.6.2 clipr 0.8.0
clock 0.7.0 cluster 2.1.4 codetools 0.2-19
colorspace 2.1-0 commonmark 1.9.1 компилятор 4.3.2
config 0.3.2 Противоречие 1.2.0 cpp11 0.4.7
карандаш 1.5.2 верительные грамоты 2.0.1 curl 5.2.0
data.table 1.15.0 наборы данных 4.3.2 DBI 1.2.1
dbplyr 2.4.0 desc 1.4.3 средства разработки 2.4.5
Схема 1.6.5 diffobj 0.3.5 digest 0.6.34
downlit 0.4.3 dplyr 1.1.4 dtplyr 1.3.1
e1071 1.7-14 многоточие 0.3.2 evaluate 0,23
вентиляторы 1.0.6 Farver 2.1.1 fastmap 1.1.1
fontawesome 0.5.2 forcats 1.0.0 foreach 1.5.2
иностранный 0.8-85 forge 0.2.0 fs 1.6.3
будущее 1.33.1 future.apply 1.11.1 gargle 1.5.2
Универсальные шаблоны 0.1.3 gert 2.0.1 ggplot2 3.4.4
gh 1.4.0 git2r 0.33.0 gitcreds 0.1.2
glmnet 4.1-8 globals 0.16.2 клей 1.7.0
googledrive 2.1.1 googlesheets4 1.1.1 Говер 1.0.1
графика 4.3.2 grDevices 4.3.2 grid 4.3.2
gridExtra 2.3 gsubfn 0,7 gt 0.10.1
gtable 0.3.4 hardhat 1.3.1 haven 2.5.4
высокий 0.10 hms 1.1.3 htmltools 0.5.7
htmlwidgets 1.6.4 httpuv 1.6.14 httr 1.4.7
httr2 1.0.0 ids 1.0.1 ini 0.3.1
ipred 0.9-14 isoband 0.2.7 Итераторы 1.0.14
jquerylib 0.1.4 jsonlite 1.8.8 juicyjuice 0.1.0
KernSmooth 2.23-21 трикотажный 1,45 маркирование 0.4.3
later 1.3.2 решётка 0.21-8 Lava 1.7.3
жизненный цикл 1.0.4 listenv 0.9.1 lubridate 1.9.3
magrittr 2.0.3 Markdown 1.12 МАССАЧУСЕТС 7.3-60
«Матрица» 1.5-4.1 memoise 2.0.1 оплаты 4.3.2
mgcv 1.8-42 мим 0,12 miniUI 0.1.1.1
mlflow 2.10.0 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-163 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.1.1 parallel 4.3.2
parallelly 1.36.0 столб 1.9.0 pkgbuild 1.4.3
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.4
plogr 0.2.0 plyr 1.8.9 хвалить 1.0.0
prettyunits 1.2.0 pROC 1.18.5 processx 3.8.3
prodlim 2023.08.28 profvis 0.3.8 Ход выполнения 1.2.3
progressr 0.14.0 promises 1.2.1 proto 1.0.0
proxy 0.4-27 ps 1.7.6 purrr 1.0.2
R6 2.5.1 ragg 1.2.7 randomForest 4.7-1.1
rappdirs 0.3.3 rcmdcheck 1.4.0 RColorBrewer 1.1-3
Rcpp 1.0.12 RcppEigen 0.3.3.9.4 reactable 0.4.4
ReactR 0.5.0 readr 2.1.5 readxl 1.4.3
Рецепты 1.0.9 реванш 2.0.0 rematch2 2.1.2
remotes 2.4.2.1 reprex 2.1.0 reshape2 1.4.4
rlang 1.1.3 rmarkdown 2,25 RODBC 1.3-23
roxygen2 7.3.1 rpart 4.1.21 rprojroot 2.0.4
Rserve 1.8-13 RSQLite 2.3.5 rstudioapi 0.15.0
rversions 2.1.2 rvest 1.0.3 sass 0.4.8
весы 1.3.0 селектор 0.4-2 sessioninfo 1.2.2
форма 1.4.6 блестящий 1.8.0 sourcetools 0.1.7-1
sparklyr 1.8.4 пространственный 7.3-15 Сплайны 4.3.2
sqldf 0.4-11 SQUAREM 2021.1 stats 4.3.2
статистика4 4.3.2 stringi 1.8.3 stringr 1.5.1
выживание 3.5-5 swagger 3.33.1 sys 3.4.2
systemfonts 1.0.5 tcltk 4.3.2 testthat 3.2.1
textshaping 0.3.7 tibble 3.2.1 tidyr 1.3.1
tidyselect 1.2.0 tidyverse 2.0.0 timechange 0.3.0
TimeDate 4032.109 tinytex 0,49 средства 4.3.2
tzdb 0.4.0 urlchecker 1.0.1 usethis 2.2.2
utf8 1.2.4 служебные программы 4.3.2 uuid 1.2-0
V8 4.4.1 vctrs 0.6.5 viridisLite 0.4.2
vroom 1.6.5 waldo 0.5.2 усы 0.4.1
withr 3.0.0 xfun 0,41 xml2 1.3.6
xopen 1.0.0 xtable 1.8-4 yaml 2.3.8
zeallot 0.1.0 zip 2.3.1

Установленные библиотеки Java и Scala (версия кластера Scala 2.12)

ИД группы Идентификатор артефакта Версия
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics потоковая передача 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.17.1
com.databricks jets3t 0.7.1–0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core jackson-core 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.dataformat джексон-dataformat-yaml 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.16.0
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1,1
com.github.fommil.netlib native_ref-java 1,1
com.github.fommil.netlib native_ref-java 1.1-natives
com.github.fommil.netlib native_system-java 1,1
com.github.fommil.netlib native_system-java 1.1-natives
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-natives
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-natives
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone error_prone_annotations 2.10.0
com.google.flatbuffers flatbuffers-java 23.5.26
com.google.guava guava 15,0
com.google.protobuf protobuf-java 2.6.1
com.helger профилировщик 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.4.3
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.3
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib blas 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.25
io.delta delta-sharing-client_2.12 1.0.4
io.dropwizard.metrics метрики-заметки 4.2.19
io.dropwizard.metrics metrics-core 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics metrics-healthchecks 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics metrics-json 4.2.19
io.dropwizard.metrics metrics-jvm 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.96.Final
io.netty netty-buffer 4.1.96.Final
io.netty netty-codec 4.1.96.Final
io.netty netty-codec-http 4.1.96.Final
io.netty netty-codec-http2 4.1.96.Final
io.netty netty-codec-socks 4.1.96.Final
io.netty netty-common 4.1.96.Final
io.netty netty-handler 4.1.96.Final
io.netty netty-handler-proxy 4.1.96.Final
io.netty netty-resolver 4.1.96.Final
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-linux-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-aarch_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-osx-x86_64
io.netty netty-tcnative-boringssl-static 2.0.61.Final-windows-x86_64
io.netty netty-tcnative-classes 2.0.61.Final
io.netty netty-transport 4.1.96.Final
io.netty netty-transport-classes-epoll 4.1.96.Final
io.netty netty-transport-classes-kqueue 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final
io.netty netty-transport-native-epoll 4.1.96.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.96.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.96.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.96.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx коллектор 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1,1
javax.transaction transaction-api 1,1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1,3
net.sf.jpam jpam 1,1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.sourceforge.f2j arpack_combined_all 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr stringtemplate 3.2.1
org.apache.ant ant 1.10.11
org.apache.ant ant-jsch 1.10.11
org.apache.ant ant-launcher 1.10.11
org.apache.arrow arrow-format 15.0.0
org.apache.arrow arrow-memory-core 15.0.0
org.apache.arrow arrow-memory-netty 15.0.0
org.apache.arrow arrow-vector 15.0.0
org.apache.avro avro 1.11.3
org.apache.avro avro-ipc 1.11.3
org.apache.avro avro-mapred 1.11.3
org.apache.commons commons-collections4 4.4.
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-runtime 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy ivy 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.22.1
org.apache.logging.log4j log4j-api 2.22.1
org.apache.logging.log4j log4j-core 2.22.1
org.apache.logging.log4j log4j-slf4j2-impl 2.22.1
org.apache.orc orc-core 1.9.2-шейд-protobuf
org.apache.orc orc-mapreduce 1.9.2-шейд-protobuf
org.apache.orc orc-shims 1.9.2
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.ws.xmlschema xmlschema-core 2.3.0
org.apache.xbean xbean-asm9-shaded 4,23
org.apache.yetus audience-annotations 0.13.0
org.apache.zookeeper zookeeper 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.collections eclipse-collections 11.1.0
org.eclipse.collections Eclipse-collections-api 11.1.0
org.eclipse.jetty jetty-client 9.4.52.v20230823
org.eclipse.jetty jetty-continuation 9.4.52.v20230823
org.eclipse.jetty jetty-http 9.4.52.v20230823
org.eclipse.jetty jetty-io 9.4.52.v20230823
org.eclipse.jetty jetty-jndi 9.4.52.v20230823
org.eclipse.jetty jetty-plus 9.4.52.v20230823
org.eclipse.jetty jetty-proxy 9.4.52.v20230823
org.eclipse.jetty jetty-security 9.4.52.v20230823
org.eclipse.jetty jetty-server 9.4.52.v20230823
org.eclipse.jetty jetty-servlet 9.4.52.v20230823
org.eclipse.jetty jetty-servlets 9.4.52.v20230823
org.eclipse.jetty jetty-util 9.4.52.v20230823
org.eclipse.jetty jetty-util-ajax 9.4.52.v20230823
org.eclipse.jetty jetty-webapp 9.4.52.v20230823
org.eclipse.jetty jetty-xml 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-api 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-client 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-common 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-server 9.4.52.v20230823
org.eclipse.jetty.websocket websocket-servlet 9.4.52.v20230823
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core jersey-common 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1,7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mlflow mlflow-spark_2.12 2.9.1
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.1
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap shims 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.11.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest Scalatest-compatible 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.slf4j slf4j-simple 1.7.25
org.threeten threeten-extra 1.7.1
org.tukaani xz 1,9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1