다음을 통해 공유

Databricks Runtime 11.3 LTS

  • 아티클

다음은 Apache Spark 3.3.0에서 제공하는 Databricks Runtime 11.3 LTS에 대한 릴리스 정보를 제공합니다. Databricks는 2022년 10월에 이 버전을 릴리스했습니다.

참고 항목

LTS는 이 버전이 장기 지원 중이라는 의미입니다. Databricks Runtime LTS 버전 수명 주기를 참조하세요.

팁

지원 종료(EoS)에 도달한 Databricks Runtime 버전에 대한 릴리스 정보를 확인하려면 지원 종료 Databricks Runtime 릴리스 정보를 참조하세요. EoS Databricks Runtime 버전은 폐기되었으며 업데이트되지 않을 수 있습니다.

동작 변경 내용

[호환성이 손상되는 변경] 새 Python 버전을 사용하려면 Databricks Connect V1 Python 클라이언트를 업데이트해야 합니다.

필요한 보안 패치를 적용하기 위해 Databricks Runtime 11.3 LTS의 Python 버전이 3.9.5에서 3.9.19로 업그레이드됩니다. 이러한 변경으로 인해 특정 PySpark 함수를 사용하는 클라이언트에서 오류가 발생할 수 있으므로 Databricks Runtime 11.3 LTS와 함께 Python용 Databricks Connect V1을 사용하는 모든 클라이언트는 Python 3.9.7 이상으로 업데이트해야 합니다.

새로운 기능 및 향상 기능

구조적 스트리밍 트리거는 한 번 사용되지 않습니다.

이 Trigger.Once 설정은 더 이상 사용되지 않습니다. Databricks는 사용하는 Trigger.AvailableNow것이 좋습니다. 구조적 스트리밍 트리거 간격 구성을 참조하세요.

자동 로더의 원본 경로 변경

이제 새 검사점 디렉터리를 선택하지 않고도 디렉터리 목록 모드로 구성된 자동 로더의 디렉터리 입력 경로를 변경할 수 있습니다. 자동 로더의 원본 경로 변경을 참조하세요.

Databricks Kinesis 커넥터에서 이제 EFO 모드에서 Kinesis 데이터 스트림 읽기 지원

이제 Databricks Runtime 11.3 LTS의 Databricks Kinesis 구조적 스트리밍 원본을 사용하여 향상된 팬아웃 모드에서 Kinesis 데이터 스트림으로부터 읽은 쿼리를 실행할 수 있습니다. 이렇게 하면 분할된 데이터베이스당, 소비자당 및 푸시 모드의 레코드 전달 전용 처리량이 허용됩니다.

새로운 H3 지리 공간적 함수 및 모든 H3 함수에 대한 Photon 지원 추가

h3_maxchild, h3_minchild, h3_pointash3 및 h3_pointash3string이라는 4개의 새로운 H3 함수가 도입됩니다. 이러한 함수는 SQL, Scala 및 Python에서 사용할 수 있습니다. 이제 Photon에서 모든 H3 식이 지원됩니다. H3 지리 공간적 함수를 참조하세요.

예측 I/O의 새로운 기능

Photon은 프레임을 실행하기 위한 범위 모드를 지원합니다 RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. Photon은 프레임 증가에 대한 범위 모드도 지원합니다 RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

선택적 쿼리 스캔을 위해 초기 파티션 증가

Photon 지원 클러스터에서 take/tail/limit, Databrics SQL에서 LIMIT를 사용하면 선택적 쿼리에 대해 스캔할 초기 파티션 값이 10으로 증가했습니다. 파티션이 10개이면 여러 소규모 작업을 시작하고 확장 속도가 느려지는 오버헤드를 방지할 수 있습니다. spark.sql.limit.selectiveInitialNumPartitions를 통해 이를 구성할 수도 있습니다.

새 AQE 플랜 버전 시각화

AQE(적응 쿼리 실행)에서 런타임 플랜 업데이트를 시각화할 수 있는 AQE 플랜 버전을 소개합니다.

새 비동기 진행률 추적 및 로그 제거 모드

비동기 진행률 추적 및 비동기 로그 제거라는 구조적 스트리밍 모드가 도입됩니다. 비동기 로그 제거 모드는 백그라운드에서 진행률 추적에 사용되는 로그를 제거하여 스트리밍 쿼리의 대기 시간을 줄입니다.

이제 Unity 카탈로그의 구조적 스트리밍에서 display() 지원합니다.

이제 구조적 스트리밍을 사용하여 Unity 카탈로그에 등록된 테이블로 작업할 때 display() 사용할 수 있습니다.

이제 파이프라인 이벤트가 JSON 형식으로 기록

이제 Azure Databricks는 JSON 형식으로 드라이버 로그에 파이프라인 이벤트를 씁니다. 각 이벤트는 JSON 구문 분석이 가능하지만 큰 이벤트에는 모든 필드가 포함되지 않거나 필드가 잘릴 수 있습니다. 각 이벤트는 Event received: 접두사를 사용하여 한 줄로 로그됩니다. 다음은 예제 이벤트입니다.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Python을 사용하는 구조적 스트리밍에서 임의 상태 저장 처리

PySpark에서 임의 상태 저장 처리를 수행하는 데 사용할 수 있는 applyInPandasWithState 함수가 도입됩니다. 이는 Java API의 flatMapGroupsWithState 함수와 동일합니다.

CSV 파일의 날짜 유추

CSV 파일에서 날짜 형식 열의 향상된 유추를 소개합니다. 열의 레코드에서 날짜 형식이 일관되면 해당 열을 DateType유추할 수 있습니다. 여러 열에 날짜 형식을 조합하여 사용할 수도 있습니다. Azure Databricks는 각 열의 날짜 형식을 자동으로 유추할 수 있습니다. Databricks Runtime 11.3 LTS 이전의 CSV 파일의 날짜 열은 StringType남아 있습니다.

Apache Parquet 및 Apache Iceberg 테이블에 대한 복제 지원(공개 미리 보기)

이제 복제본을 사용하여 Apache Parquet 및 Apache Iceberg 테이블을 미러링하는 델타 테이블을 만들고 증분 방식으로 업데이트할 수 있습니다. 원본 Parquet 테이블을 업데이트하고 복제 명령을 사용하여 복제된 델타 테이블에 변경 내용을 증분 방식으로 적용할 수 있습니다. 을(를) 참조하여 Parquet 및 Iceberg 테이블을 Delta Lake로 증분 복제하세요.

SQL을 사용하여 Unity 카탈로그 관리 테이블에 대한 스키마 및 카탈로그 수준 스토리지 위치 지정

이제 MANAGED LOCATION SQL 명령을 사용하여 카탈로그 및 스키마 수준에서 관리되는 테이블에 대한 클라우드 스토리지 위치를 지정할 수 있습니다. CREATE CATALOG 및 CREATE SCHEMA참조하세요.

동작 변경

Databricks Connect 11.3.2

이제 Databricks Connect 클라이언트 업데이트 11.3.2가 지원됩니다. Databricks Connect 및 Databricks Connect 릴리스 정보를 참조하세요.

Azure Databricks Snowflake 커넥터 업데이트

Azure Databricks Snowflake 커넥터는 오픈 소스 리포지토리인 Snowflake Data Source for Apache Spark에서 최신 버전의 코드로 업데이트되었습니다. 이제 오픈 소스 버전의 모든 기능을 유지하면서 조건자 푸시다운 및 내부 쿼리 계획 푸시다운을 포함하여 Databricks Runtime 11.3 LTS와 완벽하게 호환됩니다.

이제 S3A용 Hadoop 캐시가 사용하지 않도록 설정되었습니다.

이제 S3A용 Hadoop 캐시(FileSystem Apache Hadoop Main 3.3.4 API)가 비활성화됩니다. 이는 다른 클라우드 스토리지 커넥터와 정렬하기 위한 것입니다. 파일 시스템 캐싱을 사용하는 워크로드의 경우 새로 만든 파일 시스템에 자격 증명 공급자를 비롯한 올바른 Hadoop 구성이 제공되었는지 확인합니다.

이제 Delta Lake stats 컬렉션 스키마가 테이블 스키마 정의의 열 순서와 일치합니다.

이 변경은 DataFrame 및 테이블 열 순서가 일치하지 않아 열에 대한 통계가 수집되지 않은 Delta Lake 프로토콜의 버그를 해결합니다. 경우에 따라 이전에 추적되지 않은 필드의 통계 컬렉션으로 인해 쓰기 성능이 저하될 수 있습니다. Delta Lake에 대한 데이터 건너뛰기를 참조하세요.

쿼리에서 연산자 뒤에 shuffle이 있는 경우 applyInPandasWithState에서 오류 발생

쿼리의 연산자 뒤에 applyInPandasWithState이 있는 경우 연산자 shuffle에서 오류가 발생합니다. 이는 사용자가 연산 후에 shuffle을 추가하거나 최적화 프로그램 또는 싱크에서 암시적으로 shuffle을 추가하는 경우 발생합니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • distlib: 0.3.5에서 0.3.6으로
  • 업그레이드된 R 라이브러리:
    • broom: 1.0.0에서 1.0.1로
    • callr: 3.7.1에서 3.7.2로
    • dplyr: 1.0.9에서 1.0.10으로
    • dtplyr: 1.2.1에서 1.2.2로
    • forcats: 0.5.1에서 0.5.2로
    • future: 1.27.0에서 1.28.0으로
    • future.apply: 1.9.0에서 1.9.1로
    • gert: 1.7.0에서 1.8.0으로
    • globals: 0.16.0에서 0.16.1로
    • gtable: 0.3.0에서 0.3.1로
    • haven: 2.5.0에서 2.5.1로
    • hms: 1.1.1에서 1.1.2로
    • httr: 1.4.3에서 1.4.4로
    • knitr: 1.39에서 1.40으로
    • modelr: 0.1.8에서 0.1.9로
    • pillar: 1.8.0에서 1.8.1로
    • progressr: 0.10.1에서 0.11.0으로
    • readxl: 1.4.0에서 1.4.1로
    • reprex: 2.0.1에서 2.0.2로
    • rlang: 1.0.4에서 1.0.5로
    • rmarkdown: 2.14에서 2.16으로
    • RSQLite: 2.2.15에서 2.2.16으로
    • rstudioapi: 0.13에서 0.14로
    • rversions: 2.1.1에서 2.1.2로
    • rvest: 1.0.2에서 1.0.3으로
    • scales: 1.2.0에서 1.2.1로
    • sparklyr: 1.7.7에서 1.7.8로
    • stringr: 1.4.0에서 1.4.1로
    • survival: 3.2-13에서 3.4-0으로
    • tinytex: 0.40에서 0.41로
    • viridisLite: 0.4.0에서 0.4.1로
  • 업그레이드된 Java 라이브러리:
    • com.fasterxml.jackson.core.jackson-annotations: 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.core.jackson-core: 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.core.jackson-databind: 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor: 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.datatype.jackson-datatype-joda: 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310: 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.module.jackson-module-paranamer: 2.13.3에서 2.13.4로
    • com.fasterxml.jackson.module.jackson-module-scala_2.12: 2.13.3에서 2.13.4로
    • org.apache.hadoop.hadoop-client-api: 3.3.2-databricks에서 3.3.4-databricks로
    • org.apache.hadoop.hadoop-client-runtime: 3.3.2에서 3.3.4로
    • org.apache.orc.orc-core: 1.7.5에서 1.7.6으로
    • org.apache.orc.orc-mapreduce: 1.7.5에서 1.7.6으로
    • org.apache.orc.orc-shims: 1.7.5에서 1.7.6으로
    • org.apache.parquet.parquet-column from 1.12.0-databricks-0004 to 1.12.0-databricks-0007
    • org.apache.parquet.parquet-common: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
    • org.apache.parquet.parquet-encoding: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
    • org.apache.parquet.parquet-format-structures: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
    • org.apache.parquet.parquet-hadoop: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
    • org.apache.parquet.parquet-jackson: 1.12.0-databricks-0004에서 1.12.0-databricks-0007로
    • org.glassfish.jersey.containers.jersey-container-servlet: 2.34에서 2.36으로
    • org.glassfish.jersey.containers.jersey-container-servlet-core: 2.34에서 2.36으로
    • org.glassfish.jersey.core.jersey-client: 2.34에서 2.36으로
    • org.glassfish.jersey.core.jersey-common: 2.34에서 2.36으로
    • org.glassfish.jersey.core.jersey-server: 2.34에서 2.36으로
    • org.glassfish.jersey.inject.jersey-hk2: 2.34에서 2.36으로

Apache Spark

Databricks Runtime 11.3 LTS에는 Apache Spark 3.3.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 11.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-39957] [WARMFIX][SC-111425][CORE] 드라이버의 ExecutorExitCode 수신이 가능하도록 하는 onDisconnected 지연
  • [SPARK-39955] [WARMFIX][SC-111424][CORE] LaunchTask 메시지 보내기 실패로 인한 단계 오류 방지를 위해 LaunchTask 프로세스 개선
  • [SPARK-40474] [SC-106248][Cherry-Pick] datetime 열에 대한 올바른 CSV 스키마 유추 동작 및 날짜 필드에 대한 자동 검색 도입
  • [SPARK-40535] [SC-111243][SQL] 입력 행이 빈 경우 AggregatingAccumulator의 버퍼가 만들어지지 않는 버그 수정
  • [SPARK-40434] [SC-111125][SC-111144][SC-111138][SPARK-40435][11.3][SS][PYTHON] PySpark에서 applyInPandasWithState 구현
  • [SPARK-40460] [SC-110832][SS] _metadata를 선택할 때 스트리밍 메트릭 수정
  • [SPARK-40324] [SC-109943][SQL] 쿼리 컨텍스트를 ParseException에 제공
  • [SPARK-40466] [SC-110899][SS] DSv1을 사용할 수 없는 동안 DSv2를 사용하지 않도록 설정한 경우 오류 메시지 개선
  • [SPARK-40456] [SC-110848][SQL] PartitionIterator.hasNext가 반복 호출이 가능하도록 저렴해야 함
  • [SPARK-40169] [SC-110772][SQL] 데이터 스키마에 대한 참조 없이 Parquet 필터를 푸시다운하지 마세요.
  • [SPARK-40467] [SC-110759][SS] FlatMapGroupsWithState를 여러 테스트 도구 모음으로 분할
  • [SPARK-40468] [SC-110813][SQL] _corrupt_record 선택한 경우 CSV에서 열 정리 수정
  • [SPARK-40291] [SC-110085][SQL] 절 오류로 그룹화되지 않은 열에 대한 메시지 개선
  • [SPARK-40398] [SC-110762][CORE][SQL] Arrays.stream api 대신 Loop 사용
  • [SPARK-40433] [SC-110684][SS][PYTHON] PythonSQLUtils에 toJVMRow를 추가하여 pickle 처리된 PySpark 행을 JVM 행으로 변환
  • [SPARK-40414] [SC-110568][SQL][PYTHON] PythonArrowInput 및 PythonArrowOutput에 대한 추가 제네릭 형식
  • [SPARK-40352] [SC-109945][SQL] 함수 별칭 추가: len, datepart, dateadd, date_diff 및 curdate
  • [SPARK-40470] [SC-110761][SQL] “arrays_zip” 함수에서 GetArrayStructFields 및 GetMapValue 처리
  • [SPARK-40387] [SC-110685][SQL] Spark Decimal 구현 개선
  • [SPARK-40429] [SC-110675][SQL] 참조된 열이 출력에 있을 때만 KeyGroupedPartitioning 설정
  • [SPARK-40432] [SC-110716][SS][PYTHON] PySpark에서 GroupStateImpl 및 GroupStateTimeout 도입
  • [SPARK-39915] [SC-110496][SQL] 출력 분할이 AQE에서 사용자 지정인지 확인
  • [SPARK-29260] HMS가 지원하는 경우 [SQL] 지원 ALTER DATABASE SET LOCATION
  • [SPARK-40185] [SC-110056][SQL] 후보 목록이 비어 있을 때 열 제안 제거
  • [SPARK-40362] [SC-110401][SQL] BinaryComparison 정규화 수정
  • [SPARK-40411] [SC-110381][SS] 부모 특성을 갖도록 FlatMapGroupsWithStateExec 리팩터링
  • [SPARK-40293] [SC-110084][SQL] V2 테이블 오류 메시지를 더 의미 있게 만들기
  • [SPARK-38734] [SC-110383][SQL] 오류 클래스 INDEX_OUT_OF_BOUNDS 제거
  • [SPARK-40292] [SC-110300][SQL] 중첩된 구조체에서 배열을 참조할 때 "arrays_zip" 함수의 열 이름 수정
  • [SPARK-40276] [SC-109674][CORE] RDD.takeOrdered의 결과 크기 감소
  • [SPARK-40197] [SC-109176][SQL] 쿼리 계획을 MULTI_VALUE_SUBQUERY_ERROR에 대한 컨텍스트로 바꾸기
  • [SPARK-40300] [SC-109942][SQL] DATATYPE_MISMATCH 오류 클래스로 마이그레이션
  • [SPARK-40149] [SC-110055][SQL] 프로젝트를 통해 메타데이터 컬럼을 전파하기
  • [SPARK-40280] [SC-110146][SQL] 주석이 추가된 int 및 long에 대한 Parquet 푸시다운 지원 추가
  • [SPARK-40220] [SC-110143][SC-109175][SQL] 오류 메시지 매개 변수의 빈 맵을 출력하지 않음
  • [SPARK-40295] [SC-110070][SQL] 쓰기 배포/순서 지정에서 리터럴 인수가 있는 v2 함수 허용
  • [SPARK-40156] [SC-109264][SQL] url_decode()에서 오류 클래스를 반환해야 함
  • [SPARK-39195] [SQL] 커밋된 파일이 작업 상태와 일치하지 않는 경우 Spark OutputCommitCoordinator에서 단계를 중단해야 함
  • [SPARK-40260] [SC-109424][SQL] 위치 GROUP BY 컴파일 오류에 오류 클래스 사용
  • [SPARK-40205] [SC-110144][SC-109082][SQL] ELEMENT_AT_BY_INDEX_ZERO의 쿼리 컨텍스트 제공
  • [SPARK-40112] [SC-109676][SQL] TO_BINARY() 함수 개선
  • [SPARK-40209] [SC-109081][SQL] 오류 시 changePrecision()의 Decimal에서 간격 값을 변경하지 말 것
  • [SPARK-40319] [SC-109873][SQL] PARSE_DATETIME_BY_NEW_PARSER 대한 중복 쿼리 실행 오류 메서드 제거
  • [SPARK-40222] [SC-109209][SQL] 숫자 try_add/try_divide/try_subtract/try_multiply는 자식으로부터 오류를 발생시켜야 함
  • [SPARK-40183] [SC-108907][SQL] 10진수 변환의 오버플로에 대해 오류 클래스 NUMERIC_VALUE_OUT_OF_RANGE 사용
  • [SPARK-40180] [SC-109069][SQL] spark-sql의 오류 메시지 형식 지정
  • [SPARK-40153] [SC-109165][SQL] 해결 함수 및 테이블 값 함수 통합
  • [SPARK-40308] [SC-109880][SQL] str_to_map 함수에 대해 접을 수 없는 구분 기호 인수 허용
  • [SPARK-40219] [SC-110052][SC-109663][SQL] 중복 조회를 방지하기 위해 최종 뷰 논리 계획에 스키마가 있어야 합니다.
  • [SPARK-40098] [SC-109939][SC-108693][SQL] Thrift Server의 오류 메시지 형식 지정
  • [SPARK-39917] [SC-109038][SQL] 숫자/간격 산술 오버플로에 대해 다른 오류 클래스 사용
  • [SPARK-40033] [SC-109875][SQL] element_at 통해 중첩된 스키마 정리 지원
  • [SPARK-40194] [SC-109660][SQL] 빈 정규식의 SPLIT 함수는 후행 빈 문자열을 잘라야 함
  • [SPARK-40228] [SC-109835][SQL] 자식이 저렴한 식이 아닌 경우 multiLike를 단순화하지 말 것
  • [SPARK-40039] [SC-109896][SC-109260][SS] Hadoop의 Abortable 인터페이스를 기반으로 하는 스트리밍 검사점 파일 관리자 도입
  • [SPARK-40285] [SC-109679][SQL] Spark roundTo[Numeric]에 대해 Decimal 단순화
  • [SPARK-39896] [SC-109658][SQL] In/InSet 다운캐스트의 리터럴이 실패할 때 UnwrapCastInBinaryComparison이 작동해야 함
  • [SPARK-40040] [SC-109662][SQL] 조인 조건이 비어 있는 경우 양쪽에 로컬 제한 푸시
  • [SPARK-40055] [SC-109075][SQL] listCatalogs는 spark_catalog 구현이 defaultSessionCatalog인 경우에도 spark_catalog를 반환해야 함
  • [SPARK-39915] [SC-109391][SQL] Dataset.repartition(N)이 N 파티션 비 AQE 파트를 만들 수 없음
  • [SPARK-40207] [SC-109401][SQL] 데이터 원본에서 데이터 형식이 지원되지 않는 경우 열 이름을 지정합니다.
  • [SPARK-40245] [SC-109295][SQL] 파티션 또는 데이터 필터 열을 읽지 않을 때 FileScan 같음 검사 수정
  • [SPARK-40113] [SC-109405][SQL] Reactor ParquetScanBuilder DataSourceV2 인터페이스 구현
  • [SPARK-40211] [SC-109226][CORE][SQL] take() 동작에서 초기 파티션 번호 사용자 지정 허용
  • [SPARK-40252] [SC-109379][SQL] Stream.collect(Collectors.joining)를 StringJoiner Api로 바꾸기
  • [SPARK-40247] [SC-109272][SQL] BitSet 일치 확인 수정
  • [SPARK-40067] [SQL] Scan#name() 대신 Table#name()을 사용하여 SparkUI의 BatchScan 노드에서 테이블 이름을 채웁니다.
  • [SPARK-39966] [SQL] SupportsDelete에서 V2 필터 사용
  • [SPARK-39607] [SC-109268][SQL][DSV2] 작성 시 배포 및 순서 지정 지원 V2 함수
  • [SPARK-40224] [SC-109271][SQL] 대체가 정렬 기반인 경우 ObjectHashAggregateExec에서 메모리를 즉시 릴리스
  • [SPARK-40013] [SQL] DS V2 식에 기본값 toString이 있어야 함
  • [SPARK-40214] [SC-109079][PYTHON][SQL] 함수에 'get' 추가
  • [SPARK-40192] [SC-109089][SQL][ML] 중복된 그룹바이 제거
  • [SPARK-40146] [SC-108694][SQL] map 값을 가져오는 codegen 단순화
  • [SPARK-40109] [SQL] 새 SQL 함수: get()
  • [SPARK-39929] [SQL] DS V2는 문자열 함수(비 ANSI) 푸시다운을 지원함
  • [SPARK-39819] [SQL] DS V2 집계 푸시다운에서 상위 N 또는 페이징(식을 사용하여 정렬) 사용 가능
  • [SPARK-40213] [SC-109077][SQL] 라틴어-1 문자에 대한 ASCII 값 변환 지원
  • [SPARK-39887] [SQL] RemoveRedundantAliases는 프로젝션 노드의 출력을 고유하게 만드는 별칭을 유지해야 함
  • [SPARK-39764] [SQL] PhysicalOperation을 ScanOperation과 동일하게 만듦
  • [SPARK-39964] [SQL] DS V2 푸시다운에서 좌표 이동 경로를 통합해야 함
  • [SPARK-39528] [SQL] SupportsRuntimeFiltering에서 V2 필터 사용
  • [SPARK-40066] [SQL] ANSI 모드: 매핑 열에 대한 잘못된 액세스에서 항상 null을 반환합니다.
  • [SPARK-39912] [SPARK-39828][SQL] CatalogImpl 구체화
  • [SPARK-39833] [SC-108736][SQL] DSv1에서 Parquet 열 인덱스를 사용하지 않도록 설정하여 겹치는 파티션 및 데이터 열의 경우 정확성 문제를 해결합니다.
  • [SPARK-39880] [SQL] V2 SHOW FUNCTIONS 명령은 v1과 같은 정규화된 함수 이름을 인쇄해야 합니다.
  • [SPARK-39767] [SQL] UnresolvedDBObjectName 제거 및 UnresolvedIdentifier 추가
  • [SPARK-40163] [SC-108740][SQL] feat: SparkSession.config(Map)
  • [SPARK-40136] [SQL] SQL 쿼리 컨텍스트의 조각 수정
  • [SPARK-40107] [SC-108689][SQL] FileFormatWriter에서 empty2null 변환 끌어오기
  • [SPARK-40121] [PYTHON][SQL] Python UDF 사용된 프로젝션 초기화
  • [SPARK-40128] [SQL] VectorizedColumnReader가 DELTA_LENGTH_BYTE_ARRAY 독립 실행형 열 인코딩으로 인식하게 합니다.
  • [SPARK-40132] [ML] rawPredictionCol을 MultilayerPerceptronClassifier.setParams로 복원
  • [SPARK-40050] [SC-108696][SQL] EliminateSorts를 개선하여 LocalLimit를 통한 정렬 제거 지원
  • [SPARK-39629] [SQL] v2 SHOW FUNCTIONS 지원
  • [SPARK-39925] [SC-108734][SQL] DataFrame 작업에 array_sort(열, 비교자) 오버로드 추가
  • [SPARK-40117] [PYTHON][SQL] DataFrameWriterV2.overwrite에서 조건을 java로 변환
  • [SPARK-40105] [SQL] ReplaceCTERefWithRepartition에서 재분할 개선
  • [SPARK-39503] [SQL] v1 데이터베이스 테이블 및 함수에 대한 세션 카탈로그 이름 추가
  • [SPARK-39889] [SQL] 0으로 나눈 숫자/간격에 다른 오류 클래스 사용
  • [SPARK-39741] [SQL] 인코딩/디코딩을 기본 제공 함수로 지원하고 URL 관련 함수 정리
  • [SPARK-40102] [SQL] SparkPlan에서 IllegalStateException 대신 SparkException 사용
  • [SPARK-40014] [SQL] ANSI 간격을 10진수로 캐스트 지원
  • [SPARK-39776] [SQL][팔로우] ANSI 모드에서 PlanStabilitySuite의 UT 업데이트
  • [SPARK-39963] [SQL] SimplifyCasts.isWiderCast 단순화

유지 관리 업데이트

Databricks Runtime 11.3 유지 관리 업데이트를 참조 하세요.

시스템 환경

  • 운영 체제: Ubuntu 20.04.5 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.9.19
  • R: 4.1.3
  • Delta Lake: 2.1.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
argon2-cffi 20.1.0 async-generator 1.10 attrs 21.2.0
backcall 0.2.0 backports.entry-points-selectable 1.1.1 검정색 22.3.0
bleach 4.0.0 boto3 1.21.18 botocore 1.24.18
certifi 2021.10.8 cffi 1.14.6 chardet 4.0.0
charset-normalizer 2.0.4 에서 8.0.3 암호화 3.4.8
cycler 0.10.0 Cython 0.29.24 dbus-python 1.2.16
debugpy 1.4.1 decorator 5.1.0 defusedxml 0.7.1
distlib 0.3.6 entrypoints 0.3 facets-overview 1.0.0
filelock 3.8.0 idna 3.2 ipykernel 6.12.1
ipython 7.32.0 ipython-genutils 0.2.0 ipywidgets 7.7.0
jedi 0.18.0 Jinja2 2.11.3 jmespath 0.10.0
joblib 1.0.1 jsonschema 3.2.0 jupyter-client 6.1.12
jupyter-core 4.8.1 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
kiwisolver 1.3.1 MarkupSafe 2.0.1 matplotlib 3.4.3
matplotlib-inline 0.1.2 mistune 0.8.4 mypy-extensions 0.4.3
nbclient 0.5.3 nbconvert 6.1.0 nbformat 5.1.3
nest-asyncio 1.5.1 Notebook 6.4.5 numpy 1.20.3
패키징 21.0 pandas 1.3.4 pandocfilters 1.4.3
parso 0.8.2 pathspec 0.9.0 patsy 0.5.2
pexpect 4.8.0 pickleshare 0.7.5 Pillow 8.4.0
pip 21.2.4 platformdirs 2.5.2 plotly 5.9.0
prometheus-client 0.11.0 prompt-toolkit 3.0.20 protobuf 4.21.5
psutil 5.8.0 psycopg2 2.9.3 ptyprocess 0.7.0
pyarrow 7.0.0 pycparser 2.20 Pygments 2.10.0
PyGObject 3.36.0 pyodbc 4.0.31 pyparsing 3.0.4
pyrsistent 0.18.0 python-dateutil 2.8.2 pytz 2021.3
pyzmq 22.2.1 requests 2.26.0 requests-unixsocket 0.2.0
s3transfer 0.5.2 scikit-learn 0.24.2 scipy 1.7.1
seaborn 0.11.2 Send2Trash 1.8.0 setuptools 58.0.4
6 1.16.0 ssh-import-id 5.10 statsmodels 0.12.2
tenacity 8.0.1 terminado 0.9.4 testpath 0.5.0
threadpoolctl 2.2.0 tokenize-rt 4.2.1 tomli 2.0.1
tornado 6.1 traitlets 5.1.0 typing-extensions 3.10.0.2
unattended-upgrades 0.1 urllib3 1.26.7 virtualenv 20.8.0
wcwidth 0.2.5 webencodings 0.5.1 wheel 0.37.0
widgetsnbextension 3.6.0

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2022-09-08)에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
askpass 1.1 assertthat 0.2.1 backports 1.4.1
base 4.1.3 base64enc 0.1-3 bit 4.0.4
bit64 4.0.5 blob 1.2.3 boot 1.3-28
brew 1.0-7 brio 1.1.3 broom 1.0.1
bslib 0.4.0 cachem 1.0.6 callr 3.7.2
캐럿 6.0-93 cellranger 1.1.0 chron 2.3-57
class 7.3-20 cli 3.3.0 clipr 0.8.0
cluster 2.1.3 codetools 0.2-18 colorspace 2.0-3
commonmark 1.8.0 compiler 4.1.3 config 0.3.1
cpp11 0.4.2 crayon 1.5.1 자격 증명 1.3.2
curl 4.3.2 data.table 1.14.2 datasets 4.1.3
DBI 1.1.3 dbplyr 2.2.1 desc 1.4.1
devtools 2.4.4 diffobj 0.3.5 digest 0.6.29
downlit 0.4.2 dplyr 1.0.10 dtplyr 1.2.2
e1071 1.7-11 줄임표 0.3.2 evaluate 0.16
fansi 1.0.3 farver 2.1.1 fastmap 1.1.0
fontawesome 0.3.0 forcats 0.5.2 foreach 1.5.2
foreign 0.8-82 forge 0.2.0 fs 1.5.2
future 1.28.0 future.apply 1.9.1 gargle 1.2.0
제네릭(generics) 0.1.3 gert 1.8.0 ggplot2 3.3.6
gh 1.3.0 gitcreds 0.1.1 glmnet 4.1-4
globals 0.16.1 glue 1.6.2 googledrive 2.0.0
googlesheets4 1.0.1 gower 1.0.0 graphics 4.1.3
grDevices 4.1.3 grid 4.1.3 gridExtra 2.3
gsubfn 0.7 gtable 0.3.1 hardhat 1.2.0
haven 2.5.1 highr 0.9 hms 1.1.2
htmltools 0.5.3 htmlwidgets 1.5.4 httpuv 1.6.5
httr 1.4.4 ids 1.0.1 ini 0.3.1
ipred 0.9-13 isoband 0.2.5 iterators 1.0.14
jquerylib 0.1.4 jsonlite 1.8.0 KernSmooth 2.23-20
knitr 1.40 labeling 0.4.2 later 1.3.0
lattice 0.20-45 lava 1.6.10 주기 1.0.1
listenv 0.8.0 lubridate 1.8.0 magrittr 2.0.3
markdown 1.1 MASS 7.3-56 행렬 1.4-1
memoise 2.0.1 메서드 4.1.3 mgcv 1.8-40
mime 0.12 miniUI 0.1.1.1 ModelMetrics 1.2.2.2
modelr 0.1.9 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 numDeriv 2016.8-1.1 openssl 2.0.2
parallel 4.1.3 parallelly 1.32.1 pillar 1.8.1
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgdown 2.0.6
pkgload 1.3.0 plogr 0.2.0 plyr 1.8.7
praise 1.0.0 prettyunits 1.1.1 pROC 1.18.0
processx 3.7.0 prodlim 2019.11.13 profvis 0.3.7
진행률 1.2.2 progressr 0.11.0 promises 1.2.0.1
proto 1.0.0 프록시 0.4-27 ps 1.7.1
purrr 0.3.4 r2d3 0.2.6 R6 2.5.1
ragg 1.2.2 randomForest 4.7-1.1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-3 Rcpp 1.0.9
RcppEigen 0.3.3.9.2 readr 2.1.2 readxl 1.4.1
recipes 1.0.1 rematch 1.0.1 rematch2 2.1.2
remotes 2.4.2 reprex 2.0.2 reshape2 1.4.4
rlang 1.0.5 rmarkdown 2.16 RODBC 1.3-19
roxygen2 7.2.1 rpart 4.1.16 rprojroot 2.0.3
Rserve 1.8-11 RSQLite 2.2.16 rstudioapi 0.14
rversions 2.1.2 rvest 1.0.3 sass 0.4.2
scales 1.2.1 selectr 0.4-2 sessioninfo 1.2.2
shape 1.4.6 shiny 1.7.2 sourcetools 0.1.7
sparklyr 1.7.8 SparkR 3.3.0 spatial 7.3-11
splines 4.1.3 sqldf 0.4-11 SQUAREM 2021.1
통계 4.1.3 stats4 4.1.3 stringi 1.7.8
stringr 1.4.1 survival 3.4-0 sys 3.4
systemfonts 1.0.4 tcltk 4.1.3 testthat 3.1.4
textshaping 0.3.6 tibble 3.1.8 tidyr 1.2.0
tidyselect 1.1.2 tidyverse 1.3.2 timeDate 4021.104
tinytex 0.41 tools 4.1.3 tzdb 0.3.0
urlchecker 1.0.1 usethis 2.1.6 utf8 1.2.2
utils 4.1.3 uuid 1.1-0 vctrs 0.4.1
viridisLite 0.4.1 vroom 1.5.7 waldo 0.4.0
whisker 0.4 withr 2.5.0 xfun 0.32
xml2 1.3.3 xopen 1.0.0 xtable 1.8-4
yaml 2.3.5 zip 2.2.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws aws-java-sdk-glacier 1.12.189
com.amazonaws aws-java-sdk-glue 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws aws-java-sdk-machinelearning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support 1.12.189
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml classmate 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.13.4
com.fasterxml.jackson.core jackson-core 2.13.4
com.fasterxml.jackson.core jackson-databind 2.13.4
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-joda 2.13.4
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.13.4
com.fasterxml.jackson.module jackson-module-paranamer 2.13.4
com.fasterxml.jackson.module jackson-module-scala_2.12 2.13.4
com.github.ben-manes.caffeine caffeine 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib 코어 1.1.2
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib native_ref-java-natives 1.1
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib native_system-java-natives 1.1
com.github.fommil.netlib netlib-native_ref-linux-x86_64-natives 1.1
com.github.fommil.netlib netlib-native_system-linux-x86_64-natives 1.1
com.github.luben zstd-jni 1.5.2-1
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink tink 1.6.1
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava guava 15.0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.0.204
com.helger Profiler 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 9.2.1.jre8
com.ning compress-lzf 1.1
com.sun.mail javax.mail 1.5.2
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe config 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.15
commons-collections commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
commons-fileupload commons-fileupload 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.11.0
commons-lang commons-lang 2.6
commons-logging commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib blas 2.2.1
dev.ludovic.netlib lapack 2.2.1
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift aircompressor 0.21
io.delta delta-sharing-spark_2.12 0.5.1
io.dropwizard.metrics metrics-core 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metrics-healthchecks 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metrics-servlets 4.1.1
io.netty netty-all 4.1.74.Final
io.netty netty-buffer 4.1.74.Final
io.netty netty-codec 4.1.74.Final
io.netty netty-common 4.1.74.Final
io.netty netty-handler 4.1.74.Final
io.netty netty-resolver 4.1.74.Final
io.netty netty-tcnative-classes 2.0.48.Final
io.netty netty-transport 4.1.74.Final
io.netty netty-transport-classes-epoll 4.1.74.Final
io.netty netty-transport-classes-kqueue 4.1.74.Final
io.netty netty-transport-native-epoll-linux-aarch_64 4.1.74.Final
io.netty netty-transport-native-epoll-linux-x86_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-aarch_64 4.1.74.Final
io.netty netty-transport-native-kqueue-osx-x86_64 4.1.74.Final
io.netty netty-transport-native-unix-common 4.1.74.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation activation 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction transaction-api 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.13
net.java.dev.jna jna 5.8.0
net.razorvine pickle 1.2
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.14
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr stringtemplate 3.2.1
org.apache.ant 최근 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant-launcher 1.9.2
org.apache.arrow arrow-format 7.0.0
org.apache.arrow arrow-memory-core 7.0.0
org.apache.arrow arrow-memory-netty 7.0.0
org.apache.arrow arrow-vector 7.0.0
org.apache.avro Avro 1.11.0
org.apache.avro avro-ipc 1.11.0
org.apache.avro avro-mapred 1.11.0
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.9
org.apache.curator curator-client 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator curator-recipes 2.13.0
org.apache.derby derby 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.4-databricks
org.apache.hadoop hadoop-client-runtime 3.3.4
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive hive-shims 2.3.9
org.apache.hive hive-storage-api 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.14
org.apache.ivy ivy 2.5.0
org.apache.logging.log4j log4j-1.2-api 2.18.0
org.apache.logging.log4j log4j-api 2.18.0
org.apache.logging.log4j log4j-core 2.18.0
org.apache.logging.log4j log4j-slf4j-impl 2.18.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.76
org.apache.orc orc-mapreduce 1.76
org.apache.orc orc-shims 1.76
org.apache.parquet 파케-열 1.12.0-databricks-0007
org.apache.parquet parquet-common 1.12.0-databricks-0007
org.apache.parquet parquet-encoding 1.12.0-databricks-0007
org.apache.parquet parquet-format-structures 1.12.0-databricks-0007
org.apache.parquet parquet-hadoop 1.12.0-databricks-0007
org.apache.parquet parquet-jackson 1.12.0-databricks-0007
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus audience-annotations 0.5.0
org.apache.zookeeper zookeeper 3.6.2
org.apache.zookeeper zookeeper-jute 3.6.2
org.checkerframework checker-qual 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.46.v20220331
org.eclipse.jetty jetty-continuation 9.4.46.v20220331
org.eclipse.jetty jetty-http 9.4.46.v20220331
org.eclipse.jetty jetty-io 9.4.46.v20220331
org.eclipse.jetty jetty-jndi 9.4.46.v20220331
org.eclipse.jetty jetty-plus 9.4.46.v20220331
org.eclipse.jetty jetty-proxy 9.4.46.v20220331
org.eclipse.jetty jetty-security 9.4.46.v20220331
org.eclipse.jetty jetty-server 9.4.46.v20220331
org.eclipse.jetty jetty-servlet 9.4.46.v20220331
org.eclipse.jetty jetty-servlets 9.4.46.v20220331
org.eclipse.jetty jetty-util 9.4.46.v20220331
org.eclipse.jetty jetty-util-ajax 9.4.46.v20220331
org.eclipse.jetty jetty-webapp 9.4.46.v20220331
org.eclipse.jetty jetty-xml 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-api 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-client 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-common 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-server 9.4.46.v20220331
org.eclipse.jetty.websocket websocket-servlet 9.4.46.v20220331
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-repackaged 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.36
org.glassfish.jersey.containers jersey-container-servlet-core 2.36
org.glassfish.jersey.core jersey-client 2.36
org.glassfish.jersey.core jersey-common 2.36
org.glassfish.jersey.core jersey-server 2.36
org.glassfish.jersey.inject jersey-hk2 2.36
org.hibernate.validator hibernate-validator 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains annotations 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.4
org.mlflow mlflow-spark 1.27.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.3.3
org.roaringbitmap RoaringBitmap 0.9.25
org.roaringbitmap shims 0.9.25
org.rocksdb rocksdbjni 6.24.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt test-interface 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1.2
org.scalanlp breeze_2.12 1.2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.36
org.slf4j jul-to-slf4j 1.7.36
org.slf4j slf4j-api 1.7.36
org.spark-project.spark unused 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Final
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.ion ion-java 1.0.2
stax stax-api 1.0.1