다음을 통해 공유

Databricks Runtime 14.0(EoS)

  • 아티클

참고

이 Databricks Runtime 버전에 대한 지원이 종료되었습니다. 지원 종료 날짜는 지원 종료 기록을 참조하세요. 지원되는 모든 Databricks Runtime 버전은 Databricks Runtime 릴리스 정보 버전 및 호환성을 참조하세요.

다음 릴리스 정보는 Apache Spark 3.5.0에서 제공하는 Databricks Runtime 14.0에 대한 정보를 제공합니다.

Databricks는 2023년 9월에 이 버전을 출시했습니다.

새로운 기능 및 향상 기능

행 추적은 GA입니다.

이제 Delta Lake에 대한 행 추적 기능이 정식으로 제공됩니다. 델타 테이블에 대한 행 추적 사용을 참조하세요.

업데이트에 대한 예측 I/O가 정식 출시됨

업데이트를 위한 예측 I/O가 이제 일반적으로 사용할 수 있습니다. 예측 I/O란?을 참조하세요.

삭제 벡터가 일반 공급됨

삭제 벡터는 이제 일반적으로 제공됩니다. 삭제 벡터란?을 참조하세요.

Spark 3.5.0은 GA입니다.

Apache Spark 3.5.0이 이제 일반적으로 제공됩니다. Spark 릴리스 3.5.0을 참조하세요.

Python용 사용자 정의 테이블 함수에 대한 공개 미리 보기

UDF(사용자 정의 테이블 함수)를 사용하면 스칼라 값 대신 테이블을 반환하는 함수를 등록할 수 있습니다. Python UDF(사용자 정의 테이블 함수)참조하세요.

행 수준 동시성을 위한 공개 미리 보기

행 수준 동시성은 행 수준에서 변경 내용을 검색하고 동일한 데이터 파일에서 다른 행을 업데이트하거나 삭제하는 동시 쓰기의 경쟁 변경 내용을 자동으로 해결하여 동시 쓰기 작업 간의 충돌을 줄입니다. 행 수준 동시성과의 쓰기 충돌을 참조하세요.

기본 현재 작업 디렉터리가 변경되었습니다.

로컬로 실행되는 코드의 기본 현재 작업 디렉터리(CWD)는 이제 실행 중인 Notebook 또는 스크립트가 포함된 디렉터리입니다. 여기에는 Spark를 사용하지 않는 Python 또는 R 코드와 같은 %sh 코드가 포함됩니다. 기본 현재 작업 디렉터리란?을 참조하세요.

sparklyr의 알려진 문제

설치된 패키지 버전 sparklyr (버전 1.8.1)은 Databricks Runtime 14.0과 호환되지 않습니다. sparklyr를 사용하려면 버전 1.8.3 이상을 설치하세요.

공유 클러스터 아키텍처에서 Spark Connect 소개

Databricks Runtime 14.0 이상을 사용하면 공유 클러스터는 기본적으로 Python REPL의 Spark 드라이버와 함께 Spark Connect를 사용합니다. 내부 Spark API는 더 이상 사용자 코드에서 액세스할 수 없습니다.

이제 Spark Connect는 레거시 REPL 통합 대신 REPL의 Spark 드라이버와 상호 작용합니다.

사용 가능한 Spark 버전 API 업데이트 나열

runtime_engine = PHOTON을 설정하여 Photon을 활성화하고, graviton 인스턴스 유형을 선택하여 aarch64을 활성화합니다. Azure Databricks는 올바른 Databricks 런타임 버전을 설정합니다. 이전에는 Spark 버전 API가 각 버전에 대한 구현별 런타임을 반환했습니다. REST API 참조에서 GET /api/2.0/clusters/spark-version 참조하세요.

호환성을 깨뜨리는 변경사항

Databricks Runtime 14.0 이상에서 표준 액세스 모드(이전의 공유 액세스 모드)가 있는 클러스터는 클라이언트-서버 통신에 Spark Connect를 사용합니다. 여기에는 다음과 같은 변경 내용이 포함됩니다.

표준 액세스 모드 제한 사항에 대한 자세한 내용은 Unity 카탈로그 대한컴퓨팅 액세스 모드 제한을 참조하세요.

표준 액세스 모드를 사용하는 클러스터의 Python(이전의 공유 액세스 모드)

  • sqlContext를 사용할 수 없는 경우 Azure Databricks는 인스턴스 SparkSession에 대해 변수 spark를 사용하는 것을 권장합니다.
  • Spark 컨텍스트(sc)는 Notebook에서 더 이상 사용할 수 없거나 표준 액세스 모드가 있는 클러스터에서 Databricks Connect를 사용할 때 사용할 수 없습니다. 다음 sc 함수는 더 이상 사용할 수 없습니다.
    • emptyRDD, range, init_batched_serializer, parallelize, pickleFile, textFile, wholeTextFiles, binaryFiles, binaryRecords, sequenceFile, newAPIHadoopFile, newAPIHadoopRDD, hadoopFile, hadoopRDD, union, runJob, setSystemProperty, uiWebUrl, stop, setJobGroup, setLocalProperty, getConf
  • 데이터 세트 정보 기능은 더 이상 지원되지 않습니다.
  • Apache Spark를 쿼리할 때 JVM에 대한 종속성이 더 이상 없으므로 JVM과 관련된 내부 API(예: _jsc, _jconf, _jvm, _jsparkSession_jreader, _jc, _jseq_jdf_jmap, ) 및 _jcols 더 이상 지원되지 않습니다.
  • spark.conf를 사용하여 구성 값에 액세스할 때는 동적 런타임 구성 값만 액세스할 수 있습니다.
  • DLT 분석 명령은 공유 클러스터에서 아직 지원되지 않습니다.

표준 액세스 모드가 있는 클러스터의 델타(이전의 공유 액세스 모드)

  • Python에서는 Apache Spark를 쿼리할 때 JVM에 대한 종속성이 더 이상 없습니다. JVM과 관련된 내부 API(예: DeltaTable._jdt, DeltaTableBuilder._jbuilderDeltaMergeBuilder._jbuilder) 및 DeltaOptimizeBuilder._jbuilder 더 이상 지원되지 않습니다.

표준 액세스 모드가 있는 클러스터의 SQL(이전의 공유 액세스 모드)

  • DBCACHE 및 DBUNCACHE 명령은 더 이상 지원되지 않습니다.
  • 다음과 같은 cache table db as show databases 드문 사용 사례는 더 이상 지원되지 않습니다.

라이브러리 업그레이드

  • 업그레이드된 Python 라이브러리:
    • asttokens 2.2.1에서 2.0.5로
    • attrs 21.4.0에서 22.1.0으로 업데이트
    • botocore 1.27.28에서 1.27.96으로 업데이트
    • 2022.9.14부터 2022.12.7까지 인증서
    • 37.0.1에서 39.0.1까지의 암호화
    • debugpy 1.6.0에서 1.6.7로
    • docstring-to-markdown 0.12에서 0.11로
    • 1.2.0에서 0.8.3으로 실행
    • facets-overview (요약 기능) 1.0.3에서 1.1.1로 업데이트
    • googleapis-common-protos 1.56.4에서 1.60.0으로
    • grpcio 버전 업데이트: 1.48.1에서 1.48.2로
    • idna 버전을 3.3에서 3.4로
    • ipykernel 6.17.1에서 6.25.0으로
    • ipython 8.10.0에서 8.14.0으로
    • Jinja2에서 2.11.3에서 3.1.2로
    • jsonschema 4.16.0부터 4.17.3까지
    • jupyter_core 4.11.2에서 5.2.0으로
    • kiwisolver 1.4.2에서 1.4.4로
    • MarkupSafe 버전 2.0.1에서 2.1.1로 업데이트
    • matplotlib에서 3.5.2에서 3.7.0으로
    • nbconvert 6.4.4에서 6.5.4로
    • nbformat 5.5.0에서 5.7.0으로
    • nest-asyncio의 버전 1.5.5에서 1.5.6으로 업데이트
    • 노트북 6.4.12부터 6.5.2까지
    • numpy 1.21.5 버전에서 1.23.5 버전으로
    • 21.3에서 22.0으로 패키징
    • pandas 1.4.4에서 1.5.3으로
    • pathspec 버전을 0.9.0에서 0.10.3으로 변경.
    • patsy 0.5.2에서 0.5.3으로
    • Pillow 9.2.0에서 9.4.0으로
    • pip 22.2.2에서 22.3.1로
    • protobuf 3.19.4에서 4.24.0으로
    • 1.2.2에서 1.2.5까지의 pytoolconfig
    • pytz 2022.1에서 2022.7로
    • s3transfer from 0.6.0 to 0.6.1
    • seaborn 버전을 0.11.2에서 0.12.2로 업데이트
    • setuptools 63.4.1 버전에서 65.6.3 버전으로
    • soupsieve가 2.3.1에서 2.3.2.post1로
    • 0.6.2에서 0.2.0까지의 스택 데이터
    • statsmodels 0.13.2에서 0.13.5로
    • terminado 0.13.1에서 0.17.1로 업데이트
    • traitlets 5.1.1에서 5.7.1로
    • typing_extensions 4.3.0에서 4.4.0으로
    • urllib3 버전을 1.26.11에서 1.26.14로
    • virtualenv 20.16.3에서 20.16.7로
    • 휠의 버전을 0.37.1에서 0.38.4로 변경
  • 업그레이드된 R 라이브러리:
    • 화살표 10.0.1에서 12.0.1로 이동
    • 버전 4.2.2에서 4.3.1로 업그레이드
    • Blob 버전을 1.2.3에서 1.2.4로 변경합니다.
    • 빗자루 1.0.3에서 1.0.5까지
    • bslib from 0.4.2 to 0.5.0
    • cachem 1.0.6에서 1.0.8로
    • caret 6.0-93에서 6.0-94로 변경
    • 크론 2.3-59부터 2.3-61까지
    • 클래스 7.3-21에서 7.3-22로
    • CLI 버전 3.6.0에서 3.6.1로 업데이트
    • 0.6.1에서 0.7.0까지의 시계
    • commonmark 버전 1.8.1에서 1.9.0으로
    • 컴파일러 4.2.2에서 4.3.1로
    • cpp11 0.4.3에서 0.4.4로
    • curl 5.0.0에서 5.0.1로 업그레이드
    • data.table 1.14.6에서 1.14.8로
    • 4.2.2에서 4.3.1까지의 데이터 세트
    • 2.3.0에서 2.3.3으로 dbplyr 변경
    • 다이제스트를 버전 0.6.31에서 0.6.33으로 변경
    • downlit 버전 0.4.2에서 0.4.3으로 업그레이드
    • dplyr 1.1.0에서 1.1.2로
    • dtplyr의 버전이 1.2.2에서 1.3.1로 업데이트됨
    • 0.20에서 0.21로 평가
    • fastmap 1.1.0에서 1.1.1로
    • fontawesome 0.5.0에서 0.5.1로
    • fs 버전 1.6.1에서 1.6.2로 변경
    • future 1.31.0에서 1.33.0으로
    • future.apply 1.10.0에서 1.11.0으로
    • "gargle 1.3.0에서 1.5.1로"
    • ggplot2 3.4.0에서 3.4.2로
    • gh가 1.3.1에서 1.4.0으로 변경됨
    • glmnet 버전 4.1-6에서 4.1-7로 변경
    • googledrive 2.0.0에서 2.1.1로
    • googlesheets4에서 1.0.1에서 1.1.1로
    • 그래픽 4.2.2에서 4.3.1로
    • grDevices 4.2.2에서 4.3.1로
    • 4.2.2에서 4.3.1로 그리드
    • 0.3.1에서 0.3.3까지 gtable
    • 1.2.0에서 1.3.0으로 하드햇
    • 피난처 2.5.1에서 2.5.3으로
    • hms 1.1.2에서 1.1.3으로
    • htmltools 0.5.4에서 0.5.5로 업데이트
    • 1.6.1에서 1.6.2로의 htmlwidgets
    • httpuv 버전 1.6.8에서 1.6.11로
    • httr 1.4.4에서 1.4.6으로
    • ipred 0.9-13에서 0.9-14로
    • jsonlite 1.8.4에서 1.8.7로
    • KernSmooth에서 2.23-20에서 2.23-21로
    • 니터 1.42에서 1.43까지
    • 이후 1.3.0에서 1.3.1로
    • 0.20-45에서 0.21-8로 격자 변경
    • "Lava 버전 1.7.1에서 1.7.2.1로"
    • 1.9.1에서 1.9.2로 윤활유
    • 마크다운 1.5부터 1.7까지
    • 질량: 7.3-58.2에서 7.3-60으로
    • 1.5-1에서 1.5-4.1까지의 행렬
    • 메서드를 4.2.2에서 4.3.1로
    • mgcv 1.8-41에서 1.8-42로
    • modelr 0.1.10에서 0.1.11로
    • nnet 7.3-18에서 7.3-19로
    • openssl 2.0.5에서 2.0.6으로
    • 4.2.2에서 4.3.1까지 병행
    • 병렬로 1.34.0부터 1.36.0까지
    • 1.8.1에서 1.9.0으로의 기둥
    • pkgbuild 1.4.0에서 1.4.2로
    • pkgload 1.3.2에서 1.3.2.1로
    • pROC 1.18.0에서 1.18.4로
    • processx 3.8.0에서 3.8.2로
    • prodlim from 2019.11.13 to 2023.03.31
    • profvis 0.3.7에서 0.3.8로
    • ps 1.7.2에서 1.7.5로
    • Rcpp 1.0.10에서 1.0.11로
    • readr 버전 2.1.3에서 2.1.4로
    • readxl 버전 1.4.2에서 1.4.3으로 업데이트
    • 1.0.4에서 1.0.6까지의 레시피
    • 1.0.6에서 1.1.1로의 rlang
    • rmarkdown 2.20에서 2.23으로
    • Rserve 1.8-12에서 1.8-11로
    • RSQLite 2.2.20에서 2.3.1로
    • rstudioapi 0.14에서 0.15.0으로
    • sass from 0.4.5 to 0.4.6
    • 1.7.4에서 1.7.4.1로 반짝입니다.
    • sparklyr 1.7.9에서 1.8.1로
    • 3.4.1에서 3.5.0까지의 SparkR
    • 4.2.2에서 4.3.1까지의 스플라인
    • 통계는 4.2.2에서 4.3.1로
    • stats4를 4.2.2에서 4.3.1로
    • 3.5-3에서 3.5-5까지의 생존
    • sys 버전 3.4.1에서 3.4.2로 업데이트
    • tcltk 버전 4.2.2에서 4.3.1로
    • testthat 버전 3.1.6에서 3.1.10로
    • tibble 3.1.8에서 3.2.1로 업데이트
    • tidyverse 1.3.2에서 2.0.0로 업데이트
    • tinytex 0.44에서 0.45로
    • 4.2.2에서 4.3.1까지의 도구
    • tzdb를 0.3.0에서 0.4.0으로
    • usethis from 2.1.6 to 2.2.2
    • utils 버전 4.2.2에서 4.3.1로
    • vctrs 0.5.2에서 0.6.3으로
    • viridisLite 0.4.1에서 0.4.2로
    • vroom 1.6.1에서 1.6.3으로
    • waldo 0.4.0에서 0.5.1로
    • xfun 0.37 버전에서 0.39 버전으로
    • xml2에서 1.3.3부터 1.3.5까지
    • zip을 2.2.2에서 2.3.0으로
  • 업그레이드된 Java 라이브러리:
    • com.fasterxml.jackson.core.jackson-annotations from 2.14.2 to 2.15.2
    • com.fasterxml.jackson.core.jackson-core 2.14.2에서 2.15.2로
    • com.fasterxml.jackson.core.jackson-databind 버전을 2.14.2에서 2.15.2로 변경
    • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor 2.14.2에서 2.15.2로
    • com.fasterxml.jackson.datatype.jackson-datatype-joda 2.14.2에서 2.15.2로
    • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 버전 업데이트: 2.13.4에서 2.15.1로
    • com.fasterxml.jackson.module.jackson-module-paranamer을 2.14.2에서 2.15.2로 업데이트합니다.
    • com.fasterxml.jackson.module.jackson-module-scala_2.12가 2.14.2부터 2.15.2까지 업데이트됨
    • com.github.luben.zstd-jni 버전 1.5.2-5에서 1.5.5-4로
    • com.google.code.gson.gson from 2.8.9 to 2.10.1
    • com.google.crypto.tink.tink 1.7.0에서 1.9.0으로
    • commons-codec.commons-codec의 버전이 1.15에서 1.16.0으로 업데이트되었습니다.
    • commons-io.commons-io 2.11.0에서 2.13.0으로
    • io.airlift.aircompressor 0.21에서 0.24까지
    • io.dropwizard.metrics.metrics-core 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-graphite 패키지를 버전 4.2.10에서 4.2.19로 업데이트합니다.
    • io.dropwizard.metrics.metrics-healthchecks from 4.2.10 to 4.2.19
    • io.dropwizard.metrics.metrics-jetty9을 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-jmx 버전을 4.2.10에서 4.2.19로 업데이트
    • io.dropwizard.metrics.metrics-json을 4.2.10에서 4.2.19로
    • io.dropwizard.metrics.metrics-jvm의 버전을 4.2.10에서 4.2.19로 변경합니다.
    • 4.2.10에서 4.2.19까지의 io.dropwizard.metrics.metrics-servlet
    • io.netty.netty-all 버전을 4.1.87.Final에서 4.1.93.Final로 변경
    • io.netty.netty-buffer 4.1.87.Final에서 4.1.93.Final로
    • io.netty.netty-codec 버전 4.1.87.Final에서 4.1.93.Final로 업데이트
    • io.netty.netty-codec-http 버전이 4.1.87.Final에서 4.1.93.Final로 업데이트되었습니다.
    • io.netty.netty-codec-http2를 4.1.87.Final에서 4.1.93.Final로 변경
    • io.netty.netty-codec-socks가 4.1.87.Final에서 4.1.93.Final로 변경되었습니다.
    • io.netty.netty-common 4.1.87.Final에서 4.1.93.Final로
    • io.netty.netty-handler이 4.1.87.Final에서 4.1.93.Final로 변경됨
    • io.netty.netty-handler-proxy 4.1.87.Final에서 4.1.93.Final로
    • io.netty.netty-resolver 버전을 4.1.87.Final에서 4.1.93.Final로 수정
    • io.netty.netty-transport 버전을 4.1.87.Final에서 4.1.93.Final로 변경
    • io.netty.netty-transport-classes-epoll from 4.1.87.Final to 4.1.93.Final
    • io.netty.netty-transport-classes-kqueue 버전 4.1.87.Final에서 4.1.93.Final로
    • io.netty.netty-transport-native-epoll을 4.1.87.Final-linux-x86_64에서 4.1.93.Final-linux-x86_64로
    • io.netty.netty-transport-native-kqueue를 4.1.87.Final-osx-x86_64 버전에서 4.1.93.Final-osx-x86_64 버전으로 업그레이드
    • 4.1.87.Final에서 4.1.93.Final까지 io.netty.netty-transport-native-unix-common
    • org.apache.arrow.arrow-format 11.0.0에서 12.0.1로
    • org.apache.arrow.arrow-memory-core 11.0.0에서 12.0.1로
    • org.apache.arrow.arrow-memory-netty from 11.0.0 to 12.0.1
    • org.apache.arrow.arrow-vector 버전이 11.0.0에서 12.0.1로 업데이트되었습니다.
    • org.apache.avro.avro 1.11.1 ~ 1.11.2
    • org.apache.avro.avro-ipc from 1.11.1 to 1.11.2
    • org.apache.avro.avro-mapred from 1.11.1 to 1.11.2
    • org.apache.commons.commons-compress from 1.21 to 1.23.0
    • org.apache.hadoop.hadoop-client-runtime from 3.3.4 to 3.3.6
    • org.apache.logging.log4j.log4j-1.2-api 2.19.0에서 2.20.0으로
    • org.apache.logging.log4j.log4j-api 2.19.0에서 2.20.0으로
    • org.apache.logging.log4j.log4j-core 2.19.0에서 2.20.0으로
    • org.apache.logging.log4j.log4j-slf4j2-impl 버전을 2.19.0에서 2.20.0으로 업데이트
    • org.apache.orc.orc-core에서 1.8.4-shaded-protobuf부터 1.9.0-shaded-protobuf까지
    • org.apache.orc.orc-mapreduce를 1.8.4-shaded-protobuf에서 1.9.0-shaded-protobuf로 업데이트
    • org.apache.orc.orc-shims를 1.8.4에서 1.9.0으로
    • org.apache.xbean.xbean-asm9-shaded 4.22에서 4.23으로
    • org.checkerframework.checker-qual을 3.19.0에서 3.31.0으로
    • org.glassfish.jersey.containers.jersey-container-servlet가 2.36에서 2.40으로 업데이트되었습니다.
    • org.glassfish.jersey.containers.jersey-container-servlet-core 버전 2.36에서 2.40까지
    • org.glassfish.jersey.core.jersey-client 2.36에서 2.40으로
    • org.glassfish.jersey.core.jersey-common 버전 2.36에서 2.40으로
    • org.glassfish.jersey.core.jersey-server 버전 2.36에서 2.40까지
    • org.glassfish.jersey.inject.jersey-hk2를 2.36에서 2.40으로
    • org.javassist.javassist 3.25.0-GA에서 3.29.2-GA로
    • org.mariadb.jdbc.mariadb-java-client 2.7.4에서 2.7.9로
    • org.postgresql.postgresql 42.3.8에서 42.6.0으로
    • org.roaringbitmap.RoaringBitmap 0.9.39에서 0.9.45로
    • org.roaringbitmap.shims 0.9.39에서 0.9.45로
    • org.rocksdb.rocksdbjni 7.8.3에서 8.3.2로
    • org.scala-lang.modules.scala-collection-compat_2.12의 2.4.3에서 2.9.0으로
    • org.slf4j.jcl-over-slf4j 2.0.6에서 2.0.7으로
    • org.slf4j.jul-to-slf4j 버전이 2.0.6에서 2.0.7로 업데이트됨.
    • org.slf4j.slf4j-api 업데이트: 2.0.6에서 2.0.7로
    • org.xerial.snappy.snappy-java 버전 1.1.10.1에서 1.1.10.3으로
    • org.yaml.snakeyaml 1.33에서 2.0으로

Apache Spark

Databricks Runtime 14.0. 이 릴리스에는 Databricks Runtime 13.3 LTS에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

  • [SPARK-45109] [DBRRM-462][sc-142247][SQL][connect] Connect에서 aes_decrypt 및 ln 함수 수정
  • [SPARK-44980] [DBRRM-462][sc-141024][PYTHON][connect] createDataFrame에서 작동하도록 상속받은 namedtuple 수정
  • [SPARK-44795] [DBRRM-462][sc-139720][CONNECT] CodeGenerator Cache는 클래스로더별이어야 합니다.
  • [SPARK-44861] [DBRRM-498][sc-140716][CONNECT] jsonignore SparkListenerConnectOperationStarted.planRequest
  • [SPARK-44794] [DBRRM-462][sc-139767][CONNECT] 스트리밍 쿼리가 Connect의 아티팩트 관리에서 작동하게 만들기
  • [SPARK-44791] [DBRRM-462][sc-139623][CONNECT] REPL 생성 클래스에서 ArrowDeserializer가 작동하도록 하기
  • [SPARK-44876] [DBRRM-480][sc-140431][PYTHON] Spark Connect에서 화살표 최적화 Python UDF 수정
  • [SPARK-44877] [DBRRM-482][sc-140437][CONNECT][python] Spark Connect용 python protobuf 함수 지원
  • [SPARK-44882] [DBRRM-463][sc-140430][PYTHON][connect] PySpark에서 함수 uuid/random/chr 제거
  • [SPARK-44740] [DBRRM-462][sc-140320][CONNECT][팔로우] 아티팩트에 대한 메타데이터 값 수정
  • [SPARK-44822] [DBRRM-464][python][SQL] 기본적으로 비결정적 Python UDF 만들기
  • [SPARK-44836] [DBRRM-468][sc-140228][PYTHON] Arrow Python UDTF 리팩터링
  • [SPARK-44738] [DBRRM-462][sc-139347][PYTHON][connect] 호출에 누락된 클라이언트 메타데이터 추가
  • [SPARK-44722] [DBRRM-462][sc-139306][CONNECT] ExecutePlanResponseReattachableIterator._call_iter: AttributeError: 'NoneType' 개체에 'message' 특성이 없습니다.
  • [SPARK-44625] [DBRRM-396][sc-139535][CONNECT] SparkConnectExecutionManager를 사용하여 모든 실행 추적
  • [SPARK-44663] [SC-139020][dbrrm-420][PYTHON] Python UDF에 대해 기본적으로 화살표 최적화를 사용하지 않도록 설정
  • [SPARK-44709] [DBRRM-396][sc-139250][CONNECT] 흐름 제어를 수정하기 위해 새 스레드에서 다시 연결할 수 있는 실행에서 ExecuteGrpcResponseSender 실행
  • [SPARK-44656] [DBRRM-396][sc-138924][CONNECT] 모든 반복기를 CloseableIterators로 만들기
  • [SPARK-44671] [DBRRM-396][sc-138929][PYTHON][connect] 초기 요청이 Python 클라이언트의 서버에 도달하지 않은 경우 ExecutePlan 다시 시도
  • [SPARK-44624] [DBRRM-396][sc-138919][CONNECT] 초기 요청이 서버에 도달하지 않은 경우 ExecutePlan 다시 시도
  • [SPARK-44574] [DBRRM-396][sc-138288][SQL][connect] sq/api로 이동한 오류도 AnalysisException을 사용해야 합니다.
  • [SPARK-44613] [DBRRM-396][sc-138473][CONNECT] 인코더 개체 추가
  • [SPARK-44626] [DBRRM-396][sc-138828][SS][connect] Spark Connect에 대한 클라이언트 세션 시간이 초과될 때 스트리밍 쿼리 종료에 대한 후속 작업
  • [SPARK-44642] [DBRRM-396][sc-138882][CONNECT] 서버에서 오류가 발생한 후 ExecutePlanResponseReattachableIterator에서 ReleaseExecute를 실행합니다.
  • [SPARK-41400] [DBRRM-396][sc-138287][CONNECT] Connect 클라이언트 촉매 종속성 제거
  • [SPARK-44664] [DBRRM-396][python][CONNECT] Python 클라이언트에서 반복기를 닫을 때 실행 해제
  • [SPARK-44631] [DBRRM-396][sc-138823][CONNECT][core][14.0.0] 격리된 세션 캐시가 제거될 때 세션 기반 디렉터리 제거
  • [SPARK-42941] [DBRRM-396][sc-138389][SS][connect] Python StreamingQueryListener
  • [SPARK-44636] [DBRRM-396][sc-138570][CONNECT] 남아 있는 반복자를 제거합니다.
  • [SPARK-44424] [DBRRM-396][connect][PYTHON][14.0.0] Spark Connect에서 기존 실행과 다시 연결하기 위한 Python 클라이언트
  • [SPARK-44637] [SC-138571] ExecuteResponseObserver에 대한 액세스 동기화
  • [SPARK-44538] [SC-138178][connect][SQL] Row.jsonValue 및 친구 복원
  • [SPARK-44421] [SC-138434][spark-44423][CONNECT] Spark Connect에서 재연결 가능한 실행
  • [SPARK-44418] [SC-136807][python][CONNECT] protobuf를 3.19.5에서 3.20.3으로 업그레이드
  • [SPARK-44587] [SC-138315][sql][CONNECT] protobuf 마샬러 재귀 제한 증가
  • [SPARK-44591] [SC-138292][connect][SQL] SparkListenerSQLExecutionStart에 jobTags 추가
  • [SPARK-44610] [SC-138368][sql] DeduplicateRelations는 새 인스턴스를 만들 때 별칭 메타데이터를 유지해야 합니다.
  • [SPARK-44542] [SC-138323][core] 예외 처리기에서 SparkExitCode 클래스를 적극적으로 로드합니다.
  • [SPARK-44264] [SC-138143][python]딥스피드용 E2E 테스트
  • [SPARK-43997] [SC-138347][connect] Java UDF에 대한 지원 추가
  • [SPARK-44507] [SQL][connect][14.x][14.0] AnalysisException을 sql/api로 이동
  • [SPARK-44453] [SC-137013][python] difflib를 사용하여 assertDataFrameEqual에 오류 표시
  • [SPARK-44394] [SC-138291][connect][WEBUI][14.0] Spark Connect용 Spark UI 페이지 추가
  • [SPARK-44611] [SC-138415][connect] scala-xml을 제외하지 마세요.
  • [SPARK-44531] [SC-138044][connect][SQL][14.x][14.0] 인코더 유추를 sql/api로 이동
  • [SPARK-43744] [SC-138289][connect][14.x][14.0] 클래스 로딩 문제 해결...
  • [SPARK-44590] [SC-138296][sql][CONNECT] SqlCommandResult에 대한 화살표 일괄 처리 레코드 제한 제거
  • [SPARK-43968] [SC-138115][python] 잘못된 출력 개수가 있는 Python UDTF에 대한 오류 메시지 개선
  • [SPARK-44432] [SC-138293][ss][CONNECT] Spark Connect에서 세션 시간이 초과되면 스트리밍 쿼리 종료
  • [SPARK-44584] [SC-138295][connect] Scala Client에서 AddArtifactsRequest 및 ArtifactStatusesRequest에 대한 client_type 정보 설정
  • [SPARK-44552] [14.0][sc-138176][SQL] IntervalUtilsprivate object ParseState 정의 제거
  • [SPARK-43660] [SC-136183][connect][PS] Spark Connect로 resample 사용
  • [SPARK-44287] [SC-136223][sql] ColumnarToRowExec SQL 연산자를 & RowToColumnarExec에서 PartitionEvaluator API를 사용합니다.
  • [SPARK-39634] [SC-137566][sql] 행 인덱스 생성과 함께 파일 분할 허용
  • [SPARK-44533] [SC-138058][python] Python UDTF 분석에서 누적기, 브로드캐스트 및 Spark 파일에 대한 지원 추가
  • [SPARK-44479] [SC-138146][python] 열 없는 pandas DataFrame을 허용하도록 ArrowStreamPandasUDFSerializer 수정
  • [SPARK-44425] [SC-138177][connect] 사용자가 제공한 sessionId가 UUID인지 확인
  • [SPARK-44535] [SC-138038][connect][SQL] 필요한 스트리밍 API를 sql/api로 이동
  • [SPARK-44264] [SC-136523][ml][PYTHON] Deepspeed Distributed Learning 클래스 DeepspeedTorchDistributor 작성
  • [SPARK-42098] [SC-138164][sql] ResolveInlineTables가 RuntimeReplaceable 식을 사용하여 처리할 수 없음 해결
  • [SPARK-44060] [SC-135693][sql] 빌드 쪽 외부 순서 섞기 해시 조인을 위한 Code-gen
  • [SPARK-44496] [SC-137682][sql][CONNECT] SCSC에 필요한 인터페이스를 sql/api로 이동
  • [SPARK-44532] [SC-137893][connect][SQL] ArrowUtils를 sql/api로 이동
  • [SPARK-44413] [SC-137019][python] assertDataFrameEqual에서 지원되지 않는 인수 데이터 형식에 대한 오류 명확히
  • [SPARK-44530] [SC-138036][core][CONNECT] SparkBuildInfo를 common/util로 이동
  • [SPARK-36612] [SC-133071][sql] 섞어 놓은 해시 조인에서 왼쪽 외부 조인의 왼쪽 빌드와 오른쪽 외부 조인의 오른쪽 빌드를 지원
  • [SPARK-44519] [SC-137728][connect] SparkConnectServerUtils가 jar에 대한 잘못된 매개 변수를 생성했습니다.
  • [SPARK-44449] [SC-137818][connect] 직접 화살표 역직렬화를 위한 업캐스팅
  • [SPARK-44131] [SC-136346][sql] Scala API에 대한 call_function 추가 및 사용 중단 call_udf
  • [SPARK-44541] [SQL] 다음에서 쓸모없는 함수 hasRangeExprAgainstEventTimeCol 제거 UnsupportedOperationChecker
  • [SPARK-44523] [SC-137859][sql] 필터의 maxRows/maxRowsPerPartition은 조건이 FalseLiteral인 경우 0입니다.
  • [SPARK-44540] [SC-137873][ui] jsonFormatter의 사용되지 않는 스타일시트 및 javascript 파일 제거
  • [SPARK-44466] [SC-137856][sql] modifiedConfigs에서 SPARK_DRIVER_PREFIX 및 SPARK_EXECUTOR_PREFIX 시작하는 구성 제외
  • [SPARK-44477] [SC-137508][sql] TYPE_CHECK_FAILURE_WITH_HINT 오류 하위 클래스로 처리
  • [SPARK-44509] [SC-137855][python][CONNECT] Spark Connect Python 클라이언트에서 작업 취소 API 집합 추가
  • [SPARK-44059] [SC-137023] 기본 제공 함수에 대한 명명된 인수의 분석기 지원 추가
  • [SPARK-38476] [SC-136448][core] org.apache.spark.storage에서 오류 클래스 사용
  • [SPARK-44486] [SC-137817][python][CONNECT] toPandas 대한 PyArrow self_destruct 기능 구현
  • [SPARK-44361] [SC-137200][sql] MapInBatchExec에서 PartitionEvaluator API 사용
  • [SPARK-44510] [SC-137652][ui] dataTables를 1.13.5로 업데이트하고 일부 캐시되지 않은 png 파일을 제거합니다.
  • [SPARK-44503] [SC-137808][sql] TVF 호출 인수 TABLE 후에 PARTITION BY 및 ORDER BY 절에 대한 SQL 문법 추가
  • [SPARK-38477] [SC-136319][core] org.apache.spark.shuffle에서 오류 클래스 사용
  • [SPARK-44299] [SC-136088][sql] 오류 클래스 _LEGACY_ERROR_TEMP_227 이름 할당[4-6,8]
  • [SPARK-44422] [SC-137567][connect] Spark Connect 세분화된 인터럽트
  • [SPARK-44380] [SC-137415][sql][PYTHON] Python에서 분석할 Python UDTF 지원
  • [SPARK-43923] [SC-137020][connect] Post listenerBus 이벤트 중에...
  • [SPARK-44303] [SC-136108][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2320-2324]
  • [SPARK-44294] [SC-135885][ui] HeapHistogram 열이 select-all-box와 함께 예기치 않게 표시되는 문제 수정
  • [SPARK-44409] [SC-136975][sql] 다른 요소와 일관성을 유지하기 위해 Dataset.to에서 char/varchar를 처리하기
  • [SPARK-44334] [SC-136576][sql][UI] 작업이 없는 실패한 DDL/DML에 대한 REST API 응답의 상태는 완료가 아니라 실패로 표시되어야 합니다.
  • [SPARK-42309] [SC-136703][sql] INCOMPATIBLE_DATA_TO_TABLE 및 하위 클래스를 소개합니다.
  • [SPARK-44367] [SC-137418][sql][UI] 실패한 각 쿼리의 UI에 오류 메시지 표시
  • [SPARK-44474] [SC-137195][connect] SparkConnectServiceSuite에서 "응답 관찰 테스트"를 다시 활성화하기
  • [SPARK-44320] [SC-136446][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [1067,1150,1220,1265,1277]
  • [SPARK-44310] [SC-136055][connect] Connect Server 시작 로그에 호스트 이름과 포트가 표시되어야 합니다.
  • [SPARK-44309] [SC-136193][ui] 실행기 탭에서 실행기 추가/제거 시간 표시
  • [SPARK-42898] [SC-137556][sql] 문자열/날짜 캐스트에 표준 시간대 ID가 필요하지 않음을 표시합니다.
  • [SPARK-44475] [SC-137422][sql][CONNECT] DataType 및 Parser를 sql/api로 재배치
  • [SPARK-44484] [SC-137562][ss]StreamingQueryProgress json 메서드에 batchDuration 추가
  • [SPARK-43966] [SC-137559][sql][PYTHON] 비결정적 테이블 값 함수 지원
  • [SPARK-44439] [SC-136973][connect][SS]client에 ID만 다시 보내도록 listListeners 수정
  • [SPARK-44341] [SC-137054][sql][PYTHON] PartitionEvaluator API를 통해 컴퓨팅 논리를 정의하고 WindowExec 및 WindowInPandasExec에서 사용합니다.
  • [SPARK-43839] [SC-132680][sql] _LEGACY_ERROR_TEMP_1337를 UNSUPPORTED_FEATURE.TIME_TRAVEL으로 변환
  • [SPARK-44244] [SC-135703][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2305-2309]
  • [SPARK-44201] [SC-136778][connect][SS]Spark Connect용 Scala에서 스트리밍 수신기에 대한 지원 추가
  • [SPARK-44260] [SC-135618][sql] 오류 클래스 LEGACY_ERROR_TEMP에 이름을 할당[1215-1245-2329] & _CharVarchar_Suite의 예외를 확인하기 위해 checkError()를 사용하다
  • [SPARK-42454] [SC-136913][sql] SPJ: BatchScanExec의 모든 SPJ 관련 매개 변수 캡슐화
  • [SPARK-44292] [SC-135844][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2315-2319]
  • [SPARK-44396] [SC-137221][connect] 직접 화살표 역직렬화
  • [SPARK-44324] [SC-137172][sql][CONNECT] CaseInsensitiveMap을 sql/api로 이동
  • [SPARK-44395] [SC-136744][sql] StreamingTableSuite에 다시 테스트 추가
  • [SPARK-44481] [SC-137401][connect][PYTHON] pyspark.sql.is_remote를 API로 만들기
  • [SPARK-44278] [SC-137400][connect] 스레드 로컬 속성을 정리하는 GRPC 서버 인터셉터를 구현합니다.
  • [SPARK-44264] [SC-137211][ml][PYTHON] Deepspeed를 사용하여 함수의 분산 학습 지원
  • [SPARK-44430] [SC-136970][sql] 옵션이 유효하지 않은 경우 AnalysisException 원인 추가
  • [SPARK-44264] [SC-137167][ml][PYTHON] FunctionPickler를 TorchDistributor에 통합
  • [SPARK-44216] [SC-137046] [PYTHON] assertSchemaEqual API를 공개적으로 만들기
  • [SPARK-44398] [SC-136720][connect] Scala foreachBatch API
  • [SPARK-43203] [SC-134528][sql] 모든 Drop Table 케이스를 DataSource V2로 이동
  • [SPARK-43755] [SC-137171][connect][MINOR] MetricGenerator에서 복사본을 사용하는 대신 AdaptiveSparkPlanHelper.allChildren를 열기
  • [SPARK-44264] [SC-137187][ml][PYTHON] 사용자 지정 "run_training_on_file" 함수 포인터를 허용하도록 TorchDistributor 리팩터링
  • [SPARK-43755] [SC-136838][connect] SparkExecutePlanStreamHandler에서 다른 스레드로 실행 이동
  • [SPARK-44411] [SC-137198][sql] ArrowEvalPythonExec 및 BatchEvalPythonExec에서 PartitionEvaluator API 사용
  • [SPARK-44375] [SC-137197][sql] DebugExec에서 PartitionEvaluator API 사용
  • [SPARK-43967] [SC-137057][python] 빈 반환 값이 있는 일반 Python UDF 지원
  • [SPARK-43915] [SC-134766][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2438-2445]
  • [SPARK-43965] [SC-136929][python][CONNECT] Spark Connect에서 Python UDTF 지원
  • [SPARK-44154] [SC-137050][sql] BitmapExpressionUtilsSuite에 더 많은 단위 테스트를 추가하고 비트맵 집계 식을 약간 개선했습니다.
  • [SPARK-44169] [SC-135497][sql] 오류 클래스 LEGACY_ERROR_TEMP이름 할당 [2300-2304]
  • [SPARK-44353] [SC-136578][connect][SQL] StructType.toAttributes 제거
  • [SPARK-43964] [SC-136676][sql][PYTHON] 화살표 최적화 Python UDF 지원
  • [SPARK-44321] [SC-136308][connect] AnalysisException에서 ParseException 분리
  • [SPARK-44348] [SAS-1910][sc-136644][CORE][connect][PYTHON] 관련 변경 사항을 반영하여 test_artifact를 다시 활성화하기
  • 실행 준비가 되면 [SPARK-44145] [SC-136698][sql] 콜백을.
  • [SPARK-43983] [SC-136404][python][ML][connect] 교차 유효성 검증기 추정기 테스트 활성화
  • [SPARK-44399] [SC-136669][pyhton][CONNECT] useArrow가 없음인 경우에만 Python UDF에서 SparkSession 가져오기
  • [SPARK-43631] [SC-135300][connect][PS] Spark Connect로 Series.interpolate 사용
  • [SPARK-44374] [SC-136544][python][ML] Spark Connect용 분산 ML에 대한 예제 코드 추가
  • [SPARK-44282] [SC-135948][connect] Spark Connect Scala 클라이언트에서 사용할 데이터 유형 구문 분석 준비
  • [SPARK-44052] [SC-134469][connect][PS] Spark Connect에 적절한 Column 또는 DataFrame 클래스를 가져오기 위해 유틸리티를 추가합니다.
  • [SPARK-43983] [SC-136404][python][ML][connect] 교차 검증 추정기 구현
  • [SPARK-44290] [SC-136300][connect] Spark Connect의 세션 기반 파일 및 보관 파일
  • [SPARK-43710] [SC-134860][ps][CONNECT] Spark Connect에 대한 지원 functions.date_part
  • [SPARK-44036] [SC-134036][connect][PS] 정리 & 티켓을 통합하여 작업을 간소화합니다.
  • [SPARK-44150] [SC-135790][python][CONNECT] Arrow Python UDF의 일치하지 않는 반환 형식에 대한 명시적 화살표 캐스팅
  • [SPARK-43903] [SC-134754][python][CONNECT] Arrow Python UDF에서 ArrayType 입력 지원 개선
  • [SPARK-44250] [SC-135819][ml][PYTHON][connect] 분류 평가기 구현
  • [SPARK-44255] [SC-135704][sql] StorageLevel을 일반/유틸리티로 재배치
  • [SPARK-42169] [SC-135735] [SQL] to_csv 함수에 대한 코드 생성 구현(StructsToCsv)
  • [SPARK-44249] [SC-135719][sql][PYTHON] PythonUDTFRunner를 리팩터링하여 반환 형식을 별도로 보냅니다.
  • [SPARK-43353] [SC-132734][python] 나머지 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-44133] [SC-134795][python] MyPy를 0.920에서 0.982로 업그레이드
  • [SPARK-42941] [SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
  • [SPARK-43353] “[SC-132734][es-729763][PYTHON] 나머지 세션 오류를 오류 클래스로 마이그레이션” 되돌림
  • [SPARK-44100] [SC-134576][ml][CONNECT][python] 네임스페이스를 pyspark.mlv2에서 pyspark.ml.connect으로 이동
  • [SPARK-44220] [SC-135484][sql] StringConcat을 sql/api로 이동
  • [SPARK-43992] [SC-133645][sql][PYTHON][connect] Catalog.listFunctions에 대한 선택적 패턴 추가
  • [SPARK-43982] [SC-134529][ml][PYTHON][connect] Spark Connect에서 ML에 대한 파이프라인 추정기 구현
  • [SPARK-43888] [SC-132893][core] 로깅을 일반/유틸리티로 재배치
  • [SPARK-42941] Revert “[SC-134707][ss][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde”
  • [SPARK-43624] [SC-134557][ps][CONNECT] SparkConnectPlanner에 EWM 추가합니다.
  • [SPARK-43981] [SC-134137][python][ML] Spark Connect에서 ML에 대한 기본 저장/로드 구현
  • [SPARK-43205] [SC-133371][sql] 수정 SQLQueryTestSuite
  • [SPARK-43376] "[SC-130433][sql] 테이블 캐시를 사용하여 하위 쿼리 재사용 개선" 되돌리기
  • [SPARK-44040] [SC-134366][sql] AggregateExec 노드가 QueryStageExec 위에 있을 때 컴퓨팅 통계 수정
  • [SPARK-43919] [SC-133374][sql] 행에서 JSON 기능 추출
  • [SPARK-42618] [SC-134433][python][PS] 다음 주요 릴리스에서 pandas 관련 동작 변경에 대한 경고
  • [SPARK-43893] [SC-133381][python][CONNECT] 화살표 최적화 Python UDF의 비원자 데이터 형식 지원
  • [SPARK-43627] [SC-134290][spark-43626][PS][connect] Spark Connect에서 pyspark.pandas.spark.functions.{kurt, skew} 사용하도록 설정합니다.
  • [SPARK-43798] [SC-133990][sql][PYTHON] Python 사용자 정의 테이블 함수 지원
  • [SPARK-43616] [SC-133849][ps][CONNECT] Spark Connect에서 pyspark.pandas.spark.functions.mode 사용
  • [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach 지원
  • [SPARK-43684] [SC-134107][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Spark Connect에 대한 (NullOps|NumOps).(eq|ne) 수정합니다.
  • [SPARK-43645] [SC-134151][spark-43622][PS][connect] Spark Connect에서 pyspark.pandas.spark.functions.{var, stddev} 사용
  • [SPARK-43617] [SC-133893][ps][CONNECT] Spark Connect에서 pyspark.pandas.spark.functions.product 사용
  • [SPARK-43610] [SC-133832][connect][PS] Spark Connect에서 InternalFrame.attach_distributed_column 사용하도록 설정합니다.
  • [SPARK-43621] [SC-133852][ps][CONNECT] Spark Connect에서 pyspark.pandas.spark.functions.repeat 사용
  • [SPARK-43921] [SC-133461][protobuf] 빌드 시 Protobuf 설명자 파일 생성
  • [SPARK-43613] [SC-133727][ps][CONNECT] Spark Connect에서 pyspark.pandas.spark.functions.covar 사용
  • [SPARK-43376] [SC-130433][sql] 테이블 캐시를 사용하여 다시 사용 하위 쿼리 개선
  • [SPARK-43612] [SC-132011][connect][PYTHON] Python 클라이언트에서 SparkSession.addArtifact 구현
  • [SPARK-43920] [SC-133611][sql][CONNECT] sql/api 모듈 만들기
  • [SPARK-43097] [SC-133372][ml] 배포자를 기반으로 구현된 새로운 pyspark ML 로지스틱 회귀 추정기
  • [SPARK-43783] [SC-133240][spark-43784][SPARK-43788][ml] Spark Connect의 MLv2가 pandas를 지원하도록 합니다. >= 2.0
  • [SPARK-43024] [SC-132716][python] pandas를 2.0.0으로 업그레이드
  • [SPARK-43881] [SC-133140][sql][PYTHON][connect] Catalog.listDatabases에 대한 선택적 패턴 추가
  • [SPARK-39281] [SC-131422][sql] JSON/CSV 데이터 원본에서 레거시 형식으로 타임스탬프 형식 유추 속도 향상
  • [SPARK-43792] [SC-132887][sql][PYTHON][connect] Catalog.listCatalogs에 대한 선택적 패턴 추가
  • [SPARK-43132] [SC-131623] [SS] [CONNECT] Python 클라이언트 DataStreamWriter foreach() API
  • [SPARK-43545] [SC-132378][sql][PYTHON] 중첩 타임스탬프 유형 지원
  • [SPARK-43353] [SC-132734][python] 나머지 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-43304] [SC-129969][connect][PYTHON] NotImplementedError를 PySparkNotImplementedError로 이전
  • [SPARK-43516] [SC-132202][ml][PYTHON][connect] spark3.5용 sparkML의 기본 인터페이스: 추정기/변환기/모델/계산기
  • [SPARK-43128] "[SC-131628][connect][SS] recentProgress 및 lastProgress이 네이티브 Scala Api와 일치하도록 StreamingQueryProgress 반환" 되돌리기
  • [SPARK-43543] [SC-131839][python] Pandas UDF에서 중첩된 MapType 동작 수정
  • [SPARK-38469] [SC-131425][core] org.apache.spark.network에서 오류 클래스 사용
  • [SPARK-43309] [SC-129746][spark-38461][CORE] INTERNAL_ERROR를 범주로 확장하고 INTERNAL_ERROR_BROADCAST 오류 클래스를 추가합니다.
  • [SPARK-43265] [SC-129653] 오류 프레임워크를 공통 유틸리티 모듈로 이동
  • [SPARK-43440] [SC-131229][python][CONNECT] 화살표 최적화 Python UDF 등록 지원
  • [SPARK-43528] [SC-131531][sql][PYTHON] pandas DataFrame을 사용하여 createDataFrame에서 중복 필드 이름 지원
  • [SPARK-43412] [SC-130990][python][CONNECT] 화살표 최적화 Python UDF용 SQL_ARROW_BATCHED_UDF EvalType 소개
  • [SPARK-40912] [SC-130986][core]KryoDeserializationStream의 예외 처리 오버헤드
  • [SPARK-39280] [SC-131206][sql] JSON/CSV 데이터 원본에서 사용자 제공 형식으로 타임스탬프 형식 유추 속도 향상
  • [SPARK-43473] [SC-131372][python] pandas DataFrame의 createDataFrame에서 구조체 형식 지원
  • [SPARK-43443] [SC-131024][sql] 잘못된 값을 사용할 때 타임스탬프 형식 유추에 대한 벤치마크 추가
  • [SPARK-41532] [SC-130523][connect][CLIENT] 여러 데이터 프레임을 포함하는 작업에 대한 확인 추가
  • [SPARK-43296] [SC-130627][connect][PYTHON] Spark Connect 세션 오류를 오류 클래스로 마이그레이션
  • [SPARK-43324] [SC-130455][sql] 델타 기반 원본에 대한 UPDATE 명령 처리
  • [SPARK-43347] [SC-130148][python] Python 3.7 지원 제거
  • [SPARK-43292] [SC-130525][core][CONNECT] ExecutorClassLoader을 core 모듈로 이동하고 Executor#addReplClassLoaderIfNeeded을 간소화하기
  • [SPARK-43081] [SC-129900] [ML] [CONNECT] Spark 파티션 데이터에서 데이터를 로드하는 토치 배포자 데이터 로더 추가
  • [SPARK-43331] [SC-130061][connect] Spark Connect의 SparkSession.interruptAll 추가
  • [SPARK-43306] [SC-130320][python] Spark SQL 형식에서 오류 클래스로 ValueError 마이그레이션
  • [SPARK-43261] [SC-129674][python] Spark SQL 형식에서 오류 클래스로 TypeError 마이그레이션합니다.
  • [SPARK-42992] [SC-129465][python] PySparkRuntimeError 도입
  • [SPARK-16484] [SC-129975][sql] Datasketches HllSketch에 대한 지원 추가
  • [SPARK-43165] [SC-128823][sql] CanWrite를 DataTypeUtils로 이동
  • [SPARK-43082] [SC-129112][connect][PYTHON] Spark Connect의 화살표 최적화 Python UDF
  • [SPARK-43084] [SC-128654][SS] Spark 연결에 대한 applyInPandasWithState 지원 추가
  • [SPARK-42657] [SC-128621][connect] 클라이언트 쪽 REPL 클래스 파일을 찾아 서버에 아티팩트로 전송하는 지원
  • [SPARK-43098] [SC-77059][sql] 스칼라 하위 쿼리에 group by 절이 있는 경우 COUNT 정확성 버그 수정
  • [SPARK-42884] [SC-126662][connect] Ammonite REPL 통합 추가
  • [SPARK-42994] [SC-128333][ml][CONNECT] PyTorch 배포자 지원 로컬 모드
  • [SPARK-41498] [SC-125343] "Union을 통해 메타데이터 전파" 되돌리기
  • [SPARK-42993] [SC-127829][ml][CONNECT] PyTorch 배포자를 Spark Connect와 호환되도록 만들기
  • [SPARK-42683] [LC-75] 충돌하는 메타데이터 열의 이름을 자동으로 바꿉니다.
  • [SPARK-42874] [SC-126442][sql] 모든 입력 파일에 대한 분석을 위한 새로운 골든 파일 테스트 프레임워크 사용
  • [SPARK-42779] [SC-126042][sql] V2 쓰기가 권장 셔플 파티션 크기를 나타내도록 허용
  • [SPARK-42891] [SC-126458][connect][PYTHON] 공동 그룹화된 맵 API 구현
  • [SPARK-42791] [SC-126134][sql] 분석을 위한 새 골든 파일 테스트 프레임워크 만들기
  • [SPARK-42615] [SC-124237][connect][PYTHON] AnalyzePlan RPC를 리팩터링하고 session.version 추가
  • [SPARK-41302] 되돌리다 “[ALL TESTS][sc-122423][SQL] _LEGACY_ERROR_TEMP_1185에 대한 이름 할당”
  • [SPARK-40770] [SC-122652][python] 스키마 불일치에 대한 applyInPandas 오류 메시지 개선
  • [SPARK-40770] 되돌리기 "[ALL TESTS][sc-122652][PYTHON] 스키마 불일치에 대한 applyInPandas에 대한 오류 메시지 개선"
  • [SPARK-42398] [SC-123500][sql] 기본 열 값 DS v2 인터페이스 구체화
  • [SPARK-40770] [ALL TESTS][sc-122652][PYTHON] applyInPandas의 스키마 불일치 오류 메시지 개선
  • [SPARK-40770] 변경 취소 "[SC-122652][python] 스키마 불일치에 대한 applyInPandas 오류 메시지 개선"
  • [SPARK-40770] [SC-122652][python] 스키마 불일치에 대한 applyInPandas 오류 메시지 개선
  • [SPARK-42038] [ALL TESTS] 되돌리기 "되돌리기 "[SC-122533][sql] SPJ: 부분적으로 클러스터된 배포 지원"
  • [SPARK-42038] 되돌리기 "[SC-122533][sql] SPJ: 부분적으로 클러스터된 배포 지원"
  • [SPARK-42038] [SC-122533][sql] SPJ: 부분적으로 클러스터된 배포 지원
  • [SPARK-40550] [SC-120989][sql] DataSource V2: 델타 기반 원본에 대한 DELETE 명령 처리
  • [SPARK-40770] "[SC-122652][python] 스키마 불일치에 대한 applyInPandas에 대한 오류 메시지 개선"의 변경 사항을 원래 상태로 복구
  • [SPARK-40770] [SC-122652][python] applyInPandas의 스키마 불일치에 대한 오류 메시지를 개선
  • [SPARK-41302] 되돌리기 “[SC-122423][sql] _LEGACY_ERROR_TEMP_1185에 이름 할당”
  • [SPARK-40550] “[SC-120989][sql] DataSource V2: 델타 기반 소스에 대한 DELETE 명령 처리” 되돌리기
  • [SPARK-42123] 되돌리기 "[SC-121453][sql] DESCRIBE 및 SHOW CREATE TABLE 출력에 열 기본값 포함"
  • [SPARK-42146] [SC-121172][core] sql 모듈이 이 메서드를 사용할 때 maven 빌드를 통과하도록 Utils#setStringField 리팩터링
  • [SPARK-42119] 취소 "[SC-121342][sql] 내장 테이블 반환 함수 inline 및 inline_outer 추가"

중요 사항

Spark Connect

Spark SQL

기능

기능

데이터 소스

쿼리 최적화

코드 생성 및 쿼리 실행

기타 주목할 만한 변경 내용

PySpark

기능

기타 주목할 만한 변경 내용

핵심

구조적 스트리밍

ML

UI (사용자 인터페이스)

빌드 및 기타

제거, 동작 변경 및 사용 중단

예정된 제거

다음 Spark 주 릴리스에서 다음 기능이 제거됩니다.

  • Java 8 및 Java 11에 대한 지원 및 지원되는 최소 Java 버전은 Java 17입니다.
  • Scala 2.12 지원 및 지원되는 최소 Scala 버전은 2.13입니다.

마이그레이션 가이드

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

시스템 환경

  • 운영 체제: Ubuntu 22.04.3 LTS
  • Java: Zulu 8.70.0.23-CA-linux64
  • Scala: 2.12.15
  • Python: 3.10.12
  • R: 4.3.1
  • Delta Lake: 2.4.0

설치된 Python 라이브러리

라이브러리 버전 라이브러리 버전 라이브러리 버전
anyio 3.5.0 argon2-cffi 21.3.0 argon2-cffi-bindings 21.2.0
asttokens 2.0.5 속성 22.1.0 backcall 0.2.0
beautifulsoup4 4.11.1 검정색 22.6.0 표백제 4.1.0
깜빡이 1.4 boto3 1.24.28 botocore 1.27.96
인증서 2022.12.7 cffi 1.15.1 chardet 4.0.0
charset-normalizer 2.0.4 클릭 8.0.4 통신 0.1.2
contourpy 1.0.5 암호화 39.0.1 사이클러 0.11.0
Cython 0.29.32 databricks-sdk 0.1.6 dbus-python 1.2.18
debugpy 1.6.7 장식가 5.1.1 defusedxml 0.7.1
distlib 0.3.7 docstring-to-markdown (문서 문자열을 마크다운으로 변환) 0.11 진입점 0.4
실행 중 0.8.3 측면 개요 1.1.1 fastjsonschema 2.18.0
파일 잠금 3.12.2 fonttools 4.25.0 GCC 런타임 라이브러리 1.10.0
googleapis-common-protos 1.60.0 grpcio 1.48.2 grpcio-status 1.48.1
httplib2 0.20.2 idna 3.4 importlib-metadata 4.6.4
ipykernel 6.25.0 ipython 8.14.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 jedi 0.18.1 지프니 (필리핀의 대중교통 차량) 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
JSON 스키마 (jsonschema) 4.17.3 jupyter-클라이언트 7.3.4 쥬피터 서버 (jupyter-server) 1.23.4
jupyter_core 5.2.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 1.0.0
열쇠고리 23.5.0 kiwisolver (키위솔버 소프트웨어) 1.4.4 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lxml 4.9.1
MarkupSafe 2.1.1 matplotlib 3.7.0 matplotlib-inline 0.1.6
맥케이브 0.7.0 mistune 0.8.4 more-itertools 8.10.0
mypy-extensions 0.4.3 nbclassic 0.5.2 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio (파이썬 비동기 I/O 라이브러리) 1.5.6
nodeenv 1.8.0 노트북 6.5.2 notebook_shim 0.2.2
numpy 1.23.5 oauthlib 3.2.0 패키징 22.0
pandas 1.5.3 pandocfilters 1.5.0 parso 0.8.3
pathspec 0.10.3 희생양 0.5.3 pexpect 4.8.0
pickleshare 0.7.5 베개 9.4.0 pip 22.3.1
platformdirs 2.5.2 plotly 5.9.0 플러그 관련 또는 플러기와 관련된 요소 1.0.0
prometheus-client 0.14.1 prompt-toolkit (프롬프트 도구 키트) 3.0.36 protobuf 4.24.0
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 pyarrow 8.0.0 pycparser 2.21
pydantic 1.10.6 pyflakes 3.0.1 Pygments 2.11.2
PyGObject 3.42.1 PyJWT 2.3.0 pyodbc 4.0.32
pyparsing 3.0.9 pyright 1.1.294 pyrsistent 0.18.0
python-dateutil 2.8.2 python-lsp-jsonrpc 1.0.0 python-lsp-server 1.7.1
pytoolconfig 1.2.5 pytz 2022.07 pyzmq 23.2.0
요청 2.28.1 로프 1.7.0 s3transfer 0.6.1
scikit-learn 1.1.1 seaborn 0.12.2 SecretStorage 3.3.1
Send2Trash 1.8.0 setuptools 65.6.3 6 1.16.0
sniffio 1.2.0 수프 체 2.3.2.post1 ssh-import-id 5.11
스택 데이터 0.2.0 statsmodels 0.13.5 끈기 8.1.0
완료 0.17.1 threadpoolctl 2.2.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tomli 2.0.1 tornado 6.1
traitlets 5.7.1 typing_extensions 4.4.0 ujson 5.4.0
자동 업그레이드 0.1 urllib3 1.26.14 virtualenv 20.16.7
wadllib 1.3.6 wcwidth 0.2.5 webencodings 0.5.1
websocket-client 0.58.0 whatthepatch 1.0.2 바퀴 0.38.4
widgetsnbextension 3.6.1 yapf 0.31.0 zipp 1.0.0

설치된 R 라이브러리

R 라이브러리는 2023-07-13의 Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

라이브러리 버전 라이브러리 버전 라이브러리 버전
화살표 12.0.1 askpass 1.1 assertthat (어썰트댓) 0.2.1
이전 버전 지원 1.4.1 기초 4.3.1 base64enc 0.1-3
비트 4.0.5 64비트 4.0.5 덩어리 1.2.4
부츠 1.3-28 양조하다 1.0-8 활기 1.1.3
빗자루 1.0.5 bslib 0.5.0 cachem 1.0.8
callr 3.7.3 캐럿 6.0-94 cellranger 1.1.0
chron 2.3-61 수업 7.3-22 CLI 3.6.1
clipr 0.8.0 시계 0.7.0 클러스터 2.1.4
codetools 0.2-19 colorspace 2.1-0 commonmark 1.9.0
컴파일러 4.3.1 설정 0.3.1 갈등하는 1.2.0
cpp11 0.4.4 크레용 1.5.2 자격 증명 1.3.2
curl 5.0.1 데이터 테이블(data.table) 1.14.8 데이터 세트 4.3.1
DBI 1.1.3 dbplyr 2.3.3 설명 1.4.2
devtools 2.4.5 다이어그램 1.6.5 diffobj 0.3.5
소화 0.6.33 아래에서 비추는 조명 0.4.3 dplyr 1.1.2
dtplyr 1.3.1 e1071 1.7-13 줄임표 0.3.2
평가하다 0.21 팬시 1.0.4 색상 2.1.1
fastmap 1.1.1 fontawesome 0.5.1 forcats 1.0.0
foreach 1.5.2 외국의 0.8-82 구축하다 0.2.0
fs 1.6.2 미래 1.33.0 future.apply 1.11.0
가글 1.5.1 제네릭 0.1.3 거트 1.9.2
ggplot2 3.4.2 gh 1.4.0 gitcreds 0.1.2
glmnet 4.1-7 globals 0.16.2 풀 1.6.2
googledrive 2.1.1 googlesheets4 1.1.1 고어 1.0.1
그래픽 4.3.1 grDevices 4.3.1 그리드 4.3.1
gridExtra 2.3 gsubfn 0.7 gtable 0.3.3
안전모 1.3.0 피난처 2.5.3 하이어 (if interpreted as "higher") 0.10
hms 1.1.3 htmltools 0.5.5 htmlwidgets 1.6.2
httpuv 1.6.11 httr 1.4.6 httr2 0.2.3
ids 1.0.1 그것 0.3.1 ipred 0.9-14
isoband 0.2.7 이터레이터 1.0.14 jquerylib 0.1.4
jsonlite 1.8.7 KernSmooth 2.23-21 knitr 1.43
라벨링 0.4.2 나중에 1.3.1 격자 0.21-8
용암 1.7.2.1 생명 주기 1.0.3 listenv 0.9.0
lubridate 1.9.2 magrittr 2.0.3 markdown 1.7
매스 7.3-60 행렬 1.5-4.1 memoise 2.0.1
메서드 4.3.1 mgcv 1.8-42 mime 0.12
miniUI 0.1.1.1 ModelMetrics 1.2.2.2 modelr 0.1.11
munsell 0.5.0 nlme 3.1-162 nnet 7.3-19
numDeriv 2016.8-1.1 openssl 2.0.6 평행 4.3.1
병행하여 1.36.0 기둥 1.9.0 pkgbuild 1.4.2
pkgconfig 2.0.3 pkgdown 2.0.7 pkgload 1.3.2.1
plogr 0.2.0 plyr 1.8.8 칭찬 1.0.0
prettyunits 1.1.1 pROC 1.18.4 processx 3.8.2
prodlim 2023.03.31 profvis 0.3.8 진행률 1.2.2
progressr 0.13.0 약속들 1.2.0.1 프로토 1.0.0
프록시 0.4-27 ps 1.7.5 purrr 1.0.1
r2d3 0.2.6 R6 2.5.1 ragg 1.2.5
randomForest (랜덤 포레스트) 4.7-1.1 rappdirs 0.3.3 rcmdcheck 1.4.0
RColorBrewer 1.1-3 Rcpp 1.0.11 RcppEigen 0.3.3.9.3
readr 2.1.4 readxl 1.4.3 레시피 1.0.6
재경기 1.0.1 재경기2 2.1.2 리모컨 2.4.2
재현 가능한 예제 2.0.2 reshape2 1.4.4 rlang 1.1.1
rmarkdown 2.23 RODBC 1.3-20 roxygen2 7.2.3
rpart 4.1.19 rprojroot 2.0.3 Rserve 1.8-11
RSQLite 2.3.1 rstudioapi 0.15.0 rversions 2.1.2
rvest 1.0.3 sass 0.4.6 저울 1.2.1
셀렉터 0.4-2 세션 정보 1.2.2 모양 1.4.6
반짝이는 1.7.4.1 sourcetools 0.1.7-1 sparklyr 1.8.1
SparkR 3.5.0 공간의 7.3-15 스플라인 4.3.1
sqldf 0.4-11 SQUAREM 2021.1 통계 4.3.1
stats4 4.3.1 스트링기 1.7.12 stringr 1.5.0
생존 3.5-5 시스템 3.4.2 systemfonts 1.0.4
tcltk 4.3.1 testthat 3.1.10 텍스트 형성 0.3.6
tibble 3.2.1 tidyr 1.3.0 tidyselect 1.2.0
tidyverse 2.0.0 시간 변경 0.2.0 timeDate (타임데이터) 4022.108
tinytex 0.45 도구 4.3.1 tzdb 0.4.0
urlchecker 1.0.1 사용하세요 2.2.2 utf8 1.2.3
유틸 4.3.1 UUID (범용 고유 식별자) 1.1-0 vctrs 0.6.3
viridisLite 0.4.2 vroom 1.6.3 waldo 0.5.1
수염 0.4.1 위드알 2.5.0 xfun 0.39
xml2 1.3.5 xopen 1.0.0 엑스테이블 1.8-4
yaml 2.3.7 zip 2.3.0

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)

그룹 ID 아티팩트 ID 버전
antlr antlr 2.7.7
com.amazonaws amazon-kinesis-client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.390
com.amazonaws aws-java-sdk-cloudformation 1.12.390
com.amazonaws aws-java-sdk-cloudfront 1.12.390
com.amazonaws aws-java-sdk-cloudhsm 1.12.390
com.amazonaws aws-java-sdk-cloudsearch 1.12.390
com.amazonaws aws-java-sdk-cloudtrail 1.12.390
com.amazonaws aws-java-sdk-cloudwatch 1.12.390
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.390
com.amazonaws aws-java-sdk-codedeploy 1.12.390
com.amazonaws aws-java-sdk-cognitoidentity 1.12.390
com.amazonaws aws-java-sdk-cognitosync 1.12.390
com.amazonaws aws-java-sdk-config 1.12.390
com.amazonaws aws-java-sdk-core 1.12.390
com.amazonaws aws-java-sdk-datapipeline 1.12.390
com.amazonaws aws-java-sdk-directconnect 1.12.390
com.amazonaws aws-java-sdk-directory 1.12.390
com.amazonaws aws-java-sdk-dynamodb 1.12.390
com.amazonaws aws-java-sdk-ec2 1.12.390
com.amazonaws aws-java-sdk-ecs 1.12.390
com.amazonaws aws-java-sdk-efs 1.12.390
com.amazonaws aws-java-sdk-elasticache 1.12.390
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.390
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.390
com.amazonaws aws-java-sdk-elastictranscoder (AWS Java SDK 엘라스틱트랜스코더) 1.12.390
com.amazonaws aws-java-sdk-emr 1.12.390
com.amazonaws aws-java-sdk-glacier 1.12.390
com.amazonaws aws-java-sdk-glue 1.12.390
com.amazonaws aws-java-sdk-iam 1.12.390
com.amazonaws aws-java-sdk-importexport 1.12.390
com.amazonaws aws-java-sdk-kinesis 1.12.390
com.amazonaws aws-java-sdk-kms 1.12.390
com.amazonaws aws-java-sdk-lambda 1.12.390
com.amazonaws aws-java-sdk-logs 1.12.390
com.amazonaws aws-java-sdk-machinelearning 1.12.390
com.amazonaws aws-java-sdk-opsworks 1.12.390
com.amazonaws aws-java-sdk-rds 1.12.390
com.amazonaws aws-java-sdk-redshift 1.12.390
com.amazonaws aws-java-sdk-route53 1.12.390
com.amazonaws aws-java-sdk-s3 1.12.390
com.amazonaws aws-java-sdk-ses 1.12.390
com.amazonaws aws-java-sdk-simpledb 1.12.390
com.amazonaws aws-java-sdk-simpleworkflow 1.12.390
com.amazonaws aws-java-sdk-sns 1.12.390
com.amazonaws aws-java-sdk-sqs 1.12.390
com.amazonaws aws-java-sdk-ssm 1.12.390
com.amazonaws aws-java-sdk-storagegateway 1.12.390
com.amazonaws aws-java-sdk-sts 1.12.390
com.amazonaws aws-java-sdk-support 1.12.390
com.amazonaws aws-java-sdk-swf-libraries 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.390
com.amazonaws jmespath-java 1.12.390
com.clearspring.analytics stream 2.9.6
com.databricks Rserve 1.8-3
com.databricks databricks-sdk-java 0.2.0
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware kryo-shaded 4.0.2
com.esotericsoftware 민로그 1.3.0
com.fasterxml 반 친구 1.3.4
com.fasterxml.jackson.core jackson-annotations 2.15.2
com.fasterxml.jackson.core 잭슨-코어 (Jackson-core 라이브러리) 2.15.2
com.fasterxml.jackson.core jackson-databind 2.15.2
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-joda 2.15.2
com.fasterxml.jackson.datatype jackson-datatype-jsr310 2.15.1
com.fasterxml.jackson.module jackson-module-paranamer 2.15.2
com.fasterxml.jackson.module jackson-module-scala_2.12 2.15.2
com.github.ben-manes.caffeine caffeine 2.9.3
com.github.fommil jniloader 1.1
com.github.fommil.netlib native_ref-java 1.1
com.github.fommil.netlib 네이티브_레프-자바 1.1-원주민
com.github.fommil.netlib native_system-java 1.1
com.github.fommil.netlib 네이티브_시스템-Java 1.1-원주민
com.github.fommil.netlib netlib-native_ref-linux-x86_64 1.1-토착민
com.github.fommil.netlib netlib-native_system-linux-x86_64 1.1-원시
com.github.luben zstd-jni 1.5.5-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.10.1
com.google.crypto.tink tink 1.9.0
com.google.errorprone 오류 발생 가능 주석 2.10.0
com.google.flatbuffers flatbuffers-java 1.12.0
com.google.guava 구아바 15.0
com.google.protobuf protobuf-java 2.6.1
com.helger 프로파일러 1.1.1
com.jcraft jsch 0.1.55
com.jolbox bonecp 0.8.0.RELEASE
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure azure-data-lake-store-sdk 2.3.9
com.microsoft.sqlserver mssql-jdbc 11.2.2.jre8
com.ning compress-lzf 1.1.2
com.sun.mail javax.mail 1.5.2
com.sun.xml.bind jaxb-core 2.2.11
com.sun.xml.bind jaxb-impl 2.2.11
com.tdunning json 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenses_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe 구성 1.2.1
com.typesafe.scala-logging scala-logging_2.12 3.7.2
com.uber h3 3.7.0
com.univocity univocity-parsers 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1.5.0
commons-codec commons-codec 1.16.0
커먼즈 컬렉션 commons-collections 3.2.2
commons-dbcp commons-dbcp 1.4
공용 파일 업로드 공유 파일 업로드 1.5
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.13.0
commons-lang commons-lang 2.6
commons-로깅 commons-logging 1.1.3
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 3.0.3
dev.ludovic.netlib 블라스 3.0.3
dev.ludovic.netlib lapack 3.0.3
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift 에어 컴프레서 0.24
io.delta delta-sharing-spark_2.12 0.7.1
io.dropwizard.metrics 측정기준 주석 4.2.19
io.dropwizard.metrics metrics-core (메트릭스 코어) 4.2.19
io.dropwizard.metrics metrics-graphite 4.2.19
io.dropwizard.metrics 지표-건강검사 4.2.19
io.dropwizard.metrics metrics-jetty9 4.2.19
io.dropwizard.metrics metrics-jmx 4.2.19
io.dropwizard.metrics 메트릭스-JSON 4.2.19
io.dropwizard.metrics 메트릭스-JVM 4.2.19
io.dropwizard.metrics metrics-servlets 4.2.19
io.netty netty-all 4.1.93.Final
io.netty netty-buffer 4.1.93.Final
io.netty netty-codec 4.1.93.Final
io.netty 네티 코덱 HTTP 4.1.93.Final
io.netty netty-codec-http2 4.1.93.Final
io.netty netty-codec-socks 4.1.93.Final
io.netty netty-common 4.1.93.Final
io.netty netty-handler 4.1.93.Final
io.netty netty-handler-proxy 4.1.93.Final
io.netty netty-resolver 4.1.93.Final
io.netty netty-transport 4.1.93.Final
io.netty netty-transport-classes-epoll 4.1.93.Final
io.netty netty-transport-classes-kqueue 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final
io.netty netty-transport-native-epoll 4.1.93.Final-linux-aarch_64
io.netty netty-transport-native-epoll 4.1.93.Final-linux-x86_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-aarch_64
io.netty netty-transport-native-kqueue 4.1.93.Final-osx-x86_64
io.netty netty-transport-native-unix-common 4.1.93.Final
io.prometheus simpleclient 0.7.0
io.prometheus simpleclient_common 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx 수집기 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation 활성화 1.1.1
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction jta 1.1
javax.transaction 트랜잭션 API 1.1
javax.xml.bind jaxb-api 2.2.11
javolution javolution 5.5.1
제이라인 jline 2.14.6
joda-time joda-time 2.12.1
net.java.dev.jna jna 5.8.0
net.razorvine 피클 1.3
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv 2.2.0
net.snowflake snowflake-ingest-sdk 0.9.6
net.snowflake snowflake-jdbc 3.13.29
net.sourceforge.f2j arpack_combined_all 0.1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.9.3
org.antlr 문자열 템플릿 3.2.1
org.apache.ant 개미 1.9.16
org.apache.ant ant-jsch 1.9.16
org.apache.ant 안트-런처 1.9.16
org.apache.arrow 화살표 형식 12.0.1
org.apache.arrow 애로우-메모리-코어 12.0.1
org.apache.arrow arrow-memory-Netty 12.0.1
org.apache.arrow 화살표-벡터 12.0.1
org.apache.avro Avro (아브로) 1.11.2
org.apache.avro avro-ipc 1.11.2
org.apache.avro avro-mapred 1.11.2
org.apache.commons commons-collections4 4.4
org.apache.commons commons-compress 1.23.0
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.6.1
org.apache.commons commons-text 1.10.0
org.apache.curator 큐레이터-클라이언트 2.13.0
org.apache.curator 큐레이터 프레임워크 2.13.0
org.apache.curator 큐레이터 레시피 2.13.0
org.apache.datasketches datasketches-java 3.1.0
org.apache.datasketches datasketches-memory 2.0.0
org.apache.derby 더비 10.14.2.0
org.apache.hadoop hadoop-client-runtime (하둡 클라이언트 런타임) 3.3.6
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive hive-jdbc 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive 하이브-쉼즈 2.3.9
org.apache.hive hive-storage-api 2.8.1
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.14
org.apache.httpcomponents httpcore 4.4.16
org.apache.ivy 아이비 2.5.1
org.apache.logging.log4j log4j-1.2-api 2.20.0
org.apache.logging.log4j log4j-api 2.20.0
org.apache.logging.log4j log4j-core 2.20.0
org.apache.logging.log4j log4j-slf4j2-impl 2.20.0
org.apache.mesos Mesos 1.11.0-음영 처리된 프로토부프
org.apache.orc orc-core 1.9.0-셰이드-프로토부프
org.apache.orc orc-mapreduce 1.9.0-셰이드-프로토부프
org.apache.orc orc-shims (구체적인 설명이나 용도가 있다면 추가 설명 포함) 1.9.0
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.23
org.apache.yetus 청중 주석 0.13.0
org.apache.zookeeper 사육사 3.6.3
org.apache.zookeeper zookeeper-jute 3.6.3
org.checkerframework checker-qual 3.31.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson 잭슨-매퍼-ASL 1.9.13
org.codehaus.janino commons-compiler 3.0.16
org.codehaus.janino 자니노 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.51.v20230217
org.eclipse.jetty jetty-continuation 9.4.51.v20230217
org.eclipse.jetty jetty-http 9.4.51.v20230217
org.eclipse.jetty jetty-io 9.4.51.v20230217
org.eclipse.jetty jetty-jndi 9.4.51.v20230217
org.eclipse.jetty 제티-플러스 9.4.51.v20230217
org.eclipse.jetty jetty-proxy 9.4.51.v20230217
org.eclipse.jetty 제티 보안 9.4.51.v20230217
org.eclipse.jetty jetty-server (제티 서버) 9.4.51.v20230217
org.eclipse.jetty jetty-servlet 9.4.51.v20230217
org.eclipse.jetty jetty-servlets 9.4.51.v20230217
org.eclipse.jetty jetty-util 9.4.51.v20230217
org.eclipse.jetty jetty-util-ajax 9.4.51.v20230217
org.eclipse.jetty 제티-웹앱 (Jetty 웹 애플리케이션) 9.4.51.v20230217
org.eclipse.jetty jetty-xml 9.4.51.v20230217
org.eclipse.jetty.websocket 웹소켓 API 9.4.51.v20230217
org.eclipse.jetty.websocket 웹소켓 클라이언트 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-common 9.4.51.v20230217
org.eclipse.jetty.websocket 웹소켓 서버 9.4.51.v20230217
org.eclipse.jetty.websocket websocket-servlet 9.4.51.v20230217
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-locator 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 osgi-resource-locator 1.0.3
org.glassfish.hk2.external aopalliance-다시 패키지된 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jersey.containers jersey-container-servlet 2.40
org.glassfish.jersey.containers jersey-container-servlet-core 2.40
org.glassfish.jersey.core jersey-client 2.40
org.glassfish.jersey.core 코먼저지 2.40
org.glassfish.jersey.core jersey-server 2.40
org.glassfish.jersey.inject jersey-hk2 2.40
org.hibernate.validator hibernate-validator 6.1.7.Final
org.ini4j ini4j 0.5.4
org.javassist javassist 3.29.2-GA
org.jboss.logging jboss-logging 3.3.2.Final
org.jdbi jdbi 2.63.1
org.jetbrains 주석 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.8.0
org.mariadb.jdbc mariadb-java-client 2.7.9
org.mlflow mlflow-spark 2.2.0
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.6.0
org.roaringbitmap RoaringBitmap 0.9.45
org.roaringbitmap 간격 조절판 0.9.45
org.rocksdb rocksdbjni 8.3.2
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.15
org.scala-lang scala-library_2.12 2.12.15
org.scala-lang scala-reflect_2.12 2.12.15
org.scala-lang.modules scala-collection-compat_2.12 2.9.0
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt 테스트 인터페이스 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.2.15
org.scalanlp breeze-macros_2.12 2.1.0
org.scalanlp breeze_2.12 2.1.0
org.scalatest scalatest와 호환되는 3.2.15
org.scalatest scalatest-core_2.12 3.2.15
org.scalatest scalatest-diagrams_2.12 3.2.15
org.scalatest scalatest-featurespec_2.12 3.2.15
org.scalatest scalatest-flatspec_2.12 3.2.15
org.scalatest scalatest-freespec_2.12 3.2.15
org.scalatest scalatest-funspec_2.12 3.2.15
org.scalatest scalatest-funsuite_2.12 3.2.15
org.scalatest scalatest-matchers-core_2.12 3.2.15
org.scalatest scalatest-mustmatchers_2.12 3.2.15
org.scalatest scalatest-propspec_2.12 3.2.15
org.scalatest scalatest-refspec_2.12 3.2.15
org.scalatest scalatest-shouldmatchers_2.12 3.2.15
org.scalatest scalatest-wordspec_2.12 3.2.15
org.scalatest scalatest_2.12 3.2.15
org.slf4j jcl-over-slf4j 2.0.7
org.slf4j jul-to-slf4j 2.0.7
org.slf4j slf4j-api 2.0.7
org.threeten threeten-extra 1.7.1
org.tukaani xz 1.9
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.1.3.Final
org.xerial sqlite-jdbc 3.42.0.0
org.xerial.snappy snappy-java 1.1.10.3
org.yaml snakeyaml 2.0
oro oro 2.0.8
pl.edu.icm JLargeArrays 1.5
software.amazon.cryptools AmazonCorrettoCryptoProvider 1.6.1-linux-x86_64
software.amazon.ion ion-java 1.0.2
스타크스 stax-api 1.0.1