Databricks Runtime 13.1(EoS)

다음 릴리스 정보는 Apache Spark 3.4.0에서 제공하는 Databricks Runtime 13.1에 대한 정보를 제공합니다.

Databricks는 2023년 5월에 이 버전을 릴리스했습니다.

새로운 기능 및 향상 기능

• JDK 17의 클러스터 지원(공개 미리 보기)
• 스트리밍 테이블에서 데이터 추가, 변경 또는 삭제
• SQL을 사용하여 Kafka 읽기
• 새로운 SQL 기본 제공 함수
• 클러스터 범위 Python 라이브러리에 대한 Unity 카탈로그 지원
• Unity 카탈로그에서 최적화된 쓰기를 위한 기본 설정의 확장
• 구조적 스트리밍 워크로드의 상태 저장 연산자 고급 지원
• Unity 카탈로그용 Delta 클론은 공개 미리 보기로 제공됩니다.
• 구조화된 스트리밍에 대한 Pub/Sub 지원
• 구조적 스트리밍의 워터마크 내에 중복 항목 삭제
• 잘린 파티션 열을 사용하여 Iceberg 테이블에서 델타 변환에 대한 지원 확장
• Delta Lake에서 열 매핑을 통해 스키마 변경 사항을 스트리밍하기
• 시작 버전 제거
• Python에서 사용할 수 있는 새 H3 식

JDK 17의 클러스터 지원(공개 미리 보기)

이제 Databricks는 JDK(Java Development Kit) 17에 대한 클러스터 지원을 제공합니다. Java용 Databricks SDK를 참조하세요.

스트리밍 테이블에서 데이터 추가, 변경 또는 삭제

이제 DML 문을 사용하여 DLT 파이프라인을 통해 Unity 카탈로그에 게시된 스트리밍 테이블을 수정할 수 있습니다. 스트리밍 테이블의 데이터 추가, 변경 또는 삭제 및 대상 스트리밍 테이블의 데이터 추가, 변경 또는 삭제를 참조하세요. DML 문을 사용하여 Databricks SQL에서 만든 스트리밍 테이블을 수정할 수도 있습니다.

SQL을 사용하여 Kafka 읽기

이제 Kafka 데이터를 읽기 위해 read_kafka SQL 함수를 사용할 수 있습니다. SQL을 사용한 스트리밍은 DLT 또는 Databricks SQL의 스트리밍 테이블에서만 지원됩니다. 테이블 값 함수 를 보기 위해read_kafka을 참조하세요.

새로운 SQL 기본 제공 함수

다음 기능이 추가되었습니다.

• array_prepend(array, elem)은 array의 시작에 elem을 추가한 값을 반환합니다.
• try_aes_decrypt(expr, key [, mode [, padding]]) AES 암호화를 사용하여 생성된 이진 파일의 암호를 해독하고 오류가 있으면 NULL을(를) 반환합니다.
• sql_keywords() Azure Databricks SQL 키워드 테이블을 반환합니다.

클러스터 범위 Python 라이브러리에 대한 Unity 카탈로그 지원

Unity 카탈로그에는 라이브러리 사용에 몇 가지 제한 사항이 있습니다. Databricks Runtime 13.1 및 그 이상에서는, 작업 영역 파일로 업로드되는 Python 휠 파일을 포함하여 클러스터 범위 Python 라이브러리가 지원됩니다. DBFS 파일 경로를 사용하여 참조되는 라이브러리는 DBFS 루트 또는 DBFS에 탑재된 외부 위치에 관계없이 지원되지 않습니다. Python이 아닌 라이브러리는 지원되지 않습니다. 클러스터 라이브러리를 참조하세요.

Databricks Runtime 13.0 이하에서는 Unity 카탈로그 사용 작업 영역에서 표준 액세스 모드(이전의 공유 액세스 모드)를 사용하는 클러스터에서 클러스터 범위 라이브러리가 지원되지 않습니다.

Unity 카탈로그에서 최적화된 쓰기의 기본 활성화 확장

Unity 카탈로그에 등록된 델타 테이블에 대한 기본 최적화 쓰기 지원이 분할된 테이블에 대한 CTAS 문 및 INSERT 작업을 포함하도록 확장되었습니다. 이 동작은 SQL 웨어하우스의 기본값에 맞춥니다. Azure Databricks의 Delta Lake에 대한 최적화된 쓰기를 참조하세요.

구조적 스트리밍 워크로드의 상태 저장 연산자 고급 지원

이제 여러 상태 저장 연산자를 함께 연결할 수 있습니다. 즉, 창이 있는 집계와 같은 작업의 출력을 조인과 같은 다른 상태 저장 작업에 공급할 수 있습니다. 상태 저장 스트리밍이란?을 참조하세요.

Unity 카탈로그용 Delta 클론은 공개 미리 보기로 제공됩니다.

이제 단순 클론을 사용하여 기존 Unity 카탈로그 관리 테이블에서 새 Unity 카탈로그 관리 테이블을 만들 수 있습니다. Unity 카탈로그 테이블의 단순 복제본을 참조 하세요.

구조화된 스트리밍에 대한 Pub/Sub 지원

이제 기본 제공 커넥터를 사용하여 구조적 스트리밍을 사용하여 Google Pub/Sub를 구독할 수 있습니다. Google Pub/Sub 구독을 참조하세요.

구조적 스트리밍의 워터마크 내에 중복 항목 삭제

이제 지정된 워터마크 임계값과 함께 dropDuplicatesWithinWatermark을(를) 사용하여 구조적 스트리밍에서 레코드를 중복 제거할 수 있습니다. 워터마크 내에서 중복 항목 삭제를 참조하세요.

잘린 파티션 열을 사용하여 Iceberg 테이블에서 델타 변환에 대한 지원 확장

CLONE, CONVERT TO DELTA를 이제 int, long, string 유형의 잘린 열에 파티션이 정의된 Iceberg 테이블에서 사용할 수 있습니다. 잘린 decimal 형식의 열은 지원되지 않습니다.

Delta Lake에서 열 매핑을 사용하여 스트림 스키마의 변경 사항을 반영하기

이제 열 매핑을 사용하도록 설정된 델타 테이블에서 스트리밍을 사용하도록 설정하는 스키마 추적 위치를 제공할 수 있습니다. 열 매핑 및 스키마 변경 내용이 포함된 스트리밍을 참조하세요.

시작 버전 제거

START VERSION(은)는 이제 ALTER SHARE용으로 더 이상 권장되지 않습니다.

Python에서 사용할 수 있는 새 H3 식

h3_coverash3 및 h3_coverash3string 식은 Python에서 사용할 수 있습니다.

버그 수정

Parquet failOnUnknownFields는 더 이상 형식 불일치에 대한 데이터를 자동으로 삭제하지 않습니다.

failOnUnknownFields 옵션만 사용하거나 failOnNewColumns 스키마 진화 모드에서 자동 로더를 사용하여 Parquet 파일을 읽었을 때, 이제 데이터 유형이 다른 열이 실패하며 rescuedDataColumn을(를) 사용하는 것이 권장됩니다. 이제 자동 로더가 올바르게 읽고 이러한 데이터 형식 중 하나가 제공되면 정수, 쇼트, 바이트 형식을 더 이상 복구 하지 않습니다. Parquet 파일은 다른 두 형식 중 하나를 제안합니다.

호환성이 손상되는 변경

sqlite-jdbc 버전을 3.42.0.0으로 업그레이드하여 CVE-2023-32697 해결

sqlite-jdbc 버전을 3.8.11.2에서 3.42.0.0으로 업그레이드합니다. 버전 3.42.0.0의 API는 3.8.11.2와 완전히 호환되지 않습니다. 코드에서 sqlite-jdbc를 사용하는 경우 sqlite-jdbc 호환성 보고서에서 자세한 내용을 확인합니다. 13.1로 마이그레이션하고 sqlite를 사용하는 경우 메서드를 확인하고 버전 3.42.0.0에서 형식을 반환합니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리
  • facets-overview를 1.0.2에서 1.0.3으로
  • filelock을 3.10.7에서 3.12.0으로
  • pyarrow를 7.0.0에서 8.0.0으로
  • tenacity를 8.0.1에서 8.1.0으로
• 업그레이드된 R 라이브러리:
• 업그레이드된 Java 라이브러리
  • com.github.ben-manes.caffeine.caffeine 2.3.4에서 2.9.3으로 업데이트
  • io.delta.delta-sharing-spark_2.12에서 0.6.8부터 0.6.4로
  • net.snowflake.snowflake-jdbc를 3.13.29에서 3.13.22로 업데이트
  • org.checkerframework.checker-qual을 3.5.0에서 3.19.0으로
  • org.scalactic.scalactic_2.12의 버전을 3.0.8에서 3.2.15로 업데이트합니다.
  • org.scalatest.scalatest_2.12 3.0.8에서 3.2.15로
  • org.xerial.sqlite-jdbc 3.8.11.2에서 3.42.0.0로 업데이트

Apache Spark

Databricks Runtime 13.1에는 Apache Spark 3.4.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 13.0(EoS)에 포함된 모든 Spark 수정 사항 및 개선 사항과 다음과 같은 Spark의 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-42719] [DBRRM-199][sc-131578] "[SC-125225] `MapOutputTracker#getMap` 되돌리기"
• [SPARK-39696] [DBRRM-166][sc-130056][CORE] 되돌리기 [SC-127830]/
• [SPARK-43331] [SC-130064][connect] Spark Connect의 SparkSession.interruptAll 추가합니다.
• [SPARK-43332] [SC-130051][connect][PYTHON] SparkConnectClient용 ChannelBuilder를 확장할 수 있도록 합니다.
• [SPARK-43323] [SC-129966][sql][PYTHON] 예외를 제대로 처리하도록 화살표를 사용하여 DataFrame.toPandas 수정
• [SPARK-42940] [SC-129896][ss][CONNECT] 스트리밍 쿼리에 대한 세션 관리 개선
• [SPARK-43032] [SC-125756] [CONNECT][ss] 스트리밍 쿼리 관리자 추가
• [SPARK-16484] [SC-129975][sql] Datasketches HllSketch에 대한 지원 추가
• [SPARK-43260] [SC-129281][python] Spark SQL pandas 화살표 유형 오류를 오류 클래스로 마이그레이션합니다.
• [SPARK-41766] [SC-129964][core] 실행기 등록 전에 전송된 서비스 해제 요청 처리
• [SPARK-43307] [SC-129971][python] PandasUDF 값 오류를 오류 클래스로 마이그레이션
• [SPARK-43206] [SC-129903][SS][CONNECT] StreamingQuery 예외에 스택 추적 포함
• [SPARK-43311] [SC-129905][ss] RocksDB 상태 저장소 공급자 메모리 관리 개선 사항 추가
• [SPARK-43237] [SC-129898][core] 이벤트 로그에서 null 예외 메시지 처리
• [SPARK-43320] [SC-129899][sql][HIVE] Hive 2.3.9 API 직접 호출
• [SPARK-43270] [SC-129897][python] pyspark.sql.dataframe.DataFrame에서 __dir__()를 구현하여 열을 포함
• [SPARK-43183] 되돌리기 "[SC-128938][ss] 새 콜백 소개 "...
• [SPARK-43143] [SC-129902][SS][CONNECT] Scala StreamingQuery awaitTermination()
• [SPARK-43257] [SC-129675][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2022 내부 오류로 바꾸기
• [SPARK-43198] [SC-129470][connect] "클래스 암모나이트를 초기화할 수 없습니다..." 수정 필터 사용 시 에러
• [SPARK-43165] [SC-129777][sql] CanWrite를 DataTypeUtils로 이동
• [SPARK-43298] [SC-129729][python][ML] 스칼라 입력이 있는 predict_batch_udf 일괄 처리 크기가 1로 실패함
• [SPARK-43298] [SC-129700]되돌리기 "[PYTHON][ml] 스칼라 입력이 있는 predict_batch_udf 일괄 처리 크기가 1로 실패함"
• [SPARK-43052] [SC-129663][core] 이벤트 로그에서 null 파일 이름으로 스택 추적 처리
• [SPARK-43183] [SC-128938][ss] StreamingQueryListener에 새 콜백 "onQueryIdle" 소개
• [SPARK-43209] [SC-129190][connect][PYTHON] 식 오류를 오류 클래스에 이동
• [SPARK-42151] [SC-128754][sql] 테이블 특성에 UPDATE 할당을 맞추기
• [SPARK-43134] [SC-129468][CONNECT][SS] JVM 클라이언트 StreamingQuery 예외() API
• [SPARK-43298] [SC-129699][python][ML] 스칼라 입력이 있는 predict_batch_udf 일괄 처리 크기가 1로 실패함
• [SPARK-43248] [SC-129660][sql] 병렬 수집 파티션 통계에서 경로의 불필요한 직렬화/역직렬화
• [SPARK-43274] [SC-129464][spark-43275][PYTHON][connect] 소개 PySparkNotImplementedError
• [SPARK-43146] [SC-128804][connect][PYTHON] repr 및 repr_html 대한 즉시 평가 구현
• [SPARK-42953] [SC-129469][connect][후속 작업] Scala 클라이언트 UDF 테스트에 대한 maven 테스트 빌드 수정
• [SPARK-43144] [SC-129280] Scala 클라이언트 DataStreamReader의 table() API
• [SPARK-43136] [SC-129358][connect] groupByKey + mapGroup + coGroup 함수 추가
• [SPARK-43156] [SC-129672][sc-128532][SQL] 상관 관계 스칼라 하위 쿼리의 COUNT(*) is null 버그 수정
• [SPARK-43046] [SC-129110][SS][연결] Spark Connect에 대한 Python API dropDuplicatesWithinWatermark 구현
• [SPARK-43199] [SC-129467][sql] InlineCTE idempotent 만들기
• [SPARK-43293] [SC-129657][sql] __qualified_access_only 일반 열에서 무시해야 합니다.
• [SPARK-43276] [SC-129461][connect][PYTHON] Spark Connect 창 오류를 오류 클래스로 마이그레이션
• [SPARK-43174] [SC-129109][sql] SparkSQLCLIDriver completer 수정
• [SPARK-43084] [SC-128654][SS] Spark 연결에 대한 applyInPandasWithState 지원 추가
• [SPARK-43119] [SC-129040][sql] 지원 JDBC API 및 TVF를 통해 동적으로 SQL 키워드 가져오기
• [SPARK-43082] [SC-129112][connect][PYTHON] Spark Connect의 화살표 최적화 Python UDF
• [SPARK-43085] [SC-128432][sql] 다중 파트 테이블 이름에 대한 기본 열 할당 지원
• [SPARK-43226] [LC-671] 파일 상수 메타데이터에 대한 추출기 정의
• [SPARK-43210] [SC-129189][connect][PYTHON] 도입하기 PySparkAssertionError
• [SPARK-43214] [SC-129199][sql] LocalTableScanExec/CommandResultExec에 대한 드라이버 쪽 메트릭 게시
• [SPARK-43285] [SC-129347] JDK 17에서 ReplE2ESuite가 지속적으로 실패하는 문제 해결
• [SPARK-43268] [SC-129249][sql] 메시지와 함께 예외가 생성될 때 적절한 오류 클래스 사용
• [SPARK-43142] [SC-129299] 특수 문자가 있는 특성의 DSL 식 수정
• [SPARK-43129] [SC-128896] Spark Connect 스트리밍을 위한 Scala Core API
• [SPARK-43233] [SC-129250][SS] 토픽 파티션, 오프셋 범위 및 작업 ID에 대한 Kafka Batch 읽기용 로깅 추가
• [SPARK-43249] [SC-129195][connect] SQL 명령에 대한 누락된 통계 수정
• [SPARK-42945] [SC-129188][connect] Spark Connect에서 PYSPARK_JVM_STACKTRACE_ENABLED 지원
• [SPARK-43178] [SC-129197][connect][PYTHON] UDF 오류를 PySpark 오류 프레임워크로 마이그레이션
• [SPARK-43123] [SC-128494][sql] 내부 필드 메타데이터를 카탈로그에 유출해서는 안 됩니다.
• [SPARK-43217] [SC-129205] findNestedField의 중첩된 맵/배열에서 올바르게 재귀
• [SPARK-43243] [SC-129294][python][CONNECT] Python용 printSchema에 수준 매개 변수 추가
• [SPARK-43230] [SC-129191][연결] DataFrameNaFunctions.fillna 간소화
• [SPARK-43088] [SC-128403][sql] CTAS/RTAS에서 RequiresDistributionAndOrdering을 준수하라
• [SPARK-43234] [SC-129192][connect][PYTHON] Conect DataFrame에서 오류 클래스로 ValueError 마이그레이션
• [SPARK-43212] [SC-129187][ss][PYTHON] 구조적 스트리밍 오류를 오류 클래스로 마이그레이션
• [SPARK-43239] [SC-129186][ps] 정보에서 null_counts 제거()
• [SPARK-43190] [SC-128930][sql] ListQuery.childOutput은 자식 출력과 일치해야 합니다.
• [SPARK-43191] [SC-128924][core] Hadoop CallerContext에 대한 직접 호출을 사용하여 리플렉션 바꾸기
• [SPARK-43193] [SC-129042][ss] HADOOP-12074에 대한 해결 방법 제거
• [SPARK-42657] [SC-128621][connect] 클라이언트 쪽 REPL 클래스 파일을 찾아 서버에 아티팩트로 전송하는 지원
• [SPARK-43098] [SC-77059][sql] 스칼라 하위 쿼리에 group by 절이 있는 경우 COUNT 정확성 버그 수정
• [SPARK-43213] [SC-129062][python] 바닐라 PySpark에 DataFrame.offset 추가
• [SPARK-42982] [SC-128400][connect][PYTHON] 지정된 스키마 ddl을 준수하도록 createDataFrame 수정
• [SPARK-43124] [SC-129011][sql] Dataset.show는 CommandResults를 로컬에서 프로젝트합니다
• [SPARK-42998] [SC-127422][connect][PYTHON] Null 구조체를 사용하여 DataFrame.collect 수정
• [SPARK-41498] [SC-125343]”Union을 통해 메타데이터 전파” 되돌리기
• [SPARK-42960] [SC-129010][CONNECT][SS] Python에서 스트리밍 쿼리에 대한 await_termination() 및 exception() API 추가
• [SPARK-42552] [SC-128824][sql] antlr 파서의 2단계 구문 분석 전략 수정
• [SPARK-43207] [SC-128937][connect] 리터럴 식에서 값을 추출하는 도우미 함수 추가
• [SPARK-43186] [SC-128841][sql][HIVE] FileSinkDesc에 대한 해결 방법 제거
• [SPARK-43107] [SC-128533][sql] 브로드캐스트 조인 스트림 쪽에 적용된 조인에서 버킷을 통합
• [SPARK-43195] [SC-128922][core] HadoopFSUtils에서 불필요한 직렬화 가능 래퍼 제거
• [SPARK-43137] [SC-128828][sql] 위치가 접을 수 있고 양수이면 ArrayInsert를 개선합니다.
• [SPARK-37829] [SC-128827][sql] Dataframe.joinWith 외부 조인은 일치하지 않는 행에 대해 null 값을 반환해야 합니다.
• [SPARK-43042] [SC-128602][SS][연결] DataStreamReader에 대한 table() API 지원 추가
• [SPARK-43153] [SC-128753][연결] 데이터 프레임이 로컬일 때 Spark 실행 건너뛰기
• [SPARK-43064] [SC-128496][sql] Spark SQL CLI SQL 탭은 문을 한 번만 표시해야 합니다.
• [SPARK-43126] [SC-128447][sql] 두 Hive UDF 함수 표현식을 상태 저장으로 표시
• [SPARK-43111] [SC-128750][ps][CONNECT][python] 중첩된 if 문을 단일 if 문으로 병합
• [SPARK-43113] [SC-128749][sql] 바인딩된 조건에 대한 코드를 생성할 때 스트림 쪽 변수 평가
• [SPARK-42895] [SC-127258][연결] 중지된 Spark 세션에 대한 오류 메시지 개선
• [SPARK-42884] [SC-126662][connect] Ammonite REPL 통합 추가
• [SPARK-43168] [SC-128674][sql] Datatype 클래스에서 PhysicalDataType 메서드 가져오기 제거
• [SPARK-43121] [SC-128455][sql] 'HiveInspectors'에서 수동 복사 대신 BytesWritable.copyBytes 사용
• [SPARK-42916] [SC-128389][sql] JDBCTableCatalog가 읽기 쪽에서 Char/Varchar 메타를 유지합니다.
• [SPARK-43050] [SC-128550][sql] 그룹화 함수를 대체하여 생성 집계 식 수정
• [SPARK-43095] [SC-128549][sql] 일괄 처리 시 전략의 멱등성이 손상되지 않도록 방지: Infer Filters
• [SPARK-43130] [SC-128597][sql] InternalType을 PhysicalDataType으로 이동
• [SPARK-43105] [SC-128456][connect] proto 메시지에서 바이트와 문자열을 약어로 변경
• [SPARK-43099] [SC-128596][sql] functionRegistry에 udf를 등록할 때 getCanonicalName 대신 getName 사용하여 작성기 클래스 이름을 가져옵니다.
• [SPARK-42994] [SC-128586][ml][CONNECT] PyTorch 배포자가 로컬 모드를 지원합니다.
• [SPARK-42859] 되돌리기 “[SC-127935][connect][PS] Spark Connect에서 pandas API에 대한 기본 지원”
• [SPARK-43021] [SC-128472][sql] AQE를 사용할 때 작동하지 CoalesceBucketsInJoin.
• [SPARK-43125] [SC-128477][connect] Connect Server에서 Null 메시지로 인한 예외를 처리하지 못하는 문제를 수정
• [SPARK-43147] [SC-128594] 로컬 확인을 위한 flake8 lint 수정
• [SPARK-43031] [SC-128360][SS][연결] 스트리밍에 단위 테스트 및 문서 테스트 사용
• [SPARK-43039] [LC-67] 파일 원본 _metadata 열에서 사용자 지정 필드 지원
• [SPARK-43120] [SC-128407][ss] RocksDB 상태 저장소에 대한 고정 블록 메모리 사용 추적에 대한 지원 추가
• [SPARK-43110] [SC-128381][sql] AsIntegral을 PhysicalDataType으로 이동
• [SPARK-43118] [SC-128398][ss] KafkaMicroBatchStream에서 UninterruptibleThread에 대한 불필요한 어설션 제거
• [SPARK-43055] [SC-128331][connect][PYTHON] 중복된 중첩 필드 이름 지원
• [SPARK-42437] [SC-128339][python][CONNECT] PySpark catalog.cacheTable에서 스토리지 수준을 지정할 수 있습니다.
• [SPARK-42985] [SC-128332][connect][PYTHON] SQL 구성을 준수하도록 createDataFrame 수정
• [SPARK-39696] [SC-127830][core] TaskMetrics.externalAccums에 대한 액세스에서 데이터 경합 수정
• [SPARK-43103] [SC-128335][sql] 정수 계열을 PhysicalDataType으로 이동
• [SPARK-42741] [SC-125547][sql] 리터럴이 null일 때 이진 비교에서 캐스트를 해제하지 않음
• [SPARK-43057] [SC-127948][connect][PYTHON] Spark Connect 열 오류를 오류 클래스로 마이그레이션
• [SPARK-42859] [SC-127935][connect][PS] Spark Connect의 pandas API에 대한 기본 지원
• [SPARK-43013] [SC-127773][python] DataFrame에서 PySparkValueError로 ValueError를 마이그레이션합니다.
• [SPARK-43089] [SC-128051][connect] UI에서 디버그 문자열 수정
• [SPARK-43028] [SC-128070][sql] SQL_CONF_NOT_FOUND 오류 클래스 추가
• [SPARK-42999] [SC-127842][connect] Dataset#foreach, foreachPartition
• [SPARK-43066] [SC-127937][sql] JavaDatasetSuite에서 dropDuplicates에 대한 테스트 추가
• [SPARK-43075] [SC-127939][connect] gRPC가 설치되지 않았을 때 grpcio로 변경합니다.
• [SPARK-42953] [SC-127809][connect] 형식화된 필터, 지도, flatMap, mapPartitions
• [SPARK-42597] [SC-125506][sql] 날짜 형식을 타임스탬프 형식으로 변환 지원
• [SPARK-42931] [SC-127933][ss] dropDuplicatesWithinWatermark 기능 추가
• [SPARK-43073] [SC-127943][connect] proto 데이터 형식 상수 추가
• [SPARK-43077] [SC-128050][sql] UNRECOGNIZED_SQL_TYPE 오류 메시지 개선
• [SPARK-42951] [SC-128030][ss][Connect] 데이터스트림리더 API
• [SPARK-43049] [SC-127846][sql] Oracle JDBC용 StringType에 VARCHAR(255) 대신 CLOB 사용
• [SPARK-43018] [SC-127762][sql] 타임스탬프 리터럴을 사용하여 INSERT 명령에 대한 버그 수정
• [SPARK-42855] [SC-127722][sql] TableOutputResolver에서 런타임 null 검사 사용
• [SPARK-43030] [SC-127847][sql] 메타데이터 열이 포함된 관계 중복 제거
• [SPARK-42993] [SC-127829][ml][CONNECT] PyTorch 배포자를 Spark Connect와 호환되도록 만들기
• [SPARK-43058] [SC-128072][sql] Numeric 및 Fractional을 PhysicalDataType으로 이동
• [SPARK-43056] [SC-127946][ss] RocksDB 상태 저장소 커밋은 일시 중지된 경우에만 백그라운드 작업을 계속해야 합니다.
• [SPARK-43059] [SC-127947][connect][PYTHON] DataFrame 리더/라이터에서 TypeError를 오류 클래스로 마이그레이션하기
• [SPARK-43071] [SC-128018][sql] SELECT DEFAULT와 함께 ORDER BY, LIMIT, OFFSET 및 INSERT 원본 관계 지원
• [SPARK-43061] [SC-127956][core][SQL] SQL 연산자 실행을 위한 PartitionEvaluator 소개
• [SPARK-43067] [SC-127938][ss] Kafka 커넥터에서 오류 클래스 리소스 파일의 위치 수정
• [SPARK-43019] [SC-127844][sql] PhysicalDataType으로 순서 이동
• [SPARK-43010] [SC-127759][python] 열 오류를 오류 클래스로 마이그레이션
• [SPARK-42840] [SC-127782][sql] _LEGACY_ERROR_TEMP_2004 오류를 내부 오류로 변경
• [SPARK-43041] [SC-127765][sql] 커넥터 API의 호환성을 위한 예외 생성자 복원
• [SPARK-42939] [SC-127761][ss][CONNECT] Spark Connect용 핵심 스트리밍 Python API
• [SPARK-42844] [SC-127766][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2008를 INVALID_URL으로 업데이트합니다.
• [SPARK-42316] [SC-127720][sql] _LEGACY_ERROR_TEMP_2044에 이름 지정
• [SPARK-42995] [SC-127723][connect][PYTHON] Spark Connect DataFrame 오류를 오류 클래스로 마이그레이션
• [SPARK-42983] [SC-127717][connect][PYTHON] 0-dim numpy 배열을 올바르게 처리하도록 createDataFrame 수정
• [SPARK-42955] [SC-127476][sql] SparkThrowable을 위해 classifyException을 건너뛰고 AnalysisException을 래핑하기
• [SPARK-42949] [SC-127255][sql] NAAJ에 대한 코드 간소화
• [SPARK-43011] [SC-127577][sql] array_insert 0 인덱스로 실패해야 합니다.
• [SPARK-42974] [SC-127487][core] Utils.createTempDir를 복원하여 ShutdownHookManager을(를) 사용하고 JavaUtils.createTempDir 메서드를 정리합니다.
• [SPARK-42964] [SC-127585][sql] PosgresDialect '42P07'도 테이블이 이미 있음을 의미합니다.
• [SPARK-42978] [SC-127351][sql] Derby&PG: RENAME은 스키마 이름을 사용하여 new-table-Name을 한정할 수 없습니다.
• [SPARK-37980] [SC-127668][sql] 테스트에서 가능한 경우 _metadata를 통해 row_index에 접근하기
• [SPARK-42655] [SC-127591][sql] 잘못된 모호한 열 참조 오류
• [SPARK-43009] [SC-127596][sql] Any 상수로 매개변수화된 sql()
• [SPARK-43026] [SC-127590][sql] 분산되지 않은 테이블 캐시로 AQE 적용
• [SPARK-42963] [SC-127576][sql] SparkSessionExtensions를 확장하여 AQE 쿼리 단계 최적화 프로그램에서 규칙을 삽입합니다.
• [SPARK-42918] [SC-127357] FileSourceStrategy에서 메타데이터 특성 처리 일반화
• [SPARK-42806] [SC-127452][spark-42811][CONNECT] Catalog 지원 추가
• [SPARK-42997] [SC-127535][sql] TableOutputResolver는 배열 및 맵에 대한 오류 메시지에 올바른 열 경로를 사용해야 합니다.
• [SPARK-43006] [SC-127486][pyspark] StorageLevel eq()의 오타 수정
• [SPARK-43005] [SC-127485][pyspark] pyspark/pandas/config.py 오타 수정
• [SPARK-43004] [SC-127457][core] ResourceRequest.equals()의 오타 수정
• [SPARK-42907] [SC-126984][connect][PYTHON] Avro 함수 구현
• [SPARK-42979] [SC-127272][sql] 리터럴 생성자를 키워드로 정의
• [SPARK-42946] [SC-127252][sql] 변수 대체에 의해 중첩된 중요한 데이터 수정
• [SPARK-42952] [SC-127260][sql] 분석기 규칙 PreprocessTableCreation 및 DataSourceAnalysis의 매개 변수 간소화
• [SPARK-42683] [LC-75] 충돌하는 메타데이터 열의 이름을 자동으로 바꿉니다.
• [SPARK-42853] [SC-126101][후속 작업] 충돌 해결
• [SPARK-42929] [SC-126748][connect] mapInPandas / mapInArrow가 "is_barrier"를 지원하도록 함
• [SPARK-42968] [SC-127271][ss] DSv2 원본/싱크용 StreamingWrite API의 일부로 커밋 코디네이터를 건너뛰는 옵션 추가
• [SPARK-42954] [SC-127261][python][CONNECT] PySpark 및 Spark Connect Python 클라이언트에 YearMonthIntervalType 추가
• [SPARK-41359] [SC-127256][sql] UnsafeRow의 DataType 대신 PhysicalDataType 사용
• [SPARK-42873] [SC-127262][sql] Spark SQL 형식을 키워드로 정의
• [SPARK-42808] [SC-126302][core] MapOutputTrackerMaster#getStatistics 때마다 availableProcessors를 사용하지 않도록 합니다.
• [SPARK-42937] [SC-126880][sql] PlanSubqueriesInSubqueryExec#shouldBroadcast true로 설정해야 합니다.
• [SPARK-42896] [SC-126729][sql][PYTHON] mapInPandas / mapInArrow 지원 장벽 모드 실행
• [SPARK-42874] [SC-126442][sql] 모든 입력 파일에 대한 분석을 위한 새로운 골든 파일 테스트 프레임워크 사용
• [SPARK-42922] [SC-126850][sql] Random에서 SecureRandom으로 이동
• [SPARK-42753] [SC-126369] ReusedExchange는 존재하지 않는 노드를 참조합니다.
• [SPARK-40822] [SC-126274][sql] 안정적인 파생 열 별칭
• [SPARK-42908] [SC-126856][python] SparkContext가 필요하지만 초기화되지 않은 경우 RuntimeError 발생
• [SPARK-42779] [SC-126042][sql] V2 쓰기가 권장 셔플 파티션 크기를 나타내도록 허용
• [SPARK-42914] [SC-126727][python] transformUnregisteredFunction를 DistributedSequenceID을 위해 재사용합니다.
• [SPARK-42878] [SC-126882][connect] DataFrameReader의 테이블 API도 옵션을 수락할 수 있습니다.
• [SPARK-42927] [SC-126883][core] o.a.spark.util.Iterators#size의 액세스 범위를 private[util]으로 변경합니다.
• [SPARK-42943] [SC-126879][sql] 유효 길이를 위해 StringType에 TEXT 대신 LONGTEXT 사용
• [SPARK-37677] [SC-126855][core] 압축을 풀면 파일 사용 권한을 유지할 수 있습니다.
• [SPARK-42891] [13.x][sc-126458][CONNECT][python] CoGrouped Map API 구현
• [SPARK-41876] [SC-126849][connect][PYTHON] DataFrame.toLocalIterator 구현
• [SPARK-42930] [SC-126761][core][SQL] ProtobufSerDe 관련 구현의 접근 범위를 private[protobuf]로 변경하기
• [SPARK-42819] [SC-125879][ss] 스트리밍에 사용되는 RocksDB에 대한 max_write_buffer_number 및 write_buffer_size 설정에 대한 지원 추가
• [SPARK-42924] [SC-126737][sql][CONNECT][python] 매개 변수가 있는 SQL 인수의 주석을 명확히 합니다.
• [SPARK-42748] [SC-126455][connect] 서버 쪽 아티팩트 관리
• [SPARK-42816] [SC-126365][connect] 최대 메시지 크기 최대 128MB 지원
• [SPARK-42850] [SC-126109][sql] 최적화 프로그램에서 중복된 규칙 CombineFilter 제거
• [SPARK-42662] [SC-126355][connect][PS] Spark 기본 인덱스에 pandas API에 대한 proto 메시지 추가
• [SPARK-42720] [SC-126136][ps][SQL] 계획 대신 분산 시퀀스 기본 인덱스에 식을 사용합니다.
• [SPARK-42790] [SC-126174][sql] JDBC Docker 테스트에 대한 더 나은 테스트를 위해 제외된 메서드를 추상화합니다.
• [SPARK-42900] [SC-126473][connect][PYTHON] 유추 및 열 이름을 존중하도록 createDataFrame 수정
• [SPARK-42917] [SC-126657][sql] DerbyDialect에 대한 getUpdateColumnNullabilityQuery 수정
• [SPARK-42684] [SC-125157][sql] v2 카탈로그는 기본적으로 열 기본값을 허용하지 않아야 합니다.
• [SPARK-42861] [SC-126635][sql] protected[sql] 대신 private[sql]을 사용하여 API 문서 생성을 방지합니다.
• [SPARK-42920] [SC-126728][connect][PYTHON] UDT를 사용하여 UDF에 대한 테스트 사용
• [SPARK-42791] [SC-126617][sql] 분석을 위한 새 골든 파일 테스트 프레임워크 만들기
• [SPARK-42911] [SC-126652][python] 추가 기본 예외 소개
• [SPARK-42904] [SC-126634][sql] JDBC 카탈로그에 대한 Char/Varchar 지원
• [SPARK-42901] [SC-126459][connect][PYTHON] StorageLevel 별도의 파일로 이동하여 잠재적인 file recursively imports
• [SPARK-42894] [SC-126451][connect] Spark connect jvm 클라이언트에 대한 지원 cache/persist/unpersist/storageLevel
• [SPARK-42792] [SC-125852][ss] 스트리밍 상태 저장 연산자에서 사용되는 RocksDB에 대한 WRITE_FLUSH_BYTES 지원 추가
• [SPARK-41233] [SC-126441][connect][PYTHON] Spark Connect Python 클라이언트에 array_prepend 추가
• [SPARK-42681] [SC-125149][sql] ALTER TABLE ADD|REPLACE 열 설명자에 대한 정렬 제약 완화
• [SPARK-42889] [SC-126367][connect][PYTHON] 캐시, 유지, 비유지, 및 storageLevel 구현
• [SPARK-42824] [SC-125985][connect][PYTHON] 지원되지 않는 JVM 특성에 대한 명확한 오류 메시지 제공
• [SPARK-42340] [SC-126131][connect][PYTHON] 그룹화된 맵 API 구현
• [SPARK-42892] [SC-126454][sql] DataType에서 sameType 및 관련 메서드를 분리하여 재구성
• [SPARK-42827] [SC-126126][connect] Scala Connect 클라이언트에 대한 지원 functions#array_prepend
• [SPARK-42823] [SC-125987][sql] spark-sql 셸은 초기화를 위해 다중 파트 네임스페이스를 지원합니다.
• [SPARK-42817] [SC-125960][core] ApplicationMaster에서 순서 섞기 서비스 이름을 한 번 로깅
• [SPARK-42786] [SC-126438][connect] 타입이 지정된 선택
• [SPARK-42800] [SC-125868][connect][PYTHON][ml] ml 함수 {array_to_vector, vector_to_array} 구현
• [SPARK-42052] [SC-126439][sql] HiveSimpleUDF에 대한 Codegen 지원
• [SPARK-41233] [SC-126110][sql][PYTHON] array_prepend 함수 추가
• [SPARK-42864] [SC-126268][ml][3.4] IsotonicRegression.PointsAccumulator 비공개로 만들기
• [SPARK-42876] [SC-126281][sql] DataType의 physicalDataType은 private이어야 합니다[sql]
• [SPARK-42101] [SC-125437][sql] InMemoryTableScanExec를 AQE가 지원하도록 만들기
• [SPARK-41290] [SC-124030][sql] 테이블 생성/교체 문에서 열을 위한 GENERATED ALWAYS AS 표현식을 지원합니다.
• [SPARK-42870] [SC-126220][연결] toCatalystValue를 connect-common로 이동
• [SPARK-42247] [SC-126107][connect][PYTHON] userDefinedFunction을 returnType으로 수정
• [SPARK-42875] [SC-126258][connect][PYTHON] 표준 시간대 및 지도 형식을 올바르게 처리하도록 toPandas 수정
• [SPARK-42757] [SC-125626][connect] DataFrameReader에 대한 textFile 구현
• [SPARK-42803] [SC-126081][core][SQL][ml] getParameterTypes.length 대신 getParameterCount 함수 사용
• [SPARK-42833] [SC-126043][sql] applyExtensions를 SparkSession에서 리팩터링
• [SPARK-41765] "[SC-123550][sql] v1 쓰기 메트릭 제거" 되돌리기
• [SPARK-42848] [SC-126105][connect][PYTHON] DataFrame.registerTempTable 구현
• [SPARK-42020] [SC-126103][connect][PYTHON] Spark Connect에서 UserDefinedType 지원
• [SPARK-42818] [SC-125861][connect][PYTHON] DataFrameReader/Writer.jdbc 구현
• [SPARK-42812] [SC-125867][connect] AddArtifactsRequest protobuf 메시지에 client_type 추가
• [SPARK-42772] [SC-125860][sql] 푸시다운에 대한 JDBC 옵션의 기본값을 true로 변경
• [SPARK-42771] [SC-125855][sql] HiveGenericUDF 리팩터링
• [SPARK-25050] [SC-123839][sql] Avro: 복잡한 공용 구조체 작성하기
• [SPARK-42765] [SC-125850][connect][PYTHON] pyspark.sql.connect.functions에서 pandas_udf 가져오기 활성화
• [SPARK-42719] [SC-125225][core] MapOutputTracker#getMapLocation는 spark.shuffle.reduceLocality.enabled을 존중해야 한다.
• [SPARK-42480] [SC-125173][sql] 드롭 파티션의 성능 향상
• [SPARK-42689] [SC-125195][core][SHUFFLE] 순서 섞기 데이터가 안정적으로 저장되어 있는지 ShuffleDriverComponent에서 선언하도록 허용
• [SPARK-42726] [SC-125279][connect][PYTHON] 구현을 하다 DataFrame.mapInArrow
• [SPARK-41765] [SC-123550][sql] WriteFiles에 v1 쓰기 메트릭 끌어오기
• [SPARK-41171] [SC-124191][sql] partitionSpec이 비어 있는 경우 창을 통해 창 제한을 유추하고 푸시다운합니다.
• [SPARK-42686] [SC-125292][core] TaskMemoryManager에서 디버그 메시지의 서식 지연
• [SPARK-42756] [SC-125443][connect][PYTHON] Python 클라이언트에서 proto 리터럴을 값으로 변환하는 도우미 함수
• [SPARK-42793] [SC-125627][connect] connect 모듈에는 build_profile_flags
• [SPARK-42701] [SC-125192][sql] try_aes_decrypt() 함수 추가
• [SPARK-42679] [SC-125438][connect][PYTHON] createDataFrame이 nullable이 아닌 스키마에서 작동하지 않음
• [SPARK-42733] [SC-125542][connect][후속 작업] 경로 또는 테이블 없이 쓰기
• [SPARK-42777] [SC-125525][sql] TimestampNTZ 카탈로그 통계를 계획 통계로 변환 지원
• [SPARK-42770] [SC-125558][connect] Java 17 매일 테스트 GA 태스크 통과를 위해 SQLImplicitsTestSuite에 truncatedTo(ChronoUnit.MICROS) 추가
• [SPARK-42752] [SC-125550][pyspark][SQL] 초기화 중에 PySpark 예외를 인쇄할 수 있도록 설정
• [SPARK-42732] [SC-125544][pyspark][CONNECT] Spark Connect 세션 getActiveSession 메서드 지원
• [SPARK-42755] [SC-125442][connect] 리터럴 값의 변환을 요소로 connect-common
• [SPARK-42747] [SC-125399][ml] LoR 및 AFT의 잘못된 내부 상태 수정
• [SPARK-42740] [SC-125439][sql] 푸시다운 오프셋 또는 페이징이 일부 기본 제공 언어에 유효하지 않은 버그 수정
• [SPARK-42745] [SC-125332][sql] 향상된 AliasAwareOutputExpression이 DSv2에서 작동합니다.
• [SPARK-42743] [SC-125330][sql] TimestampNTZ 열을 분석 지원
• [SPARK-42721] [SC-125371][connect] RPC 로깅 인터셉터
• [SPARK-42691] [SC-125397][connect][PYTHON] Dataset.semanticHash 구현
• [SPARK-42688] [SC-124922][connect] Connect 프로토콜 Request의 client_id를 session_id로 변경.
• [SPARK-42310] [SC-122792][sql] _LEGACY_ERROR_TEMP_1289에 이름 지정
• [SPARK-42685] [SC-125339][core] Utils.bytesToString 루틴 최적화
• [SPARK-42725] [SC-125296][connect][PYTHON] LiteralExpression 지원 배열 매개 변수 만들기
• [SPARK-42702] [SC-125293][spark-42623][SQL] 하위 쿼리 및 CTE에서 매개 변수가 있는 쿼리 지원
• [SPARK-42697] [SC-125189][webui] 기간 필드에 대해 0이 아닌 총 가동 시간을 반환하도록 /api/v1/애플리케이션 수정
• [SPARK-42733] [SC-125278][connect][PYTHON] 경로 매개 변수 없이 작동하도록 DataFrameWriter.save 수정
• [SPARK-42376] [SC-124928][ss] 연산자 간에 워터마크 전파 도입
• [SPARK-42710] [SC-125205][connect][PYTHON] FrameMap proto를 MapPartitions로 이름 바꾸기
• [SPARK-37099] [SC-123542][sql] 최상위 K 계산을 최적화하기 위해 순위 기반 필터에 대한 창 그룹 제한 도입
• [SPARK-42630] [SC-125207][connect][PYTHON] SparkConnectClient를 사용할 수 있을 때까지 UnparsedDataType 소개 및 DDL 문자열 구문 분석 지연
• [SPARK-42690] [SC-125193][connect] Scala 클라이언트에 대한 CSV/JSON 구문 분석 함수 구현
• [SPARK-42709] [SC-125172][python] __file__가 사용 가능하다는 가정 제거
• [SPARK-42318] [SC-122648][spark-42319][SQL] LEGACY_ERROR_TEMP이름 할당(2123|2125)
• [SPARK-42723] [SC-125183][sql] 파서 데이터 형식 json "timestamp_ltz"을 TimestampType으로 지원
• [SPARK-42722] [SC-125175][connect][PYTHON] Python Connect def schema()는 스키마를 캐시하면 안 됩니다.
• [SPARK-42643] [SC-125152][connect][PYTHON] Java(집계) 사용자 정의 함수 등록
• [SPARK-42656] [SC-125177][connect][후속 작업] spark-connect 스크립트 수정
• [SPARK-41516] [SC-123899][SQL] jdbc 언어가 테이블을 만드는 데 사용되는 쿼리를 재정의하도록 허용
• [SPARK-41725] [SC-124396][connect] DF.sql()의 즉시 실행
• [SPARK-42687] [SC-124896][ss] 스트리밍에서 지원되지 않는 pivot 작업에 대한 더 나은 오류 메시지
• [SPARK-42676] [SC-124809][ss] 기본 FS가 다르게 설정된 경우에도 로컬 파일 시스템에 스트리밍 쿼리에 대한 임시 검사점을 작성합니다.
• [SPARK-42303] [SC-122644][sql] _LEGACY_ERROR_TEMP_1326에 이름 지정
• [SPARK-42553] [SC-124560][sql] "interval" 후 하나 이상의 시간 단위 확인
• [SPARK-42649] [SC-124576][core] 타사 원본 파일의 맨 위에서 표준 Apache 라이선스 헤더 제거
• [SPARK-42611] [SC-124395][sql] 해결 과정에서 내부 필드에 대한 char/varchar 길이 검사 삽입
• [SPARK-42419] [SC-124019][connect][PYTHON] Spark Connect Column API에 대한 오류 프레임워크로 마이그레이션합니다.
• [SPARK-42637] [SC-124522][connect] SparkSession.stop() 추가
• [SPARK-42647] [SC-124647][python] numpy 사용되지 않는 형식 및 제거된 형식에 대한 별칭 변경
• [SPARK-42616] [SC-124389][sql] SparkSQLCLIDriver는 시작된 hive sessionState만 닫습니다.
• [SPARK-42593] [SC-124405][ps] & pandas 2.0에서 제거될 API를 제거합니다.
• [SPARK-41870] [SC-124402][connect][PYTHON] 중복 열 이름을 처리하도록 createDataFrame 수정
• [SPARK-42569] [SC-124379][connect] 지원되지 않는 세션 API에 대한 예외를 던지다
• [SPARK-42631] [SC-124526][connect] Scala 클라이언트에서 사용자 지정 확장 지원
• [SPARK-41868] [SC-124387][connect][PYTHON] 기간을 지원할 수 있도록 createDataFrame 수정
• [SPARK-42572] [SC-124171][sql][SS] StateStoreProvider.validateStateRowFormat에 대한 동작 수정

유지 관리 업데이트

Databricks Runtime 13.1 유지 관리 업데이트를 참조하세요.

시스템 환경

• 운영 체제: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2023-02-10에 Microsoft CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)