Databricks Runtime 13.3 LTS

다음 릴리스 정보는 Apache Spark 3.4.1에서 제공하는 Databricks Runtime 13.3 LTS에 대한 정보를 제공합니다.

Databricks는 2023년 8월에 이 버전을 릴리스했습니다.

새로운 기능 및 향상 기능

• 공유 클러스터에 대한 Scala 지원
• Unity 카탈로그 공유 클러스터에서 init 스크립트, JAR, 그리고 Maven 좌표를 위한 허용 목록이 현재 공개 미리 보기 중입니다
• init 스크립트 및 JAR에 대한 볼륨 지원 공개 미리 보기
• Delta Lake 작업에 대해 기본적으로 사용하도록 설정된 안전한 캐스트
• Unity 카탈로그 태그 소개
• 쿼리 계획과 호출 사이에 파일이 수정되면 Databricks Runtime에서 오류를 반환합니다.
• 동적 파티션 덮어쓰기를 사용할 때 스키마 덮어쓰기 차단
• copyFile API를 dbutils.fs.cp에 통합
• Databricks ODBC/JDBC 드라이버 지원
• 명명되지 않은(위치) 매개 변수 표식 지원
• 시계열 열 레이블 지정 가능
• 새 비트맵 SQL 함수
• 향상된 암호화 함수
• 대한 Unity 카탈로그 지원
• 이름별 INSERT
• 델타 공유와 함께 구체화된 뷰 공유하기

공유 클러스터에 대한 Scala 지원

이제 Unity 카탈로그 사용 공유 클러스터는 Databricks Runtime 13.3 이상을 사용할 때 Scala를 지원합니다.

Unity 카탈로그 공유 클러스터의 init 스크립트, JAR 및 Maven 좌표에 대한 허용 목록은 공개 미리 보기로 제공됩니다.

이제 Databricks Runtime 13.3 이상을 실행하는 컴퓨팅에서 공유 액세스 모드를 사용하여 init 스크립트, JAR 및 Maven 좌표의 설치를 제어하기 위해 Unity Catalog allowlist를 사용할 수 있습니다. 공유 컴퓨팅의 허용 목록 라이브러리 및 초기화 스크립트를 참조하세요.

init 스크립트 및 JAR에 대한 볼륨 지원은 공개 미리 보기로 제공됩니다.

이제 Unity 카탈로그 볼륨을 사용하여 Databricks Runtime 13.3 이상을 실행하는 할당되거나 공유된 액세스 모드를 사용하여 컴퓨팅에 init 스크립트 및 JAR을 저장할 수 있습니다. init 스크립트를 설치할 수 있는 위치는 어디인지 확인하세요. 클러스터 범위 라이브러리 및 .

Delta Lake 작업에 대해 기본적으로 사용하도록 설정된 안전한 캐스트

이제 델타 UPDATE 및 MERGE 작업으로 인해 값이 대상 테이블 스키마의 형식으로 안전하게 캐스팅될 수 없는 경우 오류가 발생합니다. 이제 spark.sql.storeAssignmentPolicyspark.sql.ansi.enabled델타의 모든 암시적 캐스트는 . Databricks 런타임에서 ANSI 규정 준수를 참조 하세요.

Unity 카탈로그를 사용하여 태그 소개

Databricks Runtime 13.3 LTS 이상을 사용하면 보안 개체에 태그를 적용할 수 있습니다. 태그를 사용하면 보안 개체를 구성하고 데이터 자산의 검색 및 검색을 간소화할 수 있습니다. Unity Catalog 보안 개체에 태그 적용을 참조하세요.

쿼리 계획과 호출 사이에 파일이 수정되면 Databricks Runtime에서 오류를 반환합니다.

이제 쿼리 계획과 호출 사이에 파일이 업데이트되면 Databricks 런타임 쿼리가 오류를 반환합니다. 이 변경 전에 Databricks 런타임은 이러한 단계 간에 파일을 읽어 들이는데, 이로 인해 때때로 예측할 수 없는 결과가 발생합니다.

동적 파티션 덮어쓰기를 사용할 때 스키마 덮어쓰기 차단

Delta Lake의 동적 파티션 덮어쓰기와 함께 overwriteSchema를 true로 지정할 수 없습니다. 이를 통해 스키마 불일치로 인한 테이블 손상을 방지할 수 있습니다. 동적 파티션 덮어쓰기참조하세요.

copyFile API를 dbutils.fs.cp에 통합

이제 더 빠른 복사를 위해 dbutils 복사 명령 dbutils.fs.cp 이 최적화되었습니다. 이 향상된 기능을 사용하면 파일 크기에 따라 복사 작업이 최대 100배 더 빨라질 수 있습니다. 이 기능은 Unity 카탈로그 볼륨 및 Databricks 파일 시스템 탑재를 포함하여 Azure Databricks에서 액세스할 수 있는 모든 파일 시스템에서 사용할 수 있습니다.

Databricks ODBC/JDBC 드라이버 지원

Azure Databricks는 지난 2년 동안 릴리스된 ODBC 및 JDBC 드라이버를 지원합니다. ODBC 드라이버 다운로드 및 JDBC 드라이버 다운로드에서 최신 드라이버를 다운로드합니다.

명명되지 않은(위치) 매개 변수 표식 지원

이제 API는 SparkSession.sql() 구문을 사용하는 매개 변수가 있는 쿼리 외에도 구문을 사용하여 ?:parm 매개 변수가 있는 쿼리를 지원합니다. 매개 변수 표식을 참조 하세요.

시계열 열 레이블 지정 활성화

이제 기본 키 제약 조건을(를) 만들 때 시계열 열에 레이블을 지정할 수 있습니다.

새 비트맵 SQL 함수

이제 Azure Databricks는 정수 숫자 값을 비트맵에 매핑하고 집계하는 데 사용할 수 있는 함수 집합을 제공했습니다. 고유 값의 수를 미리 계산하는 데 사용할 수 있습니다.

• bitmap_bit_position
• bitmap_bucket_number
• bitmap_construct_agg
• bitmap_count
• bitmap_or_agg

향상된 암호화 함수

IV(초기화 벡터) 및 인증된 추가 데이터(AAD)를 지원하여 aes_encrypt, aes_decrypt 및 try_aes_decrypt 함수가 개선되었습니다.

REFRESH FOREIGN 대한 Unity 카탈로그 지원

이제 REFRESH FOREIGN CATALOG, REFRESH FOREIGN SCHEMA및 REFRESH FOREIGN TABLE를 사용하여 Unity 카탈로그의 외부 카탈로그, 스키마 및 테이블을 업데이트할 수 있습니다. REFRESH FOREIGN(CATALOG, SCHEMA및 TABLE)참조하세요.

이름별 INSERT

테이블에 행을 삽입할 때 이제 Azure Databricks가 원본 쿼리의 열과 필드를 해당 이름으로 테이블의 열에 자동으로 매핑하도록 할 수 있습니다. INSERT into참조하세요.

델타 공유를 사용하여 구체화된 뷰를 공유

이제 ALTER SHARE 문은 구체화된 뷰를 지원합니다.

호환성이 손상되는 변경

MERGE INTO 및 UPDATE을 사용하여 테이블에 행을 저장할 때의 암시적 캐스팅 변경 사항

이제 Azure Databricks는 테이블에 행을 저장할 때 암시적 캐스팅에 대한 구성 spark.sql.storeAssignmentPolicy 따릅니다. 기본값 ANSI은 오버플로 값을 저장할 때 오류를 발생시킵니다. 이전에는 값이 기본적으로 NULL으로 저장되었습니다.

다음 예제와 같이 오류를 일으키는 열에 더 넓은 형식을 사용하도록 테이블을 다시 작성하여 오버플로를 해결할 수 있습니다.

-- Enable column mapping
ALTER TABLE MyTable SET TBLPROPERTIES (
    'delta.minReaderVersion' = '2',
    'delta.minWriterVersion' = '5',
    'delta.columnMapping.mode' = 'name'
  )

-- Rename the old column and create a new column with the new type using the old name
ALTER TABLE MyTable RENAME ID to ID_old
ALTER TABLE MyTable ADD COLUMN ID BIGINT

-- Rewrite the entire table
UPDATE MyTable SET ID = ID_old

-- Drop the old column
ALTER TABLE MyTable DROP COLUMN ID_old

Parquet 스키마 유추의 변경 사항

Spark에서 작성되지 않은 Parquet 파일에서 스키마를 유추할 때 int64 타임스탬프 열이 isAdjustedToUTC=false으로 주석 처리되어 있을 경우, 이제 기본적으로 TIMESTAMP_NTZ 형식으로 설정됩니다. 이전에는 이러한 형식을 형식으로 TIMESTAMP 유추했습니다. 이 업데이트는 Parquet 형식을 Spark SQL 형식에 매핑하는 정확도를 향상시킵니다.

따라서 외부 Parquet 파일에서 데이터를 델타 테이블로 읽으면 timestampNtz 기능이 활성화되어 있지 않은 경우 오류가 발생할 수 있습니다. 오류는 다음과 같이 표시됩니다.

Fatal exception of the update:
com.databricks.sql.transaction.tahoe.DeltaTableFeatureException
Your table schema requires manual enablement of the following table feature(s): timestampNtz.

이전 동작을 유지하고 이 오류를 방지하려면 Spark 구성 매개 변수 spark.sql.parquet.inferTimestampNTZ.enabledfalse설정할 수 있습니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • debugpy from 1.5.1 to 1.6.0
  • distlib에서 0.3.6에서 0.3.7로
  • fastjsonschema 2.16.3에서 2.18.0으로
  • filelock from 3.12.0 to 3.12.2
• 업그레이드된 R 라이브러리:
  • SparkR 3.4.0에서 3.4.1로
• 업그레이드된 Java 라이브러리:
  • org.apache.orc.orc-core에서 1.8.3-shaded-protobuf에서 1.8.4-shaded-protobuf로
  • org.apache.orc.orc-mapreduce from 1.8.3-shaded-protobuf to 1.8.4-shaded-protobuf
  • org.apache.orc.orc-shims from 1.8.3 to 1.8.4
  • org.eclipse.jetty.jetty-client from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-continuation from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-http from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-io from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-jndi from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-plus from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-proxy from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-security from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-server from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlet from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-servlets from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-util-ajax from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-webapp from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.jetty-xml from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-api from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-client from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-common from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-server from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.eclipse.jetty.websocket.websocket-servlet from 9.4.50.v20221201 to 9.4.51.v20230217
  • org.xerial.snappy.snappy-java에서 1.1.8.4에서 1.1.10.1로

Apache Spark

Databricks Runtime 13.3에는 Apache Spark 3.4.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 13.2(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• 이제 Spark-snowflake 커넥터 v2.12.0을 사용하도록 클러스터 환경 변수 SNOWFLAKE_SPARK_CONNECTOR_VERSION=2.12 설정할 수 있습니다.
• [SPARK-43380] [DBRRM-383] 되돌리기 "[SC-133100][SQL] Avro 데이터 형식 해결...
• [SPARK-44504] [Backport][13.2][13.x][13.3] 공급자 언로드로 인해 DB 인스턴스를 강제로 닫고 유지 관리 작업 오류에 대한 리소스를 해제합니다.
• [SPARK-44059] [SC-137023] 기본 제공 함수에 대한 명명된 인수의 분석기 지원 추가
• [SPARK-44485] [SC-137653][SQL] TreeNode.generateTreeString 최적화
• [SPARK-42944] [SC-137164][SS][PYTHON] Python에서 ForeachBatch 스트리밍
• [SPARK-44446] [SC-136994][PYTHON] 예상 목록 유형 특수 사례에 대한 검사 추가
• [SPARK-44439] [SC-136973][CONNECT][SS]ID만 클라이언트로 다시 보내도록 listListeners 수정
• [SPARK-44216] [SC-136941] [PYTHON] assertSchemaEqual API 공개
• [SPARK-44201] [SC-136778][CONNECT][SS]Spark Connect용 Scala에서 스트리밍 수신기에 대한 지원 추가
• [SPARK-43915] [SC-134766][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2438-2445]
• [SPARK-43798] “[SC-133990][SQL][PYTHON] Python 사용자 정의 테이블 함수 지원”의 변경 사항을 되돌리기
• [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
• [SPARK-44476] [SC-137169][CORE][CONNECT] 연결된 아티팩트 없이 JobArtifactState의 아티팩트 채우기 수정
• [SPARK-44269] [SC-135817][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2310-2314]
• [SPARK-44395] [SC-136744][SQL] TABLE 키워드 후 식별자 주위에 괄호가 필요하도록 TVF 인수 업데이트
• [SPARK-43915] [SC-134766][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2438-2445]
• [SPARK-43995] [SC-136794][SPARK-43996][CONNECT] Connect Scala 클라이언트에 UDFRegistration에 대한 지원 추가
• [SPARK-44109] [SC-134755][CORE] 각 RDD 파티션의 중복된 선호 위치 제거
• [SPARK-44169] [SC-135497][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2300-2304]
• [SPARK-41487] [SC-135636][SQL] _LEGACY_ERROR_TEMP_1020 이름 할당
• [SPARK-44398] [SC-136720][CONNECT] Scala foreachBatch API
• [SPARK-44153] [SC-134977][CORE][UI] Heap Histogram 탭의 Executors 열 지원
• [SPARK-44044] [SC-135695][SS] 스트리밍을 사용하여 창 함수에 대한 오류 메시지 개선
• [SPARK-43914] [SC-135414][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2433-2437]
• [SPARK-44217] [SC-136805][PYTHON] fp 약 같음의 사용자 지정 정밀도 허용
• [SPARK-44370] [SC-136575][CONNECT] Buf 원격 세대 알파를 원격 플러그 인으로 마이그레이션
• [SPARK-44410] [SC-136930][PYTHON][CONNECT] getOrCreate뿐만 아니라 생성 시 활성 세션 설정
• [SPARK-44348] [SAS-1910][SC-136644][13.X][CORE][CONNECT][PYTHON] 관련 변경 내용이 있는 다시 활성화 가능한 test_artifact
• [SPARK-44145] [SC-136698][SQL] 실행 준비가 되면 콜백
• [SPARK-44264] [SC-136870][PYTHON][ML] FunctionPickler 클래스
• [SPARK-43986] [SC-135623][SQL] HyperLogLog 함수 호출 실패에 대한 오류 클래스 만들기
• [SPARK-44139] [SC-134967][SQL] 그룹 기반 MERGE 작업에서 완전히 푸시된 필터 삭제
• [SPARK-44338] [SC-136718][SQL] 뷰 스키마 불일치 오류 메시지 수정
• [SPARK-44208] [SC-135505][CORE][SQL] 예외를 직접 사용하는 일부 논리에 대해 명확한 오류 클래스 이름 할당
• [SPARK-44364] [SC-136773] [PYTHON] 예상된 목록[행] 데이터 형식에 대한 지원 추가
• [SPARK-44180] [SC-136792][SQL] DistributionAndOrderingUtils는 ResolveTimeZone을 적용해야 합니다.
• [SPARK-43389] [SC-136772][SQL] lineSep 옵션에 대한 null 검사 추가됨
• [SPARK-44388] [SC-136695][CONNECT] UDF 인스턴스가 업데이트되면 protobuf 캐스트 문제 해결
• [SPARK-44352] [SC-136373][CONNECT] DataType에 sameType 및 friend를 다시 배치합니다.
• [SPARK-43975] [SC-134265][SQL] DataSource V2: 그룹 기반 원본에 대한 UPDATE 명령 처리
• [SPARK-44360] [SC-136461][SQL] 델타 기반 MERGE 작업에서 스키마 정리 지원
• [SPARK-44138] [SC-134907][SQL] MERGE 조건에서 비결정적 식, 하위 쿼리 및 집계 금지
• [SPARK-43321] [SC-136678][연결][후속 작업] Scala Client joinWith에서 사용되는 API에 대한 더 나은 이름
• [SPARK-44263] [SC-136447][CONNECT] 사용자 지정 인터셉터 지원
• [SPARK-39851] [SC-123383][SQL] 한쪽이 고유성을 유지할 수 있는 경우 조인 통계 예측 개선
• [SPARK-44390] [SC-136677][CORE][SQL] 이름 바꾸기 SparkSerDerseUtilsSparkSerDeUtils
• [SPARK-44004] [SC-134751][SQL] 이름 할당 및 자주 레거시 오류에 대한 오류 메시지 개선
• [SPARK-44322] [SC-136204][CONNECT] 파서가 SQLConf 대신 SqlApiConf를 사용하도록 합니다.
• [SPARK-44271] [SC-136347][SQL] StructType에서 ResolveDefaultColumns로 기본값 함수 이동
• [SPARK-44332] [SC-136413][CORE][WEBUI] 실행기 UI 페이지에서 실행기 ID 열의 정렬 오류 수정
• [SPARK-44282] [SC-135948][CONNECT] Spark Connect Scala 클라이언트에서 사용할 DataType 구문 분석 준비
• [SPARK-44349] [SC-136581][R] SparkR에 수학 함수 추가
• [SPARK-44397] [SC-136647][PYTHON] pyspark.testing.utils에서 assertDataFrameEqual 노출
• [SPARK-42981] [SC-136620][CONNECT] 직접 화살표 serialization 추가
• [SPARK-44373] [SC-136577][SQL] 구문 분석 논리를 사용하여 데이터 세트 API에 대한 WithActive 래핑을 수행하여 파서 관련 구성이 작동하도록 합니다.
• [SPARK-44340] [SC-136574][SQL] PartitionEvaluator API를 통해 컴퓨팅 논리를 정의하고 WindowGroupLimitExec에서 사용합니다.
• [SPARK-43665] [SC-136573][CONNECT][PS] PandasSQLStringFormatter.vformat이 Spark Connect에서 작동하도록 설정
• [SPARK-44325] [SC-136572][SQL] SortMergeJoinExec에서 PartitionEvaluator API 사용
• [SPARK-44315] [SC-136171][SQL][CONNECT] DefinedByConstructorParams를 sql/api로 이동
• [SPARK-44275] [SC-136184][CONNECT] Scala Spark Connect에 구성 가능한 재시도 메커니즘 추가
• [SPARK-44326] [SC-136208][SQL][CONNECT] Scala 클라이언트에서 공통 모듈로 사용되는 유틸리티 이동
• [SPARK-43321] [SC-136156][연결] Dataset#Joinwith
• [SPARK-44343] [SC-136372][CONNECT] SQL/API로 이동하도록 ScalaReflection 준비
• [SPARK-44313] [SC-136081][SQL] 스키마에 char/varchar 열이 있을 때 생성된 열 식 유효성 검사 수정
• [SPARK-43963] [SC-134145][SQL] DataSource V2: 그룹 기반 원본에 대한 MERGE 명령 처리
• [SPARK-44363] [SC-136433] [PYTHON] DataFrame 비교에서 같지 않은 행의 백분율 표시
• [SPARK-44251] [SC-136432][SQL] 전체 외부 USING 조인의 합쳐진 조인 키에 nullable 속성을 올바르게 설정
• [SPARK-43948] [SC-133366][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[0050|0057|0058|0059]
• [SPARK-44329] [SC-136326][CONNECT][PYTHON] Scala 및 Python에 hll_sketch_agg, hll_union_agg, to_varchar, try_aes_decrypt 추가
• [SPARK-44351] [SC-136353][SQL] 몇 가지 구문 단순화
• [SPARK-44281] [SC-135963][SQL] DataType에서 사용하는 QueryCompilation 오류를 DataTypeErrors로 sql/api로 이동
• [SPARK-44283] [SC-136109][CONNECT] 원본을 SQL/API로 이동
• [SPARK-43926] [SC-135590][CONNECT][PYTHON] Scala 및 Python에 array_agg, array_size, 카디널리티, count_min_sketch, 마스크, named_struct,json_* 추가
• [SPARK-44327] [SC-136187][SQL][CONNECT] Scala에 anylen 함수 추가
• [SPARK-44290] [SC-136300][CONNECT] Spark Connect의 세션 기반 파일 및 보관
• [SPARK-44061] [SC-136299][PYTHON] assertDataFrameEqual util 함수 추가
• [SPARK-44331] [SC-136324][CONNECT][PYTHON] Scala 및 Python에 비트맵 함수 추가
• [SPARK-44342] [SC-136334][SQL] SQLContext를 GenTPCDSData용 SparkSession으로 바꾸기
• [SPARK-42583] [SC-124190][SQL] 모두 고유한 집계 함수인 경우 외부 조인 제거
• [SPARK-44333] [SC-136206][CONNECT][SQL] ParserUtils에서 EnhancedLogicalPlan 이동
• [SPARK-43824] [SC-132655][SPARK-43825] [SQL] 오류 클래스 _LEGACY_ERROR_TEMP_128 이름 할당[1-2]
• [SPARK-43939] [SC-134602][CONNECT][PYTHON] Scala 및 Python에 try_* 함수 추가
• [SPARK-44193] [SC-135886][CONNECT] 변환을 위한 GRPC 예외 차단 구현
• [SPARK-44284] [SC-136107][CONNECT] sql/api용 간단한 conf 시스템 만들기
• [SPARK-43913] [SC-133368][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2426-2432]
• ko-KR: [SPARK-44291] "[SC-135924][SPARK-43416][CONNECT] 범위 쿼리에 대한 잘못된 스키마 수정" 되돌리기
• [SPARK-44312] [SC-136185][CONNECT][PYTHON] 환경 변수를 사용하여 사용자 에이전트를 설정할 수 있습니다.
• [SPARK-44154] [SC-136060] 비트맵 함수 구현
• [SPARK-43885] [SC-133996][SQL] DataSource V2: 델타 기반 원본에 대한 MERGE 명령 처리
• [SPARK-43924] [SC-135161][CONNECT][PYTHON] Scala 및 Python에 misc 함수 추가
• [SPARK-43969] [SC-134556][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1170 이름 리팩터링 및 할당
• [SPARK-44185] [SC-135730][SQL] 카탈로그와 데이터 작업 간의 경로 지정 일관성 문제 수정
• [SPARK-44073] [SC-134562][SQL][PYTHON][CONNECT] Scala, Python 및 Connect에 날짜 시간 함수 추가 - 2부
• [SPARK-43942] [SC-134527][CONNECT][PYTHON] Scala 및 Python에 문자열 함수 추가 - 1부
• [SPARK-44266] [SC-135813][SQL] Util.truncatedString을 sql/api로 이동
• [SPARK-44195] [SC-135722][R] SparkR SparkContext에 JobTag API 추가
• [SPARK-44200] [SC-135736][SQL] TableValuedFunction에 대한 TABLE 인수 파서 규칙 지원
• [SPARK-44254] [SC-135709][SQL] DataType에서 사용하는 QueryExecutionErrors를 DataTypeErrors로 sql/api로 이동
• [SPARK-44291] [SC-135924][SPARK-43416][CONNECT] 범위 쿼리에 대한 잘못된 스키마 수정
• [SPARK-43922] [SC-135612][SQL] 함수 호출에 대한 파서에 명명된 매개 변수 지원 추가
• [SPARK-44300] [SC-135882][CONNECT] 아티팩트 정리를 수정하여 삭제 범위를 세션별 아티팩트로 제한
• [SPARK-44293] [SC-135849][CONNECT] Spark Connect에서 사용자 지정 JAR에 대한 잘못된 URI 수정
• [SPARK-44215] [SC-135850][순서 섞기] num 청크가 0이면 서버에서 RuntimeException을 throw해야 합니다.
• [SPARK-44245] [SC-135851][PYTHON] pyspark.sql.dataframe sample() doctests는 설명 전용이어야 합니다.
• [SPARK-44274] [SC-135814][CONNECT] ArtifactManager에서 사용하는 util 함수를 common/utils로 이동
• [SPARK-44194] [SC-135815][PYTHON][CORE] PySpark SparkContext에 JobTag API 추가
• [SPARK-42828] [SC-135733][PYTHON][SQL] GroupedData에 대한 보다 명시적인 Python 형식 주석
• [SPARK-44079] [SC-135486][SQL] 손상된 레코드와 함께 PERMISSIVE 모드를 사용하여 배열을 구조체로 구문 분석하는 경우 수정 ArrayIndexOutOfBoundsException
• [SPARK-44255] [SC-135809][SQL] StorageLevel을 일반/유틸리티로 재배치
• [SPARK-42169] [SC-135795] [SQL] to_csv 함수에 대한 코드 생성 구현(StructsToCsv)
• [SPARK-44249] [SC-135719][SQL][PYTHON] PythonUDTFRunner를 리팩터링하여 반환 형식을 별도로 보냅니다.
• [SPARK-43353] [SC-132734][PYTHON] 나머지 세션 오류를 오류 클래스로 마이그레이션
• [SPARK-44211] [SC-135718][PYTHON][CONNECT] SparkSession.is_stopped 구현
• [SPARK-42784] [SC-135691]은 병합 dir의 subDir 수가 conf보다 작은 경우에도 subDir을 만들어야 합니다.
• [SPARK-41599] [SC-135616] InProcessLauncher를 사용하여 클러스터를 보호하기 위해 앱을 제출할 때 FileSystem.CACHE의 메모리 누수
• [SPARK-44241] [SC-135613][Core] 실수로 io.connectionTimeout/connectionCreationTimeout을 0 또는 음수로 설정하면 끊임없는 실행기 단점/소멸이 발생합니다.
• [SPARK-44133] [SC-134795][13.X][PYTHON] MyPy를 0.920에서 0.982로 업그레이드
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
• [SPARK-44188] [SC-135173][CORE] resetAllPartitions 쓸모없는 ActiveJob 메서드 제거
• [SPARK-43757] [SC-135418][CONNECT] 허용 목록에서 거부 목록으로 클라이언트 호환성 변경
• [SPARK-43474] [SC-135521] [SS] [CONNECT] ID별로 런타임 데이터 프레임에 Spark 연결 액세스를 추가합니다.
• [SPARK-44183] [SC-135209][PYTHON] 최소 버전을 4.0.0으로 만들기 PyArrow
• [SPARK-44248] [SC-135554][SS][SQL][Kafka] kafka 원본 v2에서 기본 설정 위치 추가
• [SPARK-43929] [SC-134510][SQL][PYTHON][CONNECT] Scala, Python 및 Connect API에 날짜 시간 함수 추가 - 1부
• [SPARK-44161] [SC-135326][연결] UDF에 대한 행 입력 처리
• [SPARK-44227] [SC-135520][SQL] StructField에서 SchemaUtils 추출
• [SPARK-44064] [SC-135116][CORE][SQL] 새 apply 함수를 에 추가 NonFateSharingCache
• [SPARK-44171] [SC-135269][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당[2279-2282] 및 사용되지 않은 일부 오류 클래스 삭제
• [SPARK-44056] [SC-134758][SQL] UDF 실행 실패 오류 메시지(사용 가능한 경우)에 UDF 이름 포함
• [SPARK-44205] [SC-135422][SQL] DecimalType에서 촉매 코드 추출
• [SPARK-44220] [SC-135484][SQL] StringConcat을 sql/api로 이동
• [SPARK-44146] [SC-135230][CONNECT] Spark Connect 세션 jar 및 클래스 파일 격리
• [SPARK-44206] [SC-135411][SQL] DataSet.selectExpr 범위 Session.active
• [SPARK-40850] [SC-135417][SQL] 테스트 사례 해석 쿼리가 Codegen을 실행할 수 있는 수정
• [SPARK-44204] [SC-135253][SQL][HIVE] getPartitionNames에 누락된 recordHiveCall 추가
• [SPARK-44237] [SC-135485][CORE] DirectByteBuffer 생성자 조회 논리 간소화
• [SPARK-44189] [SC-135170][CONNECT][PYTHON] sql()별 위치 매개 변수 지원
• [SPARK-44140] [SC-134893][SQL][PYTHON] Python sql() 위치 매개 변수 지원
• [SPARK-44164] [SC-135158][SQL] StructField에서 Util 클래스로 toAttribute 메서드 추출
• [SPARK-44178] [SC-135113][CONNECT] sql() 위치 매개 변수를 지원합니다.
• [SPARK-43208] [SC-128955][SQL][HIVE] IsolatedClassLoader는 읽은 후 Barrier 클래스 InputStream을 닫아야 합니다.
• [SPARK-43063] [SC-128382][SQL] df.show null 대신 NULL을 인쇄해야 하는 핸들
• [SPARK-42539] [SC-124464][SQL][HIVE] 메타데이터 클라이언트에 'builtin' Hive 버전을 사용할 때 별도의 클래스 로더 제거
• [SPARK-43992] [SC-133645][SQL][PYTHON][CONNECT] Catalog.listFunctions에 대한 선택적 패턴 추가
• [SPARK-44066] [SC-134878][SQL] Scala/Java sql() 위치 매개 변수 지원
• [SPARK-44078] [SC-134869][CONNECT][CORE] classloader/리소스 격리에 대한 지원 추가
• [SPARK-43470] [SC-135187][CORE] 애플리케이션 로그에 OS, Java, Python 버전 정보 추가
• [SPARK-43136] [SC-135238][CONNECT][후속 작업] KeyA에 대한 테스트 추가
• [SPARK-39740] [SC-135093][UI]: 비스 타임라인을 7.7.2로 업그레이드하여 CVE-2020-28487 수정
• [SPARK-42298] [SC-133952][SQL] _LEGACY_ERROR_TEMP_2132 이름 할당
• [SPARK-43961] [SC-133459][SQL][PYTHON][CONNECT] Catalog.listTables에 대한 선택적 패턴 추가
• [SPARK-44026] [SC-135181] SQLMetrics에 대한 초기 값 제공 허용
• [SPARK-44202] [SC-135244][CORE] JavaSparkContext에 JobTag API 추가
• [SPARK-44030] [SC-135237][SQL] DataTypeExpression을 구현하여 식에 Unapply 제공
• [SPARK-43876] 되돌리기 "[SC-134603][SQL] 고유 쿼리에 빠른 해시맵 사용"
• [SPARK-40082] [SC-126437] 밀어넣기 병합 shuffleMapStage 재시도하지만 실행 중인 작업이 없을 때 mergeFinalize 예약
• [SPARK-43888] [SC-132893][CORE] 로깅을 일반/유틸리티로 재배치
• [SPARK-43474] [SC-134400] [SS] [CONNECT] SparkConnectPlanner에 SessionHolder 추가
• [SPARK-43944] [SC-134490][CONNECT][PYTHON] Scala 및 Python에 문자열 함수 추가 - 2부
• [SPARK-44134] [SC-134954][CORE] spark-defaults.conf에서 설정된 경우 리소스(GPU/FPGA)를 0으로 설정 수정
• [SPARK-44142] [SC-134947][PYTHON] python 형식을 spark 형식으로 변환하도록 형식을 유틸리티의 tpe로 바꾸기
• [SPARK-43952] [SC-134695][CORE][CONNECT][SQL] 태그별 쿼리 취소를 위한 SparkContext API 추가
• [SPARK-44000] [SC-133634][SQL] 조인의 한쪽 브로드캐스팅 및 복제를 사용하지 않도록 설정하는 힌트 추가
• [SPARK-43937] [SC-134362][CONNECT][PYTHON] Scala 및 Python에 ifnull,isnotnull,equal_null,nullif,nvl,nvl2 추가
• [SPARK-43624] [13.x][SC-134557][PS][CONNECT] SparkConnectPlanner에 추가 EWM 합니다.
• [SPARK-44040] [SC-134366][SQL] QueryStageExec 위의 AggregateExec 노드가 있는 경우 컴퓨팅 통계 수정
• [SPARK-43485] [SC-131264][SQL] datetime add/diff 함수의 인수에 대한 unit 오류 메시지 수정
• [SPARK-43794] [SC-132561][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1335 이름 할당
• [SPARK-43511] [SC-134749][CONNECT][SS]Spark Connect용 MapGroupsWithState 및 FlatMapGroupsWithState API 구현
• [SPARK-43529] [SQL] CREATE/REPLACE TABLE OPTIONS 식 지원 + 코드 정리
• [SPARK-44106] [SC-134750][PYTHON][CONNECT] 추가 __repr__ 대상 GroupedData
• [SPARK-42299] [SC-133190] _LEGACY_ERROR_TEMP_2206 이름 할당
• [SPARK-43290] [SC-134388][SQL] aes_encrypt EV 및 AAD에 대한 지원을 추가합니다.
• [SPARK-43932] [SC-134138][SQL][PYTHON][CONNECT] Scala 및 Python에 like 함수 추가 current
• [SPARK-43934] [SC-134108][SQL][PYTHON][CONNECT] Scala 및 Python에 regexp_* 함수 추가
• [SPARK-44107] [SC-134746][CONNECT][PYTHON] 자동 완성에서 지원되지 않는 열 메서드 숨기기
• [SPARK-42941] [SC-134707][SS][CONNECT][1/2] StreamingQueryListener - JSON 형식의 이벤트 Serde
• [SPARK-43773] [SC-132659][CONNECT][PYTHON] python 클라이언트에서 'levenshtein(str1, str2[, threshold])' 함수 구현
• [SPARK-44125] [SC-134745][R] SparkR에서 Java 21 지원
• [SPARK-43919] [SC-133374][SQL] 행에서 JSON 기능 추출
• [SPARK-43769] [SC-132520][CONNECT] 'levenshtein(str1, str2[, threshold])' 함수 구현
• [SPARK-44012] [SC-134662][SS] 일부 읽기 상태를 인쇄하는 KafkaDataConsumer
• [SPARK-43876] [SC-134603][SQL] 고유 쿼리에 대해 빠른 해시맵 사용
• [SPARK-44024] [SC-134497][SQL] 단일 요소를 추출하는 map 데만 사용할 수 unzip 있도록 변경
• [SPARK-43928] [SC-134467][SQL][PYTHON][CONNECT] Scala, Python 및 Connect API에 비트 작업 추가
• [SPARK-44092] [SC-134506][CORE] Java 21을 사용하여 모듈 패스 추가 Utils.isJavaVersionAtLeast21 및 만들기 core
• [SPARK-44018] [SC-134512][SQL] 일부 DS V2 식에 대한 해시 코드 및 toString 개선
• [SPARK-44105] [SC-134582][SQL] LastNonNull 를 지연 해결해야 합니다.
• [SPARK-44081] [SC-134434] PartitionedFileUtil API 약간 간소화
• [SPARK-43791] [SC-132531][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_1336 이름 할당
• [SPARK-44071] [SC-134435] 미해결 정의 및 사용[리프|단항]노드 특성입니다.
• [SPARK-43852] [SC-132890][SPARK-43853][SPARK-43854][SPARK-43855][SPARK-43856] 오류 클래스 _LEGACY_ERROR_TEMP_2418-2425에 이름 할당
• [SPARK-43742] [SC-132684][SQL] 기본 열 값 결정 리팩터링
• [SPARK-43493] [SC-132063][SQL] levenshtein() 함수에 최대 거리 인수 추가
• [SPARK-44075] [SC-134382][CONNECT] 지연 만들기 transformStatCorr
• [SPARK-43925] [SC-134381][SQL][PYTHON][CONNECT] Scala, Python 및 Connect에 모든 bool_or,bool_and 추가
• [SPARK-43931] [SC-134158][SQL][PYTHON][CONNECT] Scala 및 Python에 make_* 함수 추가
• [SPARK-43762] [SC-132602][SPARK-43763][SPARK-43764][SPARK-43765][SPARK-43766][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_24 이름 할당[06-10]
• [SPARK-43962] [SC-133367][SQL] 오류 메시지 개선: CANNOT_DECODE_URL, CANNOT_MERGE_INCOMPATIBLE_DATA_TYPE, CANNOT_PARSE_DECIMALCANNOT_READ_FILE_FOOTER, CANNOT_RECOGNIZE_HIVE_TYPE.
• [SPARK-43938] [SC-133887][CONNECT][PYTHON] Scala 및 Python에 to_* 함수 추가
• [SPARK-44055] [SC-134321][CORE] 중복된 override 함수 CheckpointRDD에서 제거
• [SPARK-43802] [SC-132597][SQL] failOnError=true를 사용하여 unhex 및 unbase64에 대한 codegen 수정
• [SPARK-43798] [SC-133990][SQL][PYTHON] Python 사용자 정의 테이블 함수 지원
• [SPARK-43941] [SC-134286][SQL][PYTHON][CONNECT] any_value, approx_percentile, count_if, first_value, histogram_numeric, last_value 추가, Scala, Python 및 Connect API로 축소
• [SPARK-43380] [SC-133100][SQL] 잘못된 결과를 생성하지 않도록 Avro 데이터 형식 변환 문제 해결
• [SPARK-43803] [SC-133729] [SS] [CONNECT] 클라이언트 연결 끊기를 처리하도록 awaitTermination()을 개선합니다.
• [SPARK-43179] [SC-129070][순서 섞기] 앱이 외부 순서 섞기 서비스에 의해 해당 메타데이터가 db에 저장되는지 여부를 제어할 수 있도록 허용

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 출시된 드라이버를 다운로드하고 업그레이드하세요(ODBC 다운로드, JDBC 다운로드).

Databricks Runtime 13.3 유지 관리 업데이트를 참조 하세요.

시스템 환경

• 운영 체제: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2023-02-10에 Microsoft CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)