Databricks Runtime 13.2(EoS)

다음 릴리스 정보는 Apache Spark 3.4.0에서 제공하는 Databricks Runtime 13.2에 대한 정보를 제공합니다.

Databricks는 2023년 7월에 이 버전을 출시했습니다.

새로운 기능 및 향상 기능

• RocksDB 상태 저장소에 대한 변경 로그 검사점
• Unity Catalog단순 클론을 사용하여 VACUUM 대한 향상된 안정성을 제공합니다.
• SQL에서 Python UDF 지원
• Iceberg용 Delta Lake UniForm은 공개 미리 보기로 제공됩니다.
• Delta Lake Liquid 클러스터링이 공개 미리 보기로 제공됩니다.
• Azure Databricks의 보관 지원
• IDENTIFIER 절은 지원합니다.
• Unity Catalog Python 및 Pandas User-Defined 함수(UDF) 지원
• 델타 공유를 사용하여 스키마 공유
• 버그 수정

RocksDB 상태 저장소에 대한 변경 로그 검사점

상태 저장 구조적 스트리밍 워크로드에 대한 검사점 기간 및 엔드 투 엔드 대기 시간을 낮추도록 변경 로그 검사점을 사용하도록 설정할 수 있습니다. Databricks는 모든 구조적 스트리밍 상태 저장 쿼리에 대해 changelog 검사포인트를 사용하도록 설정할 것을 권합니다. 변경 로그 검사점 사용을 참조하세요.

Unity Catalog에서 얕은 클론을 사용하는 VACUUM의 신뢰성이 향상되었습니다.

Unity Catalog 단순 클론 작업의 원본 및 대상에 대해 관리되는 tables 사용하는 경우 Unity Catalog 원본 및 복제 작업의 대상에 대한 안정성을 향상시키기 위해 기본 데이터 파일을 관리합니다. 단순 클론의 원본에서 VACUUM을 실행해도 복제된 table이 중단되지 않습니다. Unity 의 얕은 클론및 을 참조하세요.

SQL에서 Python UDF 지원

이제 Unity CatalogSQL CREATE FUNCTION 문 내에서 Python을 사용하여 사용자 정의 함수를 선언할 수 있습니다. 사용자 정의 함수(UDF)를 Unity Catalog에서 참조하세요.

Iceberg용 Delta Lake UniForm은 공개 미리 보기로 제공됩니다.

UniForm(Delta Lake Universal Format)을 사용하면 Iceberg 클라이언트를 사용하여 Delta tables 읽을 수 있습니다. Iceberg 클라이언트를 사용하여 델타 읽기 참조하세요.

Delta Lake Liquid 클러스터링이 공개 미리 보기로 제공됩니다.

Delta Lake Liquid 클러스터링이 table 분할 및 ZORDER 대체하여 데이터 레이아웃 결정을 간소화하고 쿼리 성능을 optimize. 을 참조하세요. 델타 tables에 대해 액체 클러스터링을 사용하십시오.

Azure Databricks의 보관 지원

Azure Databricks의 보관 지원 기능은 Delta tables이 포함된 클라우드 개체 스토리지 상의 파일을 보관 스토리지 계층으로 이동시키기 위한 클라우드 기반 수명 주기 정책을 활용하는 다양한 기능들을 제공합니다. Azure Databricks의 보관 지원을 참조 하세요.

IDENTIFIER 절 지원

IDENTIFIER(:mytable) 사용하여 많은 SQL 문에서 table, column, 함수 및 schema 이름을 안전하게 매개 변수화합니다.

Python 및 Pandas User-Defined 함수(UDF)에 대한 Unity Catalog 지원

Databricks Runtime 13.2 이상에서는 Python으로 작성된 UDF(사용자 정의 함수)가 Unity Catalog사용 가능한 작업 영역에서 공유 액세스 모드를 사용하는 클러스터에서 지원됩니다. 여기에는 Python 및 Pandas UDF가 포함됩니다. Python UDF에 대한 자세한 내용은 사용자 정의 스칼라 함수 - Python을 참조하세요.

델타 공유를 사용하여 스키마 공유

Databricks Runtime 13.2는 ALTER SHARE <share-name> ADD SCHEMA <schema-name> 사용하여 델타 공유를 사용하여 전체 schema 공유할 수 있는 기능을 추가하며, 향후 schema 추가되는 모든 tables 및 views 함께 공유되는 현재 schema 있는 모든 tables 및 views 받는 사람에게 액세스 권한을 부여합니다. 스키마를 공유 및 에 추가하고 을 참조하세요.

버그 수정

• failOnUnknownFieldsmode 사용하도록 설정된 경우 JSON 판독기에서 where 레코드가 PERMISSIVE 모드로 구문 분석된 버그가 수정되었습니다. 레코드는 이제 DROPMALFORMEDparser 모드로 삭제되거나, 이러한 옵션 중 set인 경우 badRecordsPath에 기록됩니다. FAILFAST는 column 형식이 일치하지 않으면 오류를 발생시킵니다.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • nodeenv에서 1.7.0에서 1.8.0으로
• 업그레이드된 R 라이브러리:
• 업그레이드된 Java 라이브러리
  • io.delta.delta-sharing-spark_2.12에서 0.6.7~ 0.7.0

Apache Spark

Databricks Runtime 13.2에는 Apache Spark 3.4.0이 포함됩니다. 이 릴리스에는 Databricks Runtime 13.1(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-42750] [SC-133452][DBRRM-273] 이름별 Insert 지원
• [SPARK-43133] [SC-133728] Scala Client DataStreamWriter Foreach 지원
• [SPARK-43663] [SC-134135][CONNECT][PS] 사용 SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][SPARK-43685][SPARK-43686][SPARK-43691][CONNECT][PS] Spark Connect에 대한 수정 사항 (NullOps|NumOps).(eq|ne) 입니다.
• [SPARK-44021] [SC-134109][SQL] spark.sql.files.maxPartitionNum 추가
• [SPARK-43910] [SC-132936][SQL] 오류의 ID에서 제거 __auto_generated_subquery_name
• [SPARK-43976] [SC-133375][CORE] 이벤트 로그에 modifiedConfigs가 존재하지 않는 경우 where 처리
• [SPARK-32559] [SC-133992][SQL] ASCII 컨트롤 문자를 올바르게 처리하지 않은 트리밍 논리 수정
• [SPARK-43421] [SC-132930][SS] RocksDB 상태 저장소 공급자에 대한 변경 로그 기반 검사점 구현
• [SPARK-43594] [SC-133851][SQL] anyToMicros에 LocalDateTime 추가
• [SPARK-43884] [SC-133867] DDL의 매개 변수 표식
• [SPARK-43398] [SC-133894][CORE] 실행기 시간 제한은 유휴 순서 섞기 및 rdd 시간 제한의 최대값이어야 합니다.
• [SPARK-43610] [SC-133892][CONNECT][PS] Spark Connect에서 사용하도록 설정합니다 InternalFrame.attach_distributed_column .
• [SPARK-43971] [SC-133826][CONNECT][PYTHON] 스트리밍 방식으로 Python의 createDataFrame 지원
• [SPARK-44006] [SC-133652][CONNECT][PYTHON] 캐시 아티팩트 지원
• [SPARK-43790] [SC-133468][PYTHON][CONNECT][ML] API 추가 copyFromLocalToFs
• [SPARK-43921] [SC-133461][PROTOBUF] Protobuf 설명자 파일을 빌드 시 Generate
• [SPARK-43906] [SC-133638][SC-133404][PYTHON][CONNECT] SparkSession.addArtifacts에서 파일 지원 구현
• [SPARK-44010] [SC-133744][PYTHON][SS][MINOR] Python StreamingQueryProgress rowsPerSecond 형식 수정
• [SPARK-43768] [SC-132398][PYTHON][CONNECT] Python Spark Connect에서 Python 종속성 관리 지원
• [SPARK-43979] [13.X] 되돌리기 "[SC-133456][SQL] CollectedMetrics는 자체join대해 동일한 메트릭으로 처리되어야 합니다."
• [SPARK-42290] [SC-133696][SQL] AQE가 켜지면 OOM 오류를 보고할 수 없는 문제 해결
• [SPARK-43943] [SC-133648][SQL][PYTHON][CONNECT] Scala 및 Python에 SQL 수학 함수 추가
• [SPARK-43747] [SC-132047][PYTHON][CONNECT] SparkSession.addArtifacts에서 pyfile 지원 구현
• [SPARK-43700] [SC-133726][SPARK-43701][CONNECT][PS] Spark Connect를 사용하여 사용 TimedeltaOps.(sub|rsub)
• [SPARK-43712] [SC-133641][SPARK-43713][CONNECT][PS] 패리티 테스트 사용: test_line_plot, . test_pie_plot
• [SPARK-43867] [SC-132895][SQL] 해결되지 않은 특성에 대해 제안된 후보 개선
• [SPARK-43901] [SC-133454][SQL] Avro to Support custom decimal type backed by Long
• [SPARK-43267] [SC-133024][JDBC] PostgreSQL의 알 수 없는 사용자 정의 column를 배열 내 문자열로 처리
• [SPARK-43935] [SC-133637][SQL][PYTHON][CONNECT] Scala 및 Python에 xpath_* 함수 추가
• [SPARK-43916] [SC-133647][SQL][PYTHON][CONNECT] Scala 및 Python API에 백분위수 추가
• [SPARK-43717] [SC-133455][CONNECT] Scala 클라이언트 reduce agg는 scala 기본 입력에 대해 null 파티션을 처리할 수 없습니다.
• [SPARK-43984] [SC-133469][SQL][PROTOBUF] 결과를 생성하지 않을 때 foreach 사용하도록 map 변경
• [SPARK-43612] [SC-132011][CONNECT][PYTHON] Python 클라이언트에서 SparkSession.addArtifact 구현
• [SPARK-44002] [SC-133606][CONNECT] 아티팩트 상태 처리기 수정
• [SPARK-43933] [SC-133470][SQL][PYTHON][CONNECT] Scala 및 Python에 선형 회귀 집계 함수 추가
• [SPARK-43920] [SC-133614][SQL][CONNECT] sql/api 모듈 만들기
• [SPARK-43979] [SC-133456][SQL] CollectedMetrics는 자체join 대해 동일한 메트릭으로 처리되어야 합니다.
• [SPARK-43977] [SC-133373][CONNECT] 다음의 예기치 않은 검사 결과를 수정합니다. dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][PROTOBUF] spark protobuf: ints 버그로 열거형 수정
• [SPARK-43930] [SC-133406][SQL][PYTHON][CONNECT] Scala 및 Python에 unix_* 함수 추가
• [SPARK-43807] [SC-132545][SQL] PARTITION_SCHEMA_IS_EMPTY _LEGACY_ERROR_TEMP_1269 마이그레이션
• [SPARK-43956] [SC-133123][SQL] Percentile[Cont|Disc]에 대한 column의 sql을 표시하지 않는 버그 수정
• [SPARK-42626] [SC-133248][CONNECT] SparkResult에 대한 파괴적인 반복기 추가
• [SPARK-43333] [SC-132898][SQL] Avro에서 형식이 안정적인 필드 이름을 사용하여 공용 구조체 형식을 SQL로 변환하도록 허용
• [SPARK-43953] [SC-133134][CONNECT] Removepass
• [SPARK-43970] [SC-133403][PYTHON][CONNECT] 자동 완성에서 지원되지 않는 데이터 프레임 메서드 숨기기
• [SPARK-43973] [SC-133272][SS][UI] 구조적 스트리밍 UI는 실패한 쿼리를 올바르게 표시해야 합니다.
• [SPARK-42577] [SC-125445][CORE] 잠재적인 무한 재시도를 방지하기 위해 스테이지에 대한 최대 시도 제한 추가
• [SPARK-43841] [SC-132699][SQL] 에 접두사 없이 후보 특성 처리 StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][CORE][후속 작업]구성 spark.rdd.cache.visibilityTracking.enabled 지원 버전을 3.5.0으로 수정
• [SPARK-37942] [SC-130983][CORE][SQL] 오류 클래스 마이그레이션
• [SPARK-43898] [SC-132926][CORE] Scala 2.13에 immutable.ArraySeq$ofRef 자동으로 등록 KryoSerializer
• [SPARK-43775] [SC-132891][SQL] DataSource V2: 업데이트를 삭제 및 삽입으로 표시하도록 허용
• [SPARK-43817] [SC-132662][SPARK-43702][PYTHON] pandas DataFrame 및 toPandas의 createDataFrame에서 UserDefinedType 지원
• [SPARK-43418] [SC-132753][SC-130685][CONNECT] SparkSession.Builder.getOrCreate 추가
• [SPARK-43549] [SC-132383][SQL] _LEGACY_ERROR_TEMP_0036 INVALID_SQL_SYNTAX 변환합니다. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][CORE] rdd 캐시를 사용하여 재시도 작업의 경우 누적기 언더카운트 수정
• [SPARK-43892] [SC-133006][PYTHON] 에 대한 df[|] 자동 완성 지원 추가 pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][SQL][PYTHON][CONNECT] Catalog.listDatabases에 대한 선택적 패턴 추가
• [SPARK-43205] [SC-132623] IDENTIFIER 절
• [SPARK-43545] [SC-132378][SQL][PYTHON] 중첩된 타임스탬프 형식 지원
• [SPARK-43949] [SC-133048][PYTHON] cloudpickle을 2.2.1로 업그레이드
• [SPARK-43760] [SC-132809][SQL] 스칼라 하위 쿼리 결과의 Null 허용 여부
• [SPARK-43696] [SC-132737][SPARK-43697][SPARK-43698][SPARK-43699][PS] Spark Connect 수정 TimedeltaOps
• [SPARK-43895] [SC-132897][CONNECT][GO] 이동 패키지 경로 준비
• [SPARK-43894] [SC-132892][PYTHON] df.cache()의 버그 수정
• [SPARK-43509] [SC-131625][CONNECT] 여러 Spark Connect 세션 만들기 지원
• [SPARK-43882] [SC-132888][SQL] _LEGACY_ERROR_TEMP_2122 이름 할당
• [SPARK-43687] [SC-132747][SPARK-43688][SPARK-43689][SPARK-43690][PS] Spark Connect 수정 NumOps
• [SPARK-43604] [SC-132165][SQL] 소스 코드에 오류 텍스트를 포함하지 않도록 리팩터링 INVALID_SQL_SYNTAX
• [SPARK-43859] [SC-132883][SQL] LateralColumnAliasReference에서 toString 재정의
• [SPARK-43792] [SC-132939][SQL][PYTHON][CONNECT] Catalog.listCatalogs에 대한 선택적 패턴 추가
• [SPARK-43353] "[SC-132734][PYTHON] 나머지 세션 오류를 오류 클래스로 마이그레이션" 되돌리기
• [SPARK-43375] [SC-130309][CONNECT] INVALID_CONNECT_URL 오류 메시지 개선
• [SPARK-43863] [SC-132721][CONNECT] Scala 2.13용 RemovetoSeqSparkConnectPlanner 중복
• [SPARK-43676] [SC-132708][SPARK-43677][SPARK-43678][SPARK-43679][PS] Spark Connect 수정 DatetimeOps
• [SPARK-43666] [SC-132689][SPARK-43667][SPARK-43668][SPARK-43669][PS] Spark Connect 수정 BinaryOps
• [SPARK-43680] [SC-132709][SPARK-43681][SPARK-43682][SPARK-43683][PS] Spark Connect 수정 NullOps
• [SPARK-43782] [SC-132885][CORE] 정적 Spark conf를 사용하여 로그 수준 구성 지원
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python 클라이언트 DataStreamWriter foreach() API
• [SPARK-43290] [SC-131961][SQL] ExpressionImplUtils에 AES IV 및 AAD 지원 추가
• [SPARK-43795] [SC-132532][CONNECT] Removeparameters SparkConnectPlanner에 사용되지 않음
• [SPARK-42317] [SC-129194][SQL] _LEGACY_ERROR_TEMP_2247 이름 할당: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_0017 이름 할당
• [SPARK-43834] [SC-132679][SQL] 의 컴파일 오류에서 오류 클래스 사용 ResolveDefaultColumns
• [SPARK-43749] [SC-132423][SPARK-43750][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_240 이름 할당[4-5]
• [SPARK-43576] [SC-132533][CORE] Core 모듈에서 사용되지 않는 선언 Remove
• [SPARK-43314] [SC-129970][CONNECT][PYTHON] Spark Connect 클라이언트 오류를 오류 클래스로 마이그레이션
• [SPARK-43799] [SC-132715][PYTHON] Pyspark Protobuf API에 설명자 이진 옵션 추가
• [SPARK-43837] [SC-132678][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_103 이름 할당[1-2]
• [SPARK-43862] [SC-132750][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 할당(1254 및 1315)
• [SPARK-43886] [SC-132808][PYTHON] Pandas UDF의 입력 힌트로 제네릭 튜플 허용
• [SPARK-43530] [SC-132653][PROTOBUF] 설명자 파일을 한 번만 읽습니다.
• [SPARK-43820] [SC-132676][SPARK-43822][SPARK-43823][SPARK-43826][SPARK-43827] 오류 클래스 _LEGACY_ERROR_TEMP_241 이름 할당[1-7]
• [SPARK-43671] [SC-132519][SPARK-43672][SPARK-43673][SPARK-43674][PS] Spark Connect 수정 CategoricalOps
• [SPARK-39979] [SC-132685][SQL] 화살표 UDF 작업에 큰 변수 너비 벡터를 사용하는 옵션 추가
• [SPARK-43692] [SC-132660][SPARK-43693][SPARK-43694][SPARK-43695][PS] Spark Connect 수정 StringOps
• [SPARK-43353] [SC-132734][PYTHON] 나머지 세션 오류를 오류 클래스로 마이그레이션
• [SPARK-43815] [SC-132781][SQL] 에 대한 별칭 추가 to_varcharto_char
• [SPARK-43543] [13.x][SC-131839][PYTHON] Pandas UDF에서 중첩된 MapType 동작 수정
• 열거형 직렬화와 관련된 오류에 대한 문서 [SPARK-43361] [SC-131789][PROTOBUF] update
• [SPARK-43740] [SC-132035][PYTHON][CONNECT] 자동 완성에서 지원 session 되지 않는 메서드 숨기기
• [SPARK-43022] [SC-131681][CONNECT] Scala 클라이언트에 대한 protobuf 함수 지원
• [SPARK-43304] [13.x][SC-129969][CONNECT][PYTHON] 다음으로 마이그레이션 NotImplementedErrorPySparkNotImplementedError
• [SPARK-43860] [SC-132713][SQL] 가능한 경우 비상 재귀 사용
• [SPARK-42421] [SC-132695][CORE] 유틸을 이용하여 로컬 검사점에서 사용되는 동적 할당에 대한 스위치를 get하십시오.
• [SPARK-43590] [SC-132012][CONNECT] 모듈을 사용하여 mima 검사를 connect-jvm-client-mima-check 지원하도록 만들기 protobuf
• [SPARK-43315] [13.x][CONNECT][PYTHON][SS] DataFrame에서 남은 오류 마이그레이션(읽기 권한자|기록기)를 오류 클래스로
• [SPARK-43361] [SC-130980][PROTOBUF] spark-protobuf: 열거형을 ints로 사용하여 serde 허용
• [SPARK-43789] [SC-132397][R] 기본적으로 화살표가 있는 R createDataFrame에서 'spark.sql.execution.arrow.maxRecordsPerBatch'를 사용합니다.
• [SPARK-43596] [SC-126994][SQL] rewriteDomainJoins에서 IsNull 조건자 처리
• [SPARK-42249] [SC-122565][SQL] 오류 메시지의 설명서에 대한 html 링크를 구체화합니다.
• [SPARK-43128] [SC-131628][CONNECT][SS] recentProgress 네이티브 Scala Api와 일치하고 lastProgress 반환 StreamingQueryProgress
• [SPARK-43387] [SC-130448][SQL] _LEGACY_ERROR_TEMP_1168 대한 사람이 읽을 수 있는 오류 코드를 제공합니다.
• [SPARK-43334] [SC-132358] [UI] ExecutorPeakMetricsDistributions를 API 응답으로 serialize하는 동안 오류 수정
• [SPARK-42958] [SC-131475][CONNECT] avro 모듈을 사용하여 mima 검사를 지원하도록 리팩터링 connect-jvm-client-mima-check
• [SPARK-43591] [SC-131977][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_0013 이름 할당
• [SPARK-38464] [SC-132211][CORE] org.apache.spark.io 오류 클래스 사용
• [SPARK-43759] [SC-132189][SQL][PYTHON] pyspark.sql.types에서 TimestampNTZType 노출
• [SPARK-43649] [SC-132036][SPARK-43650][SPARK-43651][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_240 이름 할당[1-3]
• [SPARK-43719] [SC-132016][WEBUI] 핸들 missing row.excludedInStages 필드
• [SPARK-42956] [SC-127257][CONNECT] Scala 클라이언트에 대한 avro 함수 지원
• [SPARK-43487] [SC-131975][SQL] 중첩된 CTE 오류 메시지 수정
• [SPARK-43265] [SC-129653] 오류 프레임워크를 공통 유틸리티 모듈로 이동
• [SPARK-40912] [SC-131547][CORE]KryoDeserializationStream의 예외 오버헤드
• [SPARK-43583] [SC-131976][CORE] get 대리자에서 MergedBlockedMetaReqHandler로 변경하여 SaslRpcHandler 인스턴스를 대체하다
• [SPARK-42996] [SC-131997][CONNECT][PS][ML] 실패한 모든 테스트에 적절한 JIRA 티켓을 만들고 할당합니다.
• [SPARK-38469] [SC-131425][CORE] org.apache.spark.network에서 오류 클래스 사용
• [SPARK-43718] [SC-132014][SQL] USING 조인의 키에 대해 null을 올바르게 Set
• [SPARK-43502] [SC-131419][PYTHON][CONNECT] DataFrame.drop 빈 column 수락해야 합니다.
• [SPARK-43743] [SC-132038][SQL] 포트 HIVE-12188(DoA가 비 kerberos 보안 HS2에서 제대로 작동하지 않음)
• [SPARK-43598] [SC-131929][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2400 이름 할당
• [SPARK-43138] [SC-131031][CORE] 마이그레이션 중에 ClassNotFoundException 수정
• [SPARK-43360] [SC-131526][SS][CONNECT] Scala 클라이언트 StreamingQueryManager
• [SPARK-38467] [SC-131025][CORE] org.apache.spark.memory에서 오류 클래스 사용
• [SPARK-43345] [SC-131790][SPARK-43346][SQL] 오류 클래스 LEGACY_ERROR_TEMP 이름 바꾸기[0041|1206]
• [SPARK-42815] [SC-126450][SQL] 하위 식 제거 지원 바로 가기 식
• [SPARK-38462] [SC-130449][CORE] 오류 클래스 INTERNAL_ERROR_EXECUTOR 추가
• [SPARK-43589] [SC-131798][SQL] 사용할 수정 cannotBroadcastTableOverMaxTableBytesErrorbytesToString
• [SPARK-43539] [SC-131830][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_0003 이름 할당
• [SPARK-43157] [SC-131688][SQL] 복제된 계획이 동일한 개체를 참조하지 못하도록 InMemoryRelation 캐시된 계획 복제
• [SPARK-43309] [SC-129746][SPARK-38461][CORE] 범주를 사용하여 INTERNAL_ERROR 확장하고 오류 클래스 INTERNAL_ERROR_BROADCAST 추가
• [SPARK-43281] [SC-131370][SQL] 동시 작성기가 파일 메트릭을 update 수집하지 않습니다.
• [SPARK-43383] [SC-130660][SQL] LocalRelation에 통계 추가 rowCount
• [SPARK-43574] [SC-131739][PYTHON][SQL] 런타임 동안 작업자에서 UDF 및 pandas 함수 API에 대한 Python 실행 파일을 set 지원
• [SPARK-43569] [SC-131694][SQL] HADOOP-14067에 대한 Remove 해결 방법
• [SPARK-43183] [SC-128938][SS][13.x] StreamingQueryListener에 새 콜백 "onQueryIdle" 소개
• [SPARK-43528] [SC-131531][SQL][PYTHON] pandas DataFrame을 사용하여 createDataFrame에서 중복된 필드 이름 지원
• [SPARK-43548] [SC-131686][SS] HADOOP-16255에 대한 Remove 해결 방법
• [SPARK-43494] [SC-131272][CORE] 에서 리플렉션 대신 직접 호출 replicate()HdfsDataOutputStreamBuilderSparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][CORE] 누락된 hadoopProperties 및 metricsProperties 처리
• [SPARK-42899] [SC-126456][SQL] nullable 필드에 nullable 중첩 필드가 where 대/소문자를 처리하도록 DataFrame.to(schema) 수정
• [SPARK-43302] [SC-129747][SQL] Python UDAF를 AggregateFunction으로 만들기
• [SPARK-43223] [SC-131270][연결] 형식화된 agg, reduce 함수, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][SS] 예외에 있는 경우 Error 클래스를 포함하도록 QueryTerminatedEvent를 확장합니다.
• [SPARK-43359] [SC-131463][SQL] Hive table에서 삭제 작업은 “UNSUPPORTED_FEATURE.TABLE_OPERATION” 오류를 발생해야 합니다.
• [SPARK-43284] [SC-130313] URL로 인코딩된 문자열로 다시 전환
• [SPARK-43492] [SC-131227][SQL] 3-args 함수 별칭 추가 및 DATE_ADDDATE_DIFF
• [SPARK-43473] [SC-131372][PYTHON] pandas DataFrame에서 createDataFrame의 구조체 형식 지원
• [SPARK-43386] [SC-131110][SQL] UNRESOLVED_COLUMN.WITH_SUGGESTION 오류 클래스에서 제안된 column/attributes의 list 개선
• [SPARK-43443] [SC-131332][SQL] 잘못된 값을 사용할 때 타임스탬프 형식 유추에 대한 벤치마크 추가
• [SPARK-43518] [SC-131420][SQL] INTERNAL_ERROR 변환 _LEGACY_ERROR_TEMP_2029
• [SPARK-42604] [SC-130648][CONNECT] functions.typedlit 구현
• [SPARK-42323] [ES-669513] 되돌리기 "[SC-123479][SQL] "에 _LEGACY_ERROR_TEMP_2332이름 할당
• [SPARK-43357] [SC-130649][SQL] 필터 날짜 유형 따옴표 날짜
• [SPARK-43410] [SC-130526][SQL] Packed skipValues에 대한 벡터화된 루프 개선
• [SPARK-43441] [SC-130995][CORE] makeDotNode DeterministicLevel이 없을 때 실패하지 않아야 합니다.
• [SPARK-43324] [SC-130455][SQL] 델타 기반 원본에 대한 UPDATE 명령 처리
• [SPARK-43272] [SC-131168][CORE] 리플렉션 대신 직접 호출 createFile
• [SPARK-43296] [13.x][SC-130627][CONNECT][PYTHON] Spark Connect 세션 오류를 오류 클래스로 마이그레이션
• [SPARK-43405] [SC-130987][SQL] Remove 쓸모없는 getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL 메서드
• [SPARK-43447] [SC-131017][R] R 4.3.0 지원
• [SPARK-43425] [SC-130981][SQL] 에 추가 TimestampNTZTypeColumnarBatchRow
• [SPARK-41532] [SC-130523][CONNECT][클라이언트] 여러 데이터 프레임을 포함하는 작업에 대한 확인 추가
• [SPARK-43262] [SC-129270][CONNECT][SS][PYTHON] Spark Connect 구조적 스트리밍 오류를 오류 클래스로 마이그레이션
• [SPARK-42992] [13.x][SC-129465][PYTHON] PySparkRuntimeError 소개
• [SPARK-43422] [SC-130982][SQL] 메타데이터 출력을 사용하여 LogicalRelation에 태그 유지
• [SPARK-43390] [SC-130646][SQL] DSv2를 사용하면 CTAS/RTAS에서 schema null 허용을 예약할 수 있습니다.
• [SPARK-43430] [SC-130989][CONNECT][PROTO] ExecutePlanRequest는 임의의 요청 옵션을 지원합니다.
• [SPARK-43313] [SC-130254][SQL] MERGE INSERT 작업에 누락된 column 기본 values 추가
• [SPARK-42842] [SC-130438][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2006 REGEX_GROUP_INDEX 병합
• [SPARK-43377] [SC-130405][SQL] 기본적으로 사용 spark.sql.thriftServer.interruptOnCancel
• [SPARK-43292] [SC-130525][CORE][CONNECT] 모듈로 ExecutorClassLoader 이동하고 core 단순화Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][SQL] JDBC 데이터 원본에서 TimestampNTZ 형식 지원 개선
• [SPARK-43343] [SC-130629][SS] DataSource를 만들 때 FileStreamSource에서 추가 파일 glob 검사를 사용하지 않도록 설정해야 함
• [SPARK-43312] [SC-130294][PROTOBUF] 모든 필드를 JSON으로 변환하는 옵션
• [SPARK-43404] [SC-130586][SS] ID 불일치 오류를 방지하려면 동일한 버전의 RocksDB 상태 저장소에 sst 파일 재사용 건너뛰기
• [SPARK-43397] [SC-130614][CORE] 메서드의 executorLost 로그 실행기 서비스 해제 기간
• [SPARK-42388] [SC-128568][SQL] 벡터화된 판독기에서 parquet 바닥글 읽기를 두 번 사용하지 않도록 방지
• [SPARK-43306] [13.x][SC-130320][PYTHON] Spark SQL 형식에서 오류 클래스로 ValueError 마이그레이션
• [SPARK-43337] [SC-130353][UI][3.4] column 정렬하기 위한 Asc/desc 화살표 아이콘이 tablecolumnget 표시되지 않습니다.
• [SPARK-43279] [SC-130351][CORE] 에서 사용하지 않는 멤버 정리 SparkHadoopUtil
• [SPARK-43250] [SC-130147][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2014 를 내부 오류로 바꾸기
• [SPARK-43363] [SC-130299][SQL][PYTHON] 화살표 형식이 제공되지 않은 경우에만 범주 형식을 호출 astype 합니다.
• [SPARK-43261] [SC-130154][PYTHON] Spark SQL 형식에서 오류 클래스로 마이그레이션 TypeError
• [SPARK-41971] [SC-130230][SQL][PYTHON] 구조체 형식을 처리하는 방법을 pandas 변환에 대한 구성 추가
• [SPARK-43381] [SC-130464][CONNECT] 'transformStatCov' 지연 만들기
• [SPARK-43362] [SC-130481][SQL] MySQL 커넥터에 대한 JSON 유형의 특수 처리
• [SPARK-42843] [SC-130196][SQL] 오류 클래스 _LEGACY_ERROR_TEMP_2007 Update REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][CONNECT] 로컬 관계 스트리밍
• [SPARK-43181] [SC-130476][SQL] 셸에 spark-sql UI WebURL 표시
• [SPARK-43051] [SC-130194][CONNECT] 기본 values 내보내는 옵션 추가
• [SPARK-43204] [SC-129296][SQL] MERGE 할당을 table 특성과 일치시키기
• [SPARK-43348] [SC-130082][PYTHON] PyPy3의 지원 Python 3.8
• [SPARK-42845] [SC-130078][SQL] Update 오류 클래스를 _LEGACY_ERROR_TEMP_2010에서 InternalError로 변경
• [SPARK-43211] [SC-128978][HIVE] Remove IsolatedClientLoader의 Hadoop2 지원

시스템 환경

• 운영 체제: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2023-02-10에 Microsoft CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)