Databricks Runtime 12.1(EoS)

다음 릴리스 정보는 Apache Spark 3.3.1에서 제공하는 Databricks Runtime 12.1에 대한 정보를 제공합니다.

Databricks는 2023년 1월에 이 버전을 릴리스했습니다.

새로운 기능 및 향상 기능

• 프로토콜 관리에 지원되는 Delta Lake 테이블 기능
• 업데이트에 대한 예측 I/O는 공개 미리 보기로 제공됩니다.
• 이제 카탈로그 탐색기를 모든 가상 사용자가 사용할 수 있습니다.
• 단일 스트리밍 쿼리에서 여러 상태 저장 연산자 지원
• 프로토콜 버퍼에 대한 지원은 공개 미리 보기로 제공됩니다.
• Confluent 스키마 레지스트리 인증 지원
• Delta Sharing을 통한 테이블 기록 공유 지원
• 델타 공유 공유를 사용한 스트리밍 지원
• 이제 카탈로그의 델타 공유 테이블에 대해 타임스탬프를 사용하는 테이블 버전이 지원됩니다.
• 소스와 일치하지 않는 경우에 대한 MERGE INTO 지원
• CONVERT TO DELTA 대한 최적화된 통계 수집
• 테이블 드로핑 해제에 대한 Unity 카탈로그 지원

프로토콜 관리에 지원되는 Delta Lake 테이블 기능

Azure Databricks는 지정된 테이블에서 지원하는 기능을 지정하는 세분화된 플래그를 도입하는 Delta Lake 테이블 기능에 대한 지원을 도입했습니다. Azure Databricks에서 Delta Lake 기능 호환성을 관리하는 방법을 참조하세요.

업데이트에 대한 예측 I/O는 공개 미리 보기로 제공됩니다.

이제 예측 I/O가 DELETE, MERGE, UPDATE 작업을 가속화하며, 이는 Photon 사용 컴퓨팅에서 삭제 벡터가 활성화된 델타 테이블에 대한 것입니다. 예측 I/O란?을 참조하세요.

이제 카탈로그 탐색기를 모든 가상 사용자가 사용할 수 있습니다.

이제 Databricks Runtime 7.3 LTS 이상을 사용할 때 모든 Azure Databricks 가상 사용자가 카탈로그 탐색기를 사용할 수 있습니다.

단일 스트리밍 쿼리에서 여러 상태 저장 연산자 지원

이제 사용자는 스트리밍 쿼리에서 상태 저장 연산자를 추가 모드로 연결할 수 있습니다. 모든 연산자가 완전히 지원되는 것은 아닙니다. 스트림 간 시간 간격 조인은 다른 상태 저장 연산자를 연결할 수 없습니다. flatMapGroupsWithState

프로토콜 버퍼에 대한 지원은 공개 미리 보기로 제공됩니다.

from_protobuf 및 to_protobuf 함수를 사용하여 이진 형식과 구조체 형식 간에 데이터를 교환할 수 있습니다. 읽기 및 쓰기 프로토콜 버퍼를 참조하세요.

Confluent 스키마 레지스트리 인증 지원

Confluent 스키마 레지스트리와 Azure Databricks 통합은 이제 인증을 사용하여 외부 스키마 레지스트리 주소를 지원합니다. 이 기능은 from_avro, to_avro, from_protobuf, to_protobuf 함수에 사용할 수 있습니다. Protobuf 또는 Avro를 참조하세요.

델타 공유 공유를 사용하여 테이블 기록 공유 지원

이제 델타 공유를 사용하여 전체 기록으로 테이블을 공유할 수 있으므로 받는 사람이 Spark 구조적 스트리밍을 사용하여 시간 이동 쿼리를 수행하고 테이블을 쿼리할 수 있습니다. WITH HISTORY가 CHANGE DATA FEED 대신 권장되지만, 후자는 계속 지원됩니다. ALTER SHARE 및 에서 공유에 테이블을 추가하는 방법을 참조하세요.

델타 공유 공유를 사용한 스트리밍 지원

이제 Spark 구조적 스트리밍은 WITH HISTORY을 사용하여 공유된 원본 델타 공유 테이블의 형식 deltasharing으로 작동합니다.

이제 카탈로그의 델타 공유 테이블에 대해 타임스탬프를 사용하는 테이블 버전이 지원됩니다.

이제 TIMESTAMP AS OF 문에서 SELECT SQL 구문을 사용하여 카탈로그에 탑재된 델타 공유 테이블의 버전을 지정할 수 있습니다. 를 사용하여 WITH HISTORY테이블을 공유해야 합니다.

WHEN NOT MATCHED BY SOURCE에 대한 MERGE INTO 지원

이제 WHEN NOT MATCHED BY SOURCE에 MERGE INTO 절을 추가하여 병합 조건에 따라 원본 테이블에 일치하는 항목이 없는 선택한 테이블의 행을 업데이트하거나 삭제할 수 있습니다. 새 절은 SQL, Python, Scala, Java에서 사용할 수 있습니다. MERGE INTO참조하세요.

최적화된 CONVERT TO DELTA 통계 수집

이제 작업에 대한 CONVERT TO DELTA 통계 수집이 훨씬 빨라집니다. 이렇게 하면 효율성을 위해 사용할 NO STATISTICS 수 있는 워크로드 수가 줄어듭니다.

테이블 드로핑 해제에 대한 Unity 카탈로그 지원

이 기능은 처음에 공개 미리 보기로 릴리스되었습니다. 2023년 10월 25일 현재 GA입니다.

이제 삭제 후 7일 이내에 기존 스키마에서 삭제된 관리 테이블 또는 외부 테이블을 삭제할 수 있습니다. UNDROP 및 SHOW TABLES DROPPED참조하세요.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
  • filelock 3.8.0에서 3.8.2로
  • platformdirs 2.5.4에서 2.6.0으로
  • setuptools 58.0.4에서 61.2.0으로
• 업그레이드된 R 라이브러리:
• 업그레이드된 Java 라이브러리
  • io.delta.delta-sharing-spark_2.12 0.5.2에서 0.6.2로
  • org.apache.hive.hive-storage-api 2.7.2에서 2.8.1로
  • org.apache.parquet.parquet-column을 1.12.3-databricks-0001에서 1.12.3-databricks-0002로
  • org.apache.parquet.parquet-common을 1.12.3-databricks-0001에서 1.12.3-databricks-0002로
  • org.apache.parquet.parquet-encoding을 1.12.3-databricks-0001에서 1.12.3-databricks-0002로
  • org.apache.parquet.parquet-format-structures를 1.12.3-databricks-0001에서 1.12.3-databricks-0002로 변경합니다.
  • org.apache.parquet.parquet-hadoop을 1.12.3-databricks-0001에서 1.12.3-databricks-0002로
  • org.apache.parquet.parquet-jackson을 1.12.3-databricks-0001에서 1.12.3-databricks-0002로 업데이트합니다.
  • org.tukaani.xz를 1.8에서 1.9로

Apache Spark

Databricks Runtime 12.1에는 Apache Spark 3.3.1이 포함됩니다. 이 릴리스에는 Databricks Runtime 12.0(EoS)에 포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-41405] [SC-119769][12.1.0] Revert “[SC-119411][sql] 열 확인 논리를 중앙화” 및 “[SC-117170][spark-41338][SQL] 외부 참조 및 일반 열을 동일한 분석기 배치 내에서 해결”
• [SPARK-41405] [SC-119411][sql] 열 확인 논리 중앙화
• [SPARK-41859] [SC-119514][sql] CreateHiveTableAsSelectCommand가 덮어쓰기 플래그를 올바르게 설정해야 합니다.
• [SPARK-41659] [SC-119526][connect][12.X] pyspark.sql.connect.readwriter에서 doctests를 활성화
• [SPARK-41858] [SC-119427][sql] 기본값 기능으로 인한 ORC 판독기 성능 회귀 수정
• [SPARK-41807] [SC-119399][core] 존재하지 않는 오류 클래스 제거: UNSUPPORTED_FEATURE.DISTRIBUTE_BY
• [SPARK-41578] [12.x][sc-119273][SQL] _LEGACY_ERROR_TEMP_2141에 이름 할당
• [SPARK-41571] [SC-119362][sql] _LEGACY_ERROR_TEMP_2310에 이름 할당
• [SPARK-41810] [SC-119373][connect] SparkSession.createDataFrame의 사전 목록에서 이름을 유추합니다.
• [SPARK-40993] [SC-119504][spark-41705][CONNECT][12.x] Spark Connect 설명서 및 스크립트를 개발/Python 설명서로 이동
• [SPARK-41534] [SC-119456][connect][SQL][12.x] Spark Connect에 대한 초기 클라이언트 모듈 설정
• [SPARK-41365] [SC-118498][ui][3.3] 단계 UI 페이지가 특정 원사 환경에서 프록시에 대해 로드되지 않음
• [SPARK-41481] [SC-118150][core][SQL] _LEGACY_ERROR_TEMP_0020 대신 INVALID_TYPED_LITERAL 다시 사용
• [SPARK-41049] [SC-119305][sql] 상태 저장 식 처리를 재검토합니다.
• [SPARK-41726] [SC-119248][sql] OptimizedCreateHiveTableAsSelectCommand 제거
• [SPARK-41271] [SC-118648][sc-118348][SQL] sql() 매개 변수가 있는 SQL 쿼리 지원
• [SPARK-41066] [SC-119344][connect][PYTHON] DataFrame.sampleBy 구현 및 DataFrame.stat.sampleBy
• [SPARK-41407] [SC-119402][sc-119012][SQL][모든 테스트] WriteFiles에 v1 쓰기 끌어오기
• [SPARK-41565] [SC-118868][sql] 오류 클래스 UNRESOLVED_ROUTINE
• [SPARK-41668] [SC-118925][sql] DECODE 함수는 NULL을 전달하면 잘못된 결과를 반환합니다.
• [SPARK-41554] [SC-119274] 크기가 m씩 감소할 때 소수 자릿수 변경 수정...
• [SPARK-41065] [SC-119324][connect][PYTHON] DataFrame.freqItems 및 DataFrame.stat.freqItems 구현하기
• [SPARK-41742] [SC-119404][spark-41745][CONNECT][12.x] 문서 테스트를 재활성화하고 누락된 열 별칭을 count()에 추가
• [SPARK-41069] [SC-119310][connect][PYTHON] DataFrame.approxQuantile 및 DataFrame.stat.approxQuantile 구현
• [SPARK-41809] [SC-119367][connect][PYTHON] 함수 from_json가 DataType 스키마를 지원하도록 합니다.
• [SPARK-41804] [SC-119382][sql] UDT 배열에 대해 InterpretedUnsafeProjection 올바른 요소 크기 선택
• [SPARK-41786] [SC-119308][connect][PYTHON] 중복 제거 도우미 함수
• [SPARK-41745] [SC-119378][spark-41789][12.X] 행의 createDataFrame 지원 목록 만들기
• [SPARK-41344] [SC-119217][sql] SupportsCatalogOptions 카탈로그에서 테이블을 찾을 수 없는 경우 오류를 더 명확하게 만듭니다.
• [SPARK-41803] [SC-119380][connect][PYTHON] 누락 함수 log(arg1, arg2) 추가
• [SPARK-41808] [SC-119356][connect][PYTHON] JSON 함수 지원 옵션 만들기
• [SPARK-41779] [SC-119275][spark-41771][CONNECT][python] __getitem__가 필터와 선택을 지원하도록 구현하기
• [SPARK-41783] [SC-119288][spark-41770][CONNECT][python] 열 연산에 None 지원 추가
• [SPARK-41440] [SC-119279][connect][PYTHON] 일반 샘플에 대한 캐시 연산자를 피합니다.
• [SPARK-41785] [SC-119290][connect][PYTHON] GroupedData.mean 구현 사항
• [SPARK-41629] [SC-119276][connect] 관계 및 식의 프로토콜 확장 지원
• [SPARK-41417] [SC-118000][core][SQL] _LEGACY_ERROR_TEMP_0019 이름을 INVALID_TYPED_LITERAL로 변경.
• [SPARK-41533] [SC-119342][connect][12.X] Spark Connect Server/Client에 대한 적절한 오류 처리
• [SPARK-41292] [SC-119357][connect][12.X] pyspark.sql.window 네임스페이스의 지원 창
• [SPARK-41493] [SC-119339][connect][PYTHON] csv 함수 지원 옵션 만들기
• [SPARK-39591] [SC-118675][ss] 비동기 진행률 추적
• [SPARK-41767] [SC-119337][connect][PYTHON][12.x] Column.{withField, dropFields} 구현
• [SPARK-41068] [SC-119268][connect][PYTHON] 구현 DataFrame.stat.corr
• [SPARK-41655] [SC-119323][connect][12.X] pyspark.sql.connect.column에서 doctests(문서 테스트)를 사용 가능하게 함
• [SPARK-41738] [SC-119170][connect] SparkSession 캐시에서 ClientId 혼합
• [SPARK-41354] [SC-119194][connect] proto에 RepartitionByExpression 추가
• [SPARK-41784] [SC-119289][connect][PYTHON] 열에 누락된 __rmod__ 추가
• [SPARK-41778] [SC-119262][sql] ArrayAggregate에 별칭 "reduce" 추가
• [SPARK-41067] [SC-119171][connect][PYTHON] DataFrame.stat.cov 구현 시작
• [SPARK-41764] [SC-119216][connect][PYTHON] 내부 문자열 op 이름을 FunctionRegistry와 일치하게 만듭니다.
• [SPARK-41734] [SC-119160][연결] 카탈로그에 대한 부모 메시지 추가
• [SPARK-41742] [SC-119263] df.groupBy().agg({"*":"count"}) 기능 지원
• ko-KR: [SPARK-41761] [SC-119213][connect][PYTHON] 산술 연산 수정하기: __neg__, __pow__, __rpow__
• [SPARK-41062] [SC-118182][sql] UNSUPPORTED_CORRELATED_REFERENCE을(를) CORRELATED_REFERENCE(으)로 이름 변경
• [SPARK-41751] [SC-119211][connect][PYTHON] Column.{isNull, isNotNull, eqNullSafe} 수정
• [SPARK-41728] [SC-119164][connect][PYTHON][12.x] unwrap_udt 함수 구현
• [SPARK-41333] [SC-119195][spark-41737] 구현 GroupedData.{min, max, avg, sum}
• [SPARK-41751] [SC-119206][connect][PYTHON] 수정 Column.{bitwiseAND, bitwiseOR, bitwiseXOR}
• [SPARK-41631] [SC-101081][sql] Aggregate에서 암시적 횡적 열 별칭 확인 지원
• [SPARK-41529] [SC-119207][connect][12.X] SparkSession.stop 구현
• [SPARK-41729] [SC-119205][core][SQL][12.x] _LEGACY_ERROR_TEMP_0011를 UNSUPPORTED_FEATURE.COMBINATION_QUERY_RESULT_CLAUSES로 변경
• [SPARK-41717] [SC-119078][connect][12.X] LogicalPlan의 중복 제거 인쇄 및 repr_html
• [SPARK-41740] [SC-119169][connect][PYTHON] 구현 Column.name
• [SPARK-41733] [SC-119163][sql][SS] ResolveWindowTime 규칙에 대한 트리 패턴 기반 정리 적용
• [SPARK-41732] [SC-119157][sql][SS] SessionWindowing 규칙에 트리 패턴 기반 정리 적용
• [SPARK-41498] [SC-119018] Union을 통해 메타데이터 전파
• [SPARK-41731] [SC-119166][connect][PYTHON][12.x] 열 접근자 구현
• [SPARK-41736] [SC-119161][connect][PYTHON] pyspark_types_to_proto_typesArrayType 지원해야 합니다.
• [SPARK-41473] [SC-119092][connect][PYTHON] format_number 함수 구현
• [SPARK-41707] [SC-119141][connect][12.X] Spark Connect에서 카탈로그 API 구현
• [SPARK-41710] [SC-119062][connect][PYTHON] 구현 Column.between
• [SPARK-41235] [SC-119088][sql][PYTHON]고차 함수: array_compact 구현
• [SPARK-41518] [SC-118453][sql] 오류 클래스에 이름 지정하기 _LEGACY_ERROR_TEMP_2422
• [SPARK-41723] [SC-119091][connect][PYTHON] sequence 함수 구현
• [SPARK-41703] [SC-119060][connect][PYTHON] NullType 및 typed_null을 리터럴에 결합
• [SPARK-41722] [SC-119090][connect][PYTHON] 누락된 시간 창 함수 3개 구현
• [SPARK-41503] [SC-119043][connect][PYTHON] 파티션 변환 함수 구현
• [SPARK-41413] [SC-118968][sql] 파티션 키가 일치하지 않지만 조인 식이 호환되는 경우 Storage-Partitioned 조인에서 순서 섞기 방지
• [SPARK-41700] [SC-119046][connect][PYTHON] 을 제거 FunctionBuilder
• [SPARK-41706] [SC-119094][connect][PYTHON] pyspark_types_to_proto_typesMapType 지원해야 합니다.
• [SPARK-41702] [SC-119049][connect][PYTHON] 유효하지 않은 열 작업 추가
• [SPARK-41660] [SC-118866][sql] 사용되는 경우에만 메타데이터 열을 전파
• [SPARK-41637] [SC-119003][sql] ORDER BY ALL
• [SPARK-41513] [SC-118945][sql] 각 매퍼의 행 개수 메트릭을 수집할 누적기를 구현하기
• [SPARK-41647] [SC-119064][connect][12.X] pyspark.sql.connect.functions의 문서 문자열 중복 제거
• [SPARK-41701] [SC-119048][connect][PYTHON] 열 작업을 지원하도록 만들기 decimal
• [SPARK-41383] [SC-119015][spark-41692][SPARK-41693] rollup, cube 및 pivot 구현
• [SPARK-41635] [SC-118944][sql] GROUP BY ALL
• [SPARK-41645] [SC-119057][connect][12.X] pyspark.sql.connect.dataframe에서 문서 문자열 중복 제거
• [SPARK-41688] [SC-118951][connect][PYTHON] 식을 expressions.py로 이동
• [SPARK-41687] [SC-118949][connect] pyspark.sql.connect.group의 docstring 중복 제거
• [SPARK-41649] [SC-118950][connect] pyspark.sql.connect.window의 도큐먼트 문자열 중복 제거
• [SPARK-41681] [SC-118939][connect] GroupedData를 group.py로 분리하기
• [SPARK-41292] [SC-119038][spark-41640][SPARK-41641][connect][PYTHON][12.x] Window 함수 구현
• [SPARK-41675] [SC-119031][sc-118934][CONNECT][python][12.X] 열 작업 지원 datetime
• [SPARK-41672] [SC-118929][connect][PYTHON] 사용되지 않는 함수 사용
• [SPARK-41673] [SC-118932][connect][PYTHON] Column.astype 구현
• [SPARK-41364] [SC-118865][connect][PYTHON] broadcast 함수 구현
• [SPARK-41648] [SC-118914][connect][12.X] pyspark.sql.connect.readwriter에서 문서 문자열 중복 제거
• [SPARK-41646] [SC-118915][connect][12.X] pyspark.sql.connect.session의 문서 문자열 중복 제거
• [SPARK-41643] [SC-118862][connect][12.X] pyspark.sql.connect.column의 문서 문자열 중복 제거
• [SPARK-41663] [SC-118936][connect][PYTHON][12.x] 나머지 람다 함수 구현
• [SPARK-41441] [SC-118557][sql] 외부 참조를 호스트하는 데 필요한 자식 출력 없이 생성 지원
• [SPARK-41669] [SC-118923][sql] canCollapseExpressions의 초기 정리
• [SPARK-41639] [SC-118927][sql][PROTOBUF] : SchemaConverters에서 ScalaReflectionLock 제거
• [SPARK-41464] [SC-118861][connect][PYTHON]를 구현 DataFrame.to
• [SPARK-41434] [SC-118857][connect][PYTHON] 초기 LambdaFunction 구현
• [SPARK-41539] [SC-118802][sql] LogicalRDD에 대한 논리 계획(Logical Plan)의 출력에 통계 및 제약 조건을 다시 매핑하기.
• [SPARK-41396] [SC-118786][sql][PROTOBUF] OneOf 필드 지원 및 재귀 검사
• [SPARK-41528] [SC-118769][connect][12.X] Spark Connect 및 PySpark API의 병합 네임스페이스
• [SPARK-41568] [SC-118715][sql] _LEGACY_ERROR_TEMP_1236에 이름 할당
• [SPARK-41440] [SC-118788][connect][PYTHON] 구현 DataFrame.randomSplit
• [SPARK-41583] [SC-118718][sc-118642][CONNECT][protobuf] 종속성을 지정하여 spark Connect 및 protobuf를 setup.py 추가
• [SPARK-27561] [SC-101081][12.x][SQL] Project에서 암시적 횡적 열 별칭 확인 지원
• [SPARK-41535] [SC-118645][sql] InterpretedUnsafeProjection 및 InterpretedMutableProjection 달력 간격 필드에 대해 null을 올바르게 설정합니다.
• [SPARK-40687] [SC-118439][sql] 데이터 마스킹 기본 제공 함수 'mask' 지원
• [SPARK-41520] [SC-118440][sql] AND_OR 트리 패턴을 각각 AND 트리 패턴과 OR 트리 패턴으로 분리하기.
• [SPARK-41349] [SC-118668][connect][PYTHON] DataFrame.hint 구현
• [SPARK-41546] [SC-118541][connect][PYTHON] pyspark_types_to_proto_types StructType을 지원해야 합니다.
• [SPARK-41334] [SC-118549][connect][PYTHON] SortOrder 프로토(proto)를 관계에서 식으로 이동
• [SPARK-41387] [SC-118450][ss] Trigger.AvailableNow에 대한 Kafka 데이터 원본에서 현재 끝 오프셋을 확인
• [SPARK-41508] [SC-118445][core][SQL] _LEGACY_ERROR_TEMP_1180을 UNEXPECTED_INPUT_TYPE로 이름을 변경하고 _LEGACY_ERROR_TEMP_1179를 제거합니다.
• [SPARK-41319] [SC-118441][connect][PYTHON] 열 구현 {when, 그렇지 않으면} 및 function whenUnresolvedFunction
• [SPARK-41541] [SC-118460][sql] SQLShuffleWriteMetricsReporter.decRecordsWritten()에서 잘못된 자식 메서드 호출 수정
• [SPARK-41453] [SC-118458][connect][PYTHON] 구현 DataFrame.subtract
• [SPARK-41248] [SC-118436][sc-118303][SQL] "spark.sql.json.enablePartialResults"를 추가하여 JSON 부분 결과를 사용하거나 사용하지 않도록 설정합니다.
• [SPARK-41437] "[SC-117601][sql] v1 쓰기 대체를 위해 입력 쿼리를 두 번 최적화하지 마십시오" 되돌리기
• [SPARK-41472] [SC-118352][connect][PYTHON] 나머지 문자열/이진 함수 구현
• [SPARK-41526] [SC-118355][connect][PYTHON] Column.isin을 구현하다
• [SPARK-32170] [SC-118384] [CORE] 단계 작업 메트릭을 통해 추측을 개선합니다.
• [SPARK-41524] [SC-118399][ss] RocksDBConf에서의 사용을 위해 StateStoreConf 내 SQLConf와 extraOptions 구별
• [SPARK-41465] [SC-118381][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_1235
• [SPARK-41511] [SC-118365][sql] LongToUnsafeRowMap 지원 중복 키 무시
• [SPARK-41409] [SC-118302][core][SQL] _LEGACY_ERROR_TEMP_1043의 이름을 WRONG_NUM_ARGS.WITHOUT_SUGGESTION으로 변경합니다.
• [SPARK-41438] [SC-118344][connect][PYTHON] 구현 DataFrame.colRegex
• [SPARK-41437] [SC-117601][sql] v1 쓰기 대체를 위해 입력 쿼리를 두 번 최적화하지 마세요.
• [SPARK-41314] [SC-117172][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_1094
• [SPARK-41443] [SC-118004][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_1061
• [SPARK-41506] [SC-118241][connect][PYTHON] DataType을 지원하도록 LiteralExpression을 리팩토링하기
• [SPARK-41448] [SC-118046] FileBatchWriter 및 FileFormatWriter에서 일관된 MR 작업 ID 만들기
• [SPARK-41456] [SC-117970][sql] try_cast의 성능을 향상시킵니다.
• [SPARK-41495] [SC-118125][connect][PYTHON] collection 함수 구현: P~Z
• [SPARK-41478] [SC-118167][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_1234
• [SPARK-41406] [SC-118161][sql] 오류 메시지를 NUM_COLUMNS_MISMATCH 위해 리팩터링하여 더 일반화되도록 합니다.
• [SPARK-41404] [SC-118016][sql] ColumnVectorUtils#toBatch 리팩터링하여 ColumnarBatchSuite#testRandomRows 테스트에 더 원시적인 dataType을 만듭니다.
• [SPARK-41468] [SC-118044][sql] EquivalentExpressions에서 PlanExpression 처리 수정
• [SPARK-40775] [SC-118045][sql] V2 파일 검색에 대한 중복 설명 항목 수정
• [SPARK-41492] [SC-118042][connect][PYTHON] MISC 함수 구현
• [SPARK-41459] [SC-118005][sql] thrift 서버의 작업 로그 출력이 비어 있습니다.
• [SPARK-41395] [SC-117899][sql] InterpretedMutableProjectionsetDecimal 사용하여 안전하지 않은 행의 10진수에 null 값을 설정해야 합니다.
• [SPARK-41376] [SC-117840][core][3.3] 실행기 시작 시 Netty preferDirectBufs 확인 논리 수정
• [SPARK-41484] [SC-118159][sc-118036][CONNECT][python][12.x] collection 함수 구현: E~M
• [SPARK-41389] [SC-117426][core][SQL] _LEGACY_ERROR_TEMP_1044 대신 WRONG_NUM_ARGS 다시 사용
• [SPARK-41462] [SC-117920][sql] 날짜 및 타임스탬프 유형을 TimestampNTZ로 변환할 수 있습니다.
• [SPARK-41435] [SC-117810][sql] expressions 비어 있지 않은 경우 curdate() 대한 invalidFunctionArgumentsError 호출하도록 변경
• [SPARK-41187] [SC-118030][core] ExecutorLost 발생 시 AppStatusListener에서 라이브 실행기 메모리 누수
• [SPARK-41360] [SC-118083][core] 실행기가 손실된 경우 BlockManager 다시 등록 방지
• [SPARK-41378] [SC-117686][sql] DS v2의 열 통계 지원
• [SPARK-41402] [SC-117910][sql][CONNECT][12.x] StringDecode의 prettyName 재정의
• [SPARK-41414] [SC-118041][connect][PYTHON][12.x] 날짜/타임스탬프 함수 구현
• [SPARK-41329] [SC-117975][connect] Spark Connect에서 순환 가져오기 해결
• [SPARK-41477] [SC-118025][connect][PYTHON] 리터럴 정수의 데이터 형식을 올바르게 유추합니다.
• [SPARK-41446] [SC-118024][connect][PYTHON][12.x] createDataFrame 지원 스키마 및 더 많은 입력 데이터 세트 형식 만들기
• [SPARK-41475] [SC-117997][connect] lint-scala 명령 오류 및 오타 수정
• [SPARK-38277] [SC-117799][ss] RocksDB 상태 저장소 커밋 후 쓰기 일괄 처리 지우기
• [SPARK-41375] [SC-117801][ss] 빈 최신 KafkaSourceOffset 방지
• [SPARK-41412] [SC-118015][connect] 구현 Column.cast
• [SPARK-41439] [SC-117893][connect][PYTHON] DataFrame.melt 및 DataFrame.unpivot 구현하기
• [SPARK-41399] [SC-118007][sc-117474][CONNECT] 열 관련 테스트를 test_connect_column으로 리팩토링합니다.
• [SPARK-41351] [SC-117957][sc-117412][CONNECT][12.x] Column에서 != 연산자가 지원되어야 합니다.
• [SPARK-40697] [SC-117806][sc-112787][SQL] 외부 데이터 파일을 포괄하기 위한 읽기 측 문자 패딩 추가
• [SPARK-41349] [SC-117594][connect][12.X] DataFrame.hint 구현
• [SPARK-41338] [SC-117170][sql] 동일한 분석기 일괄 처리에서 외부 참조 및 일반 열을 해결
• [SPARK-41436] [SC-117805][connect][PYTHON] collection 함수 구현: A~C
• [SPARK-41445] [SC-117802][connect] DataFrameReader.parquet 구현
• [SPARK-41452] [SC-117865][sql] to_char 형식이 null인 경우 null을 반환해야 합니다.
• [SPARK-41444] [SC-117796][connect] 지원 read.json()
• [SPARK-41398] [SC-117508][sql] 런타임 필터링 후 파티션 키가 일치하지 않는 경우 Storage-Partitioned 조인에 대한 제약 조건 완화
• [SPARK-41228] [SC-117169][sql] 이름 바꾸기 & COLUMN_NOT_IN_GROUP_BY_CLAUSE오류 메시지 개선.
• [SPARK-41381] [SC-117593][connect][PYTHON] count_distinct 및 sum_distinct 함수 구현
• [SPARK-41433] [SC-117596][connect] 최대 화살표 배치 크기 구성 가능
• [SPARK-41397] [SC-117590][connect][PYTHON] 문자열/이진 함수의 일부 구현
• [SPARK-41382] [SC-117588][connect][PYTHON] product 함수 구현
• [SPARK-41403] [SC-117595][connect][PYTHON] DataFrame.describe 구현
• [SPARK-41366] [SC-117580][connect] DF.groupby.agg()가 호환되어야 합니다.
• [SPARK-41369] [SC-117584][연결] 서버의 음영 처리된 jar에 공통 연결 추가
• [SPARK-41411] [SC-117562][ss] 다중 상태 연산자의 워터마크 지원 관련 버그 수정
• [SPARK-41176] [SC-116630][sql] 오류 클래스 _LEGACY_ERROR_TEMP_1042 이름 할당
• [SPARK-41380] [SC-117476][connect][PYTHON][12.x] 집계 함수 구현
• [SPARK-41363] [SC-117470][connect][PYTHON][12.x] 일반 함수 구현
• [SPARK-41305] [SC-117411][connect] 명령 프로토콜에 대한 문서 개선
• [SPARK-41372] [SC-117427][connect][PYTHON] DataFrame TempView 구현
• [SPARK-41379] [SC-117420][ss][PYTHON] PySpark의 foreachBatch 싱크에 대한 사용자 함수의 DataFrame에서 복제된 Spark 세션 제공
• [SPARK-41373] [SC-117405][sql][ERROR] CAST_WITH_FUN_SUGGESTION을 CAST_WITH_FUNC_SUGGESTION으로 이름 변경
• [SPARK-41358] [SC-117417][sql] DataType 대신 PhysicalDataType 사용하도록 ColumnVectorUtils#populate 메서드 리팩터링
• [SPARK-41355] [SC-117423][sql] 하이브 테이블 이름 유효성 검사 문제 해결
• [SPARK-41390] [SC-117429][sql] UDFRegistrationregister 함수를 생성하는 데 사용되는 스크립트를 업데이트합니다.
• [SPARK-41206] [SC-117233][sc-116381][SQL] 오류 클래스 이름을 _LEGACY_ERROR_TEMP_1233에서 COLUMN_ALREADY_EXISTS으로 변경
• [SPARK-41357] [SC-117310][connect][PYTHON][12.x] 수학 함수 구현
• [SPARK-40970] [SC-117308][connect][PYTHON] Join's on 인수에 대한 지원 목록[열]
• [SPARK-41345] [SC-117178][연결] Proto 연결에 힌트 추가
• [SPARK-41226] [SC-117194][sql][12.x] 물리적 형식을 도입하여 Spark 형식 리팩터링
• [SPARK-41317] [SC-116902][connect][PYTHON][12.x] DataFrameWriter에 대한 기본 지원 추가
• [SPARK-41347] [SC-117173][connect] 표현 프로토에 캐스트 추가
• ko-KR: [SPARK-41323] [SC-117128][sql] current_schema 지원
• [SPARK-41339] [SC-117171][sql] 단순히 지우는 대신 RocksDB 쓰기 일괄 처리를 닫고 다시 만듭니다.
• [SPARK-41227] [SC-117165][connect][PYTHON] DataFrame 교차 조인 구현
• [SPARK-41346] [SC-117176][connect][PYTHON] asc 및 desc 함수 구현
• [SPARK-41343] [SC-117166][connect] FunctionName 구문 분석을 서버 쪽으로 이동
• [SPARK-41321] [SC-117163][connect] UnresolvedStar에 대한 지원 대상 필드
• [SPARK-41237] [SC-117167][sql] 오류 클래스 UNSUPPORTED_DATATYPE를 _LEGACY_ERROR_TEMP_0030에 재사용하기
• [SPARK-41309] [SC-116916][sql] _LEGACY_ERROR_TEMP_1093 대신 INVALID_SCHEMA.NON_STRING_LITERAL 다시 사용
• [SPARK-41276] [SC-117136][sql][ML][mllib][PROTOBUF][python][R][ss][AVRO] StructType 생성자 사용 최적화
• [SPARK-41335] [SC-117135][connect][PYTHON] 열의 IsNull 및 IsNotNull 지원
• [SPARK-41332] [SC-117131][connect][PYTHON] nullOrdering 문제를 해결 SortOrder
• [SPARK-41325] [SC-117132][connect][12.X] DF의 GroupBy에 대한 누락된 avg() 문제 수정
• [SPARK-41327] [SC-117137][core] On/OffHeapStorageMemory 정보를 토글하여 SparkStatusTracker.getExecutorInfos를 수정.
• [SPARK-41315] [SC-117129][connect][PYTHON] DataFrame.replace 및 DataFrame.na.replace 구현
• [SPARK-41328] [SC-117125][connect][PYTHON] 열에 논리 및 문자열 API 추가
• [SPARK-41331] [SC-117127][connect][PYTHON] orderBy 및 drop_duplicates 추가
• [SPARK-40987] [SC-117124][core] BlockManager#removeBlockInternal 잠금이 정상적으로 잠금 해제되었는지 확인해야 합니다.
• [SPARK-41268] [SC-117102][sc-116970][CONNECT][python] API 호환성을 위한 "열" 리팩터링
• [SPARK-41312] [SC-116881][connect][PYTHON][12.x] DataFrame.withColumnRenamed 메서드 구현
• [SPARK-41221] [SC-116607][sql] 오류 클래스 INVALID_FORMAT 추가
• [SPARK-41272] [SC-116742][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_2019
• [SPARK-41180] [SC-116760][sql] _LEGACY_ERROR_TEMP_1227 대신 INVALID_SCHEMA 다시 사용
• [SPARK-41260] [SC-116880][python][SS][12.x] GroupState 업데이트에서 NumPy 인스턴스를 Python 기본 형식으로 캐스트
• [SPARK-41174] [SC-116609][core][SQL] 잘못된 to_binary()의 format에 대해 사용자에게 오류 클래스를 전달
• [SPARK-41264] [SC-116971][connect][PYTHON] 리터럴이 더 많은 데이터 형식을 지원하도록 개선하기
• [SPARK-41326] [SC-116972] [CONNECT] 중복 제거가 누락된 입력 수정
• [SPARK-41316] [SC-116900][sql] 가능한 경우 비상 재귀 사용
• [SPARK-41297] [SC-116931] [CONNECT] [PYTHON] 필터에서 문자열 식을 지원합니다.
• [SPARK-41256] [SC-116932][sc-116883][CONNECT] DataFrame.withColumn(s) 메서드 구현
• [SPARK-41182] [SC-116632][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_1102
• [SPARK-41181] [SC-116680][sql] 맵 옵션 오류를 오류 클래스로 이동하다
• [SPARK-40940] [SC-115993][12.x] 스트리밍 쿼리에 대한 다중 상태 저장 연산자 검사기를 제거합니다.
• [SPARK-41310] [SC-116885][connect][PYTHON] DataFrame.toDF 구현
• [SPARK-41179] [SC-116631][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_1092
• [SPARK-41003] [SC-116741][sql] codegen이 사용하지 않도록 설정된 경우 BHJ LeftAnti는 numOutputRows를 업데이트하지 않습니다.
• [SPARK-41148] [SC-116878][connect][PYTHON] DataFrame.dropna 구현 및 DataFrame.na.drop
• [SPARK-41217] [SC-116380][sql] 오류 클래스 FAILED_FUNCTION_CALL 추가
• [SPARK-41308] [SC-116875][connect][PYTHON] DataFrame.count() 개선
• [SPARK-41301] [SC-116786] [CONNECT] SparkSession.range()에 대한 균질화 동작
• [SPARK-41306] [SC-116860][connect] Connect 식 프로토 문서 개선
• [SPARK-41280] [SC-116733][connect] DataFrame.tail 구현
• [SPARK-41300] [SC-116751] [CONNECT] 설정되지 않은 스키마는 스키마로 해석됨
• [SPARK-41255] [SC-116730][sc-116695] [CONNECT] RemoteSparkSession 이름 바꾸기
• [SPARK-41250] [SC-116788][sc-116633][CONNECT][python] DataFrame. toPandas는 선택적 pandas 데이터 프레임을 반환해서는 안 됩니다.
• [SPARK-41291] [SC-116738][connect][PYTHON] DataFrame.explain 내용을 인쇄하고 None을 반환해야 함
• [SPARK-41278] [SC-116732][connect] Expression.proto에서 사용되지 않는 QualifiedAttribute 정리
• [SPARK-41097] [SC-116653][core][SQL][ss][PROTOBUF] Scala 2.13 코드에서 중복 컬렉션 변환 기반 제거
• [SPARK-41261] [SC-116718][python][SS] 그룹화 키 열이 가장 이른 시점부터 순서대로 배치되지 않은 경우 applyInPandasWithState에 대한 문제 해결
• [SPARK-40872] [SC-116717][3.3] 푸시 병합된 순서 섞기 청크 크기가 0인 경우 원래 순서 섞기 블록으로 대체
• [SPARK-41114] [SC-116628][connect] LocalRelation에 대한 로컬 데이터 지원
• [SPARK-41216] [SC-116678][connect][PYTHON] DataFrame.{isLocal, isStreaming, printSchema, inputFiles} 구현
• [SPARK-41238] [SC-116670][connect][PYTHON] 추가 기본 제공 데이터 형식 지원
• [SPARK-41230] [SC-116674][connect][PYTHON] 집계 식 형식에서 str 제거
• [SPARK-41224] [SC-116652][spark-41165][SPARK-41184][connect] 서버에서 클라이언트로 스트림하도록 최적화된 화살표 기반 수집 구현
• [SPARK-41222] [SC-116625][connect][PYTHON] 입력 정의 통합
• [SPARK-41225] [SC-116623] [CONNECT] [PYTHON] 지원되지 않는 함수를 사용하지 않도록 설정합니다.
• [SPARK-41201] [SC-116526][connect][PYTHON] Python 클라이언트에서 DataFrame.SelectExpr 구현
• [SPARK-41203] [SC-116258] [CONNECT] Python 클라이언트에서 Dataframe.tansform을 지원합니다.
• [SPARK-41213] [SC-116375][connect][PYTHON] DataFrame.__repr__ 및 DataFrame.dtypes 구현
• [SPARK-41169] [SC-116378][connect][PYTHON] 구현 DataFrame.drop
• [SPARK-41172] [SC-116245][sql] 모호한 ref 오류를 오류 클래스로 마이그레이션
• [SPARK-41122] [SC-116141][connect] 설명 API는 다른 모드를 지원할 수 있습니다.
• [SPARK-41209] [SC-116584][sc-116376][PYTHON] _merge_type 메서드에서 PySpark 형식 유추 개선
• [SPARK-41196] [SC-116555][sc-116179] [CONNECT] 동일한 주 버전을 사용하도록 Spark 연결 서버에서 protobuf 버전을 균질화합니다.
• [SPARK-35531] [SC-116409][sql] 불필요한 변환 없이 hive 테이블 통계 업데이트
• [SPARK-41154] [SC-116289][sql] 시간 이동 사양이 있는 쿼리에 대한 잘못된 관계 캐싱
• [SPARK-41212] [SC-116554][sc-116389][CONNECT][python] DataFrame.isEmpty 구현
• [SPARK-41135] [SC-116400][sql] UNSUPPORTED_EMPTY_LOCATION 이름을 INVALID_EMPTY_LOCATION로 바꾸기
• [SPARK-41183] [SC-116265][sql] 캐싱을 위한 계획 정규화를 수행하는 확장 API 추가
• [SPARK-41054] [SC-116447][ui][CORE] Live UI에서 KVStore로 RocksDB 지원
• [SPARK-38550] [SC-115223]Revert "[SQL][core] 디스크 기반 저장소를 사용하여 라이브 UI에 대한 더 많은 디버그 정보 저장"
• [SPARK-41173] [SC-116185][sql] 문자열 식의 생성자에서 require() 이동
• [SPARK-41188] [SC-116242][core][ML] spark executor JVM 프로세스에 대해 기본적으로 spark.task.cpus로 executorEnv OMP_NUM_THREADS 설정
• [SPARK-41130] [SC-116155][sql] OUT_OF_DECIMAL_TYPE_RANGE 이름을 NUMERIC_OUT_OF_SUPPORTED_RANGE로 합니다
• [SPARK-41175] [SC-116238][sql] 오류 클래스에 이름 할당 _LEGACY_ERROR_TEMP_1078
• [SPARK-41106] [SC-116073][sql] AttributeMap을 만들 때 컬렉션 변환 감소
• [SPARK-41139] [SC-115983][sql] 오류 클래스 개선: PYTHON_UDF_IN_ON_CLAUSE
• [SPARK-40657] [SC-115997][protobuf] Java 클래스 jar에 대한 음영 필요, 오류 처리 개선
• [SPARK-40999] [SC-116168] 하위 쿼리로 힌트 전파
• [SPARK-41017] [SC-116054][sql] 여러 비결정적 필터를 사용하여 열 정리 지원
• [SPARK-40834] [SC-114773][sql] SparkListenerSQLExecutionEnd를 사용하여 UI에서 최종 SQL 상태 추적
• [SPARK-411118] [SC-116027][sql] to_number/try_to_number 형식이 null 때 null 반환해야 합니다.
• [SPARK-39799] [SC-115984][sql] DataSourceV2: 카탈로그 인터페이스 보기
• [SPARK-40665] [SC-116210][sc-112300][CONNECT] Apache Spark 이진 릴리스에 Spark Connect 포함 방지
• [SPARK-41048] [SC-116043][sql] AQE 캐시를 사용하여 출력 분할 및 순서 개선
• [SPARK-41198] [SC-116256][ss] CTE 및 DSv1 스트리밍 원본이 있는 스트리밍 쿼리의 메트릭 수정
• [SPARK-41199] [SC-116244][ss] DSv1 스트리밍 원본 및 DSv2 스트리밍 원본이 공동 사용되는 경우 메트릭 문제 해결
• [SPARK-40957] [SC-116261][sc-114706] HDFSMetadataLog의 메모리 캐시에 추가
• [SPARK-40940] “[SC-115993] 스트리밍 쿼리에 대한 다중 상태 저장 연산자 검사기를 제거합니다.” 되돌리기
• [SPARK-41090] [SC-116040][sql] 데이터셋 API로 임시 보기를 생성할 때 db_name.view_name에 대한 예외를 throw합니다.
• [SPARK-41133] [SC-116085][sql] UNSCALED_VALUE_TOO_LARGE_FOR_PRECISION를 NUMERIC_VALUE_OUT_OF_RANGE에 통합
• [SPARK-40557] [SC-116182][sc-111442][CONNECT] 코드 덤프 9 커밋
• [SPARK-40448] [SC-114447][sc-111314][CONNECT] 섀이딩된 종속성을 사용하는 드라이버 플러그인으로 Spark Connect 빌드
• [SPARK-41096] [SC-115812][sql] parquet FIXED_LEN_BYTE_ARRAY 형식 읽기 지원
• [SPARK-41140] [SC-115879][sql] 오류 클래스 _LEGACY_ERROR_TEMP_2440를 INVALID_WHERE_CONDITION으로 이름 변경
• [SPARK-40918] [SC-114438][sql] Columnar 출력 생성 시 FileSourceScanExec와 Orc 및 ParquetFileFormat 간의 불일치
• [SPARK-41155] [SC-115991][sql] SchemaColumnConvertNotSupportedException에 오류 메시지 추가
• [SPARK-40940] [SC-115993] 스트리밍 쿼리에 대한 다중 상태 저장 연산자 검사기를 제거합니다.
• [SPARK-41098] [SC-115790][sql] GROUP_BY_POS_REFERS_AGG_EXPR을(를) GROUP_BY_POS_AGGREGATE으로(로) 이름 변경하기
• [SPARK-40755] [SC-115912][sql] 숫자 서식 지정의 유형 검사 실패를 오류 클래스에 마이그레이션하기
• [SPARK-41059] [SC-115658][sql] _LEGACY_ERROR_TEMP_2420 이름을 NESTED_AGGREGATE_FUNCTION으로 변경하십시오
• [SPARK-41044] [SC-115662][sql] DATATYPE_MISMATCH.UNSPECIFIED_FRAME을 INTERNAL_ERROR로 변환합니다.
• [SPARK-40973] [SC-115132][sql] _LEGACY_ERROR_TEMP_0055 이름을 UNCLOSED_BRACKETED_COMMENT로 변경

유지 관리 업데이트

Databricks Runtime 12.1 유지 관리 업데이트를 참조 하세요.

시스템 환경

• 운영 체제: Ubuntu 20.04.5 LTS
• Java: Zulu 8.64.0.19-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.2.2
• Delta Lake: 2.2.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 Microsoft CRAN 스냅샷(2022-11-11)에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)