Databricks Runtime 16.2

다음 릴리스 정보는 Apache Spark 3.5.2에서 제공하는 Databricks Runtime 16.2에 대한 정보를 제공합니다.

Databricks는 2025년 2월에 이 버전을 릴리스했습니다.

동작 변경

이제 ANALYZE가 지원되지 않는 형식의 열들을 건너뜁니다.

ANALYZE TABLE ARRAY 또는 MAP같이 지원되지 않는 형식의 테이블에서 실행할 때 더 이상 오류 메시지가 표시되지 않습니다. 지원되지 않는 열은 이제 자동으로 건너뜁니다. 이러한 오류를 예상하는 논리를 구현한 사용자는 코드를 업데이트해야 합니다.

델타 공유에서 테이블 기록은 기본적으로 사용하도록 설정됩니다.

이제 SQL 명령 ALTER SHARE <share> ADD TABLE <table> 사용하여 만든 공유에는 기본적으로 기록 공유(WITH HISTORY)가 사용하도록 설정됩니다. ALTER SHARE를 참조하십시오.

자격 증명 형식이 일치하지 않으면 자격 증명 SQL 문이 오류를 반환합니다.

이 릴리스에서는 자격 증명 관리 SQL 문에 지정된 자격 증명 형식이 자격 증명 인수의 형식과 일치하지 않으면 오류가 반환되고 문이 실행되지 않습니다. 예를 들어 문 DROP STORAGE CREDENTIAL 'credential-name'경우 credential-name 스토리지 자격 증명이 아니면 오류가 발생하여 문이 실패합니다.

이 변경 내용은 사용자 오류를 방지하기 위해 수행됩니다. 이전에는 지정된 자격 증명 형식과 일치하지 않는 자격 증명이 전달된 경우에도 이러한 문이 성공적으로 실행되었습니다. 예를 들어, 다음 문장은 storage-credential을 성공적으로 삭제합니다: DROP SERVICE CREDENTIAL storage-credential.

이 변경 내용은 다음 문에 영향을 줍니다.

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT...에... 자격 증명
• REVOKE... 에... 자격 증명
• SHOW GRANTS 켜기... 자격 증명

새로운 기능 및 개선 사항

• transformWithState 사용하여 사용자 지정 상태 저장 애플리케이션 빌드
• 서비스 자격 증명을 사용하여 클라우드 개체 스토리지에 인증
• 외부 클라우드 서비스에 대한 Unity 카탈로그가 관리하는 액세스가 서비스 자격 증명을 사용하여 이제 GA입니다.
• 노트북은 작업 공간 파일로 지원됩니다.
• 생성된 열 식에서 timestampdiff & timestampadd 사용
• SQL 파이프라인 구문에 대한 지원
• HTTP 요청을 http_request 함수로 사용하여
• DESCRIBE TABLE 업데이트는 구조화된 JSON 메타데이터를 반환합니다.
• 후행 공백 무시 정렬
• 버킷 분할을 사용하여 Iceberg 테이블을 분할되지 않은 델타 테이블로 변환
• 표준 액세스 모드(이전의 공유 액세스 모드) 컴퓨팅은 이제 Spark Scala 메서드 foreach, foreachBatch및 flatMapGroupsWithState 지원합니다.

transformWithState 사용하여 사용자 지정 상태 저장 애플리케이션 빌드

이제 transformWithState 및 관련 API를 사용하여 구조적 스트리밍 쿼리의 일부로 사용자 지정 상태 저장 애플리케이션을 구현할 수 있습니다. 사용자 지정 상태 저장 애플리케이션빌드를 참조하세요.

서비스 자격 증명을 사용하여 클라우드 개체 스토리지에 인증

이제 Databricks 서비스 자격 증명을 사용하여 자동 로더를 사용하여 클라우드 개체 스토리지에 인증할 수 있습니다. 자동 로더 파일 알림 모드란?을 참조하세요.

서비스 자격 증명을 사용하여 외부 클라우드 서비스에 대한 Unity 카탈로그 관리 액세스는 이제 GA입니다.

서비스 자격 증명을 사용하면 Azure Databricks에서 클라우드 테넌트의 서비스를 사용하여 간단하고 안전한 인증을 수행할 수 있습니다. Databricks Runtime 16.2를 사용하면 서비스 자격 증명을 일반적으로 사용할 수 있으며 이제 공개 미리 보기에서 지원된 Python SDK 외에도 Scala SDK를 지원합니다. 서비스 자격 증명사용하여 외부 클라우드 서비스에 대한 액세스 관리 참조하세요.

Notebook은 작업 영역 파일로 지원됩니다.

Databricks Runtime 16.2 이상에서는 Notebook이 작업 영역 파일로 지원됩니다. 이제 다른 파일과 같은 전자 필기장 작성, 읽기 및 삭제를 포함하여 작업 영역 파일 시스템을 사용할 수 있는 모든 위치에서 전자 필기장과 프로그래밍 방식으로 상호 작용할 수 있습니다. 자세한 내용은 Notebook을 작업 공간 파일로서참조하세요.

생성된 열 식에서 timestampdiff & timestampadd 사용

Databricks Runtime 16.2 이상에서는 Delta Lake에서 생성된 열 식에서 타임스탬프디프 및 timestampadd 함수를 사용할 수 있습니다. Delta Lake에서 생성된 열을 참조하세요.

SQL 파이프라인 구문 지원

Databricks Runtime 16.2 이상에서는 SQL 파이프라인을 작성할 수 있습니다. SQL 파이프라인은 다음 예제와 같이 SELECT c2 FROM T WHERE c1 = 5같은 표준 쿼리를 단계별 시퀀스로 구성합니다.

FROM T
|> SELECT c2
|> WHERE c1 = 5

SQL 파이프라인에 대해 지원되는 구문에 대해 알아보려면 SQL Pipeline 구문참조하세요.

이 산업 간 확장에 대한 배경 지식은 SQL에 문제가 있는지를 참조하세요. 이 문제를 해결할 수 있습니다. SQL의 파이프 구문(Google Research).

http_request 함수를 사용하여 HTTP 요청 만들기

Databricks Runtime 16.2 이상에서는 HTTP 연결을 만들http_request 함수를 사용하여 HTTP 요청을 만들 수 있습니다.

DESCRIBE TABLE 업데이트는 메타데이터를 구조적 JSON으로 반환합니다.

Databricks Runtime 16.2 이상에서는 DESCRIBE TABLE AS JSON 명령을 사용하여 테이블 메타데이터를 JSON 문서로 반환할 수 있습니다. JSON 출력은 사람이 읽을 수 있는 기본 보고서보다 구조화되어 있으며 테이블의 스키마를 프로그래밍 방식으로 해석하는 데 사용할 수 있습니다. 자세한 내용은 AS JSON DESCRIBE TABLE 참조하세요.

후행 공백을 무시하는 비교 정렬

Databricks Runtime 16.2는 Databricks Runtime 16.1에 추가된 정렬 지원에 이어 빈칸 무시 후행 정렬 방식을 지원합니다. 예를 들어 이러한 정렬 방식은 'Hello'과 'Hello '을 동일하게 간주합니다. 자세한 내용은 RTRIM 데이터 정렬 참조하세요.

버킷 분할을 사용하여 Iceberg 테이블을 분할되지 않은 델타 테이블로 변환

이제 CONVERT TO DELTA 및 CREATE TABLE CLONE 문은 버킷 분할을 사용하여 Iceberg 테이블을 분할되지 않은 델타 테이블로 변환하는 것을 지원합니다.

표준 액세스 모드(이전의 공유 액세스 모드) 컴퓨팅은 이제 Spark Scala 메서드 foreach, foreachBatch및 flatMapGroupsWithState 지원합니다.

Databricks Runtime 16.2 이상에서 표준 액세스 모드 컴퓨팅은 이제 DataStreamWriter.foreachBatch 및 KeyValueGroupedDataset.flatMapGroupsWithStateScala 메서드를 지원합니다. Databricks Runtime 16.1 이상에서 표준 액세스 모드 컴퓨팅은 이제 Scala 메서드 DataStreamWriter.foreach지원합니다.

버그 수정

향상된 증분 클론 처리

이 릴리스에는 증분 CLONE 원본 테이블에서 대상 테이블로 이미 복사한 파일을 다시 복사할 수 있는 에지 사례에 대한 수정 사항이 포함되어 있습니다. Azure Databricks에서 테이블 복제를참조하세요.

라이브러리 업그레이드

• 업그레이드된 Python 라이브러리:
• 업그레이드된 R 라이브러리:
• 업그레이드된 Java 라이브러리:
  • org.json4s.json4s-ast_2.12을(를) 3.7.0-M11에서 4.0.7로
  • org.json4s.json4s-core_2.12를 3.7.0-M11에서 4.0.7로
  • org.json4s.json4s-jackson_2.12 버전이 3.7.0-M11에서 4.0.7로 업데이트됩니다.
  • org.json4s.json4s-scalap_2.12 버전을 3.7.0-M11에서 4.0.7로 업데이트

Apache Spark

Databricks Runtime 16.2에는 Apache Spark 3.5.2가 포함됩니다. 이 릴리스에는 Databricks Runtime 16.1포함된 모든 Spark 수정 및 개선 사항뿐만 아니라 Spark에 대한 다음과 같은 추가 버그 수정 및 개선 사항이 포함되어 있습니다.

• [SPARK-49966] 되돌리기 “[SC-179501][sql] Invoke로 JsonToStructs구현 (from_json)”
• [SPARK-50904] [SC-186976][sql] 데이터 정렬 식 워커 쿼리 실행 수정
• [SPARK-49666] [SQL] InSet 식에 대한 트리밍 테스트 활성화
• [SPARK-50669] [SC-184566][es-1327450][SQL] TimestampAdd 식의 서명 변경
• [SPARK-50795] [16.x][sc-186719][SQL] describe LinkedHashMap의 long 형식으로 타임스탬프 저장
• [SPARK-50870] [SC-186950][sql] V2ScanRelationPushDown에서 타임스탬프로 캐스팅할 때 시간대를 추가하기
• [SPARK-50735] [SC-186944][connect] ExecuteResponseObserver에서 실패하면 요청이 무한 반복해서 시도됩니다.
• [SPARK-50522] [SC-186500][sql] 확정되지 않은 데이터 정렬 지원
• [SPARK-50525] [SC-186058][sql] InsertMapSortInRepartitionExpressions 최적화 프로그램 규칙 정의
• [SPARK-50679] [SC-184572][sql] 다른 With의 중복된 공통 식은 한 번만 프로젝트되어야 합니다.
• [SPARK-50847] [SC-186916] [SQL] ApplyCharTypePadding이 특정 In 식에 적용되지 않도록 거부
• [SPARK-50714] [SC-186786][sql][SS] Avro 인코딩을 사용할 때 TransformWithState에 스키마 진화 사용
• [SPARK-50795] [SC-186390][sql] 모든 DESCRIBE AS JSON 날짜를 ISO-8601 형식으로 표시하고, 데이터 형식을 dataType.simpleString로 지정합니다.
• [SPARK-50561] [SC-185924][sql] DBR 16.x cherrypick: UNIFORM SQL 함수에 대한 형식 강제 변환 및 경계 검사 개선
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalogbuiltin 매직 값을 지원합니다.
• [SPARK-50831] [SC-186736][sql] 기본적으로 트리밍 정렬 사용
• [SPARK-50263] [SC-186793][연결] System.currentTimeMillis을 System.nanoTime로 교체하다
• [SPARK-48730] [SC-184926][sql] SQL 스칼라 및 테이블 함수용 CreateSQLFunctionCommand 구현
• [SPARK-50830] [SC-186718] [SQL] 이중 실행 분석 결과로서 단일 통과 결과 반환
• [SPARK-50707] [SC-186098][sql] char/varchar로의/에서의 캐스팅 활성화
• [SPARK-49490] [SC-182137][sql] initCap에 대한 벤치마크 추가
• [SPARK-50529] [SC-184535][sql] spark.sql.preserveCharVarcharTypeInfo 구성에서 char/varchar 동작 변경
• [SPARK-49632] [SC-184179][sql] CANNOT_PARSE_TIMESTAMP에 대한 ANSI 구성 제안 제거
• [SPARK-50815] [SC-186487][python][SQL] createDataFrame에서 null Variant를 전달하면 실패하고 Spark Connect의 createDataFrame에서 Variant 지원을 추가하는 버그 수정
• [SPARK-50828] [SC-186493][python][ML][connect] 사용 중단 예정 pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] 분석 실패 시 분석된 설정
• [SPARK-50824] [SC-186472][python] 검사를 위해 선택적 Python 패키지를 가져오지 않습니다.
• [SPARK-50755] [SC-185521][sql] InsertIntoHiveTable에 대한 멋진 계획 표시
• [SPARK-50789] [SC-186312][connect] 형식화된 집계에 대한 입력을 분석해야 합니다.
• [SPARK-50791] [SC-185867][sc-186338][SQL] 상태 저장 오류 처리에서 NPE 수정
• [SPARK-50801] [SC-186365] [SQL] 해결되지 않고 해결된 계획만 표시되도록 PlanLogger.logPlanResolution 개선
• [SPARK-50749] [SC-185925][sql] CommutativeExpression.gatherCommutative 메서드의 정렬 버그 수정
• [SPARK-50783] [SC-186347] DFS에서 JVM 프로파일러 결과 파일 이름 및 레이아웃 정식화
• [SPARK-50790] [SC-186354][python] pyspark에서 구문 분석 json 구현
• [SPARK-50738] [SC-184856][python] 검은색을 23.12.1로 업그레이드
• [SPARK-50764] [SC-185930][python] xpath 관련 메서드의 문서 문자열 구체화
• [SPARK-50798] [SC-186277][sql] NormalizePlan 개선하기
• [SPARK-49883] [SC-183787][ss] State Store Checkpoint Structure V2 Integration with RocksDB and RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] 개체 수준 데이터 정렬에 대한 기능 플래그 추가
• [SPARK-50778] [SC-186183][python] PySpark DataFrame에 metadataColumn 추가
• [SPARK-49565] [SC-186056][sql] DBR 16.x cherrypick: 파이프 SQL 연산자를 사용하여 자동 생성된 식 별칭 개선
• [SPARK-50541] [16.x][sc-184937] 테이블을 JSON으로 설명
• [SPARK-50772] [SC-185923][sql] DBR 16.x cherrypick: SET후 테이블 별칭 유지, EXTEND, DROP 연산자
• [SPARK-50769] [SC-185919][sql] HistogramNumeric에서 ClassCastException 수정
• [SPARK-49025] [SC-174667] DBR에 델타 코드 차이 동기화
• [SPARK-50752] [SC-185547][python][SQL] 화살표 없이 Python UDF 튜닝을 위한 구성 소개
• [SPARK-50705] [SC-185944][sql] QueryPlan 잠금 해제
• [SPARK-50690] [16.x][sc-184640][SQL] 따옴표로 DESCRIBE TABLE 뷰 쿼리 출력 열의 불일치 수정
• [SPARK-50746] [SC-184932][sql] Either를 VariantPathSegment로 교체합니다.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder 구성을 일괄 처리로 설정합니다.
• [SPARK-50480] [SC-183359][sql] CharType 및 VarcharType을 StringType에서 확장
• [SPARK-50675] [SC-184539][sql] 테이블 및 뷰 수준 데이터 정렬 지원
• [SPARK-50409] [SC-184516][sql] SET;, SET -v; 및 SET key; 끝에서 ; 무시하도록 set 문을 수정합니다.
• [SPARK-50743] [SC-185528][sql] CTERelationDef 및 CTERelationRef ID 정규화
• [SPARK-50693] [SC-184684][connect] TypedScalaUdf에 대한 입력을 분석해야 합니다.
• [SPARK-50744] [SC-184929][sql] 뷰/CTE 이름 확인 우선 순위에 대한 테스트 사례 추가
• [SPARK-50710] [SC-184767][connect] 릴리스 후 세션에 선택적 클라이언트 다시 연결에 대한 지원 추가
• [SPARK-50703] [SC-184843][python] regexp_replace, regexp_substr 및 regexp_instr의 문서 주석 세부사항 개선
• [SPARK-50716] [SC-184823][core] JavaUtils.deleteRecursivelyUsingJavaIO 메서드에서 기호 링크에 대한 정리 논리 수정
• [SPARK-50630] [SC-184443][sql] 파이프 SQL AGGREGATE 연산자 GROUP BY 서수 지원 수정
• [SPARK-50614] [SC-184729][sql] Parquet에 대한 Variant 분해 지원 추가
• [SPARK-50661] [SASP-4936] 이전 클라이언트 FEB에 대한 이전 버전과의 호환성을 추가합니다.
• [SPARK-50676] [SC-184641][sql] ElementAt에서 사용하지 않는 private lazy val mapValueContainsNull를 제거
• [SPARK-50515] [SC-183813][core] SparkConf 읽기 전용 인터페이스 추가
• [SPARK-50697] [SC-184702][sql] 가능한 경우 비상 재귀 사용
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]초기 상태가 없는 경우 Spark Connect에서 FlatMapGroupsWithState의 상태 스키마 수정
• [SPARK-50701] [SC-184704][python] 플로팅에 최소 plotly 버전을 요구하도록 설정
• [SPARK-50702] [SC-184727][python] regexp_count, regexp_extract 및 regexp_extract_all의 도큐멘트 문자열 개선
• [SPARK-50499] [SC-184177][python] BasePythonRunner에서 메트릭 노출
• [SPARK-50692] [SC-184705][16.x] RPAD 푸시다운 지원 추가
• [SPARK-50682] [SC-184579][sql] 내부 별칭을 정식화해야 합니다.
• [SPARK-50699] [SC-184695][python] 지정된 세션을 사용하여 DDL 문자열 구문 분석 및 생성
• [SPARK-50573] [SC-184568][ss] 상태 행에 상태 스키마 ID를 추가하여 스키마를 진화시킴
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Spark Connect Scala foreachBatch 구현 수정 데이터셋[T]를 지원합니다.
• [SPARK-50689] [SC-184591][sql] LCA 프로젝트 목록에서 결정적 순서 적용
• [SPARK-50696] [SC-184667][python] DDL 구문 분석 메서드에 대한 Py4J 호출 최적화
• [SPARK-49670] [SC-182902][sql] 모든 패스스루 식에 트림 정렬 사용 설정
• [SPARK-50673] [SC-184565][ml] Word2VecModel 생성자에서 모델 계수를 두 번 트래버스하지 않습니다.
• [SPARK-50687] [SC-184588][python] DataFrameQueryContext에 대한 스택 추적을 가져오는 논리 최적화
• [SPARK-50681] [SC-184662][python][CONNECT] MapInXXX 및 ApplyInXXX에 대한 구문 분석된 스키마 캐시
• [SPARK-50674] [SC-184589][python] UDTF 평가에서 'terminate' 메서드 존재에 대한 검사 수정
• [SPARK-50684] [SC-184582][python] DataFrameQueryContext에서 Py4J 성능 향상
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] TransformWithStateInPandas에 대한 새 버전의 상태 메타데이터에 대한 지원 추가
• [SPARK-50602] [SC-184439][sql] 잘못된 인덱스 열을 지정할 때 적절한 오류 메시지를 표시하도록 수정
• [SPARK-50650] [SC-184532][sql] 단일 패스 분석기에서 로깅 개선
• [SPARK-50665] [SC-184533][sql] NormalizePlan에서 ComparableLocalRelation으로 LocalRelation 대체
• [SPARK-50644] [SC-184486][sql] Parquet 판독기에서 변형 구조체를 읽습니다.
• [SPARK-49636] [SC-184089][sql] INVALID_ARRAY_INDEX 및 INVALID_ARRAY_INDEX_IN_ELEMENT_AT의 ANSI 구성 프롬프트 제거
• [SPARK-50659] [SC-184514][sql] 일회 통과 분석기에서 재사용할 수 있도록 통합 출력 계산을 리팩터링하기.
• [SPARK-50659] [SC-184512][sql] Union 관련 오류를 QueryCompilationErrors로 이동
• [SPARK-50530] [SC-183419][sql] 잘못된 암시적 문자열 형식 컨텍스트 계산 수정
• [SPARK-50546] [SC-183807][sql] 데이터 정렬 형식 강제 변환에 하위 쿼리 캐스트 지원 추가
• [SPARK-50405] [SC-182889][sql] 복잡한 데이터 형식의 데이터 정렬 형식 강제 변환을 올바르게 처리
• [SPARK-50637] [SC-184434][sql] 단일 패스 분석기 코드 스타일 수정
• [SPARK-50638] [SC-184435][sql] 뷰 해상도를 별도의 파일로 리팩터링하여 단일 패스 분석기에서 다시 사용
• [SPARK-50615] [SC-184298][sql] 변형을 검사에 반영합니다.
• [SPARK-50619] [SC-184210][sql] VariantGet.cast를 리팩터링하여 캐스트 인수 압축
• [SPARK-50599] [SC-184058][sql] Avro 및 UnsafeRow 인코딩을 허용하는 DataEncoder 특성 만들기
• [SPARK-50076] [SC-183809] 로그 키 수정
• [SPARK-50597] [SC-183972][sql] Optimizer.scala 및 SparkOptimizer.scala에서 배치 생성 리팩터링
• [SPARK-50339] [SC-183063][spark-50360][SS] 계보 정보를 저장하도록 변경 로그 사용
• [SPARK-50526] [SC-183811][ss] 오프셋 로그에 저장소 인코딩 형식 conf를 추가하고 지원되지 않는 상태 저장 연산자가 avro를 사용하지 못하도록 차단
• [SPARK-50540] [SC-183810][python][SS] StatefulProcessorHandle에 대한 문자열 스키마 수정
• [SPARK-50157] [SC-183789][sql] SparkSession에서 제공하는 SQLConf를 먼저 사용합니다.
• [SPARK-48898] [SC-183793][sql] Variant 스키마에서 null 허용 여부 올바르게 설정
• [SPARK-50559] [SC-183814][sql] Except, Intersect 및 Union의 출력을 지연 값으로 저장
• [SPARK-48416] [SC-183643][sql] 식과 관련된 중첩된 상관 관계 지원
• [SPARK-50428] [SC-183566][ss][PYTHON] 일괄 처리 쿼리에서 TransformWithStateInPandas 지원
• [SPARK-50063] [SC-183350][sql][CONNECT] Spark Connect Scala 클라이언트에서 Variant에 대한 지원 추가
• [SPARK-50544] [SC-183569][python][CONNECT] StructType.toDDL 구현하다
• [SPARK-50443] [SC-182590][ss] RocksDBStateStoreProvider에서 Guava 캐시에 의해 도입된 Maven 빌드 오류 수정
• [SPARK-50491] [SC-183434][sql] 빈 BEGIN END 블록이 오류를 발생시키는 버그 수정
• [SPARK-50536] [SC-183443][core] 다운로드된 보관 파일의 크기를 SparkContext 및 Executor에 기록하다.
• [SPARK-45891] [SC-183439][sql] 조각화된 데이터에서 변형된 바이너리를 재빌드합니다.
• [SPARK-49565] [SC-183465][sql] FROM 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-50497] [SC-183338][sql] MultiAlias에 비 생성기 함수가 포함된 경우 적절한 메시지로 쿼리 실패
• [SPARK-50460] [SC-183375][python][CONNECT] 일반화 및 연결 예외 처리 간소화
• [SPARK-50537] [SC-183452][connect][PYTHON] 압축 옵션이 덮어쓰여지는 문제를 수정함 df.write.parquet
• [SPARK-50329] [SC-183358][sql] fix InSet$toString
• [SPARK-50524] [SC-183364][sql] 디버그 수준에 대한 낮은 RowBasedKeyValueBatch.spill 경고 메시지
• [SPARK-50528] [SC-183385][연결] InvalidCommandInput 일반 모듈로 이동
• [SPARK-50017] [SC-182438][ss] TransformWithState 연산자에 대한 Avro 인코딩 지원
• [SPARK-50463] [SC-182833][sql] Columnar 형식을 행 형식으로 변환하여 ConstantColumnVector 문제 수정
• [SPARK-50235] [SC-180786][sql] ColumnarToRowExec의 모든 행을 처리한 후 ColumnVector 리소스 정리
• [SPARK-50516] [SC-183279][ss][MINOR] StreamManualClock을 사용하도록 init 상태 관련 테스트 수정
• [SPARK-50478] [SC-183188][sql] StringType 일치 수정
• [SPARK-50492] [SC-183177][ss] dropDuplicatesWithinWatermark 이후 이벤트 시간 열이 삭제될 때 java.util.NoSuchElementException 수정
• [SPARK-49566] [SC-182589][sql] SET 연산자에 대한 SQL 파이프 구문 추가
• [SPARK-50449] [SC-183178][sql] 루프, IF 및 CASE에 빈 본문을 허용하는 SQL 스크립팅 문법 수정
• [SPARK-50251] [SC-180970][python] PySpark에 getSystemProperty 추가 SparkContext
• [SPARK-50421] [SC-183091][core] 여러 리소스 프로필이 작동할 때 실행기 관련 메모리 구성 설정 오류를 수정함.
• [SPARK-49461] [SC-179572][ss] 영구 검사점 ID를 사용하여 로그를 커밋하고 다시 읽습니다.
• [SPARK-50343] [SC-183119][spark-50344][SQL] DROP 및 AS 연산자의 SQL 파이프 구문 추가
• [SPARK-50481] [SC-182880][core] 체크섬을 사용하지 않도록 설정된 경우 체크섬 파일 논리를 건너뛰도록 SortShuffleManager.unregisterShuffle 개선
• [SPARK-50498] [SC-183090][python] listFunctions 불필요한 py4j 호출 방지
• [SPARK-50489] [SC-183053][sql][PYTHON] 자체 조인 문제 수정 (applyInArrow 이후)
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres fix xor push-down

Databricks ODBC/JDBC 드라이버 지원

Databricks는 지난 2년 동안 릴리스된 ODBC/JDBC 드라이버를 지원합니다. 최근에 릴리스된 드라이버를 다운로드하고 업그레이드하세요(ODBC다운로드하고 JDBC 다운로드).

유지 관리 업데이트

Databricks Runtime 16.2 유지 관리 업데이트참조하세요.

시스템 환경

• 운영 체제: Ubuntu 24.04.1 LTS
• Java: Zulu17.54+21-CA
• Scala: 2.12.18
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

설치된 Python 라이브러리

설치된 R 라이브러리

R 라이브러리는 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/Posit 패키지 관리자 CRAN 스냅샷에서 설치됩니다.

설치된 Java 및 Scala 라이브러리(Scala 2.12 클러스터 버전)