무엇이 올까요?

예정된 Azure Databricks 릴리스의 기능 및 동작 변경에 대해 알아봅니다.

쿼리 프로필 UI의 향상된 기능

쿼리 프로필 UI는 유용성을 향상시키고 주요 인사이트에 더 빠르게 액세스할 수 있도록 업데이트되고 있습니다.

• 요약 패널 주요 메트릭, 최소화된 쿼리 프로필 미리 보기 및 쿼리 프로필 페이지의 주요 섹션에 대한 빠른 링크가 포함됩니다.
• 새로운 Top 연산자 패널에는 필터링 옵션 및 그래프 보기 강조 표시가 있는 리소스 집약적 연산자가 나열됩니다.
• 업데이트된 레이아웃은 요약 메트릭에서 자세한 인사이트까지 가독성 및 탐색을 개선하도록 설계되었습니다.
• 추가 개선 사항에는 키워드 기반 노드 강조 표시, 향상된 실행 목록 및 쿼리 성능 분석 워크플로에 대한 구체화가 포함됩니다.

자동 로더 증분 디렉터리 목록 옵션에 대한 동작 변경

예정된 Databricks 런타임 릴리스에서 사용되지 않는 자동 로더 cloudFiles.useIncrementalListing 옵션의 값은 기본적으로 false설정됩니다. 이 값을 false 설정하면 자동 로더가 실행 될 때마다 전체 디렉터리 목록을 수행합니다. 현재 cloudFiles.useIncrementalListing 옵션의 기본값은 auto, 자동 로더가 디렉터리에서 증분 목록을 사용할 수 있는지 검색하는 데 최선을 다하도록 지시합니다.

증분 목록 기능을 계속 사용하려면 cloudFiles.useIncrementalListing 옵션을 auto설정합니다. 이 값을 auto설정하면 자동 로더는 7개의 증분 목록에 한 번씩 전체 목록을 만들기 위해 최선을 다합니다. 이는 이 변경 전에 이 옵션의 동작과 일치합니다.

자동 로더 디렉터리 목록 옵션에 대한 자세한 내용은 자동 로더 옵션을 참조하세요.

기본적으로 활성화된 통계 관리는 예측 최적화에 의해 가능하다.

1월 21일부터 Databricks는 예측 최적화를 사용하도록 설정된 모든 계정에 통계 관리를 사용하도록 설정하기 시작합니다. 통계 관리는 쓰기에 통계 컬렉션을 추가하고 Unity 카탈로그 관리 테이블에 대한 ANALYZE 명령을 자동으로 실행하여 기존 예측 최적화 기능을 확장합니다. 예측 최적화에 대한 자세한 내용은Unity 카탈로그 관리 테이블에 대한 예측 최적화를 참조하세요.

서비스 자격 증명에 대한 Scala SDK 지원을 받는 서버리스 컴퓨팅

서버리스 컴퓨팅에 대한 업데이트는 Scala SDK와 함께 서비스 자격 증명을 사용하여 외부 클라우드 서비스에 대한 Unity 카탈로그 관리 인증을 지원합니다. Databricks Runtime 16.2 이상에서 이미 사용할 수 있는 서비스 주체 인증에 대한 Scala 지원은 Python SDK를 사용하여 서비스 자격 증명으로 인증하는 데 추가됩니다. 서비스 자격 증명사용하여 외부 클라우드 서비스에 대한 액세스 관리 참조하세요.

DLT 파이프라인에서 데이터 세트 정의가 제거될 때 동작 변경

예정된 DLT 릴리스는 구체화된 뷰 또는 스트리밍 테이블이 파이프라인에서 제거될 때 동작을 변경합니다. 이 변경으로 제거된 구체화된 뷰 또는 스트리밍 테이블은 다음 파이프라인 업데이트가 실행될 때 자동으로 삭제되지 않습니다. 대신 DROP MATERIALIZED VIEW 명령을 사용하여 구체화된 뷰 또는 DROP TABLE 명령을 삭제하여 스트리밍 테이블을 삭제할 수 있습니다. 개체를 삭제한 후 파이프라인 업데이트를 실행하면 개체가 자동으로 복구되지 않습니다. 동일한 정의를 가진 구체화된 뷰 또는 스트리밍 테이블이 파이프라인에 다시 추가되면 새 개체가 만들어집니다. 그러나 UNDROP 명령을 사용하여 개체를 복구할 수 있습니다.

작업 영역 파일은 2025년 2월 1일에 모든 Azure Databricks 작업 영역에 대해 사용하도록 설정됩니다.

Databricks는 2025년 2월 1일에 모든 Azure Databricks 작업 영역의 작업 영역 파일을 활성화합니다. 이렇게 변경하면 작업 영역 사용자가 새 작업 영역 파일 기능을 사용할 수 없게 됩니다. 2025년 2월 1일 이후에는 enableWorkspaceFilesystem를 활성화하거나 비활성화하기 위해 Azure Databricks REST API와 함께 속성을 사용하여 작업 영역 파일을 비활성화할 수 없습니다. 작업 영역 파일에 대한 자세한 내용은 작업 영역 파일이란?을 참조하세요..

테이블은 델타 공유에서 기본적으로 기록과 공유됩니다.

Databricks는 기본적으로 기록을 포함하도록 델타 공유를 사용하여 공유되는 테이블의 기본 설정을 변경할 계획입니다. 이전에는 기록 공유를 기본적으로 사용하지 않도록 설정했습니다. 테이블 기록을 공유하면 읽기 성능이 향상되고 고급 델타 최적화가 자동으로 지원됩니다.

워크플로 워크로드에 대한 서버리스 컴퓨팅의 비용 대비 성능에 대한 비용 절감 및 더 많은 제어

현재 지원되는 자동 성능 최적화 외에도 워크플로 최적화 기능을 위한 서버리스 컴퓨팅의 향상된 기능을 통해 워크로드가 성능 또는 비용에 최적화되었는지를 보다 효율적으로 제어할 수 있습니다. 자세한 내용은 Notebook, 작업 및 파이프라인에 대한 서버리스 컴퓨팅의 비용 절감을 참조 하세요.

레거시 대시보드 버전 지원에 대한 변경 내용

Databricks는 AI/BI 대시보드(이전의 Lakeview 대시보드)를 사용하는 것이 좋습니다. 이전에 Databricks SQL 대시보드라고도 하는 이전 버전의 대시보드를 이제 레거시 대시보드라고 합니다. Databricks는 새 레거시 대시보드를 만들지 않는 것이 좋습니다. AI/BI 대시보드는 AI 지원 작성, 초안 및 게시 모드, 교차 필터링을 포함하여 레거시 버전에 비해 향상된 기능을 제공합니다.

레거시 대시보드에 대한 지원 타임라인 종료

• 2025년 4월 7일: 레거시 버전의 대시보드에 대한 공식 지원이 종료됩니다. 중요한 보안 문제 및 서비스 중단만 해결됩니다.
• 2025년 11월 3일: Databricks는 지난 6개월 동안 액세스되지 않은 레거시 대시보드 보관을 시작합니다. 보관된 대시보드는 더 이상 액세스할 수 없으며 보관 프로세스는 롤링 방식으로 수행됩니다. 적극적으로 사용되는 대시보드에 대한 액세스는 변경되지 않습니다.

Databricks는 고객과 협력하여 2025년 11월 3일 이후에 활성 레거시 대시보드에 대한 마이그레이션 계획을 개발할 것입니다.

AI/BI 대시보드로의 전환을 돕기 위해 사용자 인터페이스와 API 모두에서 업그레이드 도구를 사용할 수 있습니다. 레거시 대시보드를 AI/BI 대시보드로 복제하는 방법에 대한 지침은 UI에서 기본 제공 마이그레이션 도구를 사용하는 방법 을 참조하세요. Azure Databricks API를 사용하여 대시보드를 관리하는 REST API 를 사용하여 대시보드를 만들고 관리하는 방법에 대한 자습서입니다.

서버리스 컴퓨팅 워크로드의 할당 변경

현재 청구 가능한 사용 시스템 테이블에는 run_as, job_id, job_run_id및 notebook_id에 대한 null 값이 있는 서버리스 SKU 청구 레코드가 포함될 수 있습니다. 이러한 레코드는 특정 워크로드에 직접 기인하지 않는 공유 리소스와 관련된 비용을 나타냅니다.

비용 보고를 간소화하기 위해 Databricks는 곧 이러한 공유 비용을 발생한 특정 워크로드에 귀속할 것입니다. 작업 식별자 필드에 null 값이 있는 청구 레코드가 더 이상 표시되지 않습니다. 서버리스 컴퓨팅 사용량을 늘리고 워크로드를 더 추가하면 더 많은 워크로드에서 공유되므로 청구서에서 이러한 공유 비용의 비율이 감소합니다.

서버리스 컴퓨팅 비용 모니터링에 대한 자세한 내용은 서버리스 컴퓨팅 비용 모니터링을 참조하세요.

감사 로그의 sourceIpAddress 필드에는 더 이상 포트 번호가 포함되지 않습니다.

버그로 인해 특정 권한 부여 및 인증 감사 로그에는 sourceIPAddress 필드의 IP 외에 포트 번호(예: "sourceIPAddress":"10.2.91.100:0")가 포함됩니다. 0로 기록된 포트 번호는 실제 값을 제공하지 않으며 나머지 Databricks 감사 로그와 일치하지 않습니다. 감사 로그의 일관성을 향상시키기 위해 Databricks는 이러한 감사 로그 이벤트에 대한 IP 주소의 형식을 변경할 계획입니다. 이 변경 내용은 2024년 8월 초부터 점진적으로 출시될 예정입니다.

감사 로그에 sourceIpAddress 또는 0.0.0.0가 포함되어 있으면 Databricks에서 로깅을 중지할 수 있습니다.

JDK8 및 JDK11은 지원되지 않습니다.

Azure Databricks는 Spark 4.0이 출시될 때 다음 주요 Databricks 런타임 버전에서 JDK 8 지원을 제거할 계획입니다. Azure Databricks는 다음 LTS 버전의 Databricks Runtime 14.x를 사용하여 JDK 11 지원을 제거할 계획입니다.

새 작업 영역에 대한 Unity 카탈로그 자동 사용

Databricks는 새 작업 영역에 대해 Unity 카탈로그를 자동으로 사용하도록 설정하기 시작했습니다. 이렇게 하면 작업 영역을 만든 후 계정 관리자가 Unity 카탈로그를 구성할 필요가 없습니다. 롤아웃은 계정 간에 점진적으로 진행되고 있습니다.

sqlite-jdbc 업그레이드

Databricks 런타임은 모든 Databricks 런타임 유지 관리 릴리스에서 sqlite-jdbc 버전을 3.8.11.2에서 3.42.0.0으로 업그레이드할 계획입니다. 버전 3.42.0.0의 API는 3.8.11.2와 완전히 호환되지 않습니다. 메서드와 반환 형식이 버전 3.42.0.0에 맞는지 확인하십시오.

코드에서 sqlite-jdbc를 사용하는 경우 sqlite-jdbc 호환성 보고서를 확인하세요.