DLT 릴리스 2022.49

2022년 12월 6일 -9일

이러한 기능 및 향상된 기능은 DLT의 2022.49 릴리스와 함께 릴리스되었습니다.

이 릴리스에서 사용하는 Databricks 런타임 버전

채널:

• CURRENT(기본값): Databricks Runtime 11.0.11
• 미리 보기: Databricks Runtime 11.3.2

이 릴리스의 새로운 기능 및 개선 사항

• 이제 Databricks Git 폴더에서 Python 모듈로 파일을 가져올 수 있습니다. sys.path.append()사용하여 현재 리포지토리 경로 또는 지정된 리포지토리 경로에서 파일을 가져올 수 있습니다.

• 향상된 자동 크기 조정이 이제 일반 공급됩니다. 이 릴리스에서 향상된 자동 크기 조정은 UI에서 만든 새 파이프라인의 기본 자동 크기 조정 모드입니다. Databricks는 기존 클러스터 자동 크기 조정을 사용하는 파이프라인을 향상된 자동 크기 조정으로 업데이트할 것을 권장합니다.

• 연속 모드에서 실행되는 파이프라인의 경우 다시 시도 가능한 오류가 발생할 때 기본 다시 시도 제한이 이제 2입니다. 원래 시도를 포함하여 모든 흐름은 치명적이 아닌 오류가 발생할 때 실행하려는 세 번의 시도(지수 백오프 포함)가 있습니다. 이전에는 기본값이 일괄 처리 흐름에 대해 바인딩되지 않은 재시도였고 스트리밍 흐름에 대해 5번의 재시도가 있었습니다.

• 이제 구성 매개 변수 pipelines.maxFlowRetryAttempts 일괄 처리 및 스트리밍 흐름, 연속 또는 트리거된 파이프라인을 포함한 모든 흐름에 대한 재시도 제한에 적용됩니다. 이전에는 pipelines.maxFlowRetryAttempts 트리거된 모드의 모든 재시도 제한에 적용되었지만 연속 모드에서는 일괄 처리 흐름만 적용되었습니다. 연속 모드에서 스트리밍 파이프라인에 대한 재시도는 pipelines.numStreamRetryAttempts의해 제어되었습니다. 기존 파이프라인의 경우 pipelines.numStreamRetryAttempts 연속 모드의 스트리밍 흐름에 대해 계속 지원됩니다. pipelines.numStreamRetryAttempts 및 pipelines.maxFlowRetryAttempts 모두 설정된 경우 pipelines.numStreamRetryAttempts 연속 모드의 스트리밍 흐름에 우선합니다. 그렇지 않으면 pipelines.maxFlowRetryAttempts에 대해 구성된 값이 사용됩니다. DLT 속성 참조을 참조하십시오.

이 릴리스의 버그 수정

• 이 릴리스는 Photon 사용 클러스터에 대한 시간당 잘못된 DBU 계산을 표시하는 버그를 수정합니다.

• 이 릴리스는 Unity 카탈로그 사용 작업 영역에서 DLT 유지 관리 작업이 실패하는 버그를 수정합니다.

• 이 릴리스는 자동 로더를 사용하여 데이터를 수집하는 연속 파이프라인을 중지하거나 다시 시작하면 파이프라인이 몇 분 동안 중단되는 버그를 수정합니다.