DLT 릴리스 2022.40

2022년 9월 28일 - 2022년 10월 5일

이러한 기능 및 향상된 기능은 DLT 2022.40 릴리스와 함께 릴리스되었습니다.

이 릴리스에서 사용하는 Databricks 런타임 버전

채널:

• CURRENT(기본값): Databricks Runtime 11.0.7
• 미리 보기: Databricks Runtime 11.0.7

이 릴리스의 새로운 기능 및 개선 사항

• 파이프라인 설정에서 default 또는 maintenance 이외의 클러스터 레이블을 사용하면 파이프라인을 만들거나 편집하는 동안 오류가 발생합니다. DLT 파이프라인에 대한 클러스터 구성에 대한 자세한 내용은 DLT 파이프라인대한 컴퓨팅 구성을 참조하세요.

• 이제 DLT Notebook에서 직접 파이프라인을 열거나 실행할 수 있습니다. NotebookDLT 파이프라인 개발 및 디버그를 참조하세요.

• 이 릴리스에는 DLT API 요청에 의해 반환된 파이프라인 설정 데이터 구조에 중대한 변화가 포함됩니다. 이렇게 변경하면 edition 필드가 대문자 값으로 반환됩니다. 이전에는 이 값이 혼합 사례로 반환되었습니다. 반환 값이 올바르게 처리되도록 API 응답에서 edition 값을 읽는 클라이언트를 업데이트해야 합니다. 그러나 API 요청의 edition 값은 대/소문자를 구분하지 않습니다. 이 필드를 포함하여 요청을 제출하는 클라이언트는 업데이트할 필요가 없습니다.

이 릴리스의 버그 수정

• 이 릴리스는 업데이트 실패 후에도 DLT UI가 파이프라인을 RUNNING 상태로 표시하는 버그를 수정합니다.

• 이 업데이트는 데이터가 SEQUENCE 열에서 동일한 값을 가진 중복 DELETE 작업을 포함하는 입력 데이터를 다시 처리할 때 APPLY_CHANGES 인터페이스 버그를 수정합니다. 이 시나리오에서는 대상 테이블의 NULL 값이 생성되고 DeleteVersion 값이 제거됩니다. 레코드를 NOT-DELETED표시하는 것과 같습니다. 이 변경으로 중복 DELETE 작업은 멱등하게 처리되며, 레코드는 항상 DELETED로 표시됩니다.

• 이 릴리스는 이전 역사적 레코드가 삭제되면서 다음 역사적 레코드와 동일한 열을 포함하는 경우 SCD 유형 2 처리 중에 행이 숨겨지는 버그를 수정합니다.

• 이 업데이트는 예상에 실패한 경우에도 expect_or_fail 예상 보기가 RUNNING 상태로 유지되는 버그를 수정합니다. 이 수정을 사용하면 파이프라인이 실패하고 FAILED 상태로 전환됩니다.