DLT 릴리스 2022.37
2022년 9월 14일 - 22일
이러한 기능 및 향상된 기능은 DLT의 2022.37 릴리스와 함께 릴리스되었습니다.
이 릴리스에서 사용하는 Databricks 런타임 버전
채널:
- CURRENT(기본값): Databricks Runtime 10.3.7
- 미리 보기: Databricks Runtime 11.0.5
이 릴리스의 새로운 기능 및 개선 사항
- 이제 시작 업데이트 API 요청은 응답 본문의
request_id
필드를 반환합니다.request_id
업데이트를 시작하는 원래 요청에 대한 안정적인 식별자입니다. 업데이트를 다시 시도하거나 다시 시작하면 새 업데이트는request_id
상속합니다.
{
"update_id": "the ID of the update that was started",
"request_id": "The ID of the request that started this update"
}
새 requests
API 요청(GET /pipelines/{pipeline_id}/requests/{request_id}
)은 request_id
연결된 파이프라인 업데이트의 상태를 반환합니다. 응답에는 최신 업데이트에 대한 정보가 포함됩니다.
{
"status": "ACTIVE",
"latest_update": {}
}
- 이제 Python 코드는 구체화된 뷰 또는 스트리밍 테이블에서 작업을 읽지 않는 한
dlt.table()
또는dlt.view()
함수 외부에서spark.sql
작업을 호출할 수 있습니다.
- 이제 이벤트 로그 항목에는 이벤트 스키마의 안정성을 나타내는
maturity
속성이 포함됩니다. 가능한 값은stable
,evolving
및deprecated
. DLT 이벤트 로그에 대한 자세한 내용은 DLT 이벤트 로그란?을 참조하세요..
- 스트리밍 테이블에서 사용하는 원본 테이블에 호환되지 않는 변경 내용이 적용되면 오류 메시지가 향상됩니다.
- 이제 파이프라인을 만들거나 편집할 때 DLT UI에서 클러스터 정책을 선택할 수 있습니다. 이전에는 파이프라인에 대한 클러스터 정책을 설정하려면 파이프라인의 JSON 설정을 편집해야 했습니다.
- 더 빠른 파이프라인 시작. 이 릴리스에는 파이프라인이 시작될 때
SETTING_UP_TABLES
단계를 가속화하는 향상된 기능이 포함되어 있습니다.
이 릴리스의 버그 수정
- 이 릴리스는 유휴 클러스터 인스턴스를 사용할 수 없을 때 강화된 자동 크기 조정을 방지하는 버그를 수정합니다.