DLT 릴리스 2022.37

2022년 9월 14일 - 22일

이러한 기능 및 향상된 기능은 DLT의 2022.37 릴리스와 함께 릴리스되었습니다.

이 릴리스에서 사용하는 Databricks 런타임 버전

채널:

• CURRENT(기본값): Databricks Runtime 10.3.7
• 미리 보기: Databricks Runtime 11.0.5

이 릴리스의 새로운 기능 및 개선 사항

• 이제 시작 업데이트 API 요청은 응답 본문의 request_id 필드를 반환합니다. request_id 업데이트를 시작하는 원래 요청에 대한 안정적인 식별자입니다. 업데이트를 다시 시도하거나 다시 시작하면 새 업데이트는 request_id상속합니다.

{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

새 requests API 요청(GET /pipelines/{pipeline_id}/requests/{request_id})은 request_id연결된 파이프라인 업데이트의 상태를 반환합니다. 응답에는 최신 업데이트에 대한 정보가 포함됩니다.

{
  "status": "ACTIVE",
  "latest_update": {}
}

• 이제 Python 코드는 구체화된 뷰 또는 스트리밍 테이블에서 작업을 읽지 않는 한 dlt.table() 또는 dlt.view() 함수 외부에서 spark.sql 작업을 호출할 수 있습니다.

• 이제 이벤트 로그 항목에는 이벤트 스키마의 안정성을 나타내는 maturity 속성이 포함됩니다. 가능한 값은 stable, evolving및 deprecated. DLT 이벤트 로그에 대한 자세한 내용은 DLT 이벤트 로그란?을 참조하세요..

• 스트리밍 테이블에서 사용하는 원본 테이블에 호환되지 않는 변경 내용이 적용되면 오류 메시지가 향상됩니다.

• 이제 파이프라인을 만들거나 편집할 때 DLT UI에서 클러스터 정책을 선택할 수 있습니다. 이전에는 파이프라인에 대한 클러스터 정책을 설정하려면 파이프라인의 JSON 설정을 편집해야 했습니다.

• 더 빠른 파이프라인 시작. 이 릴리스에는 파이프라인이 시작될 때 SETTING_UP_TABLES 단계를 가속화하는 향상된 기능이 포함되어 있습니다.

이 릴리스의 버그 수정

• 이 릴리스는 유휴 클러스터 인스턴스를 사용할 수 없을 때 강화된 자동 크기 조정을 방지하는 버그를 수정합니다.