通过

DLT 版本 2022.37

  • 项目

2022 年 9 月 14 日至 22 日

在 2022.37 版 DLT 中发布了这些功能和改进。

此版本使用的 Databricks Runtime 版本

通道：

  • CURRENT （默认值）：Databricks Runtime 10.3.7
  • 预览：Databricks Runtime 11.0.5

此版本中的新功能和改进

  • 启动更新 API 请求现在返回响应正文中的 request_id 字段。 request_id 是启动更新的原始请求的稳定标识符。 如果重试或重启更新，则新更新将继承 request_id。
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

新的 requests API 请求（GET /pipelines/{pipeline_id}/requests/{request_id}）返回与 request_id关联的管道更新的状态。 响应包括有关最新更新的信息。

{
  "status": "ACTIVE",
  "latest_update": {}
}
  • Python 代码现在可在 dlt.table() 或 dlt.view() 函数之外调用 spark.sql 操作，只要该操作不是从具体化视图或流式处理表中读取即可。
  • 事件日志条目现在包含 maturity 属性，用于指示事件架构的稳定性。 可能的值为 stable、evolving和 deprecated。 有关 DLT 事件日志的详细信息，请参阅 什么是 DLT 事件日志？。
  • 当对流式处理表使用的源表进行不兼容更改时，错误消息会得到改进。
  • 创建或编辑管道时，现在可以在 DLT UI 中选择群集策略。 以前，为管道设置群集策略需要编辑管道的 JSON 设置。
  • 加快管道启动速度。 此版本包含增强功能，可在管道启动时加快 SETTING_UP_TABLES 步骤的速度。

此版本中的 Bug 修复

  • 此版本修复了一个 bug，该 bug 阻止增强型自动缩放在没有空闲群集实例可用时纵向扩展。