DLT 版本 2022.37

2022 年 9 月 14 日至 22 日

在 2022.37 版 DLT 中发布了这些功能和改进。

此版本使用的 Databricks Runtime 版本

通道:

  • CURRENT (默认值):Databricks Runtime 10.3.7
  • 预览:Databricks Runtime 11.0.5

此版本中的新功能和改进

  • 启动更新 API 请求现在返回响应正文中的 request_id 字段。 request_id 是启动更新的原始请求的稳定标识符。 如果重试或重启更新,则新更新将继承 request_id
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

新的 requests API 请求(GET /pipelines/{pipeline_id}/requests/{request_id})返回与 request_id关联的管道更新的状态。 响应包括有关最新更新的信息。

{
  "status": "ACTIVE",
  "latest_update": {}
}
  • Python 代码现在可在 dlt.table()dlt.view() 函数之外调用 spark.sql 操作,只要该操作不是从具体化视图或流式处理表中读取即可。
  • 事件日志条目现在包含 maturity 属性,用于指示事件架构的稳定性。 可能的值为 stableevolvingdeprecated。 有关 DLT 事件日志的详细信息,请参阅 什么是 DLT 事件日志?
  • 当对流式处理表使用的源表进行不兼容更改时,错误消息会得到改进。
  • 创建或编辑管道时,现在可以在 DLT UI 中选择群集策略。 以前,为管道设置群集策略需要编辑管道的 JSON 设置。
  • 加快管道启动速度。 此版本包含增强功能,可在管道启动时加快 SETTING_UP_TABLES 步骤的速度。

此版本中的 Bug 修复

  • 此版本修复了一个 bug,该 bug 阻止增强型自动缩放在没有空闲群集实例可用时纵向扩展。