DLT 版本 2022.37
2022 年 9 月 14 日至 22 日
在 2022.37 版 DLT 中发布了这些功能和改进。
此版本使用的 Databricks Runtime 版本
通道:
- CURRENT (默认值):Databricks Runtime 10.3.7
- 预览:Databricks Runtime 11.0.5
此版本中的新功能和改进
- 启动更新 API 请求现在返回响应正文中的
request_id
字段。request_id
是启动更新的原始请求的稳定标识符。 如果重试或重启更新,则新更新将继承request_id
。
{
"update_id": "the ID of the update that was started",
"request_id": "The ID of the request that started this update"
}
新的 requests
API 请求(GET /pipelines/{pipeline_id}/requests/{request_id}
)返回与 request_id
关联的管道更新的状态。 响应包括有关最新更新的信息。
{
"status": "ACTIVE",
"latest_update": {}
}
- Python 代码现在可在
dlt.table()
或dlt.view()
函数之外调用spark.sql
操作,只要该操作不是从具体化视图或流式处理表中读取即可。
- 事件日志条目现在包含
maturity
属性,用于指示事件架构的稳定性。 可能的值为stable
、evolving
和deprecated
。 有关 DLT 事件日志的详细信息,请参阅 什么是 DLT 事件日志?。
- 当对流式处理表使用的源表进行不兼容更改时,错误消息会得到改进。
- 创建或编辑管道时,现在可以在 DLT UI 中选择群集策略。 以前,为管道设置群集策略需要编辑管道的 JSON 设置。
- 加快管道启动速度。 此版本包含增强功能,可在管道启动时加快
SETTING_UP_TABLES
步骤的速度。
此版本中的 Bug 修复
- 此版本修复了一个 bug,该 bug 阻止增强型自动缩放在没有空闲群集实例可用时纵向扩展。