接下來會有什麼?
了解即將推出的 Azure Databricks 版本中的功能和行為變更。
Azure Databricks 會從 2025 年 5 月 20 日起更新控制平面服務的輸出公用 IP 範圍。
在 2025 年 5 月 20 日,Azure Databricks 會為控制平面服務部署新的元件。 這些變更將改善我們的控制平面服務的安全性和區域支援的可用性。 具體而言,我們將更新出口(外向)Azure Databricks 控制平面公用 IP 和相關的 Azure 服務標籤。 這些是服務 控制平面 NAT下每個區域的IP位址。
這會影響使用資源防火牆來控制其資源的輸入存取權的客戶。 如果您的資源防火牆直接參考 Azure Databricks 服務標籤,則不需要採取任何動作。 如果您的資源防火牆目前明確允許 Azure Databricks 控制平面公用 IP,您必須:
- 在 2025 年 5 月 20 日前,新增額外的 對外 Azure Databricks 控制平面公用 IP。 您可以在 2025 年 8 月 4 日開始使用這些 IP。
- 從 2025 年 8 月 4 日至 2025 年 9 月 30 日之間,移除相關 Databricks 區域的 輸出 Azure Databricks 控制平面公用 IP。 這些 IP 會由 Azure Databricks 使用,直到 8 月 4 日為止,因此請勿在之後移除它們。
查詢設定檔使用者介面的改善
查詢配置檔 UI 正在更新,以改善可用性,並提供更快速的主要見解存取。
- 摘要面板 將包含關鍵計量、最小化的查詢配置檔預覽,以及查詢配置檔頁面主要區段的快速連結。
- 新的 最高資源密集度操作員 面板將會提供篩選選項和圖表檢視功能,以突出顯示最耗費資源的操作員。
- 更新的版面配置旨在改善從摘要計量到詳細深入解析的可讀性和流覽。
- 其他改進包括關鍵詞型節點醒目提示、增強的執行清單,以及查詢效能分析工作流程的精簡。
自動載入器增量目錄清單選項的行為變更
備註
自動載入器 cloudFiles.useIncrementalListing
選項已不建議使用。 雖然此附註討論選項預設值的變更,以及如何在此變更之後繼續使用,但 Databricks 建議使用 檔案通知模式取代此選項的使用方式,。
在即將推出的 Databricks Runtime 版本中,已淘汰的自動載入器 cloudFiles.useIncrementalListing
選項的值預設會設定為 false
。 將此值設定為 false
會導致每次執行時自動載入器執行完整目錄清單。 目前,cloudFiles.useIncrementalListing
選項的預設值是 auto
,指示自動載入器盡最大努力偵測是否可以搭配目錄使用累加清單。
若要繼續使用累加式清單功能,請將 [cloudFiles.useIncrementalListing
] 選項設定為 auto
。 當您將此值設定為 auto
時,自動載入器會盡最大努力嘗試每七個累加清單執行一次完整清單,這符合這個變更之前此選項的行為。
若要深入瞭解自動載入器目錄清單選項,請參閱 自動載入器選項。
無伺服器計算將獲得 Scala SDK 支援以支持服務認證
無伺服器計算的更新將支援使用服務憑證透過 Unity Catalog 管理的驗證來連接外部雲端服務,搭配 Scala SDK 使用。 Databricks Runtime 16.2 和更新版本中提供的 Scala 服務主體驗證支援,是對 Python SDK 中現有服務憑證驗證支援的進一步強化。 請參閱 使用服務認證管理外部雲端服務的存取。
從 DLT 管線移除資料集定義時的行為變更
即將發行的 DLT 版本,當實體化檢視或串流數據表從管線中移除時,其行為將有所變更。 透過這項變更,下一次管線更新執行時,將不會自動刪除已移除的具象檢視或串流資料表。 相反地,您將能夠使用 DROP MATERIALIZED VIEW
命令來刪除具體化檢視或 DROP TABLE
命令來刪除串流數據表。 卸除對象之後,執行管線更新將不會自動復原物件。 如果具有相同定義的具體化檢視或串流數據表重新加入至管線,則會建立新的物件。 不過,您可以使用 UNDROP
命令來復原物件。
降低工作流程負載的無伺服器計算成本,並對成本效能進行更佳控制。
除了目前支持的自動效能優化之外,工作流程優化功能的無伺服器計算增強功能可讓您更充分掌控工作負載是否已針對效能或成本進行優化。 若要深入瞭解,請參閱 筆記本、作業和管線的無伺服器計算節省成本。
對無伺服器計算工作負載屬性的變更
目前,您的 可計費使用量系統表 可能包含有 run_as
、job_id
、job_run_id
及 notebook_id
的空值的無伺服器 SKU 記帳記錄。 這些記錄代表與未直接歸屬於任何特定工作負載的共用資源相關聯的成本。
為了協助簡化成本報告,Databricks 很快就會將這些共用成本歸屬於產生成本的特定工作負載。 您將不會再看到工作負載標識符欄位中具有 Null 值的計費記錄。 當您增加無伺服器計算的使用量並新增更多工作負載時,帳單上這些共用成本的比例將會隨著在更多工作負載中的共用而減少。
如需監視無伺服器計算成本的詳細資訊,請參閱監視無伺服器計算的成本。
舊版儀錶板的支持時程表結束
- 2025 年 4 月 7 日:舊版儀錶板的官方支援將會結束。 只會解決重要的安全性問題和服務中斷問題。
- 2025 年 11 月 3 日:Databricks 將開始封存過去六個月未存取的舊版儀錶板。 已存檔的儀錶板將無法再存取,存檔過程將會以滾動方式進行。 正在使用中的儀錶板的存取權會保持不變。
Databricks 將與客戶合作,在 2025 年 11 月 3 日之後開發正在使用的舊版儀錶板的遷移計劃。
為了協助轉換至 AI/BI 儀錶板,可以在使用者介面和 API 中使用升級工具。 如需如何在 UI 中使用內建移轉工具的指示,請參閱 將舊版儀錶板複製到 AI/BI 儀錶板。 如需使用 Azure Databricks API 來建立及管理儀錶板的教學課程,請參閱 使用 Azure Databricks API 來管理儀錶板。
稽核記錄中的 sourceIpAddress 欄位將不再包含連接埠號碼
由於錯誤,某些授權和驗證稽核記錄除了 sourceIPAddress
欄位中的 IP (例如 "sourceIPAddress":"10.2.91.100:0"
) 之外,還包含連接埠號碼。 記錄為 0
的連接埠號碼不會提供任何實際值,且與 Databricks 稽核記錄的其餘部分不一致。 為了增強稽核記錄的一致性,Databricks 計劃變更這些稽核記錄事件的 IP 位址格式。 這項變更將從 2024 年 8 月初逐步推出。
如果稽核記錄包含 sourceIpAddress
的 0.0.0.0
,則 Databricks 可能會停止記錄該項目。