Aracılığıyla paylaş

DLT sürüm 2022.49

  • Makale

6 - 9 Aralık 2022

Bu özellikler ve iyileştirmeler DLT'nin 2022.49 sürümüyle yayımlandı.

Bu sürüm tarafından kullanılan Databricks Runtime sürümleri

Kanalı:

  • GÜNCEL (varsayılan): Databricks Runtime 11.0.11
  • ÖNİzLEME: Databricks Runtime 11.3.2

Bu sürümdeki yeni özellikler ve geliştirmeler

  • Artık Databricks Git klasöründeki dosyaları Python modülleri olarak içeri aktarabilirsiniz. sys.path.append()kullanarak dosyaları geçerli depo yolundan veya belirtilen bir depo yolundan içeri aktarabilirsiniz.
  • Geliştirilmiş otomatik ölçeklendirme artık genel kullanıma sunuldu. Bu sürümle, gelişmiş otomatik ölçeklendirme, kullanıcı arabiriminde oluşturulan yeni işlem hatları için varsayılan otomatik ölçeklendirme modudur. Databricks, gelişmiş otomatik ölçeklendirmeyi kullanmak için mevcut küme otomatik ölçeklendirmesini kullanan işlem hatlarının güncelleştirilmesini önerir.
  • Sürekli modda çalıştırılan işlem hatları için, tekrar denenebilir hatalar oluştuğunda varsayılan deneme sınırı artık 2'dir. Özgün deneme dahil, tüm akışlar önemli olmayan hatalar meydana geldiğinde üstel geri çekilme ile üç kez denenir. Daha önce varsayılanlar toplu akışlar için sınırsız yeniden denemeler ve akış akışları için beş yeniden denemeydi.
  • Yapılandırma parametresi pipelines.maxFlowRetryAttempts, artık toplu işlem ve akış işlemleri de dahil olmak üzere, sürekli veya tetiklenen işlem hatları için tüm akışların yeniden deneme sınırına uygulanır. Daha önce, tetiklenen modda tüm yeniden deneme sınırlarına, ancak sürekli modda yalnızca toplu iş akışlarına uygulanan pipelines.maxFlowRetryAttempts vardı. Sürekli modda akış işlem hatları için yeniden denemeler ise pipelines.numStreamRetryAttemptstarafından denetleniyordu. Mevcut işlem hatlarında pipelines.numStreamRetryAttempts, kesintisiz modda akışlar için desteklenmeye devam etmektedir. Hem pipelines.numStreamRetryAttempts hem de pipelines.maxFlowRetryAttempts ayarlanırsa, sürekli modda veri akışlarında öncelik pipelines.numStreamRetryAttempts'ye verilir. Aksi takdirde, pipelines.maxFlowRetryAttempts için yapılandırılan değer kullanılır. Bakınız DLT özellikler referansı.

Bu sürümdeki hata düzeltmeleri

  • Bu sürüm, Foton özellikli kümeler için saat başına yanlış DBU hesaplamalarının görüntülenmesine neden olan bir hatayı düzeltir.
  • Bu sürüm, Unity Kataloğu etkin çalışma alanlarında DLT bakım görevlerinin başarısız olmasına neden olan bir hatayı düzeltir.
  • Bu sürüm, Otomatik Yükleyici ile veri alan sürekli işlem hattının durdurulması veya yeniden başlatılmasının işlem hattının birkaç dakika boyunca kilitlenmesine neden olduğu bir hatayı düzeltir.