Aracılığıyla paylaş

DLT sürüm 2022.37

  • Makale

14 - 22 Eylül 2022

Bu özellikler ve iyileştirmeler DLT'nin 2022.37 sürümüyle yayımlandı.

Bu sürüm tarafından kullanılan Databricks Runtime sürümleri

Kanalı:

  • GÜNCEL (varsayılan): Databricks Runtime 10.3.7
  • ÖNİzLEME: Databricks Runtime 11.0.5

Bu sürümdeki yeni özellikler ve geliştirmeler

  • Güncelleştirme API'sini başlatma isteği şimdi yanıt gövdesindeki request_id alanını döndürür. request_id, güncelleştirmeyi başlatan özgün istek için kararlı bir tanımlayıcıdır. Bir güncelleştirme yeniden denenirse veya yeniden başlatılırsa, yeni güncelleştirme request_iddevralır.
{
  "update_id": "the ID of the update that was started",
  "request_id": "The ID of the request that started this update"
}

Yeni requests API isteği (GET /pipelines/{pipeline_id}/requests/{request_id}), request_idile ilişkili işlem hattı güncelleştirmesinin durumunu döndürür. Yanıt, en son güncelleştirme hakkında bilgi içerir.

{
  "status": "ACTIVE",
  "latest_update": {}
}
  • Python kodunuz artık, işlem gerçekleştirilmiş bir görünümden veya akış tablosundan okumadığı sürece, dlt.table() veya dlt.view() işlevleri dışında spark.sql işlemleri çağırabilir.
  • Olay günlüğü girdileri artık olay şemasının kararlılığını göstermek için maturity özelliğini içerir. Olası değerler stable, evolvingve deprecated. DLT olay günlüğü hakkında daha fazla bilgi için bkz. DLT olay günlüğü nedir?.
  • Akış tablosu tarafından kullanılan kaynak tablolarda uyumsuz değişiklikler yapıldığında hata iletisi iyileştirilir.
  • Artık işlem hattı oluştururken veya düzenlerken DLT kullanıcı arabiriminde bir küme ilkesi seçebilirsiniz. Daha önce bir işlem hattı için küme ilkesini ayarlamak için işlem hattının JSON ayarlarını düzenlemek gerekiyordu.
  • Daha hızlı boru hattı başlatma. Bu sürüm, bir işlem hattı başlatıldığında SETTING_UP_TABLES adımını hızlandıran geliştirmeler içeriyor.

Bu sürümdeki Hata Düzeltmeleri

  • Bu sürüm, boşta küme örneği olmadığında gelişmiş otomatik ölçeklendirmenin ölçeği artırmasını engelleyen bir hatayı düzeltir.