Aracılığıyla paylaş

DLT Sınırlamaları

  • Makale

İşlem hatlarınızı geliştirirken bilmeniz gereken DLT sınırlamaları şunlardır:

  • Azure Databricks çalışma alanı 100 eşzamanlı işlem hattı güncelleştirmesi ile sınırlıdır. Tek bir işlem hattının içerebileceği veri kümesi sayısı, işlem hattı yapılandırması ve iş yükü karmaşıklığı tarafından belirlenir.
  • DLT veri kümeleri yalnızca bir kez tanımlanabilir. Bu nedenle, tüm DLT işlem hatlarında yalnızca tek bir işlemin hedefi olabilirler. Bunun istisnası, birden çok akış kaynağından akış tablosuna yazmanıza olanak tanıyan ekleme akışı işlemesine sahip olan akış tablolarıdır. Bkz. Birden çok kaynak akışından bir akış tablosuna yazmak için ekleme akışını kullanma.
  • Kimlik sütunları aşağıdaki sınırlamalara sahiptir. Delta tablolarındaki kimlik sütunları hakkında daha fazla bilgi edinmek için bkz. Delta Lake 'de kimlik sütunlarını kullanma.
    • Kimlik sütunları, APPLY CHANGES işlemenin hedefi olan tablolarda desteklenmez.
    • Gerçekleştirilmiş görünümlerde yapılan güncelleştirmeler sırasında kimlik sütunları yeniden hesaplanabilir. Bu nedenle Databricks, DLT'deki kimlik sütunlarının yalnızca akış tablolarıyla kullanılmasını önerir.
  • Databricks SQL tarafından oluşturulanlar da dahil olmak üzere DLT işlem hattından yayımlanan gerçekleştirilmiş görünümlere ve akış tablolarına yalnızca Azure Databricks istemcileri ve uygulamaları tarafından erişilebilir. Ancak gerçekleştirilmiş görünümlerinizin ve akış tablolarınızın dışarıdan erişilebilir olmasını sağlamak için DLT sink API'sini kullanarak dış Delta örneğindeki tablolara yazabilirsiniz. Bkz. Kayıtları dış hizmetlere DLT çıkışları ile aktarın.
  • DLT işlem hattı tarafından oluşturulan gerçekleştirilmiş görünümleri ve akış tablolarını paylaşmak için Delta Sharing'i kullanamazsınız.
  • Unity Kataloğu işlem hatlarını çalıştırmak ve sorgulamak için gereken Databricks hesaplaması ile ilgili sınırlamalar vardır. Unity Kataloğu'na yayımlayan işlem hatları için Gereksinimleri bakın.
  • İşlem hattının olay günlüğüne yalnızca işlem hattı sahibi erişebilir. Bkz. Olay günlüğünüsorgula.
  • Delta Lake zaman yolculuğu sorguları yalnızca Akış tablolarında desteklenir ve gerçekleştirilmiş görünümlerle desteklenmez. bkz. Delta Lake tablo geçmişiyle çalışma.
  • Iceberg'in DLT işlem hatları tarafından oluşturulan gerçekleştirilmiş görünümler ve akış tabloları üzerinde okumasını etkinleştiremezsiniz.