Udostępnij za pośrednictwem

Ograniczenia DLT

  • Artykuł

Oto ograniczenia DLT, o których warto wiedzieć przy opracowywaniu potoków danych:

  • Obszar roboczy usługi Azure Databricks ma limit 100 równoczesnych aktualizacji potoku. Liczba zestawów danych, które może zawierać pojedynczy potok, zależy od konfiguracji potoku i złożoności obciążenia.
  • Zestawy danych DLT można definiować tylko raz. W związku z tym mogą one być celem tylko jednej operacji we wszystkich potokach DLT. Wyjątkiem są tabele przesyłania strumieniowego z przetwarzaniem przepływu w trybie dołączania, co umożliwia zapisywanie danych do tabeli z wielu źródeł przesyłania strumieniowego. Zobacz Wykorzystaj przepływ dołączania do zapisu w tabeli przesyłania strumieniowego ze strumieni źródłowych.
  • Kolumny tożsamości mają następujące ograniczenia. Aby dowiedzieć się więcej o kolumnach tożsamości w tabelach Delta, zobacz Używanie kolumn tożsamości w usłudze Delta Lake.
    • Kolumny tożsamości nie są obsługiwane w przypadku tabel, które są celem przetwarzania APPLY CHANGES.
    • Kolumny tożsamości mogą zostać ponownie skompilowane podczas aktualizacji zmaterializowanych widoków. W związku z tym Databricks zaleca używanie kolumn tożsamości w DLT tylko dla tabel przesyłania strumieniowego.
  • Zmaterializowane widoki i tabele przesyłania strumieniowego opublikowane z potoku DLT, w tym te utworzone przez usługę Databricks SQL, mogą być dostępne tylko dla klientów i aplikacji usługi Azure Databricks. Jednak aby zmaterializowane widoki i tabele przesyłania strumieniowego były udostępnione zewnętrznie, możesz użyć interfejsu API DLT sink do zapisywania w tabelach w zewnętrznym wystąpieniu Delta. Zobacz Rekordy strumienia do usług zewnętrznych za pomocą ujścia DLT.
  • Nie można używać Delta Sharing do udostępniania zmaterializowanych widoków i tabel przesyłania strumieniowego utworzonych przez pipeline DLT.
  • Istnieją ograniczenia dotyczące obliczeń usługi Databricks wymaganych do uruchamiania potoków Unity Catalog i wykonywania zapytań. Zobacz wymagania dotyczące potoków publikujących do Unity Catalog.
  • Tylko właściciel potoku może uzyskać dostęp do dziennika zdarzeń dla potoku. Zobacz Wykonywanie zapytań w dzienniku zdarzeń.
  • Zapytania dotyczące podróży w czasie usługi Delta Lake są obsługiwane tylko w przypadku tabel przesyłania strumieniowego i nie są obsługiwane w przypadku zmaterializowanych widoków. Zobacz Pracę z historią tabeli Delta Lake.
  • Nie można włączyć Iceberg reads na zmaterializowanych widokach i tabelach strumieniowych utworzonych przez potoki DLT.