Limitazioni DLT

Di seguito sono riportate le limitazioni di DLT importanti per lo sviluppo delle pipeline:

• Un'area di lavoro di Azure Databricks è limitata a 100 aggiornamenti simultanei della pipeline. Il numero di set di dati che una singola pipeline può contenere è determinato dalla configurazione della pipeline e dalla complessità del carico di lavoro.
• I set di dati DLT possono essere definiti una sola volta. Per questo motivo, possono essere soggetti a una sola operazione in tutte le pipeline DLT. L'eccezione è costituita dalle tabelle di streaming con l'elaborazione del flusso in appendice, che consente di scrivere nella tabella di streaming da più sorgenti di streaming. Vedere Usare il flusso di accodamento per scrivere in una tabella di streaming da più flussi di origine.
• Le colonne Identity presentano le limitazioni seguenti. Per altre informazioni sulle colonne Identity nelle tabelle Delta, vedere Usare colonne Identity in Delta Lake.
  • Le colonne Identity non sono supportate con tabelle destinate all'elaborazione APPLY CHANGES.
  • Le colonne Identity potrebbero essere ricalcolate durante gli aggiornamenti di una vista materializzata. Per questo motivo, Databricks consiglia di usare le colonne Identity solo in DLT con le tabelle di streaming.
• Le viste materializzate e le tabelle di streaming pubblicate da una pipeline DLT, incluse quelle create da Databricks SQL, possono essere accessibili solo dai client e dalle applicazioni di Azure Databricks. Tuttavia, per rendere accessibili esternamente le viste materializzate e le tabelle di streaming, è possibile usare l'API DLT sink per scrivere nelle tabelle in un'istanza Delta esterna. Visualizza Registra flussi verso servizi esterni con un sink DLT.
• Non è possibile usare la condivisione delta per condividere viste materializzate e tabelle di streaming create da una pipeline DLT.
• Esistono limitazioni per il calcolo di Databricks necessario per eseguire ed eseguire query sulle pipeline di Unity Catalog. Consultare i requisiti per le pipeline che pubblicano nel Unity Catalog.
• Solo il proprietario della pipeline può accedere al registro eventi per una pipeline. Consultare il registro eventi.
• Le query di spostamento temporale delta Lake sono supportate solo con le tabelle di streaming e non sono supportate con viste materializzate. Vedere Usare la cronologia delle tabelle Delta Lake.
• Non è possibile abilitare le Iceberg reads nelle viste materializzate e nelle tabelle di streaming create dalle pipeline di DLT.