Bagikan melalui

Batasan DLT

  • Artikel

Berikut ini adalah batasan DLT yang penting untuk diketahui saat Anda mengembangkan alur Anda:

  • Ruang kerja Azure Databricks dibatasi hingga 100 pembaruan pipeline secara bersamaan. Jumlah himpunan data yang dapat dimuat oleh satu alur ditentukan oleh konfigurasi alur dan kompleksitas beban kerja.
  • Himpunan data DLT hanya dapat ditentukan sekali. Karena itu, mereka hanya dapat menjadi target satu operasi di semua alur DLT. Pengecualiannya adalah tabel streaming dengan pemrosesan alur tambahan, yang memungkinkan Anda menulis ke tabel streaming dari beberapa sumber streaming. Lihat Gunakan alur tambahan untuk menulis ke dalam tabel streaming dari beberapa aliran sumber.
  • Kolom identitas memiliki batasan berikut. Untuk mempelajari selengkapnya tentang kolom identitas dalam tabel Delta, lihat Menggunakan kolom identitas di Delta Lake.
    • Kolom identitas tidak dapat digunakan dengan tabel yang ditargetkan oleh pemrosesan MENERAPKAN PERUBAHAN.
    • Kolom identitas mungkin dikomputasi ulang selama pembaruan pada tampilan materialisasi. Oleh karena itu, Databricks merekomendasikan penggunaan kolom identitas hanya pada tabel streaming di DLT.
  • Tampilan materialisasi dan tabel streaming yang diterbitkan dari alur DLT, termasuk yang dibuat oleh Databricks SQL, hanya dapat diakses oleh klien dan aplikasi Azure Databricks. Namun, untuk membuat tampilan materialisasi dan tabel streaming Anda dapat diakses secara eksternal, Anda dapat menggunakan DLT sink API untuk menulis ke tabel dalam instans Delta eksternal. Lihat Streaming rekaman ke layanan eksternal dengan sink DLT.
  • Anda tidak dapat menggunakan Delta Sharing untuk berbagi tampakan materialisasi dan tabel streaming yang dibuat oleh pipeline DLT.
  • Ada batasan untuk komputasi Databricks yang diperlukan untuk menjalankan dan mengkueri alur Katalog Unity. Lihat Persyaratan untuk alur yang diterbitkan ke Katalog Unity.
  • Hanya pemilik alur yang dapat mengakses log peristiwa untuk alur. Lihat Mengkueri log peristiwa.
  • Kueri perjalanan waktu Delta Lake hanya didukung dengan tabel Streaming, dan tidak didukung dengan tampilan materialisasi. Lihat Cara kerja dengan riwayat tabel Delta Lake.
  • Anda tidak dapat mengaktifkan Iceberg membaca pada tampilan materialisasi dan tabel streaming yang dibuat oleh alur DLT.