다음을 통해 공유

DLT 제한 사항

  • 아티클

다음은 파이프라인을 개발할 때 알아야 할 DLT의 제한 사항입니다.

  • Azure Databricks 작업 영역은 100개의 동시 파이프라인 업데이트로 제한됩니다. 단일 파이프라인에 포함될 수 있는 데이터 세트 수는 파이프라인 구성 및 워크로드 복잡성에 따라 결정됩니다.
  • DLT 데이터 세트는 한 번만 정의할 수 있습니다. 이 때문에 모든 DLT 파이프라인에서 단일 작업의 대상이 될 수 있습니다. 예외는 여러 스트리밍 원본에서 스트리밍 테이블에 쓸 수 있는 추가 흐름 처리가 있는 스트리밍 테이블입니다. 부가 흐름을 사용하여 여러 원본 스트림에서 스트리밍 테이블로 쓰십시오를 확인하십시오.
  • ID 열에는 다음과 같은 제한 사항이 있습니다. 델타 테이블의 아이덴티티 열에 대한 자세한 내용은 Delta Lake의 아이덴티티 열 사용하기에서 확인하세요.
    • ID 열은 APPLY CHANGES 처리의 대상인 테이블에서 지원되지 않습니다.
    • 구체화된 뷰를 업데이트하는 동안 ID 열을 다시 계산할 수 있습니다. 이 때문에 Databricks는 스트리밍 테이블과 함께 DLT의 ID 열을 사용하는 것이 좋습니다.
  • Databricks SQL에서 만든 뷰를 포함하여 DLT 파이프라인에서 게시된 구체화된 뷰 및 스트리밍 테이블은 Azure Databricks 클라이언트 및 애플리케이션에서만 액세스할 수 있습니다. 그러나 구체화된 뷰 및 스트리밍 테이블을 외부에서 액세스할 수 있도록 하려면 DLT sink API를 사용하여 외부 Delta 인스턴스의 테이블에 쓸 수 있습니다. DLT 싱크를 사용하여 외부 서비스에 대한Stream 레코드를 참조하세요.
  • 델타 공유를 사용하여 DLT 파이프라인에서 만든 구체화된 뷰 및 스트리밍 테이블을 공유할 수 없습니다.
  • Unity 카탈로그 파이프라인을 실행하고 쿼리하는 데 필요한 Databricks 컴퓨팅에는 제한이 있습니다. Unity 카탈로그에 게시하는 파이프라인에 대한 요구 사항 참조하세요.
  • 파이프라인 소유자만 파이프라인에 대한 이벤트 로그에 액세스할 수 있습니다. 이벤트 로그 쿼리를 참조하세요.
  • Delta Lake 시간 이동 쿼리는 스트리밍 테이블에서만 지원되며 구현된 뷰에서는 지원되지 않습니다. delta Lake 테이블 기록 작업을 참조하세요.
  • 구체화된 뷰 및 DLT 파이프라인에서 만든 스트리밍 테이블에서 Iceberg 읽기를 사용하도록 설정할 수 없습니다.