다음을 통해 공유

DLT 릴리스 정보 및 릴리스 업그레이드 프로세스

  • 아티클

이 문서에서는 DLT 릴리스 프로세스, DLT 런타임 관리 방법을 설명하고 각 DLT 릴리스에 대한 릴리스 정보에 대한 링크를 제공합니다.

DLT 런타임 채널

메모

DLT 릴리스와 함께 사용되는 Databricks 런타임 버전을 보려면 해당 릴리스에 대한 릴리스 정보를 참조하세요.

DLT 클러스터는 Databricks 런타임 릴리스 노트의 버전 및 호환성을 기반으로 런타임을 사용합니다. Databricks는 DLT 런타임을 자동으로 업그레이드하여 플랫폼에 대한 향상된 기능 및 업그레이드를 지원합니다. DLT 파이프라인 설정의 channel 필드를 사용하여 파이프라인을 실행하는 DLT 런타임 버전을 제어할 수 있습니다. 지원되는 값은 다음과 같습니다.

  • current을(를) 사용하여 현재 런타임 버전을 사용하십시오.
  • preview 런타임 버전에 대한 예정된 변경 내용으로 파이프라인을 테스트합니다.

기본적으로 파이프라인은 current 런타임 버전을 사용하여 실행됩니다. Databricks는 프로덕션 워크로드에 current 런타임을 사용하는 것이 좋습니다. preview 설정을 사용하여 다음 런타임 버전으로 파이프라인을 테스트하는 방법을 알아보려면 다음 런타임 버전사용하여 파이프라인 테스트 자동화를 참조하세요.

중요하다

일반 공급 또는 공개 미리 보기로 표시된 기능은 current 채널에서 사용할 수 있습니다.

DLT 채널에 대한 자세한 내용은 DLT 파이프라인 설정channel 필드를 참조하세요.

DLT가 각 릴리스에 대한 업그레이드 프로세스를 관리하는 방법을 이해하려면 DLT 업그레이드는 어떻게 작동하나요?.

파이프라인 업데이트에 대한 Databricks 런타임 버전을 찾으려면 어떻게 해야 하나요?

DLT 이벤트 로그를 쿼리하여 파이프라인 업데이트에 대한 Databricks 런타임 버전을 찾을 수 있습니다. 런타임 정보를참조하세요.

DLT 릴리스 정보

DLT 릴리스 정보는 연도 및 주별로 구성됩니다. DLT는 버전이 없는작업 영역 및 런타임 변경 내용이 자동으로 이루어집니다. 다음 릴리스 정보는 각 릴리스의 변경 내용 및 버그 수정에 대한 개요를 제공합니다.

DLT 업그레이드는 어떻게 작동합니까?

DLT는 버전 없는 제품으로 간주됩니다. 즉, Databricks는 DLT 런타임을 자동으로 업그레이드하여 플랫폼에 대한 향상된 기능 및 업그레이드를 지원합니다. Databricks는 DLT 파이프라인에 대한 외부 종속성을 제한하는 것이 좋습니다.

Databricks는 자동 업그레이드가 프로덕션 DLT 파이프라인에 오류 또는 문제를 발생시키는 것을 방지하기 위해 사전에 작동합니다. DLT 업그레이드 프로세스 참조하세요.

특히 외부 종속성이 있는 DLT 파이프라인을 배포하는 사용자의 경우 Databricks는 preview 채널을 사용하여 파이프라인을 사전에 테스트하는 것이 좋습니다. 다음 런타임 버전 사용하여 파이프라인 테스트 자동화참조하세요.

DLT 업그레이드 프로세스

Databricks는 DLT 컴퓨팅 리소스에서 사용하는 Databricks Runtime 관리합니다. DLT는 Azure Databricks 작업 영역에서 런타임을 자동으로 업그레이드하고 업그레이드 후 파이프라인의 상태를 모니터링합니다.

DLT가 업그레이드로 인해 파이프라인을 시작할 수 없음을 감지하면 파이프라인의 런타임 버전이 안정적인 것으로 알려진 이전 버전으로 되돌아가고 다음 단계가 자동으로 트리거됩니다.

  • 파이프라인의 DLT 런타임은 이전에 알려진 정상 버전으로 고정됩니다.
  • Databricks 지원에서 이 문제에 대해 알림을 받습니다.
    • 문제가 런타임의 회귀와 관련된 경우 Databricks는 문제를 해결합니다.
    • 파이프라인에서 사용하는 사용자 지정 라이브러리 또는 패키지로 인해 문제가 발생하는 경우 Databricks는 문제를 해결하기 위해 사용자에게 연락합니다.
  • 문제가 해결되면 Databricks는 업그레이드를 다시 시작합니다.

중요하다

DLT는 채널이 current설정된 프로덕션 모드에서 실행되는 파이프라인만 되돌려 줍니다.

다음 런타임 버전으로 파이프라인 테스트 자동화

다음 DLT 런타임 버전의 변경 내용이 파이프라인에 영향을 주지 않도록 하려면 DLT 채널 기능을 사용합니다.

  1. 스테이징 파이프라인을 만들고 채널을 preview설정합니다.
  2. DLT UI에서 파이프라인을 매주 실행하는 일정을 만들고 경고가 파이프라인 오류에 대한 이메일 알림을 받을 수 있도록 합니다. Databricks는 특히 사용자 지정 파이프라인 종속성사용하는 경우 파이프라인의 주간 테스트 실행을 예약하는 것이 좋습니다.
  3. 오류 알림을 받고 해결할 수 없는 경우 Databricks를 사용하여 지원 티켓을 엽니다.

파이프라인 종속성

DLT는 파이프라인에서 외부 종속성을 지원합니다. 예를 들어 %pip install 명령을 사용하여 Python 패키지를 설치할 수 있습니다. DLT는 전역 및 클러스터 범위 init 스크립트 사용을 지원합니다. 그러나 이러한 외부 종속성, 특히 초기화 스크립트는 런타임 업그레이드와 관련된 문제의 위험을 증가합니다. 이러한 위험을 완화하려면 파이프라인에서 init 스크립트 사용을 최소화합니다. 처리에 init 스크립트가 필요한 경우 파이프라인 테스트를 자동화하여 문제를 조기에 감지합니다. 다음 런타임 버전 사용하여 파이프라인 테스트 자동화참조하세요. init 스크립트를 사용하는 경우 Databricks는 테스트 빈도를 늘리는 것이 좋습니다.