Azure Databricks의 스트리밍
Azure Databricks를 사용하여 거의 실시간 데이터 수집, 처리, 기계 학습 및 AI를 스트리밍 데이터에 사용할 수 있습니다.
Azure Databricks는 다음을 포함하여 스트리밍 및 증분 처리를 위한 다양한 최적화를 제공합니다.
- DLT는 증분 처리를 위한 선언적 구문을 제공합니다. DLT란?.
- 자동 로더는 클라우드 개체 스토리지에서 증분 수집을 간소화합니다. 자동 로더란?을 참조하세요.
- Unity 카탈로그는 스트리밍 워크로드에 데이터 거버넌스를 추가합니다. Unity 카탈로그 을(를) 사용한 구조적 스트리밍을 참조하세요.
Delta Lake는 이러한 통합을 위한 스토리지 계층을 제공합니다. 델타 테이블 스트리밍 읽기 및 쓰기를참조하세요.
실시간 모델 서빙을 위해 Mosaic AI 모델 서빙을 사용한 모델 배포을 참조하세요.
- 자습서
- 개념
- 상태 기반 스트리밍
- 사용자 지정 상태 유지 애플리케이션
- 프로덕션 고려 사항
- 스트림 모니터링
- Unity 카탈로그 통합
- Delta를 사용한 스트리밍
- 예제
Azure Databricks에는 Avro에 포함된 반정형 데이터 필드, 프로토콜 버퍼 및 JSON 데이터 페이로드 작업을 위한 특정 기능이 있습니다. 자세한 내용은 다음을 참조하세요.
추가 리소스
아파치 스파크는 구조화된 스트리밍에 대한 자세한 정보가 담긴 구조화된 스트리밍 프로그래밍 가이드를 제공합니다.
Structured Streaming에 대한 참조 정보에 대해 Databricks는 다음과 같은 Apache Spark API 참조를 권장합니다.