Databricks를 사용하는 데이터 엔지니어링

Databricks는 데이터 과학자, 엔지니어 및 분석가 간의 협업을 위한 강력한 환경을 포함하는 풍부한 데이터 엔지니어링 기능 집합을 제공합니다. 그 중심에는 데이터를 입력하고변환하는 파이프라인이 있습니다. 가장 효율적인 파이프라인을 쉽게 엔지니어링할 수 있도록 Databricks는 구조적 스트리밍 및 DLT를 제공합니다. Azure Databricks에서의 스트리밍 을 참조하고 DLT란 무엇인가? 와 .

구조적 스트리밍 및 DLT에서 제공하는 데이터의 증분 스트림 처리가 데이터 파이프라인에 가장 적합한 이유에 대한 개요는 간단하고 효율적이며 대기 시간이 짧은 데이터 파이프라인을 빌드하는 방법을 참조하세요.

추가 데이터 엔지니어링 리소스

Databricks는 여러 추가 시나리오에 대한 데이터 엔지니어링 작업에 대한 기능을 제공합니다.

• Databricks Notebook은 공동 작업을 위한 인기 있는 도구입니다.
• Databricks 작업사용하여 워크플로를 예약하고 오케스트레이션합니다.
• 기계 학습 솔루션을 설계하는 경우 Databricks Mosaic AI 참조하세요.

시작을 위한 자습서 및 소개 정보를 보려면 Azure Databricks 시작하기 및 Azure Databricks란 무엇인가?를 참조하세요.